欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

将sqlite查询结果导入到文本文件

程序员文章站 2022-05-24 15:58:25
...

将sqlite查询结果导入到文本文件 下班前接到一个需求,要将sqlite数据库中的某个字段导出保存到一个文本中,数据大概有1000w左右,于是我就写了一个python脚本,来做这个事情。 www.2cto.com 01 #!/usr/xxx/bin/python 02 03 import os,sys 04 import sqlite


将sqlite查询结果导入到文本文件

下班前接到一个需求,要将sqlite数据库中的某个字段导出保存到一个文本中,数据大概有1000w左右,于是我就写了一个python脚本,来做这个事情。

www.2cto.com

01

#!/usr/xxx/bin/python

02

03

import os,sys

04

import sqlite3

05

import logging

06

07

sys.path.append('.')

08

# logger configure

09

logger = logging.getLogger()

10

handler = logging.FileHandler('/home/admin/tmp/xxx.txt')

11

logger.addHandler(handler)

12

logger.setLevel(logging.NOTSET)

13

14

sqlfile_path = '/home/admin/tmp/user.sql'

15

16

def write_to_file(guid):

17

total_count = get_total_count(guid)

18

page_size = 10000

19

offset_num = 0

20

op_num = 0

21

while op_num

22

array_list = get_data([guid,page_size,op_num])

23

offset_num = offset_num + 1

24

op_num = offset_num * page_size

25

for n in array_list:

26

logger.info(n)

27

28

def get_total_count(guid):

29

conn = sqlite3.connect(sqlfile_path)

30

cur = conn.cursor()

31

cur.execute('select count(*) from table_name where id = \'' + guid + '\'')

32

try:

33

count = cur.fetchone()[0]

34

except:

35

count = 0

36

cur.close()

37

conn.close()

38

return count

39

40

def get_data(item):

41

conn = sqlite3.connect(sqlfile_path)

42

cur = conn.cursor()

43

cur.execute('select name from table_name where id = \'' + item[0] + '\' limit ' + item[1] + ' offset ' + item[2])

44

array_list = []

45

for r in cur.fetchall():

46

array_list.append(r[0])

47

cur.close()

48

conn.close()

49

return array_list

50

51

if '__maiin__' == __name__:

52

for guid in ['123456789','987654321']:

53

write_to_file(guid)

考虑到数据还是有一点大的,所以就每次查询10000条操作,写完后运行起来,然后我就下班走人了,第二天上班发现这个脚本居然还在跑着,一晚上还没有结束。那叫一个头疼啊。。。 这不是 GC 。

既然这么慢,那我就慢慢等吧,然后开始做其他事情去了,GC来了,兄弟我在测试其他程序的时候,一个不小心,在运行脚本的时候,把python脚本跑出来的文本给删了,连python脚本也一起全删了,当我意识过来的时候,泪流满面啊。。。

就在我沮丧的时候,旁边一同学问了我情况,然后默默的给了我一行代码:

1 sqlite3 user.sql "select name from table_name where id = '123456789'" >> xxx.txt

之后十分钟,数据全导出来了,效率真TM高。