欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

从mongodb读取csv解决方案

程序员文章站 2022-05-18 13:25:27
...
用Python中的csv模块读.csv文件还是蛮赞的,特别是DictReader这种pythoner喜闻乐见的自动转字典的方式。

不过在直接从mongodb中读取csv就杯具了:new-line character seen in unquoted field – do you need to open the file in universal-newline mode?

网上普遍的做法是,传递file的时候通过open(fpath,'rU')来控制文件的分段,pymongo天然好像不支持啊,后来看到这个哥们的文章,建议用splitlines来提前分解掉文件内容,经测试确实好用,也还方便:

f = fs.get(fid)
reader = DictReader(f.read().splitlines())

这尼玛竟然不一定要传file object的啊...
文档中的这句没有看到,着实让人吐血啊:
引用
csvfile can be any object which supports the iterator protocol and returns a string each time its next() method is called — file objects and list objects are both suitable.