解决python2.7 UnicodeDecodeError和UnicodeEncodeError问题
程序员文章站
2022-06-21 13:35:34
最近在项目中,读取上传的csv文件,并写入时,会报编码问题, UnicodeDecodeError: 'utf8' codec can't decode byte 0xc4 in position 0: invalid continuation byte 刚开始以为是对方上传的文本编码格式有问题,所 ......
最近在项目中,读取上传的csv文件,并写入时,会报编码问题,
with open(origin_file_path, mode='wb')as f: for chunk in file_obj: f.write(chunk)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xc4 in position 0: invalid continuation byte
刚开始以为是对方上传的文本编码格式有问题,所以让对方用Notepad++,打开编辑后保存
刚开始一段时间,没有再出现错误,最近,错误再次发生,即使用上面说的编辑器也没用
with open(origin_file_path, mode='wb')as f: for chunk in file_obj: f.write(chunk.decode('gbk')
后面考虑,可能是因为有中文,需要进行gbk编码,所以在写入文件时我按gbk写入后,发现问题解决了,不会再报上面这个错误
但是当我把把更新的文件放到服务器上后,发现,又报另外一个错误错误
UnicodeEncodeError: 'ascii' codec can't encode characters in position 42-57: ordinal not in range(128)
可能是因为linux默认是utf-8编码。所以报错
然后我又转成utf-8,完美解决问题,代码如下
with open(origin_file_path, mode='wb')as f: for chunk in file_obj: f.write(chunk.decode('gbk').encode('utf-8'))
推荐阅读