欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

解决python2.7 UnicodeDecodeError和UnicodeEncodeError问题

程序员文章站 2022-06-21 13:35:34
最近在项目中,读取上传的csv文件,并写入时,会报编码问题, UnicodeDecodeError: 'utf8' codec can't decode byte 0xc4 in position 0: invalid continuation byte 刚开始以为是对方上传的文本编码格式有问题,所 ......

最近在项目中,读取上传的csv文件,并写入时,会报编码问题,

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk)

UnicodeDecodeError: 'utf8' codec can't decode byte 0xc4 in position 0: invalid continuation byte

刚开始以为是对方上传的文本编码格式有问题,所以让对方用Notepad++,打开编辑后保存

刚开始一段时间,没有再出现错误,最近,错误再次发生,即使用上面说的编辑器也没用

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk.decode('gbk')

后面考虑,可能是因为有中文,需要进行gbk编码,所以在写入文件时我按gbk写入后,发现问题解决了,不会再报上面这个错误

但是当我把把更新的文件放到服务器上后,发现,又报另外一个错误错误

UnicodeEncodeError: 'ascii' codec can't encode characters in position 42-57: ordinal not in range(128)

可能是因为linux默认是utf-8编码。所以报错

然后我又转成utf-8,完美解决问题,代码如下  

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk.decode('gbk').encode('utf-8'))