UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte
程序员文章站
2022-07-08 10:02:46
...
最近在学python3一直遇到这个错误,在网上查了很多,说是windows系统的问题云云。
#!/usr/bin/python3
# -*- coding:utf-8 -*-
# @Time:2018/5/4 17:11
# @Author: wardseptember
# @File: GenWordCLoud.py
import jieba
import wordcloud
#f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='utf-8',errors='ignore')
f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='utf-8')
ftxt=f.read()
f.close()
lx=jieba.lcut(ftxt)
txt=" ".join(lx)
w=wordcloud.WordCloud( font_path = "C:/Windows/Fonts/msyh.ttc",width=1000,height=700,background_color='white',\
)
w.generate(txt)
w.to_file('test.png')
此程序执行之后出现错误,说是无法转成utf-8。
解决方法:
将utf-8改成gbk
f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='gbk')
运行程序结果如下,不再报错。
utf-8与gbk的区别与联系:
字符均使用双字节来表示,只不过为区分中文,将其最高位都定成1。
至于UTF-8编码则是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24位(三个字节)来编码。对于英文字符较多的论坛则用UTF-8节省空间。
GBK包含全部中文字符;UTF-8则包含全世界所有国家需要用到的字符。
GBK是在国家标准GB2312基础上扩容后兼容GB2312的标准(好像还不是国家标准)
UTF-8编码的文字可以在各国各种支持UTF8字符集的浏览器上显示。
比如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,而无需他们下载IE的中文语言支持包。 所以,对于英文比较多的论坛 ,使用GBK则每个字符占用2个字节,而使用UTF-8英文却只占一个字节。
UTF8是国际编码,它的通用性比较好,外国人也可以浏览论坛,GBK是国家编码,通用性比UTF8差,不过UTF8占用的数据库比GBK大
下一篇: 【python】pip安装报错UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 7: ordinal not i
推荐阅读
-
RLException: Invalid <node> tag: ‘ascii‘ codec can‘t decode byte 0xe6报错
-
Anaconda中启动Python时的错误:UnicodeDecodeError: 'gbk' codec can't decode byte 0xaf in position 553
-
UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xcb in position 260: ordinal not in range(128)
-
命令行调用python出现编码错误:UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x9a in position 140 完美解决!
-
Python2.7更新pip:UnicodeDecodeError: 'ascii' codec can't decode byte 0xb7 in position 7: ordinal not in range(128)
-
Python “'ascii' codec can't decode byte 0xb0i in position 1” 的解决方法
-
真正解决Windows下UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xff in position 0错误的方法
-
当在命令行中执行virtualenv venv时报此错误:'utf-8' codec can't decode byte 0xd5 in position 38: invalid continuation by
-
UnicodeDecodeError: 'utf-8' codec can't decode byte in position : invalid continuation byte
-
【debug】UnicodeDecodeError: codec can't decode byte 0xbd in position 4: invalid start byte