Scrapy框架爬取时,UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position解决方法
程序员文章站
2022-04-14 20:41:16
...
编码嘛,不是utf8就是gbk
这里贴上代码
import demjson
start_urls = ['https://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=壁纸&tag=全部&start=0&len=15']
def parse(self, response):
content = demjson.decode(response.body.decode('gbk'))# 这样就可以了
首先要管理员身份运行cmd,pip安装一下更强大的json解析库demjson
pip install demjson
然后对要提取的内容进行gbk的解码在用demjson.decode()解析获得python对象的json数据
content = demjson.decode(response.body.decode(‘gbk’))
上一篇: 实体类的常用拓展字段
下一篇: Hibernate忽略实体类里字段的映射