欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Scrapy框架爬取时,UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position解决方法

程序员文章站 2022-04-14 20:41:16
...

编码嘛,不是utf8就是gbk
这里贴上代码

import demjson
start_urls = ['https://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=壁纸&tag=全部&start=0&len=15']

    def parse(self, response):
        content = demjson.decode(response.body.decode('gbk'))# 这样就可以了

首先要管理员身份运行cmd,pip安装一下更强大的json解析库demjson

pip install demjson

然后对要提取的内容进行gbk的解码在用demjson.decode()解析获得python对象的json数据

content = demjson.decode(response.body.decode(‘gbk’))

相关标签: 解决方法 scrapy