欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

【Python3爬虫】百度一下,坑死你?

程序员文章站 2023-09-01 23:26:20
一、写在前面 这个标题是借用的路人甲大佬的一篇文章的标题(百度一下,坑死你),而且这次的爬虫也是看了这篇文章后才写出来的,感兴趣的可以先看下这篇文章。 前段时间有篇文章《搜索引擎百度已死》引起了很多讨论,而百度对此的回复是:百家号的内容在百度搜索结果中不超过10%。但是这个10%是第一页的10%还是 ......

一、写在前面

这个标题是借用的路人甲大佬的一篇文章的标题(百度一下,坑死你),而且这次的爬虫也是看了这篇文章后才写出来的,感兴趣的可以先看下这篇文章。

前段时间有篇文章《搜索引擎百度已死》引起了很多讨论,而百度对此的回复是:百家号的内容在百度搜索结果中不超过10%。但是这个10%是第一页的10%还是所有数据的10%,我们不得而知,但是由于很多人都只会看第一页的内容,而如果这第一页里有十分之一的内容都来自于百家号,那搜索体验恐怕不怎么好吧?然后我这次写的爬虫就是把百度上面的热搜事件都搜索一下,然后把搜索结果的第一页上的标题链接提取出来,最后对这些链接进行一些简单的分析,看看百家号的内容占比能有多少。

 

二、具体步骤

1.页面分析

首先打开网页查看百度的热点事件,页面如下:

【Python3爬虫】百度一下,坑死你?

这次我主要对今日热点、娱乐热点、体育热点进行了爬取,每个热点下面有50条热点事件,然后对每个事件进行搜索,比如第一条--马云的福字:

【Python3爬虫】百度一下,坑死你?

可以看到搜索结果的第一页上有很多标题,然后对这些标题的链接进行爬取,再保存到一个txt文件里,最后对这些数据进行分析。

 

2.主要代码

(1)获取真实链接

这些搜索结果页面上的链接都是经过加密的,如下图:

 【Python3爬虫】百度一下,坑死你?

所以我们爬取得到的链接都是http://www.baidu.com/link?url=vfa2jxmqjdyt1u-g0whjwixglvei-wcxpa8aamceozkqk-c5cgyngpijt6_-kmwe3epthcpgylx5oq9sqdjgeukkcy19o26jls1peignlupbw0ss9ro3gqjyvujljdxybpfidujhm9odv_0mknruhesj95az1onb6mmscmcxiui这种,但是我们点进去之后就能得到真实的链接https://www.baidu.com/s?tn=news&rtt=1&bsst=1&wd=%e9%a9%ac%e4%ba%91%e7%9a%84%e7%a6%8f%e5%ad%97&cl=2&origin=ps,那我们要怎么得到真实的链接呢?相关代码如下:

1 def get_real_url(self, fake_url):
2     # 获取真实的链接
3     try:
4         res = requests.get(fake_url, headers=self.headers)
5         real_url = res.url
6     except exception as e:
7         print(e)

(2)数据处理

 这里我总共爬取了1051条链接,如下图:

【Python3爬虫】百度一下,坑死你?

但是这样的数据是明显没有办法进行分析的,所以需要进行一下处理,比如将https://baijiahao.baidu.com/s?id=1624053575252859170&wfr=spider&for=pc变成baijiahao.baidu,相关代码如下:

1 href = "https://baijiahao.baidu.com/s?id=1624053575252859170&wfr=spider&for=pc"
2 match = re.match("(http[s]?://.+?[com,cn,net]/)", href) 
3 href = match.group()
4 href = href.replace('cn', 'com').replace('net', 'com')
5 href = href[href.index(':') + 3:].rstrip('.com/')
6 print(href)
7 # baijiahao.baidu

(3)数据分析

 这里主要使用了matplotlib绘图帮助我们分析数据。首先需要统计出各个网站出现的次数,然后进行一个排序,得到排名前十的网站,结果如下(前面是网站,后面是出现次数):

https://baijiahao.baidu.com/  188
https://www.baidu.com/  114
http://www.sohu.com/  60
https://news.china.com/  29
http://www.guangyuanol.cn/  27
http://image.baidu.com/ 24
http://3g.163.com/  20
https://sports.qq.com/  19
https://www.iqiyi.com/ 17
https://baike.baidu.com/  17

可以看到百家号出现的次数是最多的。然后进行绘图分析,这里主要是绘图的代码,因为使用的是百分数,所以在绘图的时候会稍微麻烦一点:

 1 def plot(self, index_list, value_list):
 2    b = self.ax.barh(range(len(index_list)), value_list, color='blue', height=0.8)
 3    # 添加数据标签
 4     for rect in b:
 5         w = rect.get_width()
 6         self.ax.text(w, rect.get_y() + rect.get_height() / 2, '{}%'.format(w),
 7                      ha='left', va='center')
 8     # 设置y轴刻度线标签
 9     self.ax.set_yticks(range(len(index_list)))
10     self.ax.set_yticklabels(index_list)
11     # 设置x轴刻度线
12     lst = ["{}%".format(i) for i in range(0, 20, 2)]
13     self.ax.set_xticklabels(lst)
14 
15     plt.subplots_adjust(left=0.25)
16     plt.xlabel("占比")
17     plt.ylabel("网站")
18     plt.rcparams['font.sans-serif'] = ['simhei']
19     plt.savefig("bjh.jpg")
20     print("已保存为bjh.jpg!")

 

三、运行结果

由于每个事件的搜索结果都是不同的,所以在解析网页的时候可能会出错,然后就是请求频率太高了会被ban掉,而且有时候ua会被识别出来然后就被ban掉了,运行情况如下图:

 【Python3爬虫】百度一下,坑死你?

 最后看一下绘制出来的图片:

【Python3爬虫】百度一下,坑死你?

可以看到百家号的内容占比达到了17%,而排在第二的也是百度自家的产品,内容占比也达到了10%。当然了,由于搜索的都是百度上的热搜事件,所以得到的结果百度自家的内容会多一点,但是光百家号的内容就占了17%,是不是也太多了点呢?

 

完整代码已上传到github