爬取在新浪财经中搜索“贵州茅台”得到的信息,包括新闻标题、网址、来源、日期。
程序员文章站
2022-03-02 19:38:49
...
1 需求
爬取在新浪财经中搜索“贵州茅台”(https://search.sina.com.cn/?q=贵州茅台&c=news&from=channel)得到的信息,包括新闻标题、网址、来源、日期。
2 代码实现
import requests
import re
# 获取网页源代码
url = 'https://search.sina.com.cn/?q=贵州茅台&c=news&from=channel'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0'}
source = requests.get(url=url, headers=headers).text
# 获取网页图片的下载地址
p_img = ';" src="(.*?)" />'
img = re.findall(p_img, source)
# 获取网页标题
p_title = '.shtml" target="_blank">(.*?)</a>'
title = re.findall(p_title, source)
# 获取网页网址
p_href = '<h2><a href="(.*?)" target="_blank">'
href = re.findall(p_href, source)
# 获取来源
p_come = '<span class="fgray_time">(.*?)</span></h2>'
come = re.findall(p_come, source)
# 数据清理并存储
for index in range(len(title)):
title[index] = re.sub('<.*?>', '', title[index]).strip()
file = open('images/' + title[index] + ".jpg", 'wb')
pic = requests.get(img[index])
file.write(pic.content)
file.close()
print(str(index + 1) + "." + title[index] + "(" + href[index] + ")")
下一篇: 动画