欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

爬取在新浪财经中搜索“贵州茅台”得到的信息,包括新闻标题、网址、来源、日期。

程序员文章站 2022-03-02 19:38:49
...

1 需求

爬取在新浪财经中搜索“贵州茅台”(https://search.sina.com.cn/?q=贵州茅台&c=news&from=channel)得到的信息,包括新闻标题、网址、来源、日期。

2 代码实现

import requests
import re


# 获取网页源代码
url = 'https://search.sina.com.cn/?q=贵州茅台&c=news&from=channel'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0'}
source = requests.get(url=url, headers=headers).text
# 获取网页图片的下载地址
p_img = ';" src="(.*?)" />'
img = re.findall(p_img, source)
# 获取网页标题
p_title = '.shtml" target="_blank">(.*?)</a>'
title = re.findall(p_title, source)
# 获取网页网址
p_href = '<h2><a href="(.*?)" target="_blank">'
href = re.findall(p_href, source)
# 获取来源
p_come = '<span class="fgray_time">(.*?)</span></h2>'
come = re.findall(p_come, source)
# 数据清理并存储
for index in range(len(title)):
    title[index] = re.sub('<.*?>', '', title[index]).strip()
    file = open('images/' + title[index] + ".jpg", 'wb')
    pic = requests.get(img[index])
    file.write(pic.content)
    file.close()
    print(str(index + 1) + "." + title[index] + "(" + href[index] + ")")