爬取界面中“贵州茅台”相关新闻的标题、网址和日期。
程序员文章站
2022-05-02 22:01:41
...
1 需求
爬取界面中“贵州茅台”相关新闻的标题、网址和日期。
2 代码实现
import re
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(options=chrome_options)
# 获取网页源代码
url = 'https://a.jiemian.com/index.php?m=search&a=index&msg=贵州茅台&type=news'
browser.get(url=url)
data = browser.page_source
# 获取网页标题
p_title = '<div class="news-header">.*?title="(.*?)">'
title = re.findall(p_title, data)
# 获取网页网址
p_href = '<div class="news-view.*?href="(.*?)" target="_blank"'
href = re.findall(p_href, data)
# 获取新闻日期
p_date = '<span class="date">(.*?)</span>'
date = re.findall(p_date, data)
# 数据整理
for index in range(len(title)):
print(str(index + 1) + "." + title[index] + "(" + date[index] + ")")
print(href[index])