欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

爬取界面中“贵州茅台”相关新闻的标题、网址和日期。

程序员文章站 2022-05-02 22:01:41
...

1 需求

爬取界面中“贵州茅台”相关新闻的标题、网址和日期。

2 代码实现

import re

from selenium import webdriver


chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(options=chrome_options)

# 获取网页源代码
url = 'https://a.jiemian.com/index.php?m=search&a=index&msg=贵州茅台&type=news'
browser.get(url=url)
data = browser.page_source

# 获取网页标题
p_title = '<div class="news-header">.*?title="(.*?)">'
title = re.findall(p_title, data)

# 获取网页网址
p_href = '<div class="news-view.*?href="(.*?)" target="_blank"'
href = re.findall(p_href, data)

# 获取新闻日期
p_date = '<span class="date">(.*?)</span>'
date = re.findall(p_date, data)

# 数据整理
for index in range(len(title)):
    print(str(index + 1) + "." + title[index] + "(" + date[index] + ")")
    print(href[index])