python 抓取新浪新闻—标题,时间,来源
程序员文章站
2022-03-02 19:38:55
...
import requests
from bs4 import BeautifulSoup
from datetime import datetime
res=requests.get('http://news.sina.com.cn/w/2018-07-26/doc-ihfvkitx2799504.shtml')
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
#抓取新闻内文标题
title=soup.select('.main-title')[0].text
#获得新闻内文时间
date=soup.select('.date')[0].contents[0].strip() #字符串类型
print(date)
#字符串转换数字
dt=datetime.strptime(date,'%Y年%m月%d日 %H:%M')
#数字转字符串
print(dt.strftime('%Y-%m-%d '))
#获取新闻来源
source=soup.select('.source')[0].text
print(title,dt,source)
爬取结果:
2018年07月26日 19:16 2018-07-26 巴基斯坦刚刚“变天” “巴铁”会变心吗? 2018-07-26 19:16:00 环球网
对比:
date=soup.select('.date')[0]
print(date)
结果:
<span class="date">2018年07月26日 19:16</span>
date=soup.select('.date')
print(date)
结果:
[<span class="date">2018年07月26日 19:16</span>]
date=soup.select('.date')[0].contents[0]
print(date)
结果:
2018年07月26日 19:16
date=soup.select('.date')[0].contents[0].strip()
print(date)
结果:
2018年07月26日 19:16
推荐阅读
-
python爬虫-使用BeautifulSoup爬取新浪新闻标题
-
Python利用Beautiful Soup抓取新闻标题
-
18Python爬虫---CrawlSpider自动爬取新浪新闻网页标题和链接
-
Python bs4抓取新浪新闻简单版
-
Python爬虫:新浪新闻详情页的数据抓取(函数版)
-
python爬虫基础——获取新浪国内新闻首页标题新闻内容
-
19Python爬虫--爬取新浪新闻标题并保存到数据库
-
网络爬虫爬取新浪某篇文章的标题、日期时间、来源、作者及文章内容(Python)
-
python 抓取新浪新闻—标题,时间,来源
-
爬取在新浪财经中搜索“贵州茅台”得到的信息,包括新闻标题、网址、来源、日期。