欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python爬虫基础——获取新浪国内新闻首页标题新闻内容

程序员文章站 2022-05-02 22:02:05
...

python近几年似乎比较火,近段时间研究了一点基础和爬虫,也是看着视频跟着做的。感觉python确实有很多独特的有点。好了废话不多说了,贴上自己练习写的一点代码,希望能对和我一样的初学者些许帮助吧

from bs4 import BeautifulSoup
import requests
s=input('回车开始获取 -->')
res=requests.get("http://news.sina.com.cn/china/")
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
alink=soup.select('.news-item')
#print(alink)
#for al in alink:
for index in range(len(alink)):
    al=alink[index]
    if len(al.select('h2'))>0:
        print(str(index+1)+'、'+al.select('h2')[0].select('a')[0].text)
cmd=1
while True:
	cmd=input('输入标题序号看新闻正文,输入0结束 -->')
	if cmd=='0':
		print('程序结束')
		break
	if(not(cmd.isdigit())):
		print('请输入整数!')
		continue
	if(int(cmd)>len(alink)):
		print('输入的索引超过最大值,请重新输入')
		continue
	al=alink[int(cmd)-1]
	contenturl=al.select('h2')[0].select('a')[0].get('href')
	res1=requests.get(contenturl)
	res1.encoding='utf-8'
	soup1=BeautifulSoup(res1.text,'html.parser')
	contents=soup1.select('p')
	for con in contents:
		print(con.text)
#print(alink)
#print(type(res))