python爬虫基础——获取新浪国内新闻首页标题新闻内容
程序员文章站
2022-05-02 22:02:05
...
python近几年似乎比较火,近段时间研究了一点基础和爬虫,也是看着视频跟着做的。感觉python确实有很多独特的有点。好了废话不多说了,贴上自己练习写的一点代码,希望能对和我一样的初学者些许帮助吧
from bs4 import BeautifulSoup
import requests
s=input('回车开始获取 -->')
res=requests.get("http://news.sina.com.cn/china/")
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
alink=soup.select('.news-item')
#print(alink)
#for al in alink:
for index in range(len(alink)):
al=alink[index]
if len(al.select('h2'))>0:
print(str(index+1)+'、'+al.select('h2')[0].select('a')[0].text)
cmd=1
while True:
cmd=input('输入标题序号看新闻正文,输入0结束 -->')
if cmd=='0':
print('程序结束')
break
if(not(cmd.isdigit())):
print('请输入整数!')
continue
if(int(cmd)>len(alink)):
print('输入的索引超过最大值,请重新输入')
continue
al=alink[int(cmd)-1]
contenturl=al.select('h2')[0].select('a')[0].get('href')
res1=requests.get(contenturl)
res1.encoding='utf-8'
soup1=BeautifulSoup(res1.text,'html.parser')
contents=soup1.select('p')
for con in contents:
print(con.text)
#print(alink)
#print(type(res))
上一篇: Requests模块获取网页源代码
下一篇: 爬取学校新闻标题