爬取网页文本数据--Python
程序员文章站
2022-07-08 16:08:47
对网页中的文本数据进行爬取最近在研究爬虫相关的内容,作为记录方便使用是查阅。本文爬取的网址是长沙市统计局望城区2019年国民经济和社会发展统计公报step1: 导入需要用到的库包import requests #爬取网页的库from bs4 import BeautifulSoup #用于解析网页的库step2:设置headers,网址, 爬取网页headers = { 'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64)...
对网页中的文本数据进行爬取
最近在研究爬虫相关的内容,作为记录方便使用是查阅。
本文爬取的网址是长沙市统计局望城区2019年国民经济和社会发展统计公报
step1: 导入需要用到的库包
import requests #爬取网页的库
from bs4 import BeautifulSoup #用于解析网页的库
step2:设置headers,网址, 爬取网页
headers = {
'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36",
} # 构造请求头
url = 'http://tjj.changsha.gov.cn/tjxx/tjsj/tjgb/202010/t20201016_9060722.html'
response = requests.request("GET", url, headers=headers) # 获取网页数据
response.encoding = response.apparent_encoding # 当获取的网页有乱码时加
此时得到的结果即为该网址所示:网页源文件
step3:对获取的结果进行解析,拿到文本结果
soup = BeautifulSoup(response.text, 'html.parser')
bf = soup.find('div', class_='view TRS_UEDITOR trs_paper_default trs_web')
部分结果展示如下:
注:后续会把标题加上在补充上
本文地址:https://blog.csdn.net/xiaoxiaojie521/article/details/110919777
上一篇: Android实现扫雷小游戏