python爬虫基础 --爬取股吧前十页数据
程序员文章站
2022-05-02 22:13:53
...
新建文件夹 ./guba/ 爬取的十页数据会自动存到guba文件夹下
import requests
import os
for i in range(10):
base_url = 'http://guba.eastmoney.com/default,99_'f'{i}.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36',
}
filename = './guba/'
if not os.path.exists(filename):
os.mkdir(filename)
response = requests.get(base_url, headers=headers)
with open(filename + '/{}.html'.format(i + 1), 'w', encoding='utf-8') as fp:
fp.write(response.text)
上一篇: 股吧网站翻页爬取前十页
推荐阅读
-
Python实现爬取百度贴吧帖子所有楼层图片的爬虫示例
-
python爬虫教程之爬取百度贴吧并下载的示例
-
网易云歌单信息爬取及数据分析(python爬虫)
-
Python爬取租房数据实例,据说可以入门爬虫的小案例!
-
[python爬虫]爬取英雄联盟所有英雄数据并下载所有英雄皮肤
-
基础爬虫,谁学谁会,用requests、正则表达式爬取豆瓣Top250电影数据!
-
荐 Python爬虫:基于Scrapy爬取京东商品数据并保存到mysql且下载商品图片
-
Python爬虫之简单的爬取百度贴吧数据
-
Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤
-
python爬虫项目-爬取雪球网金融数据(关注、持续更新)