利用python bs4爬取企业逾期数据
程序员文章站
2022-05-04 16:52:53
...
'''
参考文档:http://docs.python-requests.org/zh_CN/latest/user/quickstart.html requests
https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html bs4
'''
# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup
import requests
url='http://www.hnxcdb.com/readgg.asp?id=1623'
html=requests.get(url)
html.encoding='gb2312' # 查看网页编码
html=html.text
content=BeautifulSoup(html,'html.parser').tbody # 定位tag
res=[]
for ele in content.find_all('tr'):
a=[]
for ele1 in ele.find_all('td'):
if not ele1.string is None:
a.append(ele1.string.strip())
print(a)
temp=','.join(a)
res.append(temp)
推荐阅读
-
python利用xpath爬取网上数据并存储到django模型中
-
利用python3爬虫爬取全国天气数据并保存入Mysql数据库
-
【Python Scrapy 爬虫框架】 5、利用 pipelines 和 settings 将爬取数据存储到 MongoDB
-
python3 利用requests爬取拉勾网数据
-
利用Python爬取QQ空间!四百万数据要多久?现在来揭秘!
-
python利用bs4爬取外国高清图片网站
-
利用python bs4爬取个人逾期数据
-
python利用 request bs4 模块爬取imgur网站图片
-
利用python bs4爬取企业逾期数据
-
利用python+scrapy+mysql爬取虎扑NBA球员数据存入数据库