欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

记录一次简单的Python爬虫实例

程序员文章站 2022-03-28 08:06:09
...
本次的这篇文章主要是和大家分享了一篇关于记录一次简单的Python爬虫实例 ,有需要的小伙伴可以看一下。

主要流程分为:

爬取、整理、存储

1.其中用到几个包,包括

requests 用于向网站发送请求,并获得网页代码

BeautifulSoup4 用于处理获得的网页代码,提取有效信息

pandas 用于存储信息

其中在to_excel(‘docname.xlsx’)时,可能去要另外的包 openpyxl

import requests
from bs4 import BeautifulSoup
import re
import json
import pandas
import excel
import sqlite3
# import openpyxl

2.以爬取新浪网址中各个新闻的责任编辑为例子

可以按照倒推的方式确定def的functions

获取到了当条新闻下的网页网址后,如何获得责任编辑?

d

ef getComments(url):
    # 向url对应网址发送请求,获取到的网页内容存储在res中
    res=requests.get(url)
    # 将res内容编码,编码的方式'utf-8'根据网页的charset而定
    res.encoding='utf-8'
    # 因为需要处理res,因此将文本存入soup
    # html.parser不清楚是干嘛的
    soup=BeautifulSoup(res.text,'html.parser')
    # 根据所需要的内容,通过BS4的select选择,得到数组,用[0]取出元素
    # 因为是文本所以直接通过.text得到所需要的内容
    return soup.select('.show_author')[0].text
# 在soup.select('.link')[0]中,若为id则带#
#                             若为class则带.
#                             其他的如a和h1等则无要求
#其中需要层层select并取[0]
#有些有多元素,则需通过for遍历

ii) 根据主页面如何获得各条新闻网页的网址

某行文件是在json中发现,因此通过comments=requests.get(‘url’)再

jd=json.loads(comments.text.strip(‘var data=‘))

jd=[‘result’][‘count’][‘total’] ==>这里为字典中的字典,可以从网页检查元素的preview中查看

==>可转化为字典

其中要恢复成字典,左右两头多出了什么就要通过strip()去除

有些需要分左右侧分别删除则通过lstrip()与rstrip(),即left和right

==>for ent in ~:

ent[‘url’]

***) soup.select()到的所需元素在同一个类中,则可以使用contents[0]区分

***)time与str间的转换

from datetime import date time
Str==>time        dt=datetime.strptime(timesource,’%Y%m%d’)
time==>Str        dt.strftime(‘%Y-%m-%d’)

***) 将list[]各元素连接

‘-‘.join(list) #将list中的各元素以-方式连接
‘’.join([p.text.strip() for p in soup.select(‘#artibody p’)[:-1]])

***) 对于有多页的网址,则需要找到page对应部分改为{},

然后通过format()进行替换

news_total=[]
for i in range(1,3):
    newsurl=url.format(i)
    newsary=parseListlink(newsurl)
    new_total.extend(newsary)

3. 使用pandas存储数据,其中是DataFrame()功能函数

df=pandas.DataFrame(list)
print(df.head(20))  #显示前20条信息
df.to_excel('news.xlsx') #转存为excel格式,名字为news.xlsx

其中list的格式为

for u in geturl(url):
    excel1 = [] # 循环开始清空数组
    result = {} # 循环开始清空字典
    try:
        # 每个条目在新字典赋值
        result['zeren']=getComments(u)
        result['id']=i
        i=i+1
    except:
        continue
    #每个条目形成数组
    excel1.append(result)
    #在列表中添加数组
    list.extend(excel1)

4. 存储数据库

df=pandas.DataFrame(list)
print(df.head(20))  #显示前20条信息
# df.to_excel('news.xlsx') #转存为excel格式,名字为news.xlsx
with sqlite3.connect('news.sqlite') as db:
    # 存入news.sqlite文件中的news表格
    df.to_sql('news',con=db)
    # 读取/查询news表格并将数据赋值给df2
    df2=pandas.read_sql_query('SELECT * FROM news',con=db)

以上就是记录一次简单的Python爬虫实例的详细内容,更多请关注其它相关文章!

相关标签: Python 爬虫