欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Python爬取静态页面

程序员文章站 2022-06-09 19:09:57
...

操作内容:爬取豆瓣电影Top 250所有电影的电影名称

代码实现:

import urllib.request
from bs4 import BeautifulSoup
import pymysql

#全局变量,存放电影
movielist=[]
url='https://movie.douban.com/top250'

#获取
def get_html(url):
    res=urllib.request.urlopen(url)
    html = res.read().decode() # decode解码
    return html

#分析
def parse_html(htmlfile):
    mysoup=BeautifulSoup(htmlfile,'html.parser')
    movie_zone=mysoup.find('ol') #ol代表所有电影的区域
    movie_list=movie_zone.find_all('li') #每个li代表一部电影
    for movie in movie_list:
        movie_name=movie.find('span',attrs={'class':'title'}).getText()
        movielist.append(movie_name) #获取每部电影的名字并存到list中
        #上述为当前页面,下面查找后面页
        nextpage=mysoup.find('span',attrs={'class':'next'}).find('a')
        #只要不是最后一页就不为空
    if nextpage:
        new_url=url+nextpage['href']
        parse_html(get_html(new_url))#递归获取并解析
        
#存储
def save_data(movielist):
    #创建数据库连接
    con=pymysql.connect(host='localhost',user='root',password='mysql',db='test')
    #创建一个游标,通过游标访问数据库
    mycursor=con.cursor()
    #访问数据库,创建表,存储数据使用utf8编码方式
    sql='CREATE TABLE movie250 (id varchar(10),name varchar(20))default charset=utf8'
    mycursor.excute(sql)
    sql=''
    for id,movie in enumerate(movielist):
        sql="insert into movie250 values(%s,%s)"
        mycursor.excute(sql,(id,movie))
    con.commit()
    mycursor.close()
    con.close()

reshtml=get_html(url)
parse_html(reshtml)
print(movielist)
save_data(movielist)

具体步骤:

1.模拟http请求,请求发送到目标网址

(1)urllib.result  openurl(url)

(2)Requests 定制 header 反爬虫

2.获取返回的html  read()

3.数据解析——从海量数据中提取需要的部分

(1)正则

(2)字符串搜索

(3)BeautifulSoup 做解析

4.数据存储——存储到文件,打印输出,存储到数据库

存到数据库:MySQL pymysql 访问数据库  mysql-connect

相关标签: 2019 Python