欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python多线程豆瓣影评API接口爬虫

程序员文章站 2022-04-14 18:26:36
爬虫库 使用简单的requests库,这是一个阻塞的库,速度比较慢。 解析使用XPATH表达式 总体采用类的形式 多线程 使用concurrent.future并发模块,建立线程池,把future对象扔进去执行即可实现并发爬取效果 数据存储 使用Python ORM sqlalchemy保存到数据库 ......

爬虫库

使用简单的requests库,这是一个阻塞的库,速度比较慢。
解析使用xpath表达式
总体采用类的形式

多线程

使用concurrent.future并发模块,建立线程池,把future对象扔进去执行即可实现并发爬取效果

数据存储

使用python orm sqlalchemy保存到数据库,也可以使用自带的csv模块存在csv中。

api接口

因为api接口存在数据保护情况,一个电影的每一个分类只能抓取前25页,全部评论、好评、中评、差评所有分类能爬100页,每页有20个数据,即最多为两千条数据。

因为时效性原因,不保证代码能爬到数据,只是给大家一个参考思路,上代码

from datetime import datetime
import random
import csv
from concurrent.futures import threadpoolexecutor, as_completed

from lxml import etree
import pymysql
import requests

from models import create_session, comments

#随机ua
useragent = [
    'mozilla/5.0 (windows nt 6.1; wow64) applewebkit/535.1 (khtml, like gecko) chrome/14.0.835.163 safari/535.1',
    'mozilla/5.0 (macintosh; intel mac os x 10_12_6) applewebkit/537.36 (khtml, like gecko) chrome/73.0.3683.103 safari/537.36',
    'mozilla/5.0 (windows nt 6.1; wow64; rv:6.0) gecko/20100101 firefox/6.0',
    'mozilla/5.0 (windows nt 6.1; wow64) applewebkit/534.50 (khtml, like gecko) version/5.1 safari/534.50',
    'opera/9.80 (windows nt 6.1; u; zh-cn) presto/2.9.168 version/11.50',
    'mozilla/5.0 (windows; u; windows nt 6.1; ) applewebkit/534.12 (khtml, like gecko) maxthon/3.0 safari/534.12'
]


class commentfetcher:
    headers = {'user-agent': ''}
    cookie = ''
    cookies = {'cookie': cookie}
    # cookie为登录后的cookie,需要自行复制
    base_node = '//div[@class="comment-item"]'


    def __init__(self, movie_id, start, type=''):
        '''
        :type: 全部评论:'', 好评:h 中评:m 差评:l
        :movie_id: 影片的id号
        :start: 开始的记录数,0-480
        '''
        self.movie_id = movie_id
        self.start = start
        self.type = type
        self.url = 'https://movie.douban.com/subject/{id}/comments?start={start}&limit=20&sort=new_score\&status=p&percent_type={type}&comments_only=1'.format(
            id=str(self.movie_id),
            start=str(self.start),
            type=self.type
        )
        #创建数据库连接
        self.session = create_session()

    #随机useragent
    def _random_ua(self):
        self.headers['user-agent'] = random.choice(useragent)


    #获取api接口,使用get方法,返回的数据为json数据,需要提取里面的html
    def _get(self):
        self._random_ua()
        res = ''
        try:
            res = requests.get(self.url, cookies=self.cookies, headers=self.headers)
            res = res.json()['html']
        except exception as e:
            print('ip被封,请使用代理ip')
        print('正在获取{} 开始的记录'.format(self.start))
        return res

    def _parse(self):
        res = self._get()
        dom = etree.html(res)

        #id号
        self.id = dom.xpath(self.base_node + '/@data-cid')
        #用户名
        self.username = dom.xpath(self.base_node + '/div[@class="avatar"]/a/@title')
        #用户连接
        self.user_center = dom.xpath(self.base_node + '/div[@class="avatar"]/a/@href')
        #点赞数
        self.vote = dom.xpath(self.base_node + '//span[@class="votes"]/text()')
        #星级
        self.star = dom.xpath(self.base_node + '//span[contains(@class,"rating")]/@title')
        #发表时间
        self.time = dom.xpath(self.base_node + '//span[@class="comment-time "]/@title')
        #评论内容 所有span标签class名为short的节点文本
        self.content = dom.xpath(self.base_node + '//span[@class="short"]/text()')

    #保存到数据库
    def save_to_database(self):
        self._parse()
        for i in range(len(self.id)):
            try:
                comment = comments(
                    id=int(self.id[i]),
                    username=self.username[i],
                    user_center=self.user_center[i],
                    vote=int(self.vote[i]),
                    star=self.star[i],
                    time=datetime.strptime(self.time[i], '%y-%m-%d %h:%m:%s'),
                    content=self.content[i]
                )

                self.session.add(comment)
                self.session.commit()
                return 'finish'


            except pymysql.err.integrityerror as e:
                print('数据重复,不做任何处理')

            except exception as e:
                #数据添加错误,回滚
                self.session.rollback()

            finally:
                #关闭数据库连接
                self.session.close()

    #保存到csv
    def save_to_csv(self):
        self._parse()
        f = open('comment.csv', 'w', encoding='utf-8')
        csv_in = csv.writer(f, dialect='excel')
        for i in range(len(self.id)):
            csv_in.writerow([
                int(self.id[i]),
                self.username[i],
                self.user_center[i],
                int(self.vote[i]),
                self.time[i],
                self.content[i]
            ])
        f.close()


if __name__ == '__main__':
    with threadpoolexecutor(max_workers=4) as executor:
        futures = []
        for i in ['', 'h', 'm', 'l']:
            for j in range(25):
                fetcher = commentfetcher(movie_id=26266893, start=j * 20, type=i)
                futures.append(executor.submit(fetcher.save_to_csv))

        for f in as_completed(futures):
            try:
                res = f.done()
                if res:
                    ret_data = f.result()
                    if ret_data == 'finish':
                        print('{} 成功保存数据'.format(str(f)))
            except exception as e:
                f.cancel()