使用Scrapy爬取动态数据
程序员文章站
2022-05-10 22:14:50
对于动态数据的爬取,可以选择selenium和phantomjs两种方式,本文选择的是phantomjs。
网址:
https://s.taobao.com/sea...
对于动态数据的爬取,可以选择selenium
和phantomjs
两种方式,本文选择的是phantomjs。
网址:
https://s.taobao.com/search?q=%e7%ac%94%e8%ae%b0%e6%9c%ac%e7%94%b5%e8%84%91&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceid=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306
1.首先第一步,对中间件的设置。
进入pipelines.py
文件中:
from selenium import webdriver from scrapy.http.response.html import htmlresponse from scrapy.http.response import response class seleniumspidermiddleware(object): def __init__(self): self.driver = webdriver.phantomjs() def process_request(self ,request ,spider): # 当引擎从调度器中取出request进行请求发送下载器之前 # 会先执行当前的爬虫中间件 ,在中间件里面使用selenium # 请求这个request ,拿到动态网站的数据 然后将请求 # 返回给spider爬虫对象 if spider.name == 'taobao': # 使用爬虫文件的url地址 spider.driver.get(request.url) for x in range(1 ,12 ,2): i = float(x) / 11 # scrolltop 从上往下的滑动距离 js = 'document.body.scrolltop=document.body.scrollheight * %f' % i spider.driver.execute_script(js) response = htmlresponse(url=request.url, body=spider.driver.page_source, encoding='utf-8', request=request) # 这个地方只能返回response对象,当返回了response对象,那么可以直接跳过下载中间件,将response的值传递给引擎,引擎又传递给 spider进行解析 return response
在设置中,要将middlewares
设置打开。
进入settings.py
文件中,将
downloader_middlewares = { 'taobaospider.middlewares.seleniumspidermiddleware': 543, }
打开。
2.第二步,爬取数据
回到spider爬虫文件中。
引入:
from selenium import webdriver
自定义属性:
def __init__(self): self.driver = webdriver.phantomjs()
查找数据和分析数据:
def parse(self, response): div_info = response.xpath('//div[@class="info-cont"]') print(div_info) for div in div_info: title = div.xpath('.//div[@class="title-row "]/a/text()').extract_first('') # title = self.driver.find_element_by_class_name("title-row").text print('名称:', title) price = div.xpath('.//div[@class="sale-row row"]/div/span[2]/strong/text()').extract_first('')
3.第三步,传送数据到item中:
在item.py
文件中:
name = scrapy.field() price = scrapy.field()
回到spider.py
爬虫文件中:
引入:
from ..items import taobaospideritem
传送数据:
#创建实例化对象。
item = taobaospideritem() item['name'] = title item['price'] = price yield item
在设置中,打开:
item_pipelines = { 'taobaospider.pipelines.taobaospiderpipeline': 300, }
4.第四步,写入数据库:
进入管道文件中。
引入
import sqlite3 写入数据库的代码如下: class taobaospiderpipeline(object): def __init__(self): self.connect = sqlite3.connect('taobaodb') self.cursor = self.connect.cursor() self.cursor.execute('create table if not exists taobaotable (name text,price text)') def process_item(self, item, spider): self.cursor.execute('insert into taobaotable (name,price)values ("{}","{}")'.format(item['name'],item['price'])) self.connect.commit() return item def close_spider(self): self.cursor.close() self.connect.close()
在设置中打开:
item_pipelines = { 'taobaospider.pipelines.taobaospiderpipeline': 300, }
因为在上一步,我们已经将管道传送设置打开,所以这一步可以不用重复操作。
然后运行程序,打开数据库查看数据。
至此,程序结束。
下附spider爬虫文件所有代码:
# -*- coding: utf-8 -*- import scrapy from selenium import webdriver from ..items import taobaospideritem class taobaospider(scrapy.spider): name = 'taobao' allowed_domains = ['taobao.com'] start_urls = ['https://s.taobao.com/search?q=%e7%ac%94%e8%ae%b0%e6%9c%ac%e7%94%b5%e8%84%91&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceid=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306'] def __init__(self): self.driver = webdriver.phantomjs() def parse(self, response): div_info = response.xpath('//div[@class="info-cont"]') print(div_info) for div in div_info: title = div.xpath('.//div[@class="title-row "]/a/text()').extract_first('') print('名称:', title) price = div.xpath('.//div[@class="sale-row row"]/div/span[2]/strong/text()').extract_first('') item = taobaospideritem() item['name'] = title item['price'] = price yield item def close(self,reason): print('结束了',reason) self.driver.quit()
关于scrapy的中文文档:http://scrapy-chs.readthedocs.io/zh_cn/latest/faq.html
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接
上一篇: python去掉 unicode 字符串前面的u方法
下一篇: 程序员那些悲催的事儿