Scrapy

scrapy 学习笔记

• 在window下，还需要安装pywin32模块

• 特别注意爬虫中的允许域名:当怎么爬取都没有数据时，检测是否域名没有添加

• scrapy基本流程

  • 创建scrapy-spider项目

    scrapy startprojec scrapy-spider 
    

  • 创建爬虫baidu

    scrapy genspider baidu baidu.com
    

    生产crawlspider, 可以自动提取url

    scrapy genspider -t crawl  baidu baidu.com
    

  • 开启配置

    • 日志输出信息

    LOG_LEVEL = "WARNING"
    

    还可以使用logging模块，生成日志文件

    • 数据传输管道

    ITEM_PIPELINES = {
        'prmeizi.pipelines.PrmeiziPipeline': 300,
    }