利用scrapy爬取网页数据的初级实践

一、搭建python开发环境

点击查看python环境搭建教程链接

二、安装scrapy框架

python基本环境搭建好后，打开cmd进入安装目录（我的安装目录为python）下的Script目录：

 并建议将该文件夹路径加入系统环境变量，否则可能影响后面利用scrapy创建项目的步骤：

1、安装wheel

pip install wheel

2、安装lxml

pip install lxml

3、安装pyopenssl

pip install pyopenssl

4、安装Twisted

pip install Twisted

5、安装pywin32

pip install pywin32

6、安装scrapy

pip install scrapy

在cmd输入scrapy，可查看当前scrapy版本信息， 安装成功。

 三、利用scrapy爬取第一段网站数据

在安装环*新建一个工作目录（我的工作目录为PyWork），同样用cmd进入该目录，并且输入：

scrapy startproject tutal

其中tutal为项目名，可更改。

 此时将在你的工作目录中生成文件名为tutal的项目文件

 再次在cmd中输入：

scrapy genspider csdn_spider csdn.net

该操作会在上图spider文件夹中生成csdn_spider.py，其中csdn_spider为该爬虫项目名，csdn.net为要爬取数据的域名。

用IDE打开csdn_spider.py文件，将start_url变量中的链接修改为https://www.csdn.net/和https://download.csdn.net/：

# -*- coding: utf-8 -*-
import scrapy


class CsdnSpiderSpider(scrapy.Spider):
    name = 'csdn_spider'
    allowed_domains = ['csdn.net']
    start_urls = ['https://www.csdn.net/','https://download.csdn.net/']

    #爬取上面两个页面的逻辑
    def parse(self, response):
        filename = response.url.split('/')[-2] + ".html"
        with open(filename, 'wb') as fp:
            fp.write(response.body)

最后一步，运行项目。

在cmd中输入

scrapy crawl csdn_spider

查看运行结果

爬取的数据以html格式的文件存储在项目根目录下：

到此，第一个简单的爬取网页数据的爬虫代码运行完成。