【CSDN搬家到WordPress】CSDN搬家到WordPress和自动同步

程序员文章站 2022-07-02 15:29:14

需要环境：Python3.6ScrapyPyMySQL安装模块推荐使用anaconda安装新模块，在命令行中输入：conda install -c conda-forge scrapyconda install -c anaconda pymysql12创建项目创建Scrapy项目，在命令行中输入：scrapy startproject myblog1爬取信息......

需要环境：

Python3.6
Scrapy
PyMySQL
安装模块
推荐使用anaconda安装新模块，在命令行中输入：

conda install -c conda-forge scrapy 
conda install -c anaconda pymysql

创建项目
创建Scrapy项目，在命令行中输入：

scrapy startproject myblog

爬取信息

我们需要的数据有文章标题，文章链接，发表日期，文章内容，在item.py中定义我们要爬取的字段

import scrapy
class MyblogItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    href = scrapy.Field()
    date = scrapy.Field()
    content = scrapy.Field()
    pass

通过观察，发现CSDN的文章列表链接为：
https://blog.csdn.net/用户名/article/list/页数
所以我们创建spider/list_spider.py，用来抓取和分析网页。此时目录结构为：

myblog
│  items.py
│  middlewares.py
│  pipelines.py
│  settings.py
│  __init__.py
│
├─spiders
│  │  list_spider.py
│  │  __init__.py
│  │
│  └─__pycache__
│          list_spider.cpython-36.pyc
│          __init__.cpython-36.pyc
│
└─__pycache__
        settings.cpython-36.pyc
        __init__.cpython-36.pyc

在list_spider.py中编写ListSpider类，构造访问请求：

import scrapy
class ListSpider(scrapy.Spider):
    name = "list"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/qq_42623428/article/list/4",
    ]

然后再编写parser()函数，用来解析网页：

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors 。关于selector和其他提取机制的信息请参考 Selector文档。

这里给出XPath表达式的例子及对应的含义:

/html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
/html/head/title/text(): 选择上面提到的 <title> 元素的文字
//td: 选择所有的 <td> 元素
//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

    def parse(self, response):
        for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
            url = item.xpath("h4/a/@href").extract()
            title = item.xpath("h4/a/text()").extract()[1].strip()
            date = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()
            print([url, title, date])

打印后可以看到如下信息：

 'date': '2018-09-30 17:27:01',
 'title': '银行业务队列简单模拟',
 'url': 'https://blog.csdn.net/qq_42623428/article/details/82912058'}

使用item
Item 对象是自定义python字典。您可以使用标准的字典语法来获取到其每个字段的值。(字段即是我们之前用Field赋值的属性):

>>> item = MyblogItem()
>>> item['title'] = 'Example title'
>>> item['title'] = 'Example title'

为了将爬取的数据返回，我们最终的代码是:

import scrapy
from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):
    name = "list"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/qq_42623428/article/list/4",
    ]
    def parse(self, response):
        for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
            item = MyblogItem()
            item['url'] = item.xpath("h4/a/@href").extract()
            item['title'] = item.xpath("h4/a/text()").extract()[1].strip()
            item['date'] = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()
            yield item

追踪链接
接下来, 我们需要通过已经获取的url地址来访问各个文章标题所对应的文章内容，然后保存在item['content']中，下面是实现这个功能的改进版spider：

import scrapy
from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):
    name = "list"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/qq_42623428/article/list/4",
    ]
    def parse(self, response):
        for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
            item = MyblogItem()
            item['url'] = data.xpath("h4/a/@href").extract()[0]
            item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
            item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
            url = data.xpath("h4/a/@href").extract()[0]
            request = scrapy.Request(url, callback=self.parse_dir_contents)
            request.meta['item'] = item
            yield request

#在某些情况下，您如果希望在回调函数们之间传递参数，可以使用Request.meta

    def parse_dir_contents(self, response):
        item = response.meta['item']
        item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
        yield item

这样，我们就可以保存所有我们需要的信息，但现在还有一个问题：我们刚才所进行的操作是将该博客目录的某一页的文章采集下来，但如果我们的博客目录有多页，我们想要将所有的文章采集下来呢？

我们在文章列表第一页https://blog.csdn.net/qq_42623428/article/list/1的基础上，改变最后的数字，就可以访问对应的页数，从1开始循环，当判断下一页内容为空时停止，我们对spider再作改进。

import scrapy
from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):
    name = "list"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/qq_42623428/article/list/1",
    ]

    def parse(self, response):
        for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
            item = MyblogItem()
            item['url'] = data.xpath("h4/a/@href").extract()[0]
            item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
            item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
            url = data.xpath("h4/a/@href").extract()[0]
            request = scrapy.Request(url, callback=self.parse_dir_contents)
            request.meta['item'] = item
            yield request

        next_url = response.url.split('/')
        next_url[-1] = str(int(next_url[-1])+1)
        next_url = '/'.join(next_url)
        yield scrapy.Request(next_url, callback=self.isEmpty)

    def isEmpty(self, response):
        content = response.xpath("//main/div[@class='no-data d-flex flex-column justify-content-center align-items-center']").extract()
        if content == [] :
            return self.parse(response)

    def parse_dir_contents(self, response):
        item = response.meta['item']
        item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
        yield item

保存数据
在命令行中输入命令：

scrapy crawl list -o items.json

该命令将采用 JSON 格式对爬取的数据进行序列化，生成 items.json 文件。

同步数据
Item Pipeline
为了保证采集到的数据与CSDN博客同步，当博客内容更新之后，我们必须再次爬取数据。但再次爬取的数据与已经保存的数据有重合，所以我们需要对新爬取的数据进行验证后再同步到WordPress。于是我们需要使用到Item Pipeline。

当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。

每个item pipeline组件(有时称之为Item Pipeline)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃而不再进行处理。

以下是item pipeline的一些典型应用：

清理HTML数据

验证爬取的数据(检查item包含某些字段)

查重(并丢弃)

将爬取结果保存到数据库中

PyMySQL
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库。

项目地址
参考文档
Scrapy 1.0 中文文档 https://scrapy-chs.readthedocs.io/zh_CN/1.0/index.html
PyMySQL 0.9.2 https://pypi.org/project/PyMySQL/
---------------------
作者：Willimt
来源：CSDN
原文：https://blog.csdn.net/qq_40531392/article/details/83474782
版权声明：本文为博主原创文章，转载请附上博文链接！