欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

【CSDN搬家到WordPress】CSDN搬家到WordPress和自动同步

程序员文章站 2022-04-19 13:32:52
需要环境:Python3.6ScrapyPyMySQL安装模块推荐使用anaconda安装新模块,在命令行中输入:conda install -c conda-forge scrapyconda install -c anaconda pymysql12创建项目创建Scrapy项目,在命令行中输入:scrapy startproject myblog1爬取信息......

需要环境:

Python3.6
Scrapy
PyMySQL
安装模块
推荐使用anaconda安装新模块,在命令行中输入:

conda install -c conda-forge scrapy 
conda install -c anaconda pymysql


创建项目
创建Scrapy项目,在命令行中输入:

scrapy startproject myblog
  1. 爬取信息

我们需要的数据有文章标题,文章链接,发表日期,文章内容,在item.py中定义我们要爬取的字段

import scrapy
class MyblogItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    href = scrapy.Field()
    date = scrapy.Field()
    content = scrapy.Field()
    pass


通过观察,发现CSDN的文章列表链接为:
https://blog.csdn.net/用户名/article/list/页数
所以我们创建spider/list_spider.py,用来抓取和分析网页。此时目录结构为:

myblog
│  items.py
│  middlewares.py
│  pipelines.py
│  settings.py
│  __init__.py
│
├─spiders
│  │  list_spider.py
│  │  __init__.py
│  │
│  └─__pycache__
│          list_spider.cpython-36.pyc
│          __init__.cpython-36.pyc
│
└─__pycache__
        settings.cpython-36.pyc
        __init__.cpython-36.pyc



在list_spider.py中编写ListSpider类,构造访问请求:

import scrapy
class ListSpider(scrapy.Spider):
    name = "list"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/qq_42623428/article/list/4",
    ]


然后再编写parser()函数,用来解析网页:

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors 。 关于selector和其他提取机制的信息请参考 Selector文档 。

这里给出XPath表达式的例子及对应的含义:

/html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
/html/head/title/text(): 选择上面提到的 <title> 元素的文字
//td: 选择所有的 <td> 元素
//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

    def parse(self, response):
        for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
            url = item.xpath("h4/a/@href").extract()
            title = item.xpath("h4/a/text()").extract()[1].strip()
            date = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()
            print([url, title, date])



打印后可以看到如下信息:

 'date': '2018-09-30 17:27:01',
 'title': '银行业务队列简单模拟',
 'url': 'https://blog.csdn.net/qq_42623428/article/details/82912058'}


使用item
Item 对象是自定义python字典。 您可以使用标准的字典语法来获取到其每个字段的值。(字段即是我们之前用Field赋值的属性):

>>> item = MyblogItem()
>>> item['title'] = 'Example title'
>>> item['title'] = 'Example title'


为了将爬取的数据返回,我们最终的代码是:

import scrapy
from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):
    name = "list"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/qq_42623428/article/list/4",
    ]
    def parse(self, response):
        for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
            item = MyblogItem()
            item['url'] = item.xpath("h4/a/@href").extract()
            item['title'] = item.xpath("h4/a/text()").extract()[1].strip()
            item['date'] = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()
            yield item



追踪链接
接下来, 我们需要通过已经获取的url地址来访问各个文章标题所对应的文章内容,然后保存在item['content']中,下面是实现这个功能的改进版spider:

import scrapy
from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):
    name = "list"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/qq_42623428/article/list/4",
    ]
    def parse(self, response):
        for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
            item = MyblogItem()
            item['url'] = data.xpath("h4/a/@href").extract()[0]
            item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
            item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
            url = data.xpath("h4/a/@href").extract()[0]
            request = scrapy.Request(url, callback=self.parse_dir_contents)
            request.meta['item'] = item
            yield request
            


    #在某些情况下,您如果希望在回调函数们之间传递参数,可以使用Request.meta

    def parse_dir_contents(self, response):
        item = response.meta['item']
        item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
        yield item



这样,我们就可以保存所有我们需要的信息,但现在还有一个问题:我们刚才所进行的操作是将该博客目录的某一页的文章采集下来,但如果我们的博客目录有多页,我们想要将所有的文章采集下来呢?

我们在文章列表第一页https://blog.csdn.net/qq_42623428/article/list/1的基础上,改变最后的数字,就可以访问对应的页数,从1开始循环,当判断下一页内容为空时停止,我们对spider再作改进。

import scrapy
from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):
    name = "list"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/qq_42623428/article/list/1",
    ]

    def parse(self, response):
        for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
            item = MyblogItem()
            item['url'] = data.xpath("h4/a/@href").extract()[0]
            item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
            item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
            url = data.xpath("h4/a/@href").extract()[0]
            request = scrapy.Request(url, callback=self.parse_dir_contents)
            request.meta['item'] = item
            yield request

        next_url = response.url.split('/')
        next_url[-1] = str(int(next_url[-1])+1)
        next_url = '/'.join(next_url)
        yield scrapy.Request(next_url, callback=self.isEmpty)

    def isEmpty(self, response):
        content = response.xpath("//main/div[@class='no-data d-flex flex-column justify-content-center align-items-center']").extract()
        if content == [] :
            return self.parse(response)

    def parse_dir_contents(self, response):
        item = response.meta['item']
        item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
        yield item



保存数据
在命令行中输入命令:

scrapy crawl list -o items.json


该命令将采用 JSON 格式对爬取的数据进行序列化,生成 items.json 文件。

同步数据
Item Pipeline
为了保证采集到的数据与CSDN博客同步,当博客内容更新之后,我们必须再次爬取数据。但再次爬取的数据与已经保存的数据有重合,所以我们需要对新爬取的数据进行验证后再同步到WordPress。于是我们需要使用到Item Pipeline。

当Item在Spider中被收集之后,它将会被传递到Item Pipeline,一些组件会按照一定的顺序执行对Item的处理。

每个item pipeline组件(有时称之为Item Pipeline)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为,同时也决定此Item是否继续通过pipeline,或是被丢弃而不再进行处理。

以下是item pipeline的一些典型应用:

清理HTML数据

验证爬取的数据(检查item包含某些字段)

查重(并丢弃)

将爬取结果保存到数据库中

PyMySQL
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库 。

项目地址
参考文档
Scrapy 1.0 中文文档 https://scrapy-chs.readthedocs.io/zh_CN/1.0/index.html
PyMySQL 0.9.2 https://pypi.org/project/PyMySQL/
--------------------- 
作者:Willimt 
来源:CSDN 
原文:https://blog.csdn.net/qq_40531392/article/details/83474782 
版权声明:本文为博主原创文章,转载请附上博文链接!

 

CSDN博客搬家到WordPress

原文:http://blog.csdn.net/duyiwuer2009/article/details/8015213

CsdnBlogMover(CSDN博客搬家程序)发布

http://www.davelv.net/2012/01/03/csdnblogmovercsdn%E5%8D%9A%E5%AE%A2%E6%90%AC%E5%AE%B6%E7%A8%8B%E5%BA%8F%E5%8F%91%E5%B8%83/

 

1、安装BeautifulSoup:
http://hi.baidu.com/zchare/item/bae3a0302fc4aef7a884282e

 

2、修改"blog_mover.py":


"from BeautifulSoup import BeautifulSoup"
替换为
"from bs4 import BeautifulSoup"

否则,执行"./blog_mover.py -s http://blog.csdn.net/duyiwuer2009"时将失败

http://www.crummy.com/software/BeautifulSoup/

 

3、选择WordPress插件:

http://blog.csdn.net/duyiwuer2009/article/details/8015095

 

4、将生成的xml文件中的

<pre class="cpp" name="code">  

替换成

[codesyntax lang="cpp"]  

<pre>  

后可与兼容 WordPress的WP-SynHighlight插件
 

 

5、用WordPress Importer进行导入

 

心得:不到万不得已,最好不要“搬家”,因为搬到WordPress之后,由于两边的样式不同,导致WordPress的版面相当难看

本文地址:https://blog.csdn.net/bandaoyu/article/details/85963608

相关标签: python