【CSDN搬家到WordPress】CSDN搬家到WordPress和自动同步
需要环境:
Python3.6
Scrapy
PyMySQL
安装模块
推荐使用anaconda安装新模块,在命令行中输入:
conda install -c conda-forge scrapy
conda install -c anaconda pymysql
创建项目
创建Scrapy项目,在命令行中输入:
scrapy startproject myblog
- 爬取信息
我们需要的数据有文章标题,文章链接,发表日期,文章内容,在item.py中定义我们要爬取的字段
import scrapy
class MyblogItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field()
href = scrapy.Field()
date = scrapy.Field()
content = scrapy.Field()
pass
通过观察,发现CSDN的文章列表链接为:
https://blog.csdn.net/用户名/article/list/页数
所以我们创建spider/list_spider.py,用来抓取和分析网页。此时目录结构为:
myblog
│ items.py
│ middlewares.py
│ pipelines.py
│ settings.py
│ __init__.py
│
├─spiders
│ │ list_spider.py
│ │ __init__.py
│ │
│ └─__pycache__
│ list_spider.cpython-36.pyc
│ __init__.cpython-36.pyc
│
└─__pycache__
settings.cpython-36.pyc
__init__.cpython-36.pyc
在list_spider.py中编写ListSpider类,构造访问请求:
import scrapy
class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/4",
]
然后再编写parser()函数,用来解析网页:
从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors 。 关于selector和其他提取机制的信息请参考 Selector文档 。
这里给出XPath表达式的例子及对应的含义:
/html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
/html/head/title/text(): 选择上面提到的 <title> 元素的文字
//td: 选择所有的 <td> 元素
//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素
def parse(self, response):
for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
url = item.xpath("h4/a/@href").extract()
title = item.xpath("h4/a/text()").extract()[1].strip()
date = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()
print([url, title, date])
打印后可以看到如下信息:
'date': '2018-09-30 17:27:01',
'title': '银行业务队列简单模拟',
'url': 'https://blog.csdn.net/qq_42623428/article/details/82912058'}
使用item
Item 对象是自定义python字典。 您可以使用标准的字典语法来获取到其每个字段的值。(字段即是我们之前用Field赋值的属性):
>>> item = MyblogItem()
>>> item['title'] = 'Example title'
>>> item['title'] = 'Example title'
为了将爬取的数据返回,我们最终的代码是:
import scrapy
from myblog.items import MyblogItem
class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/4",
]
def parse(self, response):
for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
item = MyblogItem()
item['url'] = item.xpath("h4/a/@href").extract()
item['title'] = item.xpath("h4/a/text()").extract()[1].strip()
item['date'] = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()
yield item
追踪链接
接下来, 我们需要通过已经获取的url地址来访问各个文章标题所对应的文章内容,然后保存在item['content']中,下面是实现这个功能的改进版spider:
import scrapy
from myblog.items import MyblogItem
class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/4",
]
def parse(self, response):
for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
item = MyblogItem()
item['url'] = data.xpath("h4/a/@href").extract()[0]
item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
url = data.xpath("h4/a/@href").extract()[0]
request = scrapy.Request(url, callback=self.parse_dir_contents)
request.meta['item'] = item
yield request
#在某些情况下,您如果希望在回调函数们之间传递参数,可以使用Request.meta
def parse_dir_contents(self, response):
item = response.meta['item']
item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
yield item
这样,我们就可以保存所有我们需要的信息,但现在还有一个问题:我们刚才所进行的操作是将该博客目录的某一页的文章采集下来,但如果我们的博客目录有多页,我们想要将所有的文章采集下来呢?
我们在文章列表第一页https://blog.csdn.net/qq_42623428/article/list/1的基础上,改变最后的数字,就可以访问对应的页数,从1开始循环,当判断下一页内容为空时停止,我们对spider再作改进。
import scrapy
from myblog.items import MyblogItem
class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/1",
]
def parse(self, response):
for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
item = MyblogItem()
item['url'] = data.xpath("h4/a/@href").extract()[0]
item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
url = data.xpath("h4/a/@href").extract()[0]
request = scrapy.Request(url, callback=self.parse_dir_contents)
request.meta['item'] = item
yield request
next_url = response.url.split('/')
next_url[-1] = str(int(next_url[-1])+1)
next_url = '/'.join(next_url)
yield scrapy.Request(next_url, callback=self.isEmpty)
def isEmpty(self, response):
content = response.xpath("//main/div[@class='no-data d-flex flex-column justify-content-center align-items-center']").extract()
if content == [] :
return self.parse(response)
def parse_dir_contents(self, response):
item = response.meta['item']
item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
yield item
保存数据
在命令行中输入命令:
scrapy crawl list -o items.json
该命令将采用 JSON 格式对爬取的数据进行序列化,生成 items.json 文件。
同步数据
Item Pipeline
为了保证采集到的数据与CSDN博客同步,当博客内容更新之后,我们必须再次爬取数据。但再次爬取的数据与已经保存的数据有重合,所以我们需要对新爬取的数据进行验证后再同步到WordPress。于是我们需要使用到Item Pipeline。
当Item在Spider中被收集之后,它将会被传递到Item Pipeline,一些组件会按照一定的顺序执行对Item的处理。
每个item pipeline组件(有时称之为Item Pipeline)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为,同时也决定此Item是否继续通过pipeline,或是被丢弃而不再进行处理。
以下是item pipeline的一些典型应用:
清理HTML数据
验证爬取的数据(检查item包含某些字段)
查重(并丢弃)
将爬取结果保存到数据库中
PyMySQL
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库 。
项目地址
参考文档
Scrapy 1.0 中文文档 https://scrapy-chs.readthedocs.io/zh_CN/1.0/index.html
PyMySQL 0.9.2 https://pypi.org/project/PyMySQL/
---------------------
作者:Willimt
来源:CSDN
原文:https://blog.csdn.net/qq_40531392/article/details/83474782
版权声明:本文为博主原创文章,转载请附上博文链接!
CSDN博客搬家到WordPress
原文:http://blog.csdn.net/duyiwuer2009/article/details/8015213
CsdnBlogMover(CSDN博客搬家程序)发布
1、安装BeautifulSoup:
http://hi.baidu.com/zchare/item/bae3a0302fc4aef7a884282e
2、修改"blog_mover.py":
将
"from BeautifulSoup import BeautifulSoup"
替换为
"from bs4 import BeautifulSoup"
否则,执行"./blog_mover.py -s http://blog.csdn.net/duyiwuer2009"时将失败
http://www.crummy.com/software/BeautifulSoup/
3、选择WordPress插件:
http://blog.csdn.net/duyiwuer2009/article/details/8015095
4、将生成的xml文件中的
<pre class="cpp" name="code">
替换成
[codesyntax lang="cpp"]
<pre>
后可与兼容 WordPress的WP-SynHighlight插件
5、用WordPress Importer进行导入
心得:不到万不得已,最好不要“搬家”,因为搬到WordPress之后,由于两边的样式不同,导致WordPress的版面相当难看
本文地址:https://blog.csdn.net/bandaoyu/article/details/85963608