欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

18Python爬虫---CrawlSpider自动爬取新浪新闻网页标题和链接

程序员文章站 2022-05-02 22:02:29
...

一、爬取新浪新闻思路

1、创建scrapy项目
2、分析新浪新闻网站静态页面代码
3、编写对应的xpath公式
4、写代码

二、项目代码

步骤1、创建scrapy项目
scrapy startproject mycwpjt
步骤2、分析新浪网站静态代码

随便打开一个新浪新闻网,新闻
18Python爬虫---CrawlSpider自动爬取新浪新闻网页标题和链接
可以看到地址为
http://news.sina.com.cn/gov/xlxw/2018-03-21/doc-ifyskeue0491622.shtml
点开其他新闻也为.shtml结尾
那么我们可以考虑从新浪首页,针对性爬取后缀为.shtml的网页

步骤3、编写对应的xpath公式
在html的页面head中可以看到标题在title中
<title>新时代 去奋斗|新时代|奋斗|改革_新浪新闻</title>

当前页面的链接在meta中
<meta property="og:url" content="http://news.sina.com.cn/gov/xlxw/2018-03-21/doc-ifyskeue0491622.shtml">

由此可以写出xpath为
标题:/html/head/title/text()

链接: //meta[@property='og:url']/@content
步骤4、编写代码

创建爬虫文件
scrapy genspider -t crawl bangbing sina.com.cn
18Python爬虫---CrawlSpider自动爬取新浪新闻网页标题和链接

1、bangbing .py
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from mycwpjt.items import MycwpjtItem

class BangbingSpider(CrawlSpider):
    name = 'bangbing'
    allowed_domains = ['sina.com.cn']
    start_urls = ['http://www.sina.com.cn/']

# 只提取链接中有'*.shtml'字符串的链接
    rules = (
        Rule(LinkExtractor(allow='.*?/n.*?shtml'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        i = MycwpjtItem()
        i["name"] = response.xpath("/html/head/title/text()").extract()
        i["link"] = response.xpath("//meta[@property='og:url']/@content").extract()
        return i

  在上面代码中rules部分中的LinkExtractor为链接提取器,链接提取器主要负责将response响应中符合条件的链接提取出来,这些条件我们可以自行设置。

rules = (
        Rule(LinkExtractor(allow='.*?/n.*?shtml'), callback='parse_item', follow=True),
    )
参数名 参数含义
allow 提取符合对应正则表达式的链接
deny 不提取符合对应正则表达式的链接
restrict_xpaths 使用XPath表达式与allow共同作用提取出同时符合对应XPath表达式和对应正则表达式的链接
allow_domains 允许提取的域名,比如我们想肢体去某个域名下的链接时会用到
deny_domains 禁止提取的域名,比如我们需要限制一定不提取某个域名下的链接时会用的

18Python爬虫---CrawlSpider自动爬取新浪新闻网页标题和链接

2、items.py
# -*- coding: utf-8 -*-
import scrapy

class MycwpjtItem(scrapy.Item):
    name = scrapy.Field()
    link = scrapy.Field()
3、pipelines.py
# -*- coding: utf-8 -*-

import codecs

class MycwpjtPipeline(object):
    def __init__(self):
        self.file = codecs.open("C:/Users/Administrator/Desktop/sinanew.txt", "wb", encoding="utf-8")

    def process_item(self, item, spider):
        # 拼接字符组成  标题:**** 链接:****
        line = "标题:%s 链接:%s\n" % (item["name"][0], item["link"])
        self.file.write(line)

    def close_spider(self):
        self.file.close()

4、settings.py

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
# 取消注释
ITEM_PIPELINES = {
   'mycwpjt.pipelines.MycwpjtPipeline': 300,
}
4、运行命令

scrapy crawl bangbing --nolog
因为网页实在太多了,只运行了一部分就强制停止了,可以看桌面sinanew.txt文件,结果如下
18Python爬虫---CrawlSpider自动爬取新浪新闻网页标题和链接