欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python使用Chrome插件实现爬虫过程图解

程序员文章站 2022-03-03 23:05:49
做电商时,消费者对商品的评论是很重要的,但是不会写代码怎么办?这里有个chrome插件可以做到简单的数据爬取,一句代码都不用写。下面给大家展示部分抓取后的数据:可以看到,抓取的地址,评论人,评论内容,...

做电商时,消费者对商品的评论是很重要的,但是不会写代码怎么办?这里有个chrome插件可以做到简单的数据爬取,一句代码都不用写。下面给大家展示部分抓取后的数据:

Python使用Chrome插件实现爬虫过程图解

可以看到,抓取的地址,评论人,评论内容,时间,产品颜色都已经抓取下来了。那么,爬取这些数据需要哪些工具呢?就两个:

1. chrome浏览器;

2. 插件:web scraper

插件下载地址:

最后,如果你想自己动手抓取一下,这里是这次抓取的详细过程:

1. 首先,复制如下的代码,对,你不需要写代码,但是为了便于上手,复制代码还是需要的,后续可以自己定制和选择,不需要写代码。

{
  "_id": "jdreview",
  "starturl": [
    "https://item.jd.com/100000680365.html#comment"
  ],
  "selectors": [
    {
      "id": "user",
      "type": "selectortext",
      "selector": "div.user-info",
      "parentselectors": [
        "main"
      ],
      "multiple": false,
      "regex": "",
      "delay": 0
    },
    {
      "id": "comments",
      "type": "selectortext",
      "selector": "div.comment-column > p.comment-con",
      "parentselectors": [
        "main"
      ],
      "multiple": false,
      "regex": "",
      "delay": 0
    },
    {
      "id": "time",
      "type": "selectortext",
      "selector": "div.comment-message:nth-of-type(5) span:nth-of-type(4), div.order-info span:nth-of-type(4)",
      "parentselectors": [
        "main"
      ],
      "multiple": false,
      "regex": "",
      "delay": "0"
    },
    {
      "id": "color",
      "type": "selectortext",
      "selector": "div.order-info span:nth-of-type(1)",
      "parentselectors": [
        "main"
      ],
      "multiple": false,
      "regex": "",
      "delay": 0
    },
    {
      "id": "main",
      "type": "selectorelementclick",
      "selector": "div.comment-item",
      "parentselectors": [
        "_root"
      ],
      "multiple": true,
      "delay": "10000",
      "clickelementselector": "div.com-table-footer a.ui-pager-next",
      "clicktype": "clickmore",
      "discardinitialelements": false,
      "clickelementuniquenesstype": "uniquehtmltext"
    }
  ]
}

2. 然后打开chrome浏览器,在任意页面同时按下ctrl+shift+i,在弹出的窗口中找到web scraper,如下:

Python使用Chrome插件实现爬虫过程图解

3. 如下

Python使用Chrome插件实现爬虫过程图解

4. 如图,粘贴上述的代码:

Python使用Chrome插件实现爬虫过程图解

5. 如图,如果需要定制网址,注意替代一下,网址后面的#comment是直达评论的链接,不能去掉:

Python使用Chrome插件实现爬虫过程图解

6. 如图:

Python使用Chrome插件实现爬虫过程图解

7. 如图:

Python使用Chrome插件实现爬虫过程图解

8. 如图,点击scrape后,会自动运行打开需要抓取得页面,不要关闭窗口,静静等待完成,完成后右下方会提示完成,一般1000条以内的评论不会有问题:

Python使用Chrome插件实现爬虫过程图解

9. 最后,点击下载到电脑,数据保存好。

Python使用Chrome插件实现爬虫过程图解

使用这个工具的好处是:

1. 不需要编程;

2. 京东的评论基本可以通用此脚本,修改对应的url即可;

3. 如果需要爬取的评论不到1000条,这个工具会非常称手,所有的数据完全自动下载;

使用的注意点:

1. 抓取过一次的数据会有记录,立刻再次抓取将不会保存,建议关闭浏览器重新打开后再试;

2. 抓取数量:1000条以内没有问题,可能是京东按照ip直接阻止了更多的爬取;

如果你的英语水平不错,可以尝试阅读官方文档,进一步学习和定制自己的爬虫。

官方教程:

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。