欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

使用node爬取页面图片并保存到本地 (以获取码农网站首页图片为例)

程序员文章站 2022-07-10 15:41:26
...
  1. 安装node 
  2. 创建文件夹   mkdir  firstSpider 
  3. cmd 进入创建的文件夹 cd firstSpider   
  4.  npm init (初始化工程)  工程的一些基本信息
  5. 安装第三方包    注:http模块、fs模块都是内置的包不需要再安装     需要安装的包有request(发请求),cheerio(相当于jquery)
  6. 新建firstSpider.js   新建image(存放下载的图片 )
    var request=require("request");
    var http = require('http')
    var cheerio=require("cheerio");
    var fs = require('fs')
    request('http://www.codeceo.com/',function(error,response,body){
    	$=cheerio.load(body);  
    	$(".home.blog img").each(function(i,v){   //获取body下所有的图片路径
    		saveImage($(this).attr("src"),"image/"+i+".png")
    	})
    })
    
    //保存图片
    function saveImage(url,path) {
        http.get(url,function (req,res) {
            var imgData = '';
            req.on('data',function (chunk) {
                imgData += chunk;
            })
    		req.setEncoding('binary');
            req.on('end',function () {
                fs.writeFile(path,imgData,'binary',function (err) {
                    console.log('保存图片成功'+path)
                })
            })
        })
    }

     

  7. 启动   node firstSpider.js

  8. 使用node爬取页面图片并保存到本地 (以获取码农网站首页图片为例)啦啦啦啦啦   图片下载成功了

相关标签: nodejs