爬虫利器Puppeteer实战

puppeteer 介绍

puppeteer 翻译是操纵木偶的人，利用这个工具，我们能做一个操纵页面的人。 puppeteer 是一个 nodejs 的库，支持调用 chrome的api来操纵web ，相比较 selenium 或是 phantomjs ,它最大的特点就是它的操作 dom 可以完全在内存中进行模拟既在 v8 引擎中处理而不打开浏览器，而且关键是这个是chrome团队在维护，会拥有更好的兼容性和前景。

puppeteer 用处

• 利用网页生成pdf、图片
• 爬取spa应用，并生成预渲染内容（即“ssr” 服务端渲染）
• 可以从网站抓取内容
• 自动化表单提交、ui测试、键盘输入等
• 帮你创建一个最新的自动化测试环境（chrome），可以直接在此运行测试用例6.捕获站点的时间线，以便追踪你的网站，帮助分析网站性能问题

puppeteer 使用

安装 puppeteer

由于封网，直接下载 chromium 会失败，可以先阻止下载 chromium 然后再手动下载它

# 安装命令
npm i puppeteer --save

# 错误信息
error: failed to download chromium r515411! set "puppeteer_skip_chromium_download" env variable to skip download.

# 设置环境变量跳过下载 chromium
set puppeteer_skip_chromium_download=1 

# 或者可以这样干，只下载模块而不build
npm i --save puppeteer --ignore-scripts

# 成功安装模块
+ puppeteer@0.13.0
added 1 package in 1.77s

手动下载 chromium，下载完后将压缩包解压，会有个 chromium.app，将其放在你喜欢的目录下，例如 /users/huqiyang/documents/project/z/chromium/chromium.app。正常安装包后 chromium.app 会在 .local-chromium中

tip：下载 chromium 失败解决办法

更换国内chromium源

puppeteer_download_host=https://storage.googleapis.com.cnpmjs.org
npm i puppeteer

或者用 cnpm 安装

npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm i puppeteer

点击查阅 puppeteer  api

初试 puppeteer，截个图吧

知识点

• puppeteer.launch 启动浏览器实例
• browser.newpage()  创建一个新页面
• page.goto 进入指定网页
• page.screenshot 截图

const puppeteer = require('puppeteer');

(async () => {
 const browser = await (puppeteer.launch({
  // 若是手动下载的chromium需要指定chromium地址, 默认引用地址为 /项目目录/node_modules/puppeteer/.local-chromium/
  executablepath: '/users/huqiyang/documents/project/z/chromium/chromium.app/contents/macos/chromium',
  //设置超时时间
  timeout: 15000,
  //如果是访问https页面 此属性会忽略https错误
  ignorehttpserrors: true,
  // 打开开发者工具, 当此值为true时, headless总为false
  devtools: false,
  // 关闭headless模式, 不会打开浏览器
  headless: false
 }));
 const page = await browser.newpage();
 await page.goto('https://www.jianshu.com/u/40909ea33e50');
 await page.screenshot({
  path: 'jianshu.png',
  type: 'png',
  // quality: 100, 只对jpg有效
  fullpage: true,
  // 指定区域截图，clip和fullpage两者只能设置一个
  // clip: {
  //  x: 0,
  //  y: 0,
  //  width: 1000,
  //  height: 40
  // }
 });
 browser.close();
})();

运行结果 

进阶，获取网易云音乐的歌词和评论

网易云音乐的api经过aes和rsa算法加密，需要携带加密的信息通过post方式请求才能获取到数据。但 puppeteer 出现后，这些都不重要了，只要它页面上显示了，通过 puppeteer 都能获取到该元素。

知识点

• page.type 获取输入框焦点并输入文字
• page.keyboard.press 模拟键盘按下某个按键，目前mac上组合键无效为已知bug
• page.waitfor 页面等待，可以是时间、某个元素、某个函数
• page.frames() 获取当前页面所有的 iframe，然后根据 iframe 的名字精确获取某个想要的 iframe
• iframe.$('.srchsongst') 获取 iframe 中的某个元素
• iframe.evaluate() 在浏览器中执行函数，相当于在控制台中执行函数，返回一个 promise
• array.from 将类数组对象转化为对象
• page.click() 点击一个元素
• iframe.$eval() 相当于在 iframe 中运行 document.queryselector 获取指定元素，并将其作为第一个参数传递
• iframe.$$eval 相当于在 iframe 中运行 document.queryselectorall 获取指定元素数组，并将其作为第一个参数传递

const fs = require('fs');
const puppeteer = require('puppeteer');

(async () => {
 const browser = await (puppeteer.launch({ executablepath: '/users/huqiyang/documents/project/z/chromium/chromium.app/contents/macos/chromium', headless: false }));
 const page = await browser.newpage();
 // 进入页面
 await page.goto('https://music.163.com/#');

 // 点击搜索框拟人输入 鬼才会想起
 const musicname = '鬼才会想';
 await page.type('.txt.j-flag', musicname, {delay: 0});

 // 回车
 await page.keyboard.press('enter');

 // 获取歌曲列表的 iframe
 await page.waitfor(2000);
 let iframe = await page.frames().find(f => f.name() === 'contentframe');
 const song_ls_selector = await iframe.$('.srchsongst');

 // 获取歌曲 鬼才会想起 的地址
 const selectedsonghref = await iframe.evaluate(e => {
  const songlist = array.from(e.childnodes);
  const idx = songlist.findindex(v => v.childnodes[1].innertext.replace(/\s/g, '') === '鬼才会想起');
  return songlist[idx].childnodes[1].firstchild.firstchild.firstchild.href;
 }, song_ls_selector);

 // 进入歌曲页面
 await page.goto(selectedsonghref);

 // 获取歌曲页面嵌套的 iframe
 await page.waitfor(2000);
 iframe = await page.frames().find(f => f.name() === 'contentframe');

 // 点击 展开按钮
 const unfoldbutton = await iframe.$('#flag_ctrl');
 await unfoldbutton.click();

 // 获取歌词
 const lyric_selector = await iframe.$('#lyric-content');
 const lyricctn = await iframe.evaluate(e => {
  return e.innertext;
 }, lyric_selector);

 console.log(lyricctn);

 // 截图
 await page.screenshot({
  path: '歌曲.png',
  fullpage: true,
 });

 // 写入文件
 let writerstream = fs.createwritestream('歌词.txt');
 writerstream.write(lyricctn, 'utf8');
 writerstream.end();

 // 获取评论数量
 const commentcount = await iframe.$eval('.sub.s-fc3', e => e.innertext);
 console.log(commentcount);

 // 获取评论
 const commentlist = await iframe.$$eval('.itm', elements => {
  const ctn = elements.map(v => {
   return v.innertext.replace(/\s/g, '');
  });
  return ctn;
 });
 console.log(commentlist);
})();

运行结果

高级爬虫

爬取spa应用，并生成预渲染内容（即“ssr” 服务端渲染），通俗讲就是在页面上显示的内容我们都能获取到。下面我们就通过爬取 瓜子二手车直卖网 的车辆信息来认识它。

首先通过 axios 来试试

const axios = require('axios');
const useaxios = () => {
 axios.get('https://www.guazi.com/hz/buy/')
  .then(((result) => {
   console.log(result.data);
  }))
  .catch((err) => {
   console.log(err);
  });
};

结果它返回给我这个玩意，这显然不是我要的内容

通过 puppeteer 爬取

const fs = require('fs');
const puppeteer = require('puppeteer');

(async () => {
 const browser = await (puppeteer.launch({ executablepath: '/users/huqiyang/documents/project/z/chromium/chromium.app/contents/macos/chromium', headless: true }));
 const page = await browser.newpage();

 // 进入页面
 await page.goto('https://www.guazi.com/hz/buy/');

 // 获取页面标题
 let title = await page.title();
 console.log(title);

 // 获取汽车品牌
 const brands_info_selector = '.dd-all.clearfix.js-brand.js-option-hid-info';
 const brands = await page.evaluate(sel => {
  const ullist = array.from($(sel).find('ul li p a'));
  const ctn = ullist.map(v => {
   return v.innertext.replace(/\s/g, '');
  });
  return ctn;
 }, brands_info_selector);
 console.log('汽车品牌: ', json.stringify(brands));
 let writerstream = fs.createwritestream('car_brands.json');
 writerstream.write(json.stringify(brands, undefined, 2), 'utf8');
 writerstream.end();
 // await bodyhandle.dispose();

 // 获取车源列表
 const car_list_selector = 'ul.carlist';
 const carlist = await page.evaluate((sel) => {
  const catboxs = array.from($(sel).find('li a'));
  const ctn = catboxs.map(v => {
   const title = $(v).find('h2.t').text();
   const subtitle = $(v).find('div.t-i').text().split('|');
   return {
    title: title,
    year: subtitle[0],
    milemeter: subtitle[1]
   };
  });
  return ctn;
 }, car_list_selector);

 console.log(`总共${carlist.length}辆汽车数据: `, json.stringify(carlist, undefined, 2));

 // 将车辆信息写入文件
 writerstream = fs.createwritestream('car_info_list.json');
 writerstream.write(json.stringify(carlist, undefined, 2), 'utf8');
 writerstream.end();

 browser.close();
})();

运行结果

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。