【Angular】学习笔记-环境部署、项目建立相关
程序员文章站
2023-08-30 17:12:55
这里介绍的是Win平台的安装方法,其他平台请至Github>Puppeteer. 首先要安装node.js 可以看我这篇的开头>【Angular】学习笔记-环境部署、项目建立相关 1.新建项目目录 2.打开gitbush(常用的Terminal都可以) 3.键入 npm i puppeteer 4. ......
这里介绍的是win平台的安装方法,其他平台请至github>puppeteer.
首先要安装node.js 可以看我这篇的开头>【angular】学习笔记-环境部署、项目建立相关
1.新建项目目录
2.打开gitbush(常用的terminal都可以)
3.键入
npm i puppeteer
4.等。。。。。。待安装
ps:安装会带一个chromium 还是挺大的。。
到这里基本上就算安装完成了。
官方栗子:
const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch(); const page = await browser.newpage(); await page.goto('https://example.com'); await page.screenshot({path: 'example.png'}); await browser.close(); })();
使用,打开terminal
// node 文件名.js node example.js
这里以百度为例。
运行程序后自动截图保存到当前根目录下。
一些常用的方法:
const browser = await puppeteer.launch(); // 启动一个浏览器实例 const page = await browser.newpage(); // 新建一个网页(page) await page.setuseragent(); // 设定ua(不同ua会有不同的效果),用来模拟不同设备对网页的浏览。 await page.goto(); // 跳转到指定地址。 await page.close(); // 关闭此page //======================================= // 获取网页中的一些元素或者是控件 const testselector = await page.waitforselector(); // 等待指定的selector加载出来。 await testselector.type(); // 假如是输入框,则可以利用type键入关键字。 await testselector.click(); // 假如是按钮,则可以click。 // 执行自己写的js代码 await page.evaluate(); // 小栗子(执行scroll) 页面滚动效果 await page.evaluate(_ => { window.scrollby(0, window.innerheight); }); // 类似的有等待selector后执行js代码 await page.$eval(selector, ele => ele.innerhtml); // 获取指定(单个)selector内的html字符串 await page.$$eval(selector, ele => ele.map(a => a.getattribute("href").trim())); // 获取多个selector内"href"的内容。(结果是数组,可以遍历出每个结果) //======================================= // 登陆验证相关 // 一般的网站会使用 cookie/localstorage等保存登陆的信息到本地,那么我们不必每次都模拟登陆操作(避免反复登陆触发验证机制。) // setcookie, 如youtube就是使用的cookie登陆 await page.setcookie(); // localstorage,localstorage能存储更多的信息(localstorage是属于js的方法,所以需在page.evaluate()内执行) await page.evaluate(() => { localstorage.setitem(key, value); }); // ps:两种方法都有小坑。 // setcookie必须在page新建之前。 // localstorage.setitem() 对指定网站必须先goto=>然后set=>然后再goto
自己写的小栗子:github地址>puppeteer_youtube_autoresponder
const puppeteer = require("puppeteer"); const log = console.log; ///selector/// // video_title var video_title_selector = "#video-title"; // 顶 var like_btn_selector = "#like-button"; // 踩 var dislike_btn_selector = "#dislike-button"; // // 回复按钮 var reply_btn_selector = "#reply-button-end"; // 输入框 var contenteditorbox_selector = "#contenteditable-root"; //评论确定按钮 var reply_sub_btn_selector = "#submit-button"; ///selector/// //自定评论内容 var reply_content = ""; //main (async () => { const browser = await puppeteer.launch({ headless: false }); const page = await browser.newpage(); // 设置ua await page.setuseragent( "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/77.0.3865.120 safari/537.36" ); // 这里使用cookie来登陆youtube账户 await page.setcookie(); await page.goto("https://www.youtube.com"); // search_input const search_input = await page.waitforselector("#search"); // type await search_input.type("puppeteer"); // 这里键入需要查询的关键字 如"puppeteer" // search_btn const search_btn = await page.waitforselector( "#search-icon-legacy > yt-icon" ); // search_btn_click await search_btn.click(); await page.waitforselector("#video-title"); await page.waitforselector(video_title_selector); var video_href = await page.$$eval(video_title_selector, ele => ele.map(a => a.getattribute("href").trim()) ); for (let index = 0; index <= video_href.length; index++) { // 打开新页面 const temppage = await browser.newpage(); // 重新设定ua await temppage.setuseragent( "opera/9.80 (windows nt 6.0) presto/2.12.388 version/12.14" ); await temppage.goto("https://www.youtube.com" + video_href[index]); await temppage.waitfor(2000); // 页面向下滚动 await temppage.evaluate(_ => { window.scrollby(0, window.innerheight); }); await temppage.waitfor(2000); // const video_title = await temppage.waitforselector("#eow-title"); // await video_title.click(); var m = 2; var nomorecomment = false; var attempcount = 0; while (true) { try { // 页面向下滚动 await temppage.evaluate(_ => { window.scrollby(0, window.innerheight); }); await temppage.waitfor(2000); // log(m); try { const reply_btn = await temppage.waitforselector( `#comment-section-renderer-items > section:nth-child(${m}) > div.comment-renderer.vve-check-visible.vve-check-hidden > div.comment-renderer-content > div.comment-renderer-footer > div.comment-action-buttons-toolbar > button`, { timeout: 500 } ); await reply_btn.click(); // 评论 const reply_combox = await temppage.waitforselector( "#comment-simplebox > div.comment-simplebox-frame > div.comment-simplebox-text" ); // 输入评论 await reply_combox.type(reply_content); await temppage.waitfor(800); // 确认评论 const confirm_btn = await temppage.waitforselector( "#comment-simplebox > div.comment-simplebox-controls > div.comment-simplebox-buttons > button.yt-uix-button.yt-uix-button-size-default.yt-uix-button-primary.yt-uix-button-empty.comment-simplebox-submit.yt-uix-sessionlink" ); await confirm_btn.click(); attempcount = 0; } catch (error) { attempcount++; log(">>>>>>>index<<<<<<<", m); if (attempcount > 6) { await temppage.close(); break; } } // 点赞 // await temppage.$eval( // `#comment-section-renderer-items > section:nth-child(${m}) > div.comment-renderer.vve-check-visible.vve-check-hidden > div.comment-renderer-content > div.comment-renderer-footer > div.comment-action-buttons-toolbar > span:nth-child(4) > button.yt-uix-button.yt-uix-button-size-default.yt-uix-button-default.yt-uix-button-empty.yt-uix-button-has-icon.no-icon-markup.comment-action-buttons-renderer-thumb.yt-uix-sessionlink.sprite-comment-actions.sprite-like.i-a-v-sprite-like`, // ele => ele.setattribute("aria-checked", "true") // ); m++; await temppage.waitfor(3000); // //测试 // try { if (nomorecomment == false) { const loadmore = await temppage.waitforselector( "#comment-section-renderer > button > span > span.load-more-text" ); await loadmore.click(); } } catch (error) { nomorecomment = true; } } catch (e) { console.error(e); } } } })();
请合理利用,我一不小心就被封号了