欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

【Angular】学习笔记-环境部署、项目建立相关

程序员文章站 2023-08-30 17:12:55
这里介绍的是Win平台的安装方法,其他平台请至Github>Puppeteer. 首先要安装node.js 可以看我这篇的开头>【Angular】学习笔记-环境部署、项目建立相关 1.新建项目目录 2.打开gitbush(常用的Terminal都可以) 3.键入 npm i puppeteer 4. ......

这里介绍的是win平台的安装方法,其他平台请至github>puppeteer.

首先要安装node.js 可以看我这篇的开头>【angular】学习笔记-环境部署、项目建立相关

 

 

1.新建项目目录

2.打开gitbush(常用的terminal都可以)

3.键入

npm i puppeteer

【Angular】学习笔记-环境部署、项目建立相关

 

 

 

 4.等。。。。。。待安装

 【Angular】学习笔记-环境部署、项目建立相关

 

 

 ps:安装会带一个chromium 还是挺大的。。

【Angular】学习笔记-环境部署、项目建立相关

 

 

 到这里基本上就算安装完成了。

 


 

 官方栗子:

【Angular】学习笔记-环境部署、项目建立相关

 

 

 

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newpage();
  await page.goto('https://example.com');
  await page.screenshot({path: 'example.png'});

  await browser.close();
})();

 

使用,打开terminal

【Angular】学习笔记-环境部署、项目建立相关

 

 

 

// node 文件名.js
node example.js

 

这里以百度为例。

运行程序后自动截图保存到当前根目录下。

【Angular】学习笔记-环境部署、项目建立相关

 

 


 

 一些常用的方法:

const browser = await puppeteer.launch(); // 启动一个浏览器实例
const page = await browser.newpage(); // 新建一个网页(page)
await page.setuseragent(); // 设定ua(不同ua会有不同的效果),用来模拟不同设备对网页的浏览。
await page.goto(); // 跳转到指定地址。
await page.close(); // 关闭此page
//=======================================
// 获取网页中的一些元素或者是控件
const testselector = await page.waitforselector(); // 等待指定的selector加载出来。

await testselector.type(); // 假如是输入框,则可以利用type键入关键字。
await testselector.click(); // 假如是按钮,则可以click。

// 执行自己写的js代码
await page.evaluate();
// 小栗子(执行scroll) 页面滚动效果
await page.evaluate(_ => {
  window.scrollby(0, window.innerheight);
});
// 类似的有等待selector后执行js代码
await page.$eval(selector, ele => ele.innerhtml); // 获取指定(单个)selector内的html字符串

await page.$$eval(selector, ele => ele.map(a => a.getattribute("href").trim())); // 获取多个selector内"href"的内容。(结果是数组,可以遍历出每个结果)
//=======================================
// 登陆验证相关
// 一般的网站会使用 cookie/localstorage等保存登陆的信息到本地,那么我们不必每次都模拟登陆操作(避免反复登陆触发验证机制。)
// setcookie, 如youtube就是使用的cookie登陆
await page.setcookie();
// localstorage,localstorage能存储更多的信息(localstorage是属于js的方法,所以需在page.evaluate()内执行)
await page.evaluate(() => {
  localstorage.setitem(key, value);
});
// ps:两种方法都有小坑。
// setcookie必须在page新建之前。
// localstorage.setitem() 对指定网站必须先goto=>然后set=>然后再goto

 


 

自己写的小栗子:github地址>puppeteer_youtube_autoresponder

const puppeteer = require("puppeteer");
const log = console.log;

///selector///
// video_title
var video_title_selector = "#video-title";

// 顶
var like_btn_selector = "#like-button";

// 踩
var dislike_btn_selector = "#dislike-button";

// // 回复按钮
var reply_btn_selector = "#reply-button-end";

// 输入框
var contenteditorbox_selector = "#contenteditable-root";

//评论确定按钮
var reply_sub_btn_selector = "#submit-button";

///selector///

//自定评论内容
var reply_content = "";

//main
(async () => {
  const browser = await puppeteer.launch({ headless: false });
  const page = await browser.newpage();
  // 设置ua
  await page.setuseragent(
    "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/77.0.3865.120 safari/537.36"
  );
  // 这里使用cookie来登陆youtube账户
  await page.setcookie();

  await page.goto("https://www.youtube.com");
  // search_input
  const search_input = await page.waitforselector("#search");
  // type
  await search_input.type("puppeteer"); // 这里键入需要查询的关键字 如"puppeteer"
  // search_btn
  const search_btn = await page.waitforselector(
    "#search-icon-legacy > yt-icon"
  );
  // search_btn_click
  await search_btn.click();
  await page.waitforselector("#video-title");

  await page.waitforselector(video_title_selector);

  var video_href = await page.$$eval(video_title_selector, ele =>
    ele.map(a => a.getattribute("href").trim())
  );
  for (let index = 0; index <= video_href.length; index++) {
    // 打开新页面
    const temppage = await browser.newpage();
    // 重新设定ua
    await temppage.setuseragent(
      "opera/9.80 (windows nt 6.0) presto/2.12.388 version/12.14"
    );
    await temppage.goto("https://www.youtube.com" + video_href[index]);
    await temppage.waitfor(2000);
    // 页面向下滚动
    await temppage.evaluate(_ => {
      window.scrollby(0, window.innerheight);
    });
    await temppage.waitfor(2000);

    // const video_title = await temppage.waitforselector("#eow-title");
    // await video_title.click();
    var m = 2;
    var nomorecomment = false;
    var attempcount = 0;

    while (true) {
      try {
        // 页面向下滚动
        await temppage.evaluate(_ => {
          window.scrollby(0, window.innerheight);
        });
        await temppage.waitfor(2000);
        //
        
        log(m);
        try {
          const reply_btn = await temppage.waitforselector(
            `#comment-section-renderer-items > section:nth-child(${m}) > div.comment-renderer.vve-check-visible.vve-check-hidden > div.comment-renderer-content > div.comment-renderer-footer > div.comment-action-buttons-toolbar > button`,
            { timeout: 500 }
          );
          await reply_btn.click();
          // 评论
          const reply_combox = await temppage.waitforselector(
            "#comment-simplebox > div.comment-simplebox-frame > div.comment-simplebox-text"
          );
          // 输入评论
          await reply_combox.type(reply_content);
          await temppage.waitfor(800);
          // 确认评论
          const confirm_btn = await temppage.waitforselector(
            "#comment-simplebox > div.comment-simplebox-controls > div.comment-simplebox-buttons > button.yt-uix-button.yt-uix-button-size-default.yt-uix-button-primary.yt-uix-button-empty.comment-simplebox-submit.yt-uix-sessionlink"
          );
          await confirm_btn.click();
          attempcount = 0;
        } catch (error) {
          attempcount++;
          log(">>>>>>>index<<<<<<<", m);
          if (attempcount > 6) {
            await temppage.close();
            break;
          }
        }

        // 点赞
        // await temppage.$eval(
        //   `#comment-section-renderer-items > section:nth-child(${m}) > div.comment-renderer.vve-check-visible.vve-check-hidden > div.comment-renderer-content > div.comment-renderer-footer > div.comment-action-buttons-toolbar > span:nth-child(4) > button.yt-uix-button.yt-uix-button-size-default.yt-uix-button-default.yt-uix-button-empty.yt-uix-button-has-icon.no-icon-markup.comment-action-buttons-renderer-thumb.yt-uix-sessionlink.sprite-comment-actions.sprite-like.i-a-v-sprite-like`,
        //   ele => ele.setattribute("aria-checked", "true")
        // );
        m++;
        await temppage.waitfor(3000);
        //

        //测试
        //
        try {
          if (nomorecomment == false) {
            const loadmore = await temppage.waitforselector(
              "#comment-section-renderer > button > span > span.load-more-text"
            );
            await loadmore.click();
          }
        } catch (error) {
          nomorecomment = true;
        }
      } catch (e) {
        console.error(e);
      }
    }
  }
})();

请合理利用,我一不小心就被封号了