欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Node.js 如何利用异步提升任务处理速度

程序员文章站 2022-10-06 17:08:57
今天在做一个小任务,需要调用阿里云的图像识别接口,对 62662 张照片进行场景识别,并将结果写到本地的 csv 文件中。 因为任务很简单,没想很多就开始码。自从有了 a...

今天在做一个小任务,需要调用阿里云的图像识别接口,对 62662 张照片进行场景识别,并将结果写到本地的 csv 文件中。

因为任务很简单,没想很多就开始码。自从有了 async/await 之后,已经很久不写 callback 了,所以上手就写成这样:

本文所有代码均有简化,只保留关键过程

async fetchscenetags(imagepath) {
  try {
   const result = await callaliyunapi(imagepath);
   return result.errno === 0 ? result.tags : [];
 } catch(error) {
   return [];    
 }
}

async function writescene(paths) {
  for (let i = 0, len = paths.length; i < len; i++) {
    await tags = fetchscenetags(paths[i])
    writetofile(tags);
    writestdout(`${i} / ${len}`);
  }
}

function start() {
  const paths = loadpaths();
  writescene(paths);
}

运行起来以后没问题就放着忙别的去了。过了差不多 2 小时回来一看,才跑了 17180 张图,每分钟 144 张。这才意识到同步速度太慢了,于是停掉进程,将代码改成下面这样:

fetchscenetagsasync(imagepath, callback) {
  callaliyunapi(imagepath)
    .then(result => {
   const tags = result.errno === 0 ? result.tags : [];
     callback(tags);
   })
    .catch(error => callback([]));
}

function writesceneasync(paths) {
  const callback = tags => {
    await tags = fetchscenetagsasync(paths[i])
    writetofile(tags);
  }
  
  paths.foreach(path => fetchscenetagsasync(path, callback));
}

function start() {
  const paths = loadpaths();
  writesceneasync(paths);
}

跑了一下,直接停摆了。嗯,不能一下把请求全发出去,加一个 throttle:

fetchscenetagsasync(imagepath, callback) {
  callaliyunapi(imagepath)
    .then(result => {
   const tags = result.errno === 0 ? result.tags : [];
     callback(tags);
   })
    .catch(error => callback([]));
}

function throttle(paths, callback) {
  if(paths.length === 0) return;
  
  const sub = paths.splice(0, 10);
  sub.foreach(path => fetchscenetagsasync(path, callback));
 settimeout(() => throttle(paths, callback), 1000)
}

function writesceneasync(paths) {
  const callback = tags => {
    await tags = fetchscenetagsasync(paths[i])
    writetofile(tags);
  }
  
  throttle(paths, callback)
}

function start() {
  const paths = loadpaths();
  writesceneasync(paths);
}

重新启动服务,观察了一下,大约每分钟处理 568 张图片,速度提升约 4 倍。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。