CompletionService 与 ExecutorService 获取任务执行结果时的区别
completionservice 与 executorservice 之间的区别
在讨论二者之间的区别之前,先交待一下背景。
看了elasticsearch transport模块的源码,里面充满了各种异步回调获取结果,于是就想:为什么不用callable接口,然后再基于java.util.concurrent.future#get()获取任务的执行结果呢?
又因为es的transport模块底层是基于netty实现的,研究了下netty的获取线程执行结果的方式,,虽然callable、futuretask 将提交任务执行"异步化"了,但是在获取任务执行结果的这一步,jdk future#get() 是阻塞的(超时阻塞),那么,能不能在获取结果的时候也不阻塞呢?有二种渠道实现:
-
回调机制
elasticsearch里面就是大量用到回调机制。由于jdk future的缺陷,netty的 channelfuture扩展了jdk 的future接口,并提供了回调机制支持异步获取任务的执行结果。它的源码:io.netty.channel.channelfuture的注释非常值得一读。
-
jdk8 里面提供的java.util.concurrent.completablefuture
completablefuture 可参考《java8实战》中了解一下
当然,本文不打算讨论,获取任务执行结果也不阻塞的具体实现方法,而是"先退一步",来分析下:
- 使用 completionservice 的 submit 方法 java.util.concurrent.completionservice#submit(java.util.concurrent.callable
)提交多个任务,如何获取任务的执行结果? - 使用 executorservice 的submit 方法 java.util.concurrent.executorservice#submit(java.util.concurrent.callable
)提交多个任务,如何获取任务的执行结果?
为什么强调多个任务,因为这里讨论的是多个任务的并发执行。并不是第一个任务执行完成后,才能执行第二个任务。那completionservice 与 executorservice 在获取任务结果的时候的区别是什么?
先说下结论,如果我们的目标是尽快处理任务的执行结果,而不是必须等到所有的任务都执行完成后,拿到所有的执行结果,才能进行下一步处理,那么使用 completionservice 是非常有好处的。
举个例子:一个网站要显示10幅图像,下载完一幅就显示一幅,而不需要将这10幅都下载下来,再统一显示,那就很适合用completionservice。下载 就是线程要执行的任务,图像 就是任务的执行结果。
使用executorservice时,代码是这样的:
//保存 future<image>,后面遍历 list 获取 future 结果 list<future<image>> futurelist = new arraylist(); for(int i = 0; i < 10; i++) { future<image> imagefuture = executorservice.submit(downloadtask);//10个下载任务同时并发 futurelist.add(imagefuture); } //获取10个任务的执行结果 for(int i = 0; i < 10; i++) { future<imapge> future = futurelist.get(i); imapge image = future.get();//如果图像尚未下载完成,这里会阻塞 render(image);//将已经下载好的图像渲染到界面 }
我们是用list<future<image>>
保存所有的任务future,然后在for循环里面遍历list获取结果,假设第一个任务下载第一幅图像,第二个任务下载第2幅图像,以此类推....
这里的问题是:若第一幅图像未下载完成,但是第2幅、第3幅图像已经下载完了,我们也无法优先获取第2幅、第3幅图像。也就无法将已经先下载下来的图像渲染到界面。
总结起来讲就是:提交任务,将任务添加到list里面的顺序,与任务实际完成顺序是不相关的。
而使用 completionservice,就能解决这个缺陷。它使得我们能够获得那些最先下载好的图像。
使用 completionservice时,代码是这样的:
for(int i = 0; i < 10; i++) { completionservice.submit(downloadtask);//10个下载任务同时并发 } // for(int i = 0; i<10;i++ ) { //只要任一幅图像下载下来了,completionservice.take()就会返回,从而 get() 到这幅图像 render(completionservice.take().get()); }
completionservice.take()
是个阻塞方法,如果10幅图像中都没下载下来,那就阻塞了。但只要有一幅下载下来了,就立即能获得到这幅图像。显然,这里:获取任务的执行结果的顺序与提交任务的顺序无关了。
这里的实现思路也可参考《java并发编程实战》中第6章。
原文: