自定义 ThreadPoolExecutor 处理线程运行时异常

程序员文章站 2022-04-28 10:40:04

自定义 ThreadPoolExecutor 处理线程运行时异常最近看完了 "ElasticSearch线程池模块" 的源码，感触颇深，然后也自不量力地借鉴ES的 EsThreadPoolExecutor 重新造了一把*，对线程池的理解又加深了一些。在继承 ThreadPoolExecutor实 ......

自定义 threadpoolexecutor 处理线程运行时异常

最近看完了elasticsearch线程池模块的源码，感触颇深，然后也自不量力地借鉴es的 esthreadpoolexecutor 重新造了一把*，对线程池的理解又加深了一些。在继承 threadpoolexecutor实现自定义的线程池时，es先重写了runnable接口，提供了更灵活的任务运行过程中出现异常处理逻辑。简而言之，它采用回调机制实现了线程在运行过程中抛出未受检异常的统一处理逻辑，非常优美。实在忍不住把源码copy下来：

/**
 * an extension to runnable.
 */
public abstract class abstractrunnable implements runnable {

    /**
     * should the runnable force its execution in case it gets rejected?
     */
    public boolean isforceexecution() {
        return false;
    }

    @override
    public final void run() {
        try {
            dorun();
        } catch (exception t) {
            onfailure(t);
        } finally {
            onafter();
        }
    }

    /**
     * this method is called in a finally block after successful execution
     * or on a rejection.
     */
    public void onafter() {
        // nothing by default
    }

    /**
     * this method is invoked for all exception thrown by {@link #dorun()}
     */
    public abstract void onfailure(exception e);

    /**
     * this should be executed if the thread-pool executing this action rejected the execution.
     * the default implementation forwards to {@link #onfailure(exception)}
     */
    public void onrejection(exception e) {
        onfailure(e);
    }

    /**
     * this method has the same semantics as {@link runnable#run()}
     * @throws interruptedexception if the run method throws an interruptedexception
     */
    protected abstract void dorun() throws exception;
}

统一的任务执行入口方法dorun()，由各个子类实现dorun()执行具体的业务逻辑
try-catch中统一处理线程执行任务过程中抛出的异常，由onfailure()处理
任务执行完成（不管是正常结束还是运行过程中抛出了异常），统一由onafter()处理
另外，还有一个isforceexecution方法，用来支持任务在提交给线程池被拒绝了，强制执行。当然了，这需要线程池的任务队列提供相关的支持。我也是受这种方式的启发，实现了一个线程在执行任务过程中抛出未受检异常时，先判断该任务是否允许强制执行isforceexecution，然后再重新提交任务运行的线程池。

此外，es内置了好几个默认实现的线程池，比如 esthreadpoolexecutor 、queueresizingesthreadpoolexecutor 和 prioritizedesthreadpoolexecutor。

queueresizingesthreadpoolexecutor

在创建线程池时会指定一个任务队列(blockingqueue)，平常都是直接用 linkedblockingqueue，它是一个*队列，当然也可以在构造方法中指定队列的长度。但是，es中几乎不用 linkedblockingqueue 作为任务队列，而是使用 linkedtransferqueue ，但是 linkedtransferqueue 又是一个*队列，于是es又基于linkedtransferqueue 封装了一个任务队列，类名称为 resizableblockingqueue，它能够限制任务队列的长度。

那么问题来了，对于一个线程池，任务队列设置为多长合适呢？

答案就是little's law。在queueresizingesthreadpoolexecutor 线程池中重写了afterexecute()方法，里面统计了每个任务的运行时间、等待时间(入队列到执行)。所以，你想知道如何统计一个任务的运行时间吗？你想统计线程池一共提交了多少个任务，所有任务的运行时间吗？看看queueresizingesthreadpoolexecutor 源码就明白了。

另外再提一个问题，为什么es用 linkedtransferqueue 作为任务队列而不用 linkedblockingqueue 呢？

我想：很重要的一个原因是linkedblockingqueue 是基于重量级的锁实现的入队操作，而linkedtransferqueue 是基于cas原子指令实现的入队操作。那么这就是synchronized内置锁和cas原子指令之间的一些差异了，你懂得。
prioritizedesthreadpoolexecutor

优先级任务的线程池，任务提交给线程池后是在任务队列里面排队，fifo模式。而这个线程池则允许任务定义一个优先级，优先级高的任务先执行。

esthreadpoolexecutor

这个线程池最接近经常见到的threadpoolexecutor，不过，它实现了一些拒绝处理逻辑，提交任务若被拒绝(会抛出esrejectedexecutionexception异常)，则进行相关处理

    @override
    public void execute(final runnable command) {
        doexecute(wraprunnable(command));
    }

    protected void doexecute(final runnable command) {
        try {
            super.execute(command);
        } catch (esrejectedexecutionexception ex) {
            if (command instanceof abstractrunnable) {
                // if we are an abstract runnable we can handle the rejection
                // directly and don't need to rethrow it.
                try {
                    ((abstractrunnable) command).onrejection(ex);
                } finally {
                    ((abstractrunnable) command).onafter();

                }
            } else {
                throw ex;
            }
        }
    }

讲完了es中常用的三个线程池实现，还想结合jdk源码，记录一下线程在执行任务过程中抛出运行时异常，是如何处理的。我觉得有二种方式（或者说有2个地方）来处理运行时异常。一种方式是：java.util.concurrent.threadpoolexecutor#afterexecute方法，另一种方式是：java.lang.thread.uncaughtexceptionhandler#uncaughtexception

afterexecute

看threadpoolexecutor#afterexecute(runnable r, throwable t) 的源码注释：

method invoked upon completion of execution of the given runnable.this method is invoked by the thread that executed the task. if non-null, the throwable is the uncaught runtimeexception or error that caused execution to terminate abruptly.

提交给线程池的任务，执行完（不管是正常结束，还是执行过程中出现了异常）后都会自动调用afterexecute()方法。如果执行过程中出现了异常，那么throwable t 就不为null，并且导致执行终止(terminate abruptly.)。

this implementation does nothing, but may be customized in subclasses. note: to properly nest multiple overridings, subclasses should generally invoke super.afterexecute at the beginning of this method.

默认的afterexecute(runnable r, throwable t) 方法是一个空实现，什么也没有。因此，在继承threadpoolexecutor实现自己的线程池时，如果重写该方法，则要记住：先调用 super.afterexecute

比如说这样干：
```
 @override
 protected void afterexecute(runnable r, throwable t) {
     super.afterexecute(r, t);
     if (t != null) {
         //出现了异常
         if (r instanceof abstractrunnable && ((abstractrunnable)r).isforceexecution()) {
             //abstractrunnable 设置为强制执行时重新拉起任务
             execute(r);
             logger.error("abstractrunnable task run time error:{}, restarted", t.getmessage());
         }
     }
 }
```
看，重写afterexecute方法，当 throwable 不为null时，表明线程执行任务过程中出现了异常，这时就重新提交任务。

有个时候，在实现 kafka 消费者线程的时候(while true循环)，经常因为解析消息出错导致线程抛出异常，就会导致 kafka消费者线程挂掉，这样就永久丢失了一个消费者了。而通过这种方式，当消费者线程挂了时，可重新拉起一个新任务。
uncaughtexception

创建 threadpoolexecutor时，要传入threadfactory 作为参数，在而创建threadfactory 对象时，就可以设置线程的异常处理器java.lang.thread.uncaughtexceptionhandler。

在用google guava包的时候，一般这么干：
```
//先 new  thread.uncaughtexceptionhandler对象 exceptionhandler
private threadfactory threadfactory = new threadfactorybuilder().setnameformat("thread_name-%d").setuncaughtexceptionhandler(exceptionhandler).build();
```
在线程执行任务过程中，如何抛出了异常，就会由jvm调用 thread.uncaughtexceptionhandler 中实现的异常处理逻辑。看thread.uncaughtexceptionhandler的jdk源码注释：

interface for handlers invoked when a thread abruptly. terminates due to an uncaught exception.

when a thread is about to terminate due to an uncaught exception the java virtual machine will query the thread for its uncaughtexceptionhandler using getuncaughtexceptionhandler and will invoke the handler's uncaughtexception method, passing the thread and the exception as arguments.

其大意就是：如果线程在执行runnable任务过程因为 uncaught exception 而终止了，那么 jvm 就会调用getuncaughtexceptionhandler 方法查找是否设置了异常处理器，如果设置了，那就就会调用异常处理器的java.lang.thread.uncaughtexceptionhandler#uncaughtexception方法，这样我们就可以在这个方法里面定义异常处理逻辑了。

总结

es的threadpool 模块是学习线程池的非常好的一个示例，实践出真知。它告诉你如何自定义线程池（用什么任务队列？cpu核数、任务队列长度等参数如何配置？）。在实现自定义任务队列过程中，也进一步理解了cas操作的原理，如何巧妙地使用cas？是失败重试呢？还是直接返回？

另外，线程在执行runnable任务过程中抛出了异常如何处理？这里提到了thread.uncaughtexceptionhandler#uncaughtexception 和 threadpoolexecutor#afterexecute。前者是由jvm自动调用的，后者则是在每个任务执行结束后都会被调用。

另外，注意：thread.uncaughtexceptionhandler#uncaughtexception 和 rejectedexecutionhandler#rejectedexecution 是不同的。rejectedexecutionhandler 用来处理任务在提交的时候，被线程池拒绝了，该怎么办的问题，默认是abortpolicy，即：直接丢弃。

另，等下次有时间，好好地写一篇分析elasticsearch6.3.2的线程池模块。:)
原文：https://www.cnblogs.com/hapjin/p/10617702.html

上一篇： Python的一些用法分享

下一篇：记录Django开发心得

自定义 ThreadPoolExecutor 处理线程运行时异常