Flink程序JDK8 运行一段时间后NullException解决
程序员文章站
2022-03-03 20:05:31
Flink程序CheckPointNullException 环境:Java8+Flink1.10初期程序正常运行,无任何异常,但是当程序跑了一段时间后,CheckPoint开始报NullException,具体代码异常由于已经修改完毕即没有报错,接下来来说一下出现这个异常的解决思路吧首先我们排查程序代码,采用Lmabda表达式集成Flink框架写的程序,对于所有的异常处理已经全部处理,包括各种全局变量的定义我都检查了一遍基本上是没有任何问题,甚至包括消费kafka数据的解码器我都重新自定义添加空指针异...
Flink程序CheckPointNullException 环境:Java8+Flink1.10
初期程序正常运行,无任何异常,但是当程序跑了一段时间后,CheckPoint开始报NullException,具体代码异常由于已经修改完毕即没有报错,接下来来说一下出现这个异常的解决思路吧
首先我们排查程序代码,采用Lmabda表达式集成Flink框架写的程序,对于所有的异常处理已经全部处理,包括各种全局变量的定义我都检查了一遍基本上是没有任何问题,甚至包括消费kafka数据的解码器我都重新自定义添加空指针异常抛出,但是第二次运行程序再次爆出空指针异常,并没有按我的格式去输出异常,这让我百思不得其解,于是我去debug了一下源码,发现CheckPointMeta为空,于是去看了下邮件列表发现有个大佬已经改正了这个错误,于是我直接拿过来用了,下面给大家分享一下
按以上path内容将Path添加到相应的类中,对应的类为
flink-streaming-java/src/main/java/org/apache/flink/streaming/runtime/tasks/StreamTask.java
基本上程序正常跑数,在无空指针异常,期间我测试过如果使用scala写程序的话是没有任何异常的,如果有用java写flink的话遇到这个异常的小伙伴可以参考如上操作,如果你的demo没有问题的话可以参考以上内容修改源码再次编译尝试
本文地址:https://blog.csdn.net/Z_baiqiang/article/details/107894331