智慧出行/FAQ-SPARK-4105,只要你spark版本低于2.3版本是一定会出现这个bug的正常的

SPARK-4105错误,只要你spark版本低于2.3版本是一定会出现这个bug的正常的

正常的task的生命周期–>50–60s
但是突然有一次task运行了2个小时还没有结束
我们就怀疑可能是出现了数据倾斜的问题—>查看一下yarn日志:yarn logs -applicationiD YARNID

我们看yarn的日志,日常上出现了shuffle fetchError sparkshuffle找不到的错误

生成中出现慢磁盘现象解决办法,就是开始推测执行,等于是让task换一台机器进行执行

writeShuffle --> 落盘(压缩–>LZ4) --> readShuffle
这个SPARK-4105bug就是readShuffle的时候拿不到LZ4文件

spark.io.compression.codec  //spark压缩默认是使用LZ4压缩

解决这个bug的方式是:关闭压缩,而且当关闭压缩后,还发现这个处理速度变快了,快了将近一倍,因为你牺牲了io释放了cpu,压缩是需要进行cpu操作的,