Spark性能调优1-数据倾斜特征/常见原因/后果/常见调优方案

数据倾斜特征：个别task处理大部分数据

后果：1.oom;2.速度变慢，甚至变得慢的不可接受

 

常见原因：

数据倾斜的定位：

1.webui（查看task运行的数据量的大小）。

2.log,查看log中哪一行出现oom,查找具体哪个stage,进而确定哪一个shuffle产生了数据倾斜。

3.查看代码，主要是join,groupbykey,reducebykey等代码。

4.对数据特征分布进行分析。