spark中的reduceByKey VS groupByKey

在编写spark程序时，reduceByKey和groupByKey都可以实现分组聚合的功能，但是在实际中使用哪一个更好呢。

还记的在写MapReduce程序的时候，每一台机器上的数据会经过shuffle，分发到属于自己的机器上进行汇总计算。这个过程是通过网络进行IO操作的，是很费资源的。所以在MapReduce中可以在map端先进行combiner，也就相当于执行了一次reduce，然后再进行shuffle。这样就会减少网络传输，提高效率。

而reduceByKey的底层就有类似combiner这样的实现，所以使用reduceByKey的效率会更高。

下面是一个例子：

reduceByKey：

groupByKey：

scala> sc.textFile("/spark/input").flatMap(_.split(" ")).map((_, 1)).groupByKey().map(t => (t._1, t._2.sum)).collect
res21: Array[(String, Int)] = Array((text,1), (jarry,1), (nai,1), (sary,1), (world,3), (hello,9), (jim,3), (wo,1), (ni,1))

执行结果是一样的但是，执行过程入下图：

reduceByKey会先进行一次汇总