Spark rdd reduceByKey使用

它比groupby快，本地合并,代码看下面。（注意这是我自己项目里copy的代码，不能直接使用，你得定义一个key->(v1,v2)）

//reduceBykey相同的key的value 在一起你让它干嘛
//x和y代表所有的2个value遇到干嘛,最后返回的还是key->(value1,value2)格式
//我的rdd是sparkSQL写的，类型是rdd[ROW]每行有3个字段
//你可以改
//rdd.map(r => (r(0).toString -> (r(1).toString, r(2).toString))) 为map的集合
val rdd1: RDD[(String, (String, String))] = rdd.map(r => (r(0).toString -> (r(1).toString, r(2).toString))).reduceByKey((x, y) => {
  //返回的value是组合后的value
  (s"${x._1}和${y._1}", s"${x._2}和${y._2}")
})

rdd1.foreach(r=>println(r))