Spark入门教程之reduce、reduceByKey的操作

上一篇是讲map，map的主要作用就是替换。reduce的主要作用就是计算。

package reduce;

import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
import scala.Tuple2;

import java.util.Arrays;
import java.util.List;

/**
 * @author wuweifeng wrote on 2018/4/13.
 */
public class SimpleReduce {
    public static void main(String[] args) {
        SparkSession sparkSession = SparkSession.builder().appName("JavaWordCount").master("local").getOrCreate();
        //spark对普通List的reduce操作
        JavaSparkContext javaSparkContext = new JavaSparkContext(sparkSession.sparkContext());
        List data = Arrays.asList(1, 2, 3, 4, 5);
        JavaRDD originRDD = javaSparkContext.parallelize(data);

        Integer sum = originRDD.reduce((a, b) -> a + b);
        System.out.println(sum);

        //reduceByKey，按照相同的key进行reduce操作
        List list = Arrays.asList("key1", "key1", "key2", "key2", "key3");
        JavaRDD stringRDD = javaSparkContext.parallelize(list);
        //转为key-value形式
        JavaPairRDD pairRDD = stringRDD.mapToPair(k -> new Tuple2<>(k, 1));
        List list1 = pairRDD.reduceByKey((x, y) -> x + y).collect();
        System.out.println(list1);
    }
}

代码很简单，第一个就是将各个数累加。reduce顺序是1+2，得到3，然后3+3，得到6，然后6+4，依次进行。

第二个是reduceByKey，就是将key相同的键值对，按照Function进行计算。代码中就是将key相同的各value进行累加。结果就是[(key2,2), (key3,1), (key1,2)]