欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

MapReduce自定义Partitioner

程序员文章站 2024-01-12 14:40:28
...

Shuffle过程是会按照Map中输出的key,把数据默认分到一个分区中,那么默认的是如何实现的?
MapReduce自定义Partitioner
HashPartitioner是Partitioner默认的分区规则,其中numReduceTasks就是指定的Reducer的个数,决定了Reducer作业输出文件的个数。

自定义Partitioner

package com.imooc.bigdata.hadoop.mr.access;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

/**
 * MapReduce自定义分区规则
 */
public class AccessPartition extends Partitioner<Text, Access> {

    /**
     * @param phone         手机号
     * @param access
     * @param numPartitions
     * @return
     */
    @Override
    public int getPartition(Text phone, Access access, int numPartitions) {
        if (phone.toString().startsWith("13")) {
            return 0;
        } else if (phone.toString().startsWith("15")) {
            return 1;
        } else {
            return 2;
        }
    }
}

在main方法中配置:

        // 设置自定义分区规则
        job.setPartitionerClass(AccessPartition.class);
        // 设置reduce个数
        job.setNumReduceTasks(3);

这样就将结果输出到不同的文件中去了。