MapReduce自定义Partitioner
程序员文章站
2024-01-12 14:40:28
...
Shuffle过程是会按照Map中输出的key,把数据默认分到一个分区中,那么默认的是如何实现的?
HashPartitioner是Partitioner默认的分区规则,其中numReduceTasks就是指定的Reducer的个数,决定了Reducer作业输出文件的个数。
自定义Partitioner
package com.imooc.bigdata.hadoop.mr.access;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;
/**
* MapReduce自定义分区规则
*/
public class AccessPartition extends Partitioner<Text, Access> {
/**
* @param phone 手机号
* @param access
* @param numPartitions
* @return
*/
@Override
public int getPartition(Text phone, Access access, int numPartitions) {
if (phone.toString().startsWith("13")) {
return 0;
} else if (phone.toString().startsWith("15")) {
return 1;
} else {
return 2;
}
}
}
在main方法中配置:
// 设置自定义分区规则
job.setPartitionerClass(AccessPartition.class);
// 设置reduce个数
job.setNumReduceTasks(3);
这样就将结果输出到不同的文件中去了。