大数据优化方案----MapReduce优化方法

MapReduce跑的慢的原因（☆☆☆☆☆）

一、Mapreduce 程序效率的瓶颈在于两点：

1） 计算机性能
CPU、内存、磁盘健康、网络
2） I/O 操作优化
（1） 数据倾斜
（2） map 和reduce 数设置不合理
（3） reduce 等待过久
（4） 小文件过多
（5） 大量的不可分块的超大文件
（6） spill 次数过多
（7） merge 次数过多等。

二、MapReduce优化方法（☆☆☆☆☆）

1）数据输入：
（1）合并小文件：在执行mr 任务前将小文件进行合并，大量的小文件会产生大量的map 任务，增
大map 任务装载次数，而任务的装载比较耗时，从而导致mr 运行较慢。
（2）采用ConbinFileInputFormat 来作为输入，解决输入端大量小文件场景。
2）map 阶段
（1）减少spill 次数：通过调整io.sort.mb 及sort.spill.percent 参数值，增大触发spill 的内存上限，
减少spill 次数，从而减少磁盘IO。
（2）减少merge 次数：通过调整io.sort.factor 参数，增大merge 的文件数目，减少merge 的次数，
从而缩短mr 处理时间。
（3）在map 之后先进行combine 处理，减少I/O。
3）reduce 阶段
（1）合理设置map 和reduce 数：两个都不能设置太少，也不能设置太多。太少，会导致task 等
待，延长处理时间；太多，会导致map、reduce 任务间竞争资源，造成处理超时等错误。
（2）设置map、reduce 共存：调整slowstart.completedmaps 参数，使map 运行到一定程度后，reduce
也开始运行，减少reduce 的等待时间。
（3）规避使用reduce，因为Reduce 在用于连接数据集的时候将会产生大量的网络消耗。
（4）合理设置reduc 端的buffer，默认情况下，数据达到一个阈值的时候，buffer 中的数据就会写入磁盘，然后reduce 会从磁盘中获得所有的数据。也就是说，buffer 和educe 是没有直接关联的，中间多个一个写磁盘->读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得buffer 中的一部分数据可以直接输送到reduce，从而减少IO 开销：mapred.job.reduce.input.buffer.percent，默认为0.0。当值大于0 的时候，会保留指定比例的内存读buffer 中的数据直接拿给reduce 使用。这样一来，设置buffer 需要内存，读取数据需要内存，reduce 计算也要内存，所以要根据作业的运行情况进行调整。
4）IO 传输
（1）采用数据压缩的方式，减少网络IO 的的时间。安装Snappy 和LZOP 压缩编码器。
（2）使用SequenceFile 二进制文件
5）数据倾斜问题
（1）数据倾斜现象
数据频率倾斜——某一个区域的数据量要远远大于其他区域。数据大小倾斜——部分记录的大小远远大于平均值。
（2）如何收集倾斜数据
在reduce 方法中加入记录map 输出键的详细情况的功能。

public static final String MAX_VALUES = "skew.maxvalues";
private int maxValueThreshold;

@Override
public void configure(JobConf job) {
maxValueThreshold = job.getInt(MAX_VALUES, 100);
}

@Override
public void reduce(Text key, Iterator<Text> values, OutputCollector<Text, Text> output, Reporter reporter) throws IOException {
	int i = 0;
	while (values.hasNext()) {
		values.next();
		i++;
	}
	if (++i > maxValueThreshold) {
		log.info("Received " + i + " values for key " + key);
	}
}

（3）减少数据倾斜的方法
方法1：抽样和范围分区
       可以通过对原始数据进行抽样得到的结果集来预设分区边界值。
方法2：自定义分区
       另一个抽样和范围分区的替代方案是基于输出键的背景知识进行自定义分区。例如，如果map 输出键的单词来源于一本书。其中大部分必然是省略词（stopword）。那么就可以将自定义分区将这部分省略词发送给固定的一部分reduce 实例。而将其他的都发送给剩余的reduce 实例。
方法3：Combine
       使用Combine 可以大量地减小数据频率倾斜和数据大小倾斜。在可能的情况下，
combine 的目的就是聚合并精简数据。

6） 常用的调优参数
（1） 资源相关参数
       （a） 以下参数是在用户自己的mr 应用程序中配置就可以生效（mapred-default.xml）
       （b）应该在yarn 启动之前就配置在服务器的配置文件中才能生效（yarn-default.xml）
       （c）shuffle 性能优化的关键参数，应在yarn 启动之前就配置好（mapred-default.xml）

（2） 容错相关参数(mapreduce 性能优化)