mapreduce 数据去重

代码下载链接：

https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ 
提取码：2v0l 

1.经过了maptask：把一行数据作为key，value为空
2.每个各自的mapreduce中的相同顺序的分区中的数据都传到同一个reducetask中进行全局合并：key=一行数据。value=为空的迭代器