1.背景
面试的时候常常会被问到一个问题，大型的文件该怎样去重。写一个python脚本是效率非常差的策略。
这里讲下怎样用shell实现。
2.流程
（1）文件分割
用split函数对于文件分割。
split -l 10000 test.txt-l是依照行分割，10000是每10000行分割成一份文件。分割完会在当前文件夹自己主动生成10000行一例的文件。
（2）去重
sort -u origin.txt -o output.txt本文来自博客 “李博Garvin“
转载请标明出处:http://blog.csdn.net/buptgshengod]