【转】Linux下多种方法删除重复行/列

 

Linux下文本处理工具很丰富很强大，去重复行可用以下方法：

cat log

www.haiyun.me 192.168.1.1

www.haiyun.me 192.168.1.1

www.haiyun.me 192.168.1.2

使用uniq/sort删除重复行，仅能对整行操作。

uniq log

sort -u log

uniq log

www.haiyun.me 192.168.1.1

www.haiyun.me 192.168.1.2

使用awk按列删除重复行，也可按多列或整行操作。

awk '!i[$1]++' log

www.haiyun.me 192.168.1.1

使用sed删除重复行：

sed '$!N; /^\(.*\)\n\1$/!P; D' log

www.haiyun.me 192.168.1.1

www.haiyun.me 192.168.1.2