欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

linux中uniq命令的使用

程序员文章站 2022-03-11 11:51:28
...

uniq命令用于报告或者忽略文件中的重复的行,一般与sort命令结合使用。
语法

uniqu(选项)(参数)

选项

-c / --count:在每列旁边显示该行重复出现的次数;
-d / --repeated: 仅显示重复出现的行;
-f<栏位> / --skip-fields=<栏位>:忽略比较指定的栏位;
-s<字符位置> / --skip-chars=<字符位置>:忽略比较指定的字符;
-u / --unique:仅显示出现一次的行列;
-w<字符位置> / --check-chars=<字符位置>:指定要比较的字符。

参数
输入文件:指定要去除重复复行的文件。如果不指定此项,则从标准读取数据;
输出文件:指定要去除重重复行后的内容要写入的输出文件。如果不指定,则将内容显示到标准输出设备(终端)。
实例
file.txt文件:

aaa
bbb
aaa
aaa
ccc
ccc
bbb
dddd
dddd
dddd
aaa
aaa

执行命令:

去除临近的相同项:uniq file.txt

结果:

aaa
bbb
aaa
ccc
bbb
dddd
aaa

执行:

sort file.txt | uniq
aaa
bbb
ccc
dddd
sort -u file.txt 
aaa
bbb
ccc
dddd

达到去重的效果。
统计各行在文件中出现的次数:

sort file.txt | uniq -c
      5 aaa
      2 bbb
      2 ccc
      3 dddd

查找文件中的重复行:

sort file.txt | uniq -d
aaa
bbb
ccc
dddd
相关标签: uniq linux