Shell基础之-uniq命令
程序员文章站
2024-02-23 23:30:22
...
uniq 命令用于去除文本文件中的重复行
首先,大家如果看到有什么不懂的地方,欢迎吐槽!!!
我会在当天或者第二天及时回复,并且改进~~
查看sort和uniq去除重复行的区别
sort -t: -k7 -u /etc/passwd //去除passwd文件中域7重复的行
cat /etc/passwd | uniq //去除passwd文件中域7重复的行
区别1:
sort 可以对指定的域进行排序并且去除重复行
uniq 则不可以对某个相同的域进行去除,只能去除记录相同的行
区别2:
sort 在排序之后进行去除,排序之后相同的记录都连续排序在一起
uniq 去除重复行时只能对连续重复的记录进行去除,而不连续的则无法去除
uniq命令选项及其意义
-c #打印每行在文本中重复出现的次数
-d #只显示有重复的记录,每个重复记录只出现一次
-u #只显示没有重复的记录
uniq命令示例:
打印出test文本中每行重复出现的次数
#uniq -c test
只打印出test文本中重复的行
#uniq -d test
只打印出test文本中不重复的行
#uniq -u test
打印出test文本中重复的行出现的次数
#uniq -cd test
打印出test文本中不重复的行出现的次数
#uniq -cu test
sort 和 uniq 结合的命令
统计出一个文件内每种单词出现的次数
count=1
err1=55
err2=56
#if检测用法是否错误
if [ $# -ne $count ]
then
echo "Usage: script file"
exit $err1
fi
#if检测是否对文件进行统计
if [ ! -f $! ]
then
echo "File $1 not does found"
exit $err2
fi
sort $1 | uniq -c | sort -nr #将文件进行排序,然后去除重复并统计行个数,最后按照数字从大到小输出
上一篇: 英文单词统计
下一篇: Linux wget 命令选项详解