欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Shell基础之-uniq命令

程序员文章站 2024-02-23 23:30:22
...

uniq 命令用于去除文本文件中的重复行

首先,大家如果看到有什么不懂的地方,欢迎吐槽!!!
我会在当天或者第二天及时回复,并且改进~~


查看sort和uniq去除重复行的区别

   sort -t: -k7 -u /etc/passwd    //去除passwd文件中域7重复的行
   cat /etc/passwd | uniq         //去除passwd文件中域7重复的行

区别1:
   sort 可以对指定的域进行排序并且去除重复行
   uniq 则不可以对某个相同的域进行去除,只能去除记录相同的行

区别2:
   sort 在排序之后进行去除,排序之后相同的记录都连续排序在一起
   uniq 去除重复行时只能对连续重复的记录进行去除,而不连续的则无法去除

uniq命令选项及其意义

   -c  #打印每行在文本中重复出现的次数
   -d  #只显示有重复的记录,每个重复记录只出现一次
   -u  #只显示没有重复的记录

uniq命令示例:

打印出test文本中每行重复出现的次数
   #uniq -c test

只打印出test文本中重复的行
   #uniq -d test

只打印出test文本中不重复的行
   #uniq -u test

打印出test文本中重复的行出现的次数
   #uniq -cd test

打印出test文本中不重复的行出现的次数
   #uniq -cu test

sort 和 uniq 结合的命令

统计出一个文件内每种单词出现的次数

count=1
err1=55
err2=56

#if检测用法是否错误
if [ $# -ne $count ]
then
   echo "Usage: script file"
   exit $err1
fi

#if检测是否对文件进行统计
if [ ! -f $! ]
then
   echo "File $1 not does found"
   exit $err2
fi

sort $1 | uniq -c | sort -nr   #将文件进行排序,然后去除重复并统计行个数,最后按照数字从大到小输出