欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

Linux-awk命令详解

程序员文章站 2022-11-08 11:54:59
awk 命令详解 awk 是一种编程语言,用于在linux/nuix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大的编程工具。它在命令行中使用,但更多是作为脚本来使用。 awk 的处理 ......

awk 命令详解

  awk 是一种编程语言,用于在linux/nuix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大的编程工具。它在命令行中使用,但更多是作为脚本来使用。

  awk 的处理文本和数据的方式是这样的,它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并在这些行上进行你想要的操作。如果没有指定处理动作,则把匹配的行显示到标准输出(屏幕),如果没有指定模式,则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个恩,分别是alfred aho、brian kernighan、peter weinberger。gawk是awk的gnu版本,它提供了bell实验室和gnu的一些扩展。

awk命令两种使用方式:

  (1)命令行模式:awk [options] 'commands' file(s)

  (2)脚本模式:awk [options] -f scriptfile file[s]

awk 命令模式

awk [options] 'commands' file(s) 

option:
    -f 定义字段分割符号
    -v 定义变量并赋值
command:
    1、范围说明或者正则表达式或者{awk命令语句1;awk命令语句2;}
    2、范围说明部分可以是begin、end、逻辑表达式或者为空
    3、awk命令语句间用分号间隔
    4、引用shell变量时需要用双引号引起,命令模式都在单引号''里面
    
    begin{}    {}        end{}
    行处理前     行处理    行处理后

命令格式:
awk 'pattern' filename               示例:awk '/root/' /etc/passwd
awk '{action}' filename              示例:awk -f: '{print $1}' /etc/passwd
awk 'pattern {action}' filename      示例:awk -f: '/root/{print $1,$3}'    /etc/passwd          
示例:awk 'begin{fs=":"} /root/{print $1,$3}' /etc/passwd command |awk 'pattern {action}' 示例:df -p | grep '/' |awk '$4 > 25000 {print $4}'

字段分割及相关变量

$1,$2,$3...$n:awk中用该顺序形式表示files中每行以间隔符号分割的各列的不同字段
$0             表示文本本身
nf             表示当前记录的字段数(列数)
$nf            最后一列
$(nf-1)        倒数第二列
fnr/nr         行号
filename       文件名
"\t"           制表符
rs             换行符
""             打印字符串
fs             定义间隔符
~              匹配,与==相比不是精确比较
!~             不匹配,不精确比较
==             等于,必须全部相等,精确比较
/[0-9][0-9]+/  两个或两个以上数字
-f'[:#/]'      定义三个分隔符
# awk -f: '{print $0}' /etc/passwd        //打印文件所有内容
# awk -f: '{print nr, $0}' /etc/passwd /etc/hosts    //打印文件所有内容,并包括行号
# awk -f: '{print fnr,$0}' /etc/passwd /etc/hosts
# awk -f: '{print $0,nf}' /etc/passwd    //保留记录的字段数
# awk 'begin{fs=":"}{print $1,$3}' /etc/passwd    //输入字段分隔符,默认为空格

格式化输出:

print函数
# date |awk '{print "month: "$2 "\nyear: "$nf}'
# awk -f: '{print "username is: " $1 "\t uid is: "$3}' /etc/passwd
# awk -f: '{print "\tusername and uid: " $1,$3 "!"}' /etc/passwd
# head -5 /etc/passwd|awk -f: 'begin {print "user\thomedir\tshell"rs"***********************"};{print $1"\t"$(nf-1)"\t"$nf};end {print"************end************"}
print函数
# date |awk '{print "month: "$2 "\nyear: "$nf}'
# awk -f: '{print "username is: " $1 "\t uid is: "$3}' /etc/passwd
# awk -f: '{print "\tusername and uid: " $1,$3 "!"}' /etc/passwd
参数说明:
    %s 字符类型
    %d 数值类型
    占15字符
    - 表示左对齐,默认是右对齐
    printf默认不会在行尾自动换行,加\n

awk模式和动作

  任何awk语句都由模式和动作组成。模式部分决定动作语句何时触发及触发事件。处理即对数据进行的操作。如果省略模式部分,动作将时刻保持执行状态。模式可以是任何条件语句或复合语句或正则表达式。模式包括两个特殊字段 begin和end。使用begin语句设置计数和打印头。begin语句使用在任何文本浏览动作之前,之后文本浏览动作依据输入文本开始执行。end语句用来在awk完成文本浏览动作后打印输出文本总数和结尾状态。

模式可以是:正则表达式、比较表达式、条件表达式、算术运算符、逻辑操作符和复合模式、范围模式等。

正则表达式:

匹配记录(整行):
# awk '/^alice/'  /etc/passwd
# awk '!/root/' passwd

匹配字段:匹配操作符(~ !~)
# awk -f: '$1 ~ /^admin/'  /etc/passwd
# awk -f: '$nf !~ /nologin$/'  /etc/passwd

比较表达式:

  比较表达式采用对文本进行比较,只有当条件为真,才执行指定的动作。比较表达式使用关系运算符,用于比较数字与字符串。

运算符            含义                            示例
<                小于                            x<y
<=               小于或等于                       x<=y
==               等于                            x==y
!=               不等于                          x!=y
>=               大于等于                        x>=y
>                大于                            x>y
# awk -f: '$3 == 0' /etc/passwd
# awk -f: '$3 < 10' /etc/passwd
# awk -f: '$7 == "/bin/bash"' /etc/passwd
# awk -f: '$1 == "root" ' /etc/passwd
# awk -f: '$1 ~ /admin/ ' /etc/passwd
# df -p | grep  '/' |awk '$4 > 25000'

条件表达式:

# awk -f: '$3>300 {print $0}' /etc/passwd
# awk -f: '{ if($3>300) print $0 }' /etc/passwd
# awk -f: '{ if($3>300) {print $0} }' /etc/passwd
# awk -f: '{ if($3>300) {print $3} else{print $1} }' /etc/passwd

算术运算:+ - * / %(模) ^(幂2^3)

可以在模式中执行计算,awk都将按浮点数方式执行算术运算
# awk -f: '$3 * 10 > 500' /etc/passwd

逻辑操作符和复合模式:

&&        逻辑与        a&&b
||        逻辑或        a||b
!         逻辑非        !a
# awk -f: '$3 > 50 && $3 <=100' /etc/passwd
# awk -f: '$3 == 0 || $3 <=10' /etc/passwd
# awk -f: '!($3 == 0 || $3 <=10)' /etc/passwd

awk 脚本编程

条件判断:

if语句:

//格式
{if(表达式){语句;语句;...}}

# awk -f: '{if($3==0) {print $1 " is administrator."}}' /etc/passwd

# awk -f: '{if($3>0 && $3<1000){count++;}}  end{print count}' /etc/passwd    //统计系统用户数

if...else语句:

//格式
{if(表达式){语句;语句;...}else{语句;语句;...}}

# awk -f: '{if($3==0){print $1} else {print $7}}' /etc/passwd

# awk -f: '{if($3==0){count++} else{i++}} end{print "管理员个数: "count ; print "系统用户数: "i}' /etc/passwd

if...else if...else语句:

//格式
{if(表达式1){语句;语句;...}else if(表达式2){语句;语句;...}else if(表达式3){语句;语句;...}else{语句;语句;...}}

# awk -f: '{if($3==0){i++} else if($3>999){k++} else{j++}} end{print i; print k; print j}' /etc/passwd

# awk -f: '{if($3==0){i++} else if($3>999){k++} else{j++}} end{print "管理员个数: "i; print " 普通用个数: "k; print "系统用户: "j}' /etc/passwd

循环:

while:

# awk 'begin{i=1; while(i<=10){print i; i++}  }'
# awk -f: '{i=1; while(i<=10) {print $0;  i++}}' /etc/passwd        //将每行打印10次

for:

# awk 'begin{for(i=1;i<=5;i++){print i} }'                          //c风格for

awk -f: '{for(i=1;i<=10;i++) print $0}' /etc/passwd                 //将每行打印10次

数组:

# awk -f: '{username[++i]=$1} end{print username[1]}' /etc/passwd
root

# awk -f: '{username[i++]=$1} end{print username[1]}' /etc/passwd 
bin

# awk -f: '{username[i++]=$1} end{print username[0]}' /etc/passwd 
root

数组遍历:

# awk -f: '{username[x++]=$1} end{for(i=0;i<x;i++) print i,username[i]}' /etc/passwd

# awk -f: '{username[++x]=$1} end{for(i=1;i<=x;i++) print i,username[i]}' /etc/passwd

# awk -f: '{username[x++]=$1} end{for(i in username) {print i,username[i]} }' /etc/passwd

# awk -f: '{username[++x]=$1} end{for(i in username) {print i,username[i]} }' /etc/passwd

 练习

1. 统计/etc/passwd 中各种类型shell的数量
# awk -f: '{shells[$nf]++}end{ for(i in shells){print i,shells[i]}}' /etc/passwd

2. 网站访问状态统计 <当前时实状态 netstat>
# netstat -ant |grep :80 |awk '{access_stat[$nf]++}end{for(i in access_stat){print i, access_stat[i]}}'
# netstat -ant |grep :80 |awk '{access_stat[$nf]++} end{for(i in access_stat ){print i,access_stat[i]}}' |sort -k2 -n |head
# ss -an |grep :80 |awk '{access_stat[$1]++} end{for(i in access_stat){print i,access_stat[i]}}'
# ss -an |grep :80 |awk '{access_stat[$1]++} end{for(i in access_stat){print i,access_stat[i]}}' |sort -k2 -rn

3. 统计当前访问的每个ip的数量 <当前时实状态 netstat,ss>
# ss -an |grep :80 |awk -f":" '!/listen/{ip_count[$(nf-1)]++} end{for(i in ip_count){print i,ip_count[i]}}' |sort -k2 -rn

4. 统计apache/nginx日志中某一天的pv量  <统计日志>
# grep '07/aug/2012' access.log |wc -l

5. 统计apache/nginx日志中某一天不同ip的访问量 <统计日志>
# grep '07/dec/2018' access.log |awk '{ips[$1]++} end{for(i in ips){print i,ips[i]} }' |sort -k2 -rn
# grep '07/dec/2018' access.log |awk '{ips[$1]++} end{for(i in ips){print i,ips[i]} }' |awk '$2>100' |sort -k2

6. awk函数 统计用户名为4个字符的用户
# awk -f: '$1~/^....$/{count++; print $1} end{print "count is: " count}' /etc/passwd
# awk -f: 'length($1)==4{count++; print $1} end{print "count is: "count}' /etc/passwd

7. 取得网卡ip(除ipv6以外的所有ip)
# ifconfig |awk '/[ ]inet[ ]/{print $2}'

8. 获得内存使用情况
# free -m |awk 'nr==2{print $3*100/$2}'

9. 获得磁盘使用情况
# df |awk '/\/$/{print $5}'

10. 清空本机的arp缓存
# arp |awk '!/address/{print "arp -d " $1}'|bash
# arp -n |awk '/^[0-9]/{print $1}' |xargs -i {} arp -d {}