文本三剑客之awk

awk介绍

1     awk：aho, weinberger, kernighan，报告生成器，格式化文本输出 
2     有多种版本：new awk（nawk），gnu awk（ gawk） 
3     gawk：模式扫描和处理语言 
4     基本用法： 
5         awk [options] 'program' var=value file… 
6         awk [options] -f programfile var=value file… 
7         awk [options] 'begin{action;… }pattern{action;… }end{action;… }' file ... 
8         awk 程序可由：begin语句块、能够使用模式匹配的通用语句块、end语句块，共3部分组成 
9         program (程序）通常是被放在单引号中 

awk的工作原理

 1     第一步：执行begin{action;… }语句块中的语句 
 2     第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，
 3         它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。  
 4     第三步：当读至输入流末尾时，执行end{action;…}语句块 
 5     begin语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，
 6         比如变量初始化、打印输出表格的表头等语句通常可以写在begin语句块中 
 7     end语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的
 8         分析结果这类信息汇总都是在end语句块中完成，它也是一个可选语句块  
 9     pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供
10         pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每
11         一行都会执行该语句块 

awk基本格式

 1     基本格式：awk [options] 'program' file… 
 2     program：pattern{action statements;..} 
 3     pattern和action 
 4         pattern部分决定动作语句何时触发及触发事件 
 5             begin,end 
 6         action statements对数据进行处理，放在{}内指明 
 7             print, printf 
 8     分割符、域和记录 
 9         awk执行时，由分隔符分隔的字段（域）标记$1,$2...$n称为域标识。$0为所有域，注意：此时和shell中变量$符含义不同 
10         文件的每一行称为记录 
11         省略action，则默认执行 print $0 的操作 

awk之print格式

 1     print格式：print item1, item2, ... 
 2     要点： 
 3         (1) 逗号分隔符 
 4         (2) 输出item可以字符串，也可是数值；当前记录的字段、变量或awk的表达式 
 5         (3) 如省略item，相当于print $0 
 6     示例： 
 7         awk '{print "hello,awk"}' 
 8         awk –f: '{print}' /etc/passwd 
 9         awk –f: ‘{print “wang”}’ /etc/passwd 
10         awk –f: ‘{print $1}’ /etc/passwd 
11         awk –f: ‘{print $0}’ /etc/passwd 
12         awk –f: ‘{print $1”\t”$3}’ /etc/passwd 

awk变量

 1     变量：内置和自定义变量 
 2     fs：输入字段分隔符，默认为空白字符 
 3         awk -v fs=':' '{print $1,fs,$3}’ /etc/passwd 
 4         awk –f: '{print $1,$3,$7}’ /etc/passwd 
 5     f：filed（域、列、字段）
 6     s：表示分割符
 7     ofs：输出字段分隔符，默认为空白字符 
 8         awk -v fs=‘:’ -v ofs=‘:’ '{print $1,$3,$7}’ /etc/passwd 
 9     o：输出
10     ofs：输出分割符
11     rs：输入记录分隔符，指定输入时的换行符 
12         awk -v rs=' ' ‘{print }’ /etc/passwd 
13     ors：输出记录分隔符，输出时用指定符号代替换行符 
14         awk -v rs=' ' -v ors='###'‘{print }’ /etc/passwd 
15     nf：字段数量 
16         awk -f：‘{print nf}’ /etc/fstab 引用变量时，变量前不需加$ 
17         awk -f：‘{print $(nf-1)}' /etc/passwd 
18     nr：记录号 
19         awk ‘{print nr}’ /etc/fstab ; awk end‘{print nr}’ /etc/fstab 

 1     fnr：各文件分别计数,记录号 
 2         awk '{print fnr}' /etc/fstab /etc/inittab 
 3     filename：当前文件名 
 4         awk '{print filename}’ /etc/fstab 
 5     argc：命令行参数的个数 
 6         awk '{print argc}’ /etc/fstab /etc/inittab 
 7         awk ‘begin {print argc}’ /etc/fstab /etc/inittab 
 8     argv：数组，保存的是命令行所给定的各参数 
 9         awk ‘begin {print argv[0]}’ /etc/fstab /etc/inittab 
10         awk ‘begin {print argv[1]}’ /etc/fstab /etc/inittab 

 1     自定义变量(区分字符大小写) 
 2         (1) -v var=value 
 3         (2) 在program中直接定义 
 4     示例： 
 5         awk -v test='hello gawk' '{print test}' /etc/fstab 
 6         awk -v test='hello gawk' 'begin{print test}' 
 7         awk 'begin{test="hello,gawk";print test}' 
 8         awk -f:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd 
 9         cat awkscript 
10         {print script,$1,$2} 
11         awk -f: -f awkscript script=“awk” /etc/passwd 

awk之printf

 1     格式化输出：printf “format”, item1, item2, ... 
 2         (1) 必须指定format 
 3         (2) 不会自动换行，需要显式给出换行控制符，\n 
 4         (3) format中需要分别为后面每个item指定格式符 
 5     格式符：与item一一对应 
 6         %c：显示字符的ascii码 
 7         %d, %i：显示十进制整数 
 8         %e, %e：显示科学计数法数值 
 9         %f：显示为浮点数 
10         %g, %g：以科学计数法或浮点形式显示数值 
11         %s：显示字符串 
12         %u：无符号整数 
13         %%：显示%自身 
14     修饰符 
15         #[.#] 第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f 
16         - 左对齐（默认右对齐） %-15s 
17         + 显示数值的正负符号 %+d 

awk操作符

 1     算术操作符： 
 2         x+y, x-y, x*y, x/y, x^y, x%y 
 3         - x：转换为负数 
 4         +x：将字符串转换为数值 
 5     字符串操作符：没有符号的操作符，字符串连接 
 6     赋值操作符： 
 7             =, +=, -=, *=, /=, %=, ^=，++, -- 
 8         下面两语句有何不同 
 9             awk ‘begin{i=0;print ++i,i}’ 
10             awk ‘begin{i=0;print i++,i}’ 

 1     比较操作符： 
 2         ==, !=, >, >=, <, <= 
 3     模式匹配符： 
 4         ~：左边是否和右边匹配，包含 
 5             !~：是否不匹配 
 6         示例： 
 7             awk -f: '$0 ~ /root/{print $1}‘ /etc/passwd 
 8             awk '$0~“^root"' /etc/passwd 
 9             awk '$0 !~ /root/‘ /etc/passwd 
10             awk -f: ‘$3==0’ /etc/passwd 

 1     逻辑操作符：与&&，或||，非! 
 2     示例： 
 3         awk -f: '$3>=0 && $3<=1000 {print $1}' /etc/passwd 
 4         awk -f: '$3==0 || $3>=1000 {print $1}' /etc/passwd 
 5         awk -f: ‘!($3==0) {print $1}' /etc/passwd 
 6         awk -f: ‘!($3>=500) {print $3}’ /etc/passwd 
 7     条件表达式（三目表达式） 
 8         selector?if-true-expression:if-false-expression 
 9         示例： 
10             awk -f: '{$3>=1000?usertype="common user":usertype=" 
11             sysuser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd 

awk pattern 

 1     pattern:根据pattern条件，过滤匹配的行，再做处理 
 2         (1)如果未指定：空模式，匹配每一行 
 3         (2) /regular expression/：仅处理能够模式匹配到的行，需要用/  /括起来 
 4             awk '/^uuid/{print $1}' /etc/fstab 
 5             awk '!/^uuid/{print $1}' /etc/fstab 
 6         (3) relational expression: 关系表达式，结果为“真”才会被处理 
 7             真：结果为非0值，非空字符串 
 8             假：结果为空字符串或0值            
 9     示例： 
10         awk   -f:  'i=1;j=1{print i,j}' /etc/passwd 
11         awk  ‘!0’  /etc/passwd ;  awk  ‘!1’   /etc/passwd 
12         awk  -f: '$3>=1000{print $1,$3}'  /etc/passwd 
13         awk  -f: '$3<1000{print $1,$3}'  /etc/passwd 
14         awk  -f: '$nf=="/bin/bash"{print $1,$nf}' /etc/passwd 
15         awk  -f: '$nf ~ /bash$/{print $1,$nf}' /etc/passwd 

1     (4) line ranges：行范围 
2         startline,endline：/pat1/,/pat2/ 不支持直接给出数字格式 
3         awk -f: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwd 
4         awk -f: ‘(nr>=10&&nr<=20){print nr,$1}' /etc/passwd 
5     (5) begin/end模式 
6         begin{}：仅在开始处理文件中的文本之前执行一次 
7         end{}：仅在文本处理完成之后执行一次 

awk action 

1     常用的action分类 
2         (1) expressions：算术，比较表达式等 
3         (2) control statements：if, while等 
4         (3) compound statements：组合语句 
5         (4) input statements 
6         (5) output statements：print等 

awk控制语句 

 1     { statements;… } 组合语句 
 2     if(condition) {statements;…}  
 3     if(condition) {statements;…} else {statements;…} 
 4     while(conditon) {statments;…} 
 5     do {statements;…} while(condition) 
 6     for(expr1;expr2;expr3) {statements;…} 
 7     break 
 8     continue 
 9     delete array[index] 
10     delete array 
11     exit  

awk控制语句if-else 

 1     语法：if(condition){statement;…}[else statement] 
 2         if(condition1){statement1}else if(condition2){statement2}else{statement3} 
 3     使用场景：对awk取得的整行或某个字段做条件判断 
 4     示例： 
 5         awk -f: '{if($3>=1000)print $1,$3}' /etc/passwd 
 6         awk -f: '{if($nf=="/bin/bash") print $1}' /etc/passwd 
 7         awk '{if(nf>5) print $0}' /etc/fstab 
 8         awk -f: '{if($3>=1000) {printf "common user: %s\n",$1} else {printf "root or 
 9         sysuser: %s\n",$1}}' /etc/passwd 
10         awk -f: '{if($3>=1000) printf "common user: %s\n",$1; else printf "root or 
11         sysuser: %s\n",$1}' /etc/passwd 
12         df -h|awk -f% '/^\/dev/{print $1}'|awk '$nf>=80{print $1,$5}‘ 
13         awk ‘begin{ test=100;if(test>90){print “very good“} 
14             else if(test>60){ print ”good”}else{print “no pass”}}’ 

awk控制语句 while循环 

 1     语法：while(condition){statement;…} 
 2     条件“真”，进入循环；条件“假”，退出循环 
 3     使用场景： 
 4         对一行内的多个字段逐一类似处理时使用 
 5         对数组中的各元素逐一处理时使用 
 6     示例： 
 7         awk '/^[[:space:]]*linux16/{i=1;while(i<=nf)  
 8             {print $i,length($i); i++}}' /etc/grub2.cfg 
 9         awk ‘/^[[:space:]]*linux16/{i=1;while(i<=nf) {if(length($i)>=10) {print 
10             $i,length($i)}; i++}}’ /etc/grub2.cfg 

awk控制语句do-while循环

1     语法：do {statement;…}while(condition) 
2     意义：无论真假，至少执行一次循环体 
3     示例：  
4         awk 'begin{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’ 

awk控制语句 for循环

1     语法：for(expr1;expr2;expr3) {statement;…} 
2     常见用法： 
3         for(variable assignment;condition;iteration process) 
4             {for-body} 
5     特殊用法：能够遍历数组中的元素 
6         语法：for(var in array) {for-body} 
7     示例： 
8         awk '/^[[:space:]]*linux16/{for(i=1;i<=nf;i++) {print $i,length($i)}}' 
9             /etc/grub2.cfg 

awk控制语句switch语句 

1     语法：switch(expression) {case value1 or /regexp/: statement1; case 
2         value2 or /regexp2/: statement2; ...; default: statementn} 
3     break和continue 
4         awk ‘begin{sum=0;for(i=1;i<=100;i++) 
5             {if(i%2==0)continue;sum+=i}print sum}' 
6         awk ‘begin{sum=0;for(i=1;i<=100;i++) 
7             {if(i==66)break;sum+=i}print sum}' 

awk数组

 1     关联数组：array[index-expression] 
 2     index-expression: 
 3         (1) 可使用任意字符串；字符串要使用双引号括起来 
 4         (2) 如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串” 
 5         (3) 若要判断数组中是否存在某元素，要使用“index in array”格式进行遍历 
 6     示例： 
 7         weekdays["mon"]="monday"  
 8         awk 'begin{weekdays["mon"]="monday";weekdays["tue"]="tuesday"; 
 9             print weekdays["mon"]}‘ 
10         awk ‘!line[$0]++’ dupfile 
11         awk '{!line[$0]++;print $0, line[$0]}'  dupfile 

1     若要遍历数组中的每个元素，要使用for循环 
2     for(var in array) {for-body} 
3     注意：var会遍历array的每个索引 
4     示例：  
5         awk‘begin{weekdays["mon"]="monday";weekdays["tue"]="tuesday";
6             for(i in weekdays) {print weekdays[i]}}' 
7         netstat -tan | awk '/^tcp/{state[$nf]++} 
8             end{for(i in state) { print i,state[i]}}' 
9         awk  '{ip[$1]++}end{for(i in ip) {print i,ip[i]}}'   /var/log/httpd/access_log 

awk函数

 1     数值处理： 
 2         rand()：返回0和1之间一个随机数 
 3         awk 'begin{srand(); for (i=1;i<=10;i++)print int(rand()*100) }' 
 4     字符串处理： 
 5         length([s])：返回指定字符串的长度 
 6         sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容，并将第一个匹配内容替换为s 
 7             echo "2008:08:08 08:08:08" | awk 'sub(/:/,“-",$1)' 
 8         gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容 
 9             echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,“-",$0)' 
10         split(s,array,[r])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所
11             表示的数组中，第一个索引值为1,第二个索引值为2,… 
12                 netstat -tn | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++} 
13                     end{for (i in count) {print i,count[i]}}’ 

 1     自定义函数格式： 
 2         function name ( parameter, parameter, ... ) { 
 3                         statements 
 4                         return expression 
 5         } 
 6     示例： 
 7         cat fun.awk 
 8         function max(x,y) { 
 9             x>y?var=x:var=y 
10             return var 
11         } 
12         begin{a=3;b=2;print max(a,b)} 
13         awk -f fun.awk  

awk脚本 

1     将awk程序写成脚本，直接调用或执行 
2     示例： 
3     cat f1.awk 
4         {if($3>=1000)print $1,$3} 
5     awk -f: -f f1.awk /etc/passwd  

 1 向awk脚本传递参数 
 2     格式： 
 3         awkfile var=value var2=value2... inputfile 
 4     注意：在begin过程中不可用。直到首行输入完成以后，变量才可用。可以通
 5         过-v 参数，让awk在执行begin之前得到变量的值。命令行中每一个指定的变
 6         量都需要一个-v参数 
 7     示例： 
 8         cat test.awk 
 9             #!/bin/awk –f 
10             {if($3 >=min && $3<=max)print $1,$3} 
11         chmod +x test.awk 
12         test.awk -f: min=100 max=200 /etc/passwd

awk实例：

1 1、判断uid是否大于等于500，如果为真就显示为普通用户，如果为假就显示为系统或管理用户
2 awk -f: '{$3>=500?name="common user":name="system user";print name,$1,$3}' /etc/passwd
3 2、显示用户id为奇数的用户。
4 awk -f: '{if(nr%2==0)next;print nr,$0}' /etc/passwd
5 3、统计web服务访问日志中的ip访问量
6 awk '{ip[$1]++}end{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log