欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

Linux--shell的awk--10

程序员文章站 2022-05-10 09:31:50
一、awk介绍 全称:由Aho Weinberger Kernaighan三个人的首字母组合而成 1970年第一次出现在Unix机器上,后来在开源领域使用它 awk是一种单独的编程语言解释器 awk报告生成器:通过模式匹配以及自己本身的语言格式,来获取并输出客户所需要的内容 示例:获取系统上面用户i ......

一、awk介绍

全称:由aho weinberger kernaighan三个人的首字母组合而成

1970年第一次出现在unix机器上,后来在开源领域使用它

awk是一种单独的编程语言解释器

awk报告生成器:通过模式匹配以及自己本身的语言格式,来获取并输出客户所需要的内容

示例:获取系统上面用户id大于1小于等于500的用户的用户名和用户id

awk -f: '{if($3>=1&&<=500){print $1,$3}}' /etc/passwd

二、awk工作原理

1、依次把匹配到的行,使用awk工具进行编辑

2、$0表示整行,$1代表第一个…,$nf代表最后一个

3、pattern;通过模式匹配对应的字段过滤行;

4、通过对应的命令 printf 做格式化输出

三、awk用法

 awk [option] … 'program' file

注意:

1、program 必须使用单引号

2、多条program语句使用大括号包含起来,可以并列、嵌套    

awk '{print}' /etc/passwd   #默认打印$0

四、awk常见选项(option)

-f  指定分隔符,默认是空格

  -f[:\] 指定多个分隔符

例:
awk -f[:\] '{print $3,$5,$7}' /etc/passwd   指定 : 和 / 为分隔符

-v  手动指定变量参数

awk -v a="a/b" 'print a' a.txt

  1、a是自定义变量

  2、在awk中调用变量不用加$符号

cut与awk的区别

  awk 以空格为分割域时,是以单个或多个连续的空格为分隔符的;

cut则是以单个空格作为分隔符。

五、awk的语法格式----program

1、print

默认输出(在屏幕上)

在awk中没有保存命令,我们可以关联其他命令(tee)来保存

2、printf  实现格式化输出

输出格式:printf  "xxx %-10s xxx %-10d ",name,num 

格式符:

  %s   显示字符串

  %d %i  显示数值

  %c   显示ascii

  %e %e 科学计算方式

  %f    显示浮点数

  %u  无符号整数

  %%   逃逸符,只显示%自己

修饰符:

  默认为右对齐

  -        代表左对齐

    %5.4f  代表占位数为5,小数位有4位  

3、变量

内置变量----环境变量(bash)

  awk语言所默认支持的变量

  fs   定义输入分隔符的变量

  ofs  定义输出分隔符的变量

  nf($nf) 分割以后的最后一列的变量,变量引用的时候不用加$

  nr  定义文件的行数,定义多个文件的时候,行号叠加

  fnr 定义文件行数时,只计算自己的行号

  filename  存储文件名字

  begin  只执行一次后面的命令

awk 'begin{print "xxx"}{print$3}' /etc/passwd

  argc  整个 命令参数 的段数  不包含argc命令本身

  argv  用来调取命令中指定的段

awk '{print argc}' /etc/passwd       ==  2
awk '{print argv[2]}' /etc/passwd    == /etc/passwd

  rs  指定换行符,默认为\n,可以指定新的换行符,不影响默认符号

  ors  输出时替换默认换行符

awk -v ors="@" '{print}' /etc/passwd

  自定义变量

    -v 变量=值

在后面’program’中去调用自定义变量时,直接使用即可或者将”变量=值”语句写到program即可

4、模式匹配(地址定界)

a) 空值,没有定义,默认就将文件中所有行放入awk中进行循环

b) 对m~n行进行操作

awk 'nr>=1&&nr<=3{print}' /etc/passwd     打印1到3行

c) pattern匹配的行 /pattern/

awk '/r..t/{print}' /etc/passwd

d) /pattern1/,/pattern2/ 第一次pattern1到第一次匹配pattern2的行

awk '/root/,/user1/{print}' /etc/passwd

练习:判断/patern1/,/pattern2/之间行的用户是bash用户,并显示用户名

awk -f: '/^root/,/user1/{if($nf=="/bin/bash");print $1,$3}' /etc/passwd

e) 模式匹配可以直接使用判断语句

awk -f: '$nf=="/bin/bash"{print $1 $3}' /etc/passwd

f) begin定义在默认循环进行操作前所要执行的语句

awk -f: 'begin{printf "shell程序为bash:\n"}$nf=="/bin/bash"{print $1,$3}' /etc/passwd

g) end 定义在循环结束后执行

awk -f: $nf=="/bin/bash"{print $1,$3} 'end{printf "end\n"}' /etc/passwd

5、操作符

运算操作符

  +  -  *  /  %  ^(乘方)  //

比较运算符

  >  <  ==  !=  >=  <=  ~(等于)  !~

awk -f: '-fs~"/bin/bash" {print $1,$3}' /etc/passwd

逻辑操作符

  &&  ||  !

赋值操作符

  =  +=  -=  /=  *=  %=  ^=  //=

条件表达式

  条件语句? 条件成立语句;条件不成立语句

awk '/^title/{nf<=2? print; print "参数过少"}' /boot/grub/grub.conf

6、常见action

  print printf 以及它任何命令的操作都是action

a) expressions

b) input statements输入语句

c) 组合语句 compound statements /pat1/{{ }{ }}

d) control statements 控制语句 例如 if  while等

e) output statements 输出语句

7、常见语言

a) if语句

  语法格式:if(条件表达式){执行语句} else {执行语句}

awk '/^title/{if(nf<=2){print} else {print "error"}}' /boot/grub/grub.conf

b) while语句

  只有对行参数进行遍历的时候才使用while语句

  语法格式:初始值 while(条件表达式){循环体;初始控制语句}

c) for语句

  语法格式:for(初始值;条件判断;初始值控制语句){循环体}

d) do-while语句

  语法格式:do {循环体} while (循环条件)

e) 跳出循环语句

  break [n]  跳出n次循环

  continue  跳出本次循环

  next      跳出默认的当前循环  nr%2==1 next 跳过奇数行

awk '{if(nr%2==1){next}else{print}}' /etc/passwd

f) switch语句(类似case)

  语法格式:switch(表达式){case 模式匹配值:执行语句;case …,default:执行语句}

8、数组

在awk中,数组和shell中的数组特性相同

注意:awk中数组不用定义,只要使用,就有值为空的默认数组

行遍历:整个文件进行遍历

列遍历:取对象的某一列进行遍历

注意:数组通过for语句,再给其他变量进行赋值时,赋的是索引信息

练习统计/etc/fstab中每个单词(以空格隔开的词)的次数

awk -v rs=" " '{print}' /etc/fstab | awk '{a[$1]++}end{for(i in a){printf "%-50s = %-2d\n",i,a[i]}}'

9、函数

内置函数:

  length()  统计字符串长度

    数学上使用的函数 sin() cos() tan() …

  sub(x,x,x)  替换第一个匹配到的值

awk -f: '{print sub(o,o,$1) }' /etc/passw第一列第一个o替换为o

  gsub(x,x,x)  替换该行所有匹配到的所有值

awk -f: '{print gsub(o,o,$1) }' /etc/passwd第一列所有o替换为o

  split(x,x,x)  指定分隔符去切割文件

netstat -tan | awk '/^tcp\>/{split($5,ip,":");print ip[1]}'