Linux正则表达式基础
介绍grep,sed,awk这三个命令,而正则表达式作为这三个命令的一种使用方式(命令输出中可以包含正则表达式)。
概念
正则表达式,又被正规表示式、正规表示法、针对表达式、规格表达式、常规表达法(Regular Expression,或regex、regexp、RE)。正则表达式使用单个字符来描述、匹配一系列符合某个句法规则的字符串。在很多编辑器里,正则表达式通常用来检索、替换那些符合某个模式的文本。
注意区分正则表达式与通配符的差别。
- 在文本过滤工具里,都是用正则表达式,比如像awk,sed,等,是针对文件的内容的
- 而通配符多用在文件名上,比如查找find,ls,cp,等等
具体内容对比,可以参考:https://blog.csdn.net/zgqxiexie/article/details/51184602
例子:
一个文件中,包含“shiyanlou”和“shilouyan”这两个字符,同样一个表达式:
shi*
如果上述表达式作为正则表达式,它将只能匹配shi;而如果不是正则表达式,而是作为一个通配符,则将同时匹配两个字符串。
原因:在正则表达式中,*
表示匹配前面的子表达式零次或多次,比如它可以匹配”sh”,”shi”,”shii”,”shishi”等等,而作为通配符*
表示匹配通配符后面任意多个字符,所以可以匹配文本中的字符串。
基本语法
一个正则表达式通常被称为一个模式(pattern),为用来描述或者匹配一系列符合某个句法规则的字符串。
选择
|
表示分割,比如: boy | gril
可以匹配“boy”或者“girl”
数量限定
数量限定出了上面讲过的*
,还有+
和?
,如果在一个模式中不加数量限定符则表示出现一次且仅出现一次:
-
+
表示前面的字符必须出现至少一次(一次或多次),例如,”goo+gle”可以匹配‘goooogle’,’gooooogle’等; -
?
表示前面的字符最多出现一次(零次或一次),例如,“colou?r”可以匹配‘colour’和‘color’; -
*
表示前面的字符可以不出现,也出现一次或者多次,例如,‘0*42’可以匹配42,042,0042,00042等等。
范围和优先级
()
圆括号可以用来定义模式字符串的范围和优先级,可以简单的理解位是否将括号内的模式串作为一个整体。例如,”gr(a|r)y”等价于gray|grey;”(grand)?father”匹配father和grandfather。
语法部分
正则表达式有多种不同的风格,下面举例一下常用的作为PCRE子集的适合于perl
和python
编程语言及grep
或egrep
的正则表达式匹配规则。
PCRE(Perl Compatible Regular Expressions中文含义:perl语言兼容正则表达式)是一个用 C 语言编写的正则表达式函数库,由菲利普.海泽(Philip Hazel)编写。PCRE是一个轻量级的函数库,比Boost 之类的正则表达式库小得多。PCRE 十分易用,同时功能也很强大,性能超过了 POSIX 正则表达式库和一些经典的正则表达式库。
字符 | 描述 |
---|---|
\ | 建一个字符标记为一个特殊字符,或一个原义字符,比如,”n”匹配字符“n”, “/n”匹配一个换行符,序列”\”匹配”\”而“(”匹配”(“。 |
^ | 匹配输入字符串的开始位置 |
$ | 匹配输入字符串的结束位置 |
{n} | n是一个非负整数,匹配确定的n次,例如:”o{2}”不能匹配“Bob”种的“o”,但是能匹配“book”种的两个”o” |
{n,} | n是一个非负整数,至少匹配n次,例如:“o{2,}“不能匹配‘bob’,但可以匹配”foooood“种的所有‘o’, "o{1,}"等价于”o+“,"o{0,}"等价于”o*“
|
{n,m } | m和n均为非负整数,其中n<=m。最少匹配n次且最多匹配m次,比如“o{1,3}”将匹配“fooooodv”种的前三个o |
* | 匹配前面的子表达式零次或多次 |
+ | 匹配前面的子表达式一次或多次 |
? | 匹配前面的子表达式零次或一次 |
? | 当该字符紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串“oooo”,“o+?”将匹配单个“o”,而“o+”将匹配所有“o”。 |
. | 匹配除了”\n“之外的任何单个字符,要匹配包括“\n”在内的任何字符,请使用像“(.|\n)”的模式。 |
(pattern) | 匹配pattern并获取这一匹配的子字符串。该子字符串用户向后引用。要匹配圆括号字符,请使用“(”或“)”。 |
x竖线y | 匹配x或y。 例如”z竖线food“能匹配”z“或”food”.”(z竖线f)oood”则匹配”zood“或”food“。 |
[xyz] | 字符集合(character class)。匹配所包含的任意一个字符。例如,”[abc]“可以匹配”plain“中的”a”。其中特殊字符仅有反斜线\保持特殊含义,用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合;如果出现在字符串中间就仅作为普通字符。连字符 - 如果出现在字符串中间表示字符范围描述;如果如果出现在首位则仅作为普通字符。 |
[^xyz] | 排除型(negate)字符集合。匹配未列出的任意字符。例如,“[^abc]”可以匹配“plain”中的“plin”。 |
[a-z] | 字符范围。匹配指定范围内的任意字符。例如,“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 |
[a-z] | 字符范围。匹配指定范围内的任意字符。例如,“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 |
注意:由于markdown的语法问题,表格中的竖线无法显示,会被编译成表格的一列,所以在表格中使用竖线(’|‘)的地方,写成了中文的“竖线”
优先级
优先级为从上到下从左到右,依次降低:
运算符 | 说明 |
---|---|
\ | 转义符 |
(), (?:), (?=), [] | 括号和中括号 |
*、+、?、{n}、{n,}、{n,m} | 限定符 |
^、$、\任何元字符 | 定位点和序列 |
| |
选择 |
grep模式匹配命令
基本操作
grep
命令用户打印输出文本中匹配的模式串,它使用正则表达式作为模式匹配的条件。grep
支持三种正则表达式引擎,分别用三个参数指定:
参数 | 说明 |
---|---|
-E | POSIX扩展正则表达式,ERE |
-G | POSIX基本正则表达式,BRE |
-P | Perl正则表达式,PCRE |
在通过grep
命令使用正则表达式之前,先介绍一下它的常用参数:
参数 | 说明 |
---|---|
-b | 将二进制文件作为文本来进行匹配 |
-c | 统计以模式匹配的数目 |
-i | 忽略大小写 |
-n | 显示匹配文本所在行的行号 |
-v | 反选,输出不匹配行的内容 |
-r | 递归匹配查找 |
-A n | n为正整数,表示after的意思,除了列出匹配行之外,还列出后面的n行 |
-B n | n为正整数,表示before的意思,除了列出匹配行之外,还列出前面的n行 |
–color=auto | 将输出中的匹配项设置为自动颜色显示 |
使用正则表达式
使用基本正则表达式:BRE
- 位置
查找/etc/group
文件中以”shiyanlou“为开头的行
grep 'shiyanlou' /etc/group
grep '^shiyanlou' /etc/group
-
数量
匹配以‘z’开头以‘o’结尾的所有字符串
echo ‘zero\nzo\nzoo’ | grep ‘z.*o’
匹配以‘z’开头以‘o’结尾,中间包含一个任意字符的字符串
echo ‘zero\nzo\nzoo’ | grep ‘z.o’
匹配以‘z’开头,以任意多个‘o’结尾的字符串
echo ‘zero\nzo\nzoo’ | grep ‘zo*’
-
选择
grep默认区分大小写,这里将匹配所有的小写字母
echo ‘1234\nabcd’ | greap ‘[a-z]’
将匹配所有的数字
echo ‘1234\nabcd’ | greap ‘[0-9]’
匹配所有数字
echo ‘1234\nabcd’ | greap ‘[[:digit]]’
匹配所有小写字母
echo ‘1234\nabcd’ | greap ‘[[:lower:]]’
匹配所有大写字母
echo ‘1234\nabcd\nABCD’ | greap ‘[[:upper:]]’
匹配所有的数字和字母,包括:0-9,a-z,A-Z
echo ‘1234\nabcd\nABCD’ | greap ‘[[:alnum:]]’
匹配所有的字母
echo ‘1234\nabcd\nABCD’ | greap ‘[[:alpha:]]’
下面包含完整的特殊符号及说明:
特殊符号 | 说明 |
---|---|
[:alnum:] | 代表英文大小写字母及数字,亦即 0-9, A-Z, a-z |
[:alpha:] | 代表任何英文大小写字母,亦即 A-Z, a-z |
[:blank:] | 代表空白键与 [Tab] 按键两者 |
[:cntrl:] | 代表键盘上面的控制按键,亦即包括 CR, LF, Tab, Del.. 等等 |
[:digit:] | 代表数字而已,亦即 0-9 |
[:graph:] | 除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键 |
[:lower:] | 代表小写字母,亦即 a-z |
[:print:] | 代表任何可以被列印出来的字符 |
[:punct:] | 代表标点符号 (punctuation symbol),亦即:” ’ ? ! ; : # $… |
[:upper:] | 代表大写字母,亦即 A-Z |
[:space:] | 任何会产生空白的字符,包括空白键, [Tab], CR 等等 |
[:xdigit:] | 代表 16 进位的数字类型,因此包括: 0-9, A-F, a-f 的数字与字节 |
# 排除字符
echo 'geek\ngood' | grep '[^o]'
使用扩展正则表达式
要通过grep
使用扩展正则表达式需要加上-E
参数,或使用egrep
。
-
数量
只匹配”zo“
echo ‘zero\nzo\nzoo’ | grep -E ‘zo{1}’
匹配以’zo’开头的所有单词
echo ‘zero\nzo\nzoo’ | grep -E ‘zo{1,}’
注意:推荐掌握{n,m}即可,+,?,*,这几个不太直观,且容易弄混淆。
-
选择
匹配”www.shiyanlou.com”和”www.google.com”
$ echo ‘www.shiyanlou.com\nwww.baidu.com\nwww.google.com’ | grep -E ‘www.(shiyanlou|google).com’
或者匹配不包含”baidu”的内容
$ echo ‘www.shiyanlou.com\nwww.baidu.com\nwww.google.com’ | grep -Ev ‘www.baidu.com’
sed流编辑器
sed
工具在 man 手册里面的全名为”sed - stream editor for filtering and transforming text “,意即,用于过滤和转换文本的流编辑器。
在 Linux/UNIX 的世界里敢称为编辑器的工具,大都非等闲之辈,比如前面的”vi/vim(编辑器之神)”,”emacs(神的编辑器)”,”gedit”这些个编辑器。sed与上述的最大不同之处在于它是一个非交互式的编辑器。
sed常用参数介绍
sed命令基本格式
sed [参数] [执行命令] [输入文件] ...
#形如
sed -i 's/ad/happy' test #表示将test文件中的"sad"替换成happy
参数 | 说明 |
---|---|
-n | 安静模式,只打印受影响的行,默认打印输入数据的全部内容 |
-e | 用于在脚本中添加多个执行命令一次执行,在命令行中多个命令通过需要加该参数 |
-f filename | 指定执行filename文件中的命令 |
-r | 使用扩展正则表达式,默认为标准正则表达式 |
-i | 直接修改输入文件内容,而不是打印到输出标准设备 |
sed编译器的执行命令
sed 执行格式:
[n1][,n2]command
[n1][~step]command
# 其中一些命令可以在后面加上作用范围,形如:
$ sed -i 's/sad/happy/g' test # g表示全局范围
$ sed -i 's/sad/happy/4' test # 4表示指定行中的第四个匹配字符串
其中n1,n2表示输入内容的行号,它们之间为,逗号则表示从n1到n2行,如果为~波浪号则表示从n1开始以step为步进的所有行;command为执行动作,下面为一些常用动作指令:
命令 | 说明 |
---|---|
s | 行内替换 |
c | 整行替换 |
a | 插入到指定行的后面 |
i | 插入到指定行的前面 |
p | 打印指定行,通常与-n参数配合使用 |
d | 删除指定行 |
sed操作举例
打印指定行
#打印2-5行
nl passwd | sed -n '2,5p'
#打印奇数行
nl passwd | sed -n '1~2p'
注意:nl 可以将输出的文件内容自动的加上行号
行内替换
#文本中”shiyanlou“全局替换成’hehe‘,并纸打印替换的那一行,注意这里不能省略最后的”p“命令
sed -n 's/shiyanlou/hehe/gp' passwd
注意: 行内替换可以结合正则表达式使用。
行间替换
nl passwd | grep 'shiyanlou'
#删除第21行
sed -n '21c\www.shiyanlou.com' passwd
(这里我们只把要删的行打印出来了,并没有真正的删除,如果要删除的话,请使用-i参数)
awk文本处理语言
AWK是一种优良的文本处理工具,Linux及Unix环境中现有的功能最强大的数据处理引擎之一.其名称得自于它的创始人Alfred Aho(阿尔佛雷德·艾侯)、Peter Jay Weinberger(彼得·温伯格)和Brian Wilson Kernighan(布莱恩·柯林汉)姓氏的首个字母.AWK程序设计语言,三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。最简单地说,AWK是一种用于处理文本的编程语言工具。
在大多数linux发行版上面,实际我们使用的是gawk(GNU awk,awk的GNU版本)。
nawk: 在 20 世纪 80 年代中期,对 awk语言进行了更新,并不同程度地使用一种称为 nawk(new awk) 的增强版本对其进行了替换。许多系统中仍然存在着旧的awk 解释器,但通常将其安装为 oawk (old awk) 命令,而 nawk 解释器则安装为主要的 awk 命令,也可以使用 nawk 命令。Dr. Kernighan 仍然在对 nawk 进行维护,与 gawk 一样,它也是开放源代码的,并且可以免费获得; gawk: 是 GNU Project 的awk解释器的开放源代码实现。尽管早期的 GAWK 发行版是旧的 AWK 的替代程序,但不断地对其进行了更新,以包含 NAWK 的特性; mawk 也是awk编程语言的一种解释器,mawk遵循 POSIX 1003.2 (草案 11.3)定义的 AWK 语言,包含了一些没有在AWK 手册中提到的特色,同时 mawk 提供一小部分扩展,另外据说mawk是实现最快的awk。
awk的基础概念
awk所有的操作都是基于pattern(模式)—action(动作)对来完成的,如下面的形式:
pattern {action}
它将所有的动作操作用一对{}花括号包围起来。其中pattern通常是表示用于匹配输入的文本的“关系式”或“正则表达式”,action则是表示匹配后将执行的动作。在一个完整awk操作中,这两者可以只有其中一个,如果没有pattern则默认匹配输入的全部文本,如果没有action则默认为打印匹配内容到屏幕。
awk处理文本的方式,是将文本分割成一些“字段”,然后再对这些字段进行处理,默认情况下,awk以空格作为一个字段的分割符,不过这不是固定的,你可以任意指定分隔符。
awk命令基本格式
awk [-F fs] [-v var=value] [-f prog-file] | 'program text'] [file...]
其中-F
参数用于预先指定前面提高的字段分隔符(还有其他指定字段的方式),-v
用户预先为awk
程序指定变量,-f
参数用户指定awk
命令要执行的程序文件,或者在不加’-f’参数的情况下直接间程序语句放在这里。最后为awk
需要处理的文本输入,且可以同时输入多个文本文件。
awk操作体验
vim test
#输入文本
cat test
使用swk将文本打印到终端
awk '{
print
}' test
#或者写成一行
awk '{print}' test
说明:在这个操作中我是省略了pattern,所以awk会默认匹配输入文本的全部内容,然后在”{}”花括号中执行动作,即print打印所有匹配项,这里是全部文本内容
将test的第一行中的每个字段单独显示为一行
$ awk '{
> if(NR==1){
> print $1 "\n" $2 "\n" $3
> } else {
> print}
> }' test
# 或者
$ awk '{
> if(NR==1){
> OFS="\n"
> print $1, $2, $3
> } else {
> print}
> }' test
说明:你首先应该注意的是,这里我使用了awk语言的分支选择语句if,它的使用和很多高级语言如C/C++语言基本一致,如果你有这些语言的基础,这里将很好理解。另一个你需要注意的是NR
与OFS
,这两个是awk内建的变量,NR
表示当前读入的记录数,你可以简单的理解为当前处理的行数,OFS
表示输出时的字段分隔符,默认为” “空格,如上图所见,我们将字段分隔符设置为\n
换行符,所以第一行原本以空格为字段分隔的内容就分别输出到单独一行了。然后是$N
其中N为相应的字段号,这也是awk的内建变量,它表示引用相应的字段,因为我们这里第一行只有三个字段,所以只引用到了$3
。除此之外另一个这里没有出现的$0
,它表示引用当前记录(当前行)的全部内容。
将test的第行以点为分段的字段换成以空格为风格
$ awk -F'.' '{
> if(NR==2){
> print $1 "\t" $2 "\t" $3
> }}' test
# 或者
$ awk '
> BEGIN{
> FS="."
> OFS="\t" # 如果写为一行,两个动作语句之间应该以";"号分开
> }{
> if(NR==2){
> print $1, $2, $3
> }}' test
说明:这里的-F
参数,前面已经介绍过,它是用来预先指定待处理记录的字段分隔符。我们需要注意的是除了指定OFS
我们还可以在print
语句中直接打印特殊符号如这里的\t
,print
打印的非变量内容都需要用”“一对引号包围起来。上面另一个版本,展示了实现预先指定变量分隔符的另一种方式,即使用BEGIN
,就这个表达式指示了,其后的动作将在所有动作之前执行,这里是FS
赋值了新的”.”点号代替默认的” “空格
awk常用的内置变量
变量名 | 说明 |
---|---|
FILENAME | 当前输入文件名,若有多个文件,则只表示第一个。如果输入是来自标准输入,则为空字符串 |
$0 | 当前记录的内容 |
$N | N表示字段号,最大值为NF变量的值 |
FS | 字段分隔符,由正则表达式表示,默认为” “空格 |
RS | 输入记录分隔符,默认为”\n”,即一行为一个记录 |
NF | 当前记录字段数 |
NR | 已经读入的记录数 |
FNR | 当前输入文件的记录数,请注意它与NR的区别 |
OFS | 输出字段分隔符,默认为” “空格 |
ORS | 输出记录分隔符,默认为”\n” |
下一篇: vue中嵌入外部网站