一天一个shell命令 linux文本内容操作系列-sed命令详解

说明：

sed是stream editor(流编辑器)的缩写。它能够完美匹配正则表达式。sed和awk是文件编辑最重要的两个命令了。尤其涉及到了很多正则表达式的问题，笔者不敢也有点犯怵，试着写写。

实例：

1.替换文件中的字符串

$sed -i 's/text/replace/g' file

#如果不加g结尾，则替换每一行的第一个

#如果只是打印，去掉-i

2.忽略前n处匹配，从n+1出开始替换

$sed -i 's/text/replace/2g' file

#在g前面加入数字n

3.移除空白符

$sed '/^$/d' file

4.标记已匹配的内容

$echo this is an example | sed 's:\w\+:/[&]:g'

[this] [is] [an] [example]

#冒号是定界符，只要合适，定界符可以是任意的

5.子串匹配

$echo this is digit 7 in a number | sed 's:digit \(0-9\):\1:'

#输出：this is 7 in a number

#学过正则表达式的人，都理解group的概念，（）里的内容是第一组，所以只打印了7

6.引用

$text=hello

$echo hello world | sed "s/$text/hello"

#输出hello world

#可能有人注意用双引号，是因为单引号会把$text当做一个字符串，而不是表达式。

7.删除

$sed '2d' file #删除第二行

$sed '2,$d' file  #删除2-最后一行

$sed '$d' file  #删除最后一行

解读—help

用法: sed [选项]... {脚本(如果没有其他脚本)} [输入文件]...

  -n, --quiet, --silent
                  取消自动打印模式空间
  -e 脚本, --expression=脚本
                 添加“脚本”到程序的运行列表
  -f 脚本文件, --file=脚本文件
                 添加“脚本文件”到程序的运行列表
  --follow-symlinks
                  直接修改文件时跟随软链接
  -i[扩展名], --in-place[=扩展名]
                  直接修改文件(如果指定扩展名就备份文件)
   -l n, --line-length=n
                  指定“l”命令的换行期望长度
  --posix
                  关闭所有 gnu 扩展
  -r, --regexp-extended
                  在脚本中使用扩展正则表达式
  -s, --separate
                  将输入文件视为各个独立的文件而不是一个长的连续输入
  -u, --unbuffered
                  从输入文件读取最少的数据，更频繁的刷新输出
      --help     打印帮助并退出
      --version  输出版本信息并退出

如果没有 -e, --expression, -f 或 --file 选项，那么第一个非选项参数被视为
sed脚本。其他非选项参数被视为输入文件，如果没有输入文件，那么程序将从标准
 输入读取数据。

解读：

对于这个帮助信息，确实信息量非常不足，不过sed确实过于复杂，所以尝试分成几次来详解这个命令。

我再借用另一段帮助信息文档

调用sed命令有两种形式：
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

options
a\   例如：sed "a\mm" file
在当前行后面加入一行文本。
b lable
分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
c\
用新的文本改变本行的文本。
d
从模板块（pattern space）位置删除行。
d
删除模板块的第一行。
i\
在当前行上面插入文本。
h
拷贝模板块的内容到内存中的缓冲区。
h
追加模板块的内容到内存中的缓冲区
g
获得内存缓冲区的内容，并替代当前模板块中的文本。
g
获得内存缓冲区的内容，并追加到当前模板块文本的后面。
l
列表不能打印字符的清单。
n
读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
n
追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
p
打印模板块的行。
p（大写）
打印模板块的第一行。
q
退出sed。
r file
从file中读行。
t label
if分支，从最后一行开始，条件一旦满足或者t，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
t label
错误分支，从最后一行开始，一旦发生错误或者t，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
w file
写并追加模板块到file末尾。
w file
写并追加模板块的第一行到file末尾。
!
表示后面的命令对所有没有被选定的行发生作用。
s/re/string
用string替换正则表达式re。
=
打印当前行号码。
#
把注释扩展到下一个换行符以前。

 以下的是替换标记
g表示行内全面替换。
p表示打印行。
w表示把行写入一个文件。
x表示互换模板块中的文本和缓冲区中的文本。
y表示把一个字符翻译为另外的字符（但是不用于正则表达式）

区别加斜杆与不加
 例如： a\ 表示在a\后面加入内容，而d则在d前面加入表达式，1d表示删除1行。

sed补充

这是对sed命令与选项的一个比较全面的补充,主要是从网上搜集的例子。

1 p命令

命令p用于显示模式空间的内容。默认情况下，sed把输入行打印在屏幕上，选项-n用于取消默认的打印操作。当选项-n和命令p同时出现时,sed可打印选定的内容。

sed '/my/p' datafile
 #默认情况下，sed把所有输入行都打印在标准输出上。如果某行匹配模式my，p命令将把该行另外打印一遍。

sed -n '/my/p' datafile
 #选项-n取消sed默认的打印，p命令把匹配模式my的行打印一遍。

2.d命令
命令d用于删除输入行。sed先将输入行从文件复制到模式空间里，然后对该行执行sed命令，最后将模式空间里的内容显示在屏幕上。如果发出的是命令d，当前模式空间里的输入行会被删除，不被显示。

 sed '$d' datafile
#删除最后一行，其余的都被显示
sed '/my/d' datafile
 #删除包含my的行，其余的都被显示

3.s命令

 sed 's/^my/you/g' datafile
 #命令末端的g表示在行内进行全局替换，也就是说如果某行出现多个my，所有的my都被替换为you。
sed -n '1,20s/my$/you/gp' datafile
 #取消默认输出，处理1到20行里匹配以my结尾的行，把行内所有的my替换为you，并打印到屏幕上。
 

sed 's#my#your#g' datafile
 #紧跟在s命令后的字符就是查找串和替换串之间的分隔符。分隔符默认为正斜杠，但可以改变。无论什么字符（换行符、反斜线除外），只要紧跟s命令，就成了新的串分隔符。

4 e选项

-e是编辑命令，用于sed执行多个编辑任务的情况下。在下一行开始编辑前，所有的编辑动作将应用到模式缓冲区中的行上。

 sed -e '1,10d'-e 's/my/your/g' datafile
  #选项-e用于进行多重编辑。第一重编辑删除第1-3行。第二重编辑将出现的所有my替换为your。因为是逐行进行这两项编辑（即这两个命令都在模式空间的当前行上执行），所以编辑命令的顺序会影响结果。 

 5 r命令
r命令是读命令。sed使用该命令将一个文本文件中的内容加到当前文件的特定位置上。

 sed '/my/r introduce.txt' datafile
 #如果在文件datafile的某一行匹配到模式my，就在该行后读入文件introduce.txt的内容。如果出现my的行不止一行，则在出现my的各行后都读入introduce.txt文件的内容。

 6 w命令

 sed -n '/hrwang/w me.txt' datafile  
 
7 a\ 命令
a\ 命令是追加命令，追加将添加新文本到文件中当前行（即读入模式缓冲区中的行）的后面。所追加的文本行位于sed命令的下方另起一行。如果要追加的内容超过一行，则每一行都必须以反斜线结束，最后一行除外。最后一行将以引号和文件名结束。

sed '/^hrwang/a\
 >hrwang and mjfan are husband\
 >and wife' datafile
 #如果在datafile文件中发现匹配以hrwang开头的行，则在该行下面追加hrwang and mjfan are husband and wife
 
8 i\ 命令
i\ 命令是在当前行的前面插入新的文本。

9 c\ 命令

sed使用该命令将已有文本修改成新的文本。

10 n命令
sed使用该命令获取输入文件的下一行，并将其读入到模式缓冲区中，任何sed命令都将应用到匹配行紧接着的下一行上

 sed '/hrwang/{n;s/my/your/;}' datafile 
=注：如果需要使用多条命令，或者需要在某个地址范围内嵌套地址，就必须用花括号将命令括起来，每行只写一条命令，或这用分号分割同一行中的多条命令。

11 y命令

该命令与unix/linux中的tr命令类似，字符按照一对一的方式从左到右进行转换。例如，y/abc/abc/将把所有小写的a转换成a，小写的b转换成b，小写的c转换成c。

 sed '1,20y/hrwang12/hrwang^$/' datafile
 #将1到20行内，所有的小写hrwang转换成大写，将1转换成^,将2转换成$。
#正则表达式元字符对y命令不起作用。与s命令的分隔符一样，斜线可以被替换成其它的字符。
 
 12 q命令
q命令将导致sed程序退出，不再进行其它的处理
01.sed '/hrwang/{s/hrwang/hrwang/;q;}' datafile 

13 h命令和g命令

#cat datafile
my name is hrwang.
your name is mjfan.
hrwang is mjfan's husband.
mjfan is hrwang's wife.
sed -e '/hrwang/h'-e '$g' datafile
sed -e '/hrwang/h' -e '$g' datafile
#通过上面两条命令，你会发现h会把原来暂存缓冲区的内容清除，只保存最近一次执行h时保存进去的模式空间的内容。而h命令则把每次匹配hrwnag的行都追加保存在暂存缓冲区。

sed -e '/hrwang/h' -e '$g' datafile
sed -e '/hrwang/h' -e '$g' datafile

#通过上面两条命令，你会发现g把暂存缓冲区中的内容替换掉了模式空间中当前行的内容，此处即替换了最后一行。而g命令则把暂存缓冲区的内容追加到了模式空间的当前行后。此处即追加到了末尾。