跳至主要內容

sed命令详解

Clayshell大约 8 分钟

Let's learn the sed command together！

概述

sed是stream editor的简称，也就是流编辑器。它一次处理一行内容，处理是，当前处理的行存储在临时缓冲区中，成为“pattern space”,接着用sed命令处理缓冲区中的内容，处理完后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，知道文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

语法

命令格式

sed [option] 'command' input_file

常用选项

  • -n 使用安静silent模式。在一般sed的用法中，所有来自stdin的内容一般都会列出到屏幕上。但如果加上-n参数后，则只有经过sed特殊处理的那一行（或者动作）才会被列出来
  • -e 进行多项编辑，即对输入行应用多条sed命令时使用
  • -f 指定sed脚本的文件名
  • -i 直接修改读取的文件内容，而不是由屏幕输出
  • -r 让sed命令支持扩展的正则表达式（默认是基础正则表达式）

常用命令

  • a\：追加行，a\的后面跟上字符串s（多行字符串可以用\n分隔），则会在当前选择的行的后面都加上字符串s

  • c\：替换行，c\后面跟上字符串s（多行字符串可以用\n分隔），则会将当前选中的行替换成字符串s

  • i\：插入行，i\后面跟上字符串s(多行字符串可以用\n分隔)，则会在当前选中的行的前面都插入字符串s

  • d：删除行delete，该命令会将当前选中的行删除

  • p：打印print，该命令会打印当前选择的行到屏幕上

  • y：替换字符，通常y命令的用法是这样的：y/Source-chars/Dest-chars/，分割字符/可以用任意单字符代替，用Dest-chars中对应位置的字符替换掉Soutce-chars中对应位置的字符

  • s：替换字符串，通常s命令的用法是这样的：1,$s/Regexp/Replacement/Flags，分隔字符/可以用其他任意单字符代替，用Replacement替换掉匹配字符串

替换选项

  • \digit：Replacement中可含有后向引用中的\digit(digit是1至9)，引用前面定义的子表达

  • &：代表模版空间中的整个匹配部分

  • \L：将在其后的替换部分转换成小写字母，直到发现一个\U或\E，GNU扩展功能

  • \l：将下一个字符转换成小写字母，GNU扩展功能

  • \U：将在其后的替换部分转换成大写字母，直到发现一个\L或\E，GNU扩展功能

  • \u：将下一个字符转换成大写字母，GNU扩展功能

  • \E：停止由\L或\U指示开始的大小写转换，GNU扩展功能

标记选项

  • g：将用Replacement替换模版空间中所有匹配Regexp的部分，则不仅仅是第一个匹配部分

  • digit：只用Replacement替换模版空间中第digit(digit是1至9)个匹配Regexp的部分

  • p：若发生了替换操作，指示显示模版空间中新的数据

  • w file-name：若发生了替换操作，指示将模版空间中新的数据写入指定的文件file-name中

  • i：表示进行Regexp匹配时，是不区分大小写字母的

示例

a命令

  • sed '1,$a\add one' test.txt 从第一行到最后一行所有行后追加"add one"字符串行
  • sed '/first/a\add one' test.txt 在匹配到first行追加"add one"字符串行

c命令

  • sed '1,$c\add one' test.txt 从第一行到最后一行所有行替换为"add one"字符串行

  • sed '/first/c\add one' test.txt 将匹配到first行替换为"add one"字符串行

i命令

与a命令类似，只不过在匹配的行前面插入字符串行，不举例了。

d命令

  • sed '4,$d' test.txt 从第四行到最后一行全部删除

p命令

  • sed -n '/^first.*end$/p' test.txt 以first开头end结尾的所有行全部打印，-n选项和p命令一起使用表示只打印那些发生替换的行

s命令

  • sed 's/line/text/g' test.txt 将所有行的line替换为text，g代表全局选项，没有g只替换所有行的第一个匹配项
  • sed '/^first.*end$/s/line/text/g' test.txt 匹配以first开头end结尾的所有行，然后将line全部替换为text
  • sed 's/\(.*\)line$/\1/g' test.txt 本例中的\(\)中包裹的内容表示正则表达式的第n部分，.*表示任意字符串，所以此例相当于删除所有行末的line
  • sed -i 's/book/books/g' test.txt 直接编辑文件选项-i，会匹配file文件中每一行的第一个book替换为books

e命令

sed -e '1,5d' -e 's/test/check/' file

上面sed表达式的第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。

n命令

如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续：

sed '/test/{ n; s/aa/bb/; }' file

q命令

打印完第10行后，退出sed

sed '10q' file

w命令

在example中所有包含test的行都被写入file里：

sed -n '/test/w file' example

已匹配字符串标记&

正则表达式 \w+ 匹配每一个单词，使用 [&] 替换它，& 对应于之前所匹配到的单词：

echo this is a test line | sed 's/\w\+/[&]/g'
[this] [is] [a] [test] [line]

所有以192.168.0.1开头的行都会被替换成它自已加localhost：

sed 's/^192.168.0.1/&localhost/' file
192.168.0.1localhost

子串匹配标记\1

匹配给定样式的其中一部分：

echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
this is 7 in a number

命令中 digit 7，被替换成了 7。样式匹配到的子串是 7，(..) 用于匹配子串，对于匹配到的第一个子串就标记为 \1，依此类推匹配到的第二个结果就是 \2，例如：

echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'
BBB aaa

love被标记为1，所有loveable会被替换成lovers，并打印出来：

sed -n 's/\(love\)able/\1rs/p' file

选定行的范围：,（逗号）

所有在模板test和check所确定的范围内的行都被打印：

sed -n '/test/,/check/p' file

打印从第5行开始到第一个包含以test开始的行之间的所有行：

sed -n '5,/^test/p' file

对于模板test和west之间的行，每行的末尾用字符串aaa bbb替换：

sed '/test/,/west/s/$/aaa bbb/' file

打印奇数行或偶数行

方法1：

sed -n 'p;n' test.txt  #奇数行
sed -n 'n;p' test.txt  #偶数行

方法2：

sed -n '1~2p' test.txt  #奇数行
sed -n '2~2p' test.txt  #偶数行

基本正则表达式

元字符说明
*将*前面的正则表达式匹配的结果重复任意次(含0次)。
\+与星号(*)相同，只是至少重复1次，GNU的扩展功能。
\?与星号(*)相同，只是最多重复1次，GNU的扩展功能。
\{i\}与星号(*)相同，只是重复指定的i次。
\{i,j\}与星号(*)相同，只是重复i至j次。
\{i, \}与星号(*)相同，只是至少重复i次。
\(regexp\)将regexp看作一个整体，用于后向引用，与\digit配合使用。
.匹配任意单个字符。
^匹配模版空间开始处的NULL字符串。
$匹配的是模版空间结束处的NULL字符串。
[list]匹配方括号中的字符列表中的任意一个。
[^list]否定匹配方括号中的字符列表中的任意一个。
regexp1|regexp2用在相邻的正则表达式之间，表示匹配这些正则表达式中任一个都可以。匹配是从左向右开始的，一旦匹配成功就停止匹配。
regexp1regexp2匹配regexp1和regexp2的连接结果。
\digit匹配正则表达式前半部分定义的后向引用的第digit个子表达式。digit为1至9的数字, 1为从左开始。
\n匹配换行符。
\meta将元字符meta转换成普通字符，以便匹配该字符本身，有$、 *、 .、 [、 \ 和 ^。

扩展正则表达式

扩展正则表达式除了以下元字符与基本正则表达式不同外，其余相似。

基本正则表达式扩展正则表达式
\??
\++
|`
\{ \}{ }
\( \)( )

常用转义字符

转义字符说明
\a匹配一个BEL字符。
\f匹配一个换页字符。
\n匹配一个换行字符。
\r匹配一个回车字符。
\t匹配一个水平Tab字符。
\v匹配一个垂直Tab字符。
\cX匹配Control+X，X是任意字符。
\dXXX匹配一个ASCII码是十进制XXX的字符。
\oXXX匹配一个ASCII码是八进制XXX的字符。
\xXX匹配一个ASCII码是十六进制XX的字符。
\w匹配任意一个单词字符(字母、数字和下划线)。
\W匹配任意一个非单词字符。
\b匹配一个单词的边界符：字符的左边是一个单词字符，并且右边是一个非单词字符，反之亦然。
\B匹配除单词边界符外所有字符：字符的左边和右边同时是单词字符或非单词字符。

参考文章

https://qianngchn.github.io/wiki/4.html#s%E5%91%BD%E4%BB%A4

http://man.linuxde.net/sed

https://www.cnblogs.com/edwardlost/archive/2010/09/17/1829145.html