sed命令详解
Let's learn the sed command together！
概述
sed是stream editor的简称，也就是流编辑器。它一次处理一行内容，处理是，当前处理的行存储在临时缓冲区中，成为“pattern space”,接着用sed命令处理缓冲区中的内容，处理完后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，知道文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
语法
命令格式
sed [option] 'command' input_file
常用选项
- -n 使用安静silent模式。在一般sed的用法中，所有来自stdin的内容一般都会列出到屏幕上。但如果加上-n参数后，则只有经过sed特殊处理的那一行（或者动作）才会被列出来
- -e 进行多项编辑，即对输入行应用多条sed命令时使用
- -f 指定sed脚本的文件名
- -i 直接修改读取的文件内容，而不是由屏幕输出
- -r 让sed命令支持扩展的正则表达式（默认是基础正则表达式）
常用命令
a\：追加行，a\的后面跟上字符串s（多行字符串可以用\n分隔），则会在当前选择的行的后面都加上字符串sc\：替换行，c\后面跟上字符串s（多行字符串可以用\n分隔），则会将当前选中的行替换成字符串si\：插入行，i\后面跟上字符串s(多行字符串可以用\n分隔)，则会在当前选中的行的前面都插入字符串sd：删除行delete，该命令会将当前选中的行删除p：打印print，该命令会打印当前选择的行到屏幕上y：替换字符，通常y命令的用法是这样的：y/Source-chars/Dest-chars/，分割字符/可以用任意单字符代替，用Dest-chars中对应位置的字符替换掉Soutce-chars中对应位置的字符s：替换字符串，通常s命令的用法是这样的：1,$s/Regexp/Replacement/Flags，分隔字符/可以用其他任意单字符代替，用Replacement替换掉匹配字符串
替换选项
\digit：Replacement中可含有后向引用中的\digit(digit是1至9)，引用前面定义的子表达&：代表模版空间中的整个匹配部分\L：将在其后的替换部分转换成小写字母，直到发现一个\U或\E，GNU扩展功能\l：将下一个字符转换成小写字母，GNU扩展功能\U：将在其后的替换部分转换成大写字母，直到发现一个\L或\E，GNU扩展功能\u：将下一个字符转换成大写字母，GNU扩展功能\E：停止由\L或\U指示开始的大小写转换，GNU扩展功能
标记选项
g：将用Replacement替换模版空间中所有匹配Regexp的部分，则不仅仅是第一个匹配部分digit：只用Replacement替换模版空间中第digit(digit是1至9)个匹配Regexp的部分p：若发生了替换操作，指示显示模版空间中新的数据w file-name：若发生了替换操作，指示将模版空间中新的数据写入指定的文件file-name中i：表示进行Regexp匹配时，是不区分大小写字母的
示例
a命令
sed '1,$a\add one' test.txt从第一行到最后一行所有行后追加"add one"字符串行sed '/first/a\add one' test.txt在匹配到first行追加"add one"字符串行
c命令
sed '1,$c\add one' test.txt从第一行到最后一行所有行替换为"add one"字符串行sed '/first/c\add one' test.txt将匹配到first行替换为"add one"字符串行
i命令
与a命令类似，只不过在匹配的行前面插入字符串行，不举例了。
d命令
sed '4,$d' test.txt从第四行到最后一行全部删除
p命令
sed -n '/^first.*end$/p' test.txt以first开头end结尾的所有行全部打印，-n选项和p命令一起使用表示只打印那些发生替换的行
s命令
sed 's/line/text/g' test.txt将所有行的line替换为text，g代表全局选项，没有g只替换所有行的第一个匹配项sed '/^first.*end$/s/line/text/g' test.txt匹配以first开头end结尾的所有行，然后将line全部替换为textsed 's/\(.*\)line$/\1/g' test.txt本例中的\(\)中包裹的内容表示正则表达式的第n部分，.*表示任意字符串，所以此例相当于删除所有行末的linesed -i 's/book/books/g' test.txt直接编辑文件选项-i，会匹配file文件中每一行的第一个book替换为books
e命令
sed -e '1,5d' -e 's/test/check/' file
上面sed表达式的第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。
n命令
如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续：
sed '/test/{ n; s/aa/bb/; }' file
q命令
打印完第10行后，退出sed
sed '10q' file
w命令
在example中所有包含test的行都被写入file里：
sed -n '/test/w file' example
已匹配字符串标记&
正则表达式 \w+ 匹配每一个单词，使用 [&] 替换它，& 对应于之前所匹配到的单词：
echo this is a test line | sed 's/\w\+/[&]/g'
[this] [is] [a] [test] [line]
所有以192.168.0.1开头的行都会被替换成它自已加localhost：
sed 's/^192.168.0.1/&localhost/' file
192.168.0.1localhost
子串匹配标记\1
匹配给定样式的其中一部分：
echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
this is 7 in a number
命令中 digit 7，被替换成了 7。样式匹配到的子串是 7，(..) 用于匹配子串，对于匹配到的第一个子串就标记为 \1，依此类推匹配到的第二个结果就是 \2，例如：
echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'
BBB aaa
love被标记为1，所有loveable会被替换成lovers，并打印出来：
sed -n 's/\(love\)able/\1rs/p' file
选定行的范围：,（逗号）
所有在模板test和check所确定的范围内的行都被打印：
sed -n '/test/,/check/p' file
打印从第5行开始到第一个包含以test开始的行之间的所有行：
sed -n '5,/^test/p' file
对于模板test和west之间的行，每行的末尾用字符串aaa bbb替换：
sed '/test/,/west/s/$/aaa bbb/' file
打印奇数行或偶数行
方法1：
sed -n 'p;n' test.txt #奇数行
sed -n 'n;p' test.txt #偶数行
方法2：
sed -n '1~2p' test.txt #奇数行
sed -n '2~2p' test.txt #偶数行
基本正则表达式
| 元字符 | 说明 |
|---|---|
* | 将*前面的正则表达式匹配的结果重复任意次(含0次)。 |
\+ | 与星号(*)相同，只是至少重复1次，GNU的扩展功能。 |
\? | 与星号(*)相同，只是最多重复1次，GNU的扩展功能。 |
\{i\} | 与星号(*)相同，只是重复指定的i次。 |
\{i,j\} | 与星号(*)相同，只是重复i至j次。 |
\{i, \} | 与星号(*)相同，只是至少重复i次。 |
\(regexp\) | 将regexp看作一个整体，用于后向引用，与\digit配合使用。 |
. | 匹配任意单个字符。 |
^ | 匹配模版空间开始处的NULL字符串。 |
$ | 匹配的是模版空间结束处的NULL字符串。 |
[list] | 匹配方括号中的字符列表中的任意一个。 |
[^list] | 否定匹配方括号中的字符列表中的任意一个。 |
regexp1|regexp2 | 用在相邻的正则表达式之间，表示匹配这些正则表达式中任一个都可以。匹配是从左向右开始的，一旦匹配成功就停止匹配。 |
regexp1regexp2 | 匹配regexp1和regexp2的连接结果。 |
\digit | 匹配正则表达式前半部分定义的后向引用的第digit个子表达式。digit为1至9的数字, 1为从左开始。 |
\n | 匹配换行符。 |
\meta | 将元字符meta转换成普通字符，以便匹配该字符本身，有$、 *、 .、 [、 \ 和 ^。 |
扩展正则表达式
扩展正则表达式除了以下元字符与基本正则表达式不同外，其余相似。
| 基本正则表达式 | 扩展正则表达式 |
|---|---|
\? | ? |
\+ | + |
| | ` |
\{ \} | { } |
\( \) | ( ) |
常用转义字符
| 转义字符 | 说明 |
|---|---|
\a | 匹配一个BEL字符。 |
\f | 匹配一个换页字符。 |
\n | 匹配一个换行字符。 |
\r | 匹配一个回车字符。 |
\t | 匹配一个水平Tab字符。 |
\v | 匹配一个垂直Tab字符。 |
\cX | 匹配Control+X，X是任意字符。 |
\dXXX | 匹配一个ASCII码是十进制XXX的字符。 |
\oXXX | 匹配一个ASCII码是八进制XXX的字符。 |
\xXX | 匹配一个ASCII码是十六进制XX的字符。 |
\w | 匹配任意一个单词字符(字母、数字和下划线)。 |
\W | 匹配任意一个非单词字符。 |
\b | 匹配一个单词的边界符：字符的左边是一个单词字符，并且右边是一个非单词字符，反之亦然。 |
\B | 匹配除单词边界符外所有字符：字符的左边和右边同时是单词字符或非单词字符。 |
参考文章
https://qianngchn.github.io/wiki/4.html#s%E5%91%BD%E4%BB%A4
http://man.linuxde.net/sed
https://www.cnblogs.com/edwardlost/archive/2010/09/17/1829145.html