Skip to content
SRE运维进阶之路SRE运维进阶之路
github icon

    sed命令详解

    author iconClaycalendar icon2017年9月24日tag icon
    • shell
    timer icon大约 8 分钟

    此页内容
    • 概述
    • 语法
      • 命令格式
      • 常用选项
      • 常用命令
      • 替换选项
      • 标记选项
    • 示例
      • a命令
      • c命令
      • i命令
      • d命令
      • p命令
      • s命令
      • e命令
      • n命令
      • q命令
      • w命令
      • 已匹配字符串标记&
      • 子串匹配标记\1
      • 选定行的范围:,(逗号)
      • 打印奇数行或偶数行
    • 基本正则表达式
    • 扩展正则表达式
    • 常用转义字符
    • 参考文章

    Let's learn the sed command together!

    # 概述

    sed是stream editor的简称,也就是流编辑器。它一次处理一行内容,处理是,当前处理的行存储在临时缓冲区中,成为“pattern space”,接着用sed命令处理缓冲区中的内容,处理完后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,知道文件末尾。文件内容并没有改变,除非你使用重定向存储输出。

    # 语法

    # 命令格式

    sed [option] 'command' input_file

    # 常用选项

    • -n 使用安静silent模式。在一般sed的用法中,所有来自stdin的内容一般都会列出到屏幕上。但如果加上-n参数后,则只有经过sed特殊处理的那一行(或者动作)才会被列出来
    • -e 进行多项编辑,即对输入行应用多条sed命令时使用
    • -f 指定sed脚本的文件名
    • -i 直接修改读取的文件内容,而不是由屏幕输出
    • -r 让sed命令支持扩展的正则表达式(默认是基础正则表达式)

    # 常用命令

    • a\:追加行,a\的后面跟上字符串s(多行字符串可以用\n分隔),则会在当前选择的行的后面都加上字符串s

    • c\:替换行,c\后面跟上字符串s(多行字符串可以用\n分隔),则会将当前选中的行替换成字符串s

    • i\:插入行,i\后面跟上字符串s(多行字符串可以用\n分隔),则会在当前选中的行的前面都插入字符串s

    • d:删除行delete,该命令会将当前选中的行删除

    • p:打印print,该命令会打印当前选择的行到屏幕上

    • y:替换字符,通常y命令的用法是这样的:y/Source-chars/Dest-chars/,分割字符/可以用任意单字符代替,用Dest-chars中对应位置的字符替换掉Soutce-chars中对应位置的字符

    • s:替换字符串,通常s命令的用法是这样的:1,$s/Regexp/Replacement/Flags,分隔字符/可以用其他任意单字符代替,用Replacement替换掉匹配字符串

    # 替换选项

    • \digit:Replacement中可含有后向引用中的\digit(digit是1至9),引用前面定义的子表达

    • &:代表模版空间中的整个匹配部分

    • \L:将在其后的替换部分转换成小写字母,直到发现一个\U或\E,GNU扩展功能

    • \l:将下一个字符转换成小写字母,GNU扩展功能

    • \U:将在其后的替换部分转换成大写字母,直到发现一个\L或\E,GNU扩展功能

    • \u:将下一个字符转换成大写字母,GNU扩展功能

    • \E:停止由\L或\U指示开始的大小写转换,GNU扩展功能

    # 标记选项

    • g:将用Replacement替换模版空间中所有匹配Regexp的部分,则不仅仅是第一个匹配部分

    • digit:只用Replacement替换模版空间中第digit(digit是1至9)个匹配Regexp的部分

    • p:若发生了替换操作,指示显示模版空间中新的数据

    • w file-name:若发生了替换操作,指示将模版空间中新的数据写入指定的文件file-name中

    • i:表示进行Regexp匹配时,是不区分大小写字母的

    # 示例

    # a命令

    • sed '1,$a\add one' test.txt 从第一行到最后一行所有行后追加"add one"字符串行
    • sed '/first/a\add one' test.txt 在匹配到first行追加"add one"字符串行

    # c命令

    • sed '1,$c\add one' test.txt 从第一行到最后一行所有行替换为"add one"字符串行

    • sed '/first/c\add one' test.txt 将匹配到first行替换为"add one"字符串行

    # i命令

    与a命令类似,只不过在匹配的行前面插入字符串行,不举例了。

    # d命令

    • sed '4,$d' test.txt 从第四行到最后一行全部删除

    # p命令

    • sed -n '/^first.*end$/p' test.txt 以first开头end结尾的所有行全部打印,-n选项和p命令一起使用表示只打印那些发生替换的行

    # s命令

    • sed 's/line/text/g' test.txt 将所有行的line替换为text,g代表全局选项,没有g只替换所有行的第一个匹配项
    • sed '/^first.*end$/s/line/text/g' test.txt 匹配以first开头end结尾的所有行,然后将line全部替换为text
    • sed 's/\(.*\)line$/\1/g' test.txt 本例中的\(\)中包裹的内容表示正则表达式的第n部分,.*表示任意字符串,所以此例相当于删除所有行末的line
    • sed -i 's/book/books/g' test.txt 直接编辑文件选项-i,会匹配file文件中每一行的第一个book替换为books

    # e命令

    sed -e '1,5d' -e 's/test/check/' file
    
    1

    上面sed表达式的第一条命令删除1至5行,第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。

    # n命令

    如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续:

    sed '/test/{ n; s/aa/bb/; }' file
    
    1

    # q命令

    打印完第10行后,退出sed

    sed '10q' file
    
    1

    # w命令

    在example中所有包含test的行都被写入file里:

    sed -n '/test/w file' example
    
    1

    # 已匹配字符串标记&

    正则表达式 \w+ 匹配每一个单词,使用 [&] 替换它,& 对应于之前所匹配到的单词:

    echo this is a test line | sed 's/\w\+/[&]/g'
    [this] [is] [a] [test] [line]
    
    1
    2

    所有以192.168.0.1开头的行都会被替换成它自已加localhost:

    sed 's/^192.168.0.1/&localhost/' file
    192.168.0.1localhost
    
    1
    2

    # 子串匹配标记\1

    匹配给定样式的其中一部分:

    echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
    this is 7 in a number
    
    1
    2

    命令中 digit 7,被替换成了 7。样式匹配到的子串是 7,(..) 用于匹配子串,对于匹配到的第一个子串就标记为 \1,依此类推匹配到的第二个结果就是 \2,例如:

    echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'
    BBB aaa
    
    1
    2

    love被标记为1,所有loveable会被替换成lovers,并打印出来:

    sed -n 's/\(love\)able/\1rs/p' file
    
    1

    # 选定行的范围:,(逗号)

    所有在模板test和check所确定的范围内的行都被打印:

    sed -n '/test/,/check/p' file
    
    1

    打印从第5行开始到第一个包含以test开始的行之间的所有行:

    sed -n '5,/^test/p' file
    
    1

    对于模板test和west之间的行,每行的末尾用字符串aaa bbb替换:

    sed '/test/,/west/s/$/aaa bbb/' file
    
    1

    # 打印奇数行或偶数行

    方法1:

    sed -n 'p;n' test.txt  #奇数行
    sed -n 'n;p' test.txt  #偶数行
    
    
    1
    2
    3

    方法2:

    sed -n '1~2p' test.txt  #奇数行
    sed -n '2~2p' test.txt  #偶数行
    
    1
    2

    # 基本正则表达式

    元字符说明
    *将*前面的正则表达式匹配的结果重复任意次(含0次)。
    \+与星号(*)相同,只是至少重复1次,GNU的扩展功能。
    \?与星号(*)相同,只是最多重复1次,GNU的扩展功能。
    \{i\}与星号(*)相同,只是重复指定的i次。
    \{i,j\}与星号(*)相同,只是重复i至j次。
    \{i, \}与星号(*)相同,只是至少重复i次。
    \(regexp\)将regexp看作一个整体,用于后向引用,与\digit配合使用。
    .匹配任意单个字符。
    ^匹配模版空间开始处的NULL字符串。
    $匹配的是模版空间结束处的NULL字符串。
    [list]匹配方括号中的字符列表中的任意一个。
    [^list]否定匹配方括号中的字符列表中的任意一个。
    regexp1|regexp2用在相邻的正则表达式之间,表示匹配这些正则表达式中任一个都可以。匹配是从左向右开始的,一旦匹配成功就停止匹配。
    regexp1regexp2匹配regexp1和regexp2的连接结果。
    \digit匹配正则表达式前半部分定义的后向引用的第digit个子表达式。digit为1至9的数字, 1为从左开始。
    \n匹配换行符。
    \meta将元字符meta转换成普通字符,以便匹配该字符本身,有$、 *、 .、 [、 \ 和 ^。

    # 扩展正则表达式

    扩展正则表达式除了以下元字符与基本正则表达式不同外,其余相似。

    基本正则表达式扩展正则表达式
    \??
    \++
    |`
    \{ \}{ }
    \( \)( )

    # 常用转义字符

    转义字符说明
    \a匹配一个BEL字符。
    \f匹配一个换页字符。
    \n匹配一个换行字符。
    \r匹配一个回车字符。
    \t匹配一个水平Tab字符。
    \v匹配一个垂直Tab字符。
    \cX匹配Control+X,X是任意字符。
    \dXXX匹配一个ASCII码是十进制XXX的字符。
    \oXXX匹配一个ASCII码是八进制XXX的字符。
    \xXX匹配一个ASCII码是十六进制XX的字符。
    \w匹配任意一个单词字符(字母、数字和下划线)。
    \W匹配任意一个非单词字符。
    \b匹配一个单词的边界符:字符的左边是一个单词字符,并且右边是一个非单词字符,反之亦然。
    \B匹配除单词边界符外所有字符:字符的左边和右边同时是单词字符或非单词字符。

    # 参考文章

    https://qianngchn.github.io/wiki/4.html#s%E5%91%BD%E4%BB%A4

    http://man.linuxde.net/sed

    https://www.cnblogs.com/edwardlost/archive/2010/09/17/1829145.html

    edit icon编辑此页open in new window
    上次编辑于: 2021/5/11 03:54:51
    贡献者: clay-wangzhi
    备案号:冀ICP备2021007336号
    Copyright © 2023 Clay