說(shuō)明:
sed是stream editor(流編輯器)的縮寫。它能夠完美匹配正則表達(dá)式。sed和awk是文件編輯最重要的兩個(gè)命令了。尤其涉及到了很多正則表達(dá)式的問(wèn)題,筆者不敢也有點(diǎn)犯怵,試著寫寫。
實(shí)例:
1.替換文件中的字符串
$sed -i 's/text/replace/g' file
#如果不加g結(jié)尾,則替換每一行的第一個(gè)
#如果只是打印,去掉-i
2.忽略前N處匹配,從N+1出開始替換
$sed -i 's/text/replace/2g' file
#在g前面加入數(shù)字N
3.移除空白符
$sed '/^$/d' file
4.標(biāo)記已匹配的內(nèi)容
$echo this is an example | sed 's:\w\+:/[]:g'
[this] [is] [an] [example]
#冒號(hào)是定界符,只要合適,定界符可以是任意的
5.子串匹配
$echo this is digit 7 in a number | sed 's:digit \(0-9\):\1:'
#輸出:this is 7 in a number
#學(xué)過(guò)正則表達(dá)式的人,都理解group的概念,()里的內(nèi)容是第一組,所以只打印了7
6.引用
$text=hello
$echo hello world | sed "s/$text/HELLO"
#輸出HELLO world
#可能有人注意用雙引號(hào),是因?yàn)閱我?hào)會(huì)把$text當(dāng)做一個(gè)字符串,而不是表達(dá)式。
7.刪除
$sed '2d' file #刪除第二行
$sed '2,$d' file #刪除2-最后一行
$sed '$d' file #刪除最后一行
解讀—help
用法: sed [選項(xiàng)]... {腳本(如果沒(méi)有其他腳本)} [輸入文件]...
-n, --quiet, --silent
取消自動(dòng)打印模式空間
-e 腳本, --expression=腳本
添加“腳本”到程序的運(yùn)行列表
-f 腳本文件, --file=腳本文件
添加“腳本文件”到程序的運(yùn)行列表
--follow-symlinks
直接修改文件時(shí)跟隨軟鏈接
-i[擴(kuò)展名], --in-place[=擴(kuò)展名]
直接修改文件(如果指定擴(kuò)展名就備份文件)
-l N, --line-length=N
指定“l(fā)”命令的換行期望長(zhǎng)度
--posix
關(guān)閉所有 GNU 擴(kuò)展
-r, --regexp-extended
在腳本中使用擴(kuò)展正則表達(dá)式
-s, --separate
將輸入文件視為各個(gè)獨(dú)立的文件而不是一個(gè)長(zhǎng)的連續(xù)輸入
-u, --unbuffered
從輸入文件讀取最少的數(shù)據(jù),更頻繁的刷新輸出
--help 打印幫助并退出
--version 輸出版本信息并退出
如果沒(méi)有 -e, --expression, -f 或 --file 選項(xiàng),那么第一個(gè)非選項(xiàng)參數(shù)被視為
sed腳本。其他非選項(xiàng)參數(shù)被視為輸入文件,如果沒(méi)有輸入文件,那么程序?qū)臉?biāo)準(zhǔn)
輸入讀取數(shù)據(jù)。
解讀:
對(duì)于這個(gè)幫助信息,確實(shí)信息量非常不足,不過(guò)sed確實(shí)過(guò)于復(fù)雜,所以嘗試分成幾次來(lái)詳解這個(gè)命令。
我再借用另一段幫助信息文檔
調(diào)用sed命令有兩種形式:
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
options
a\&; 例如:sed "a\mm" file
在當(dāng)前行后面加入一行文本。
b lable
分支到腳本中帶有標(biāo)記的地方,如果分支不存在則分支到腳本的末尾。
c\
用新的文本改變本行的文本。
d
從模板塊(Pattern space)位置刪除行。
D
刪除模板塊的第一行。
i\
在當(dāng)前行上面插入文本。
h
拷貝模板塊的內(nèi)容到內(nèi)存中的緩沖區(qū)。
H
追加模板塊的內(nèi)容到內(nèi)存中的緩沖區(qū)
g
獲得內(nèi)存緩沖區(qū)的內(nèi)容,并替代當(dāng)前模板塊中的文本。
G
獲得內(nèi)存緩沖區(qū)的內(nèi)容,并追加到當(dāng)前模板塊文本的后面。
l
列表不能打印字符的清單。
n
讀取下一個(gè)輸入行,用下一個(gè)命令處理新的行而不是用第一個(gè)命令。
N
追加下一個(gè)輸入行到模板塊后面并在二者間嵌入一個(gè)新行,改變當(dāng)前行號(hào)碼。
p
打印模板塊的行。
P(大寫)
打印模板塊的第一行。
q
退出Sed。
r file
從file中讀行。
t label
if分支,從最后一行開始,條件一旦滿足或者T,t命令,將導(dǎo)致分支到帶有標(biāo)號(hào)的命令處,或者到腳本的末尾。
T label
錯(cuò)誤分支,從最后一行開始,一旦發(fā)生錯(cuò)誤或者T,t命令,將導(dǎo)致分支到帶有標(biāo)號(hào)的命令處,或者到腳本的末尾。
w file
寫并追加模板塊到file末尾。
W file
寫并追加模板塊的第一行到file末尾。
!
表示后面的命令對(duì)所有沒(méi)有被選定的行發(fā)生作用。
s/re/string
用string替換正則表達(dá)式re。
=
打印當(dāng)前行號(hào)碼。
#
把注釋擴(kuò)展到下一個(gè)換行符以前。
以下的是替換標(biāo)記
g表示行內(nèi)全面替換。
p表示打印行。
w表示把行寫入一個(gè)文件。
x表示互換模板塊中的文本和緩沖區(qū)中的文本。
y表示把一個(gè)字符翻譯為另外的字符(但是不用于正則表達(dá)式)
區(qū)別加斜桿與不加
例如: a\ 表示在a\后面加入內(nèi)容,而d則在d前面加入表達(dá)式,1d表示刪除1行。
sed補(bǔ)充
這是對(duì)sed命令與選項(xiàng)的一個(gè)比較全面的補(bǔ)充,主要是從網(wǎng)上搜集的例子。
1 p命令
命令p用于顯示模式空間的內(nèi)容。默認(rèn)情況下,sed把輸入行打印在屏幕上,選項(xiàng)-n用于取消默認(rèn)的打印操作。當(dāng)選項(xiàng)-n和命令p同時(shí)出現(xiàn)時(shí),sed可打印選定的內(nèi)容。
復(fù)制代碼 代碼如下:
sed '/my/p' datafile
#默認(rèn)情況下,sed把所有輸入行都打印在標(biāo)準(zhǔn)輸出上。如果某行匹配模式my,p命令將把該行另外打印一遍。
sed -n '/my/p' datafile
#選項(xiàng)-n取消sed默認(rèn)的打印,p命令把匹配模式my的行打印一遍。
2.d命令
命令d用于刪除輸入行。sed先將輸入行從文件復(fù)制到模式空間里,然后對(duì)該行執(zhí)行sed命令,最后將模式空間里的內(nèi)容顯示在屏幕上。如果發(fā)出的是命令d,當(dāng)前模式空間里的輸入行會(huì)被刪除,不被顯示。
sed '$d' datafile
#刪除最后一行,其余的都被顯示
sed '/my/d' datafile
#刪除包含my的行,其余的都被顯示
3.s命令
sed 's/^My/You/g' datafile
#命令末端的g表示在行內(nèi)進(jìn)行全局替換,也就是說(shuō)如果某行出現(xiàn)多個(gè)My,所有的My都被替換為You。
sed -n '1,20s/My$/You/gp' datafile
#取消默認(rèn)輸出,處理1到20行里匹配以My結(jié)尾的行,把行內(nèi)所有的My替換為You,并打印到屏幕上。
sed 's#My#Your#g' datafile
#緊跟在s命令后的字符就是查找串和替換串之間的分隔符。分隔符默認(rèn)為正斜杠,但可以改變。無(wú)論什么字符(換行符、反斜線除外),只要緊跟s命令,就成了新的串分隔符。
4 e選項(xiàng)
-e是編輯命令,用于sed執(zhí)行多個(gè)編輯任務(wù)的情況下。在下一行開始編輯前,所有的編輯動(dòng)作將應(yīng)用到模式緩沖區(qū)中的行上。
sed -e '1,10d'-e 's/My/Your/g' datafile
#選項(xiàng)-e用于進(jìn)行多重編輯。第一重編輯刪除第1-3行。第二重編輯將出現(xiàn)的所有My替換為Your。因?yàn)槭侵鹦羞M(jìn)行這兩項(xiàng)編輯(即這兩個(gè)命令都在模式空間的當(dāng)前行上執(zhí)行),所以編輯命令的順序會(huì)影響結(jié)果。
5 r命令
r命令是讀命令。sed使用該命令將一個(gè)文本文件中的內(nèi)容加到當(dāng)前文件的特定位置上。
sed '/My/r introduce.txt' datafile
#如果在文件datafile的某一行匹配到模式My,就在該行后讀入文件introduce.txt的內(nèi)容。如果出現(xiàn)My的行不止一行,則在出現(xiàn)My的各行后都讀入introduce.txt文件的內(nèi)容。
6 w命令
sed -n '/hrwang/w me.txt' datafile
7 a\ 命令
a\ 命令是追加命令,追加將添加新文本到文件中當(dāng)前行(即讀入模式緩沖區(qū)中的行)的后面。所追加的文本行位于sed命令的下方另起一行。如果要追加的內(nèi)容超過(guò)一行,則每一行都必須以反斜線結(jié)束,最后一行除外。最后一行將以引號(hào)和文件名結(jié)束。
sed '/^hrwang/a\
>hrwang and mjfan are husband\
>and wife' datafile
#如果在datafile文件中發(fā)現(xiàn)匹配以hrwang開頭的行,則在該行下面追加hrwang and mjfan are husband and wife
8 i\ 命令
i\ 命令是在當(dāng)前行的前面插入新的文本。
9 c\ 命令
sed使用該命令將已有文本修改成新的文本。
10 n命令
sed使用該命令獲取輸入文件的下一行,并將其讀入到模式緩沖區(qū)中,任何sed命令都將應(yīng)用到匹配行緊接著的下一行上
sed '/hrwang/{n;s/My/Your/;}' datafile
=注:如果需要使用多條命令,或者需要在某個(gè)地址范圍內(nèi)嵌套地址,就必須用花括號(hào)將命令括起來(lái),每行只寫一條命令,或這用分號(hào)分割同一行中的多條命令。
11 y命令
該命令與UNIX/Linux中的tr命令類似,字符按照一對(duì)一的方式從左到右進(jìn)行轉(zhuǎn)換。例如,y/abc/ABC/將把所有小寫的a轉(zhuǎn)換成A,小寫的b轉(zhuǎn)換成B,小寫的c轉(zhuǎn)換成C。
sed '1,20y/hrwang12/HRWANG^$/' datafile
#將1到20行內(nèi),所有的小寫hrwang轉(zhuǎn)換成大寫,將1轉(zhuǎn)換成^,將2轉(zhuǎn)換成$。
#正則表達(dá)式元字符對(duì)y命令不起作用。與s命令的分隔符一樣,斜線可以被替換成其它的字符。
12 q命令
q命令將導(dǎo)致sed程序退出,不再進(jìn)行其它的處理
01.sed '/hrwang/{s/hrwang/HRWANG/;q;}' datafile
13 h命令和g命令
#cat datafile
My name is hrwang.
Your name is mjfan.
hrwang is mjfan's husband.
mjfan is hrwang's wife.
sed -e '/hrwang/h'-e '$G' datafile
sed -e '/hrwang/H' -e '$G' datafile
#通過(guò)上面兩條命令,你會(huì)發(fā)現(xiàn)h會(huì)把原來(lái)暫存緩沖區(qū)的內(nèi)容清除,只保存最近一次執(zhí)行h時(shí)保存進(jìn)去的模式空間的內(nèi)容。而H命令則把每次匹配hrwnag的行都追加保存在暫存緩沖區(qū)。
sed -e '/hrwang/H' -e '$g' datafile
sed -e '/hrwang/H' -e '$G' datafile
#通過(guò)上面兩條命令,你會(huì)發(fā)現(xiàn)g把暫存緩沖區(qū)中的內(nèi)容替換掉了模式空間中當(dāng)前行的內(nèi)容,此處即替換了最后一行。而G命令則把暫存緩沖區(qū)的內(nèi)容追加到了模式空間的當(dāng)前行后。此處即追加到了末尾。
您可能感興趣的文章:- shell腳本之正則表達(dá)式、grep、sed、awk
- Python 實(shí)現(xiàn)簡(jiǎn)單的shell sed替換功能(實(shí)例講解)
- Linux shell利用sed如何批量更改文件名詳解
- 詳解linux下批量替換文件內(nèi)容的三種方法(perl,sed,shell)
- Shell正則表達(dá)式之grep、sed、awk實(shí)操筆記
- 利用perl、python、php、shell、sed、awk、c 實(shí)現(xiàn)字符串的翻轉(zhuǎn)
- Shell文本處理三劍客之sed的使用