Shell正則表達(dá)式學(xué)習(xí)筆記

正規(guī)表示法(或稱為常規(guī)表示法)是透過一些特殊字符的排列，用以搜尋/取代/刪除一列或多列文字字符串， 簡單的說，正規(guī)表示法就是用在字符串的處理上面的一項『表示式』。正規(guī)表示法并不是一個工具程序， 而是一個字符串處理的標(biāo)準(zhǔn)依據(jù)，如果您想要以正規(guī)表示法的方式處理字符串，就得要使用支持正規(guī)表示法的工具程序才行， 這類的工具程序很多，例如 vi, sed, awk 等等。

一、正則表達(dá)式是什么？

正則表達(dá)式是用于描述字符排列和匹配模式的一種語法規(guī)則。它主要用于字符串的模式分割、匹配、查找及替換操作。

二、正則表達(dá)式與通配符

1. 正則表達(dá)式

用來在文件中匹配符合條件的字符串，正則表達(dá)式是“包含匹配”。grep、awk、sed等命令可以支持正則表達(dá)式。

2. 正則表達(dá)式元字符

正則表達(dá)式是通過元字符來進(jìn)行字符串匹配的，具體請參考：http://www.cnblogs.com/refine1017/p/5011522.html

3. 通配符

用來匹配符合條件的文件名，通配符是“完全匹配”。ls、find、cp這些命令不支持正則表達(dá)式，所以只能使用shell自己的通配符來進(jìn)行匹配了。

4. 通配符包括

* 匹配任意字符

? 匹配任意一個字符

 [] 匹配中括號中的任意一個字符

三、cut命令

cut 命令從文件的每一行剪切字節(jié)、字符和字段并將這些字節(jié)、字符和字段寫至標(biāo)準(zhǔn)輸出。

1. 常用參數(shù)

-b ：以字節(jié)為單位進(jìn)行分割。這些字節(jié)位置將忽略多字節(jié)字符邊界，除非也指定了 -n 標(biāo)志。
-c ：以字符為單位進(jìn)行分割。
-d ：自定義分隔符，默認(rèn)為制表符。
-f ：與-d一起使用，指定顯示哪個區(qū)域。
-n ：取消分割多字節(jié)字符。僅和 -b 標(biāo)志一起使用。

2. 示例1：打印出用制表符分割的文件的某一行

[root@localhost shell]# cat student.txt 
ID   Name  Gender Mark
1    ming  F    85
2    zhang  F    70
3    wang  M    75
4    li   M    90
[root@localhost shell]# cut -f 4 student.txt 
Mark
85
70
75
90 

3. 示例2：打印csv文件的某一行

[root@localhost shell]# cat student.csv 
ID,Name,Gender,Mark
1,ming,F,85
2,zhang,F,70
3,wang,M,75
4,li,M,90
[root@localhost shell]# cut -d "," -f 4 student.csv 
Mark
85
70
75
90 

4. 示例3：打印一個字符串的第幾個字符

[root@localhost shell]# echo "abcdef" | cut -c 3
c 

5. 示例4：截取中文字符的某一個文字

[root@localhost shell]# echo "Shell編程" | cut -nb 1
S
[root@localhost shell]# echo "Shell編程" | cut -nb 2
h
[root@localhost shell]# echo "Shell編程" | cut -nb 3
e
[root@localhost shell]# echo "Shell編程" | cut -nb 4
l
[root@localhost shell]# echo "Shell編程" | cut -nb 5
l
[root@localhost shell]# echo "Shell編程" | cut -nb 8
編
[root@localhost shell]# echo "Shell編程" | cut -nb 11
程 

四、printf命令

1. 命令格式

printf   '輸出類型輸出格式'   輸出內(nèi)容

2. 輸出類型

%ns：輸出字符串。n代表輸出幾個字符,n省略則代表全部字符

%ni：輸出整數(shù)。n是指輸出幾個數(shù)字，n省略代表所有數(shù)字

%m.nf：輸出浮點數(shù)。m和n是數(shù)字，指代輸出的整數(shù)位數(shù)和小數(shù)位數(shù)。如%8.2f則代表共輸出8位數(shù)，其中2位是小樹，6位是整數(shù)。

3. 輸出格式

\a：輸出警告聲音

\b：輸出退格鍵（Backspace）

\f：清除屏幕

\n：換行

\r：回車（Enter）

\t：水平輸出退格鍵

\v：垂直輸出退格鍵 

4. 示例

[root@localhost ~]# printf '%i %s %i %s %i\n' 1 "+" 2 "=" 3
1 + 2 = 3
[root@localhost ~]# printf '%i-%i-%i %i:%i:%i\n' 2015 12 3 21 56 30
2015-12-3 21:56:30 

五、awk命令

1. 命令格式

awk '條件1{動作1}條件2{動作2}...' 文件名

條件：一般使用關(guān)系表達(dá)式作為條件，如x > 10

動作：格式化輸出、流程控制語句

2. 示例1：提取制表符分割的文件的某一行

[root@localhost shell]# cat student.txt 
ID   Name  Gender Mark
1    ming  F    85
2    zhang  F    70
3    wang  M    75
4    li   M    90
[root@localhost shell]# awk '{print $1 "\t" $4}' student.txt 
ID   Mark
1    85
2    70
3    75
4    90 

3. 示例2：獲取磁盤利用率

[root@localhost shell]# df -h
Filesystem      Size Used Avail Use% Mounted on
/dev/sda2       18G 2.4G  14G 15% /
/dev/sda1       289M  16M 258M  6% /boot
tmpfs         411M   0 411M  0% /dev/shm
[root@localhost shell]# df -h | grep "sda1" | awk '{print $5}'
6% 

六、sed命令

sed是一種幾乎包括在所有UNIX平臺（包括Linux）的輕量級流編輯器。sed主要是用來將數(shù)據(jù)進(jìn)行選取、替換、刪除、新增的命令。

1. 命令格式

sed [選項] '[動作]' 文件名

2. 選項

-n：一般sed命令會把所有數(shù)據(jù)都輸出到屏幕，如果加入此選擇，則只會把經(jīng)過sed命令處理的行輸出到屏幕。

-e：允許對輸入數(shù)據(jù)應(yīng)用多條sed命令編輯。

-i：用sed的修改結(jié)果直接修改讀取數(shù)據(jù)的文件，而不是由屏幕輸出。

3. 動作

a：追加，在當(dāng)前行后添加一行或多行

c：行替換，用c后面的字符串替換原數(shù)據(jù)行

i：插入，在當(dāng)前行前插入一行或多行。

d：刪除，刪除指定的行

p：打印，輸出指定的行

s：字符串替換，用一個字符串替換另一個字符串。格式為“行范圍/s/舊字符串/新字符串/g”(和vim中的替換格式類似)

4. 示例

[root@localhost shell]# cat student.txt 
ID   Name  Gender Mark
1    ming  F    85
2    zhang  F    70
3    wang  M    75
4    li   M    90#測試-n參數(shù)
[root@localhost shell]# sed -n '2p' student.txt 
1    ming  F    85#測試單行刪除
[root@localhost shell]# sed '2d' student.txt 
ID   Name  Gender Mark
2    zhang  F    70
3    wang  M    75
4    li   M    90#測試多行刪除
[root@localhost shell]# sed '2,4d' student.txt 
ID   Name  Gender Mark
4    li   M    90#測試追加
[root@localhost shell]# sed '2a test append' student.txt
ID   Name  Gender Mark
1    ming  F    85
test append
2    zhang  F    70
3    wang  M    75
4    li   M    90#測試插入
[root@localhost shell]# sed '2i test insert' student.txt
ID   Name  Gender Mark
test insert
1    ming  F    85
2    zhang  F    70
3    wang  M    75
4    li   M    90#測試行替換
[root@localhost shell]# sed '2c test replace' student.txt
ID   Name  Gender Mark
test replace
2    zhang  F    70
3    wang  M    75
4    li   M    90#測試內(nèi)容替換
[root@localhost shell]# sed '2s/ming/replace/g' student.txt
ID   Name  Gender Mark
1    replace F    85
2    zhang  F    70
3    wang  M    75
4    li   M    90

下面看看簡單的正則表達(dá)式的匹配范例，通過這些范例，相信可以比較熟練的掌握基本的正則表達(dá)式的使用：

HelloWorld   匹配任意一行任何位置上的10個字母：HelloWorld
^HelloWorld  匹配出現(xiàn)在行首的10個字母：HelloWorld
HelloWorld$  匹配出現(xiàn)在行尾的10個字母：HelloWorld
^HelloWorld$  匹配只包括這10個字母：HelloWorld的一行
[Hh]elloWorld  匹配HelloWorld或者h(yuǎn)elloworld
Hello.World   匹配含有Hello這5個字母，再加上任何一個字符，再加上world
Hello*World  匹配含有Hello這5個字母，再加上任意個字母，再加上world

在上面的例子中利用“.”或者“*”，可以匹配0個或者多個字符，但是如果要匹配的字符是一個范圍，這時候就要用到“{}”,因為shell中的 "{"和"}"有特殊含義，所以需要使用轉(zhuǎn)移字符“\”,例如：
[kouyang@kouyang  kouyang] #  grep -n 'o\{2\}'  hello.txt
在hello.txt文件中找出出現(xiàn)兩個連續(xù)的"o"的那一行

[kouyang@kouyang kouyang]# grep  -n 'go\{2, 5\}g' hello.txt
在hello.txt文件中找到go后面出現(xiàn)2～5個"o"后面再緊接著一個"g"的單詞的那一行