主頁(yè) > 知識(shí)庫(kù) > Linux中awk的使用方法詳解

Linux中awk的使用方法詳解

熱門(mén)標(biāo)簽:400電話號(hào)碼辦理多少錢(qián) 虛假地圖標(biāo)注 地圖標(biāo)注黃河的位置 承德地圖標(biāo)注公司 濮陽(yáng)好的聯(lián)通400電話申請(qǐng) 地圖標(biāo)注如何改成微信號(hào) 山東企業(yè)外呼系統(tǒng)公司 靈圖uu電子寵物店地圖標(biāo)注 百度地圖標(biāo)注公司位置要多少錢(qián)

在學(xué)習(xí)awk之前我們應(yīng)該都學(xué)過(guò)sed,grep,tr,cut等等命令,這些命令都是為了方便我們對(duì)Linux下文本和數(shù)據(jù)的處理,但是我們會(huì)發(fā)現(xiàn)很多時(shí)候這些命令并不能一下子就完全解決我們的需求,很多時(shí)候我們都需要使用管道符結(jié)合這些命令來(lái)使用,今天我就給大家介紹一個(gè)命令awk,他就能很好的解決我們對(duì)文本和數(shù)據(jù)處理的需求,使我們一條命令就解決很多問(wèn)題。

一、awk命令簡(jiǎn)介

awk被稱(chēng)為文本處理三劍客之一,其名稱(chēng)得自于它的創(chuàng)始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個(gè)字母。實(shí)際上 AWK 的確擁有自己的語(yǔ)言: AWK 程序設(shè)計(jì)語(yǔ)言 , 三位創(chuàng)建者已將它正式定義為“樣式掃描和處理語(yǔ)言”。它允許您創(chuàng)建簡(jiǎn)短的程序,這些程序讀取輸入文件、為數(shù)據(jù)排序、處理數(shù)據(jù)、對(duì)輸入執(zhí)行計(jì)算以及生成報(bào)表,還有無(wú)數(shù)其他的功能。
所以說(shuō)awk是一個(gè)強(qiáng)大的文本分析工具,相對(duì)于grep的查找,sed的編輯,awk在其對(duì)數(shù)據(jù)分析并生成報(bào)告時(shí),顯得尤為強(qiáng)大。簡(jiǎn)單來(lái)說(shuō)awk就是把文件逐行的讀入,以空格為默認(rèn)分隔符將每行切片,切開(kāi)的部分再進(jìn)行各種分析處理。

二、awk命令格式及選項(xiàng)

語(yǔ)法形式

awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)

常用命令選項(xiàng)

-F fs fs指定輸入分隔符,fs可以是字符串或正則表達(dá)式,如-F:
-v var=value 賦值一個(gè)用戶(hù)定義變量,將外部變量傳遞給awk
-f scripfile 從腳本文件中讀取awk命令
-m[fr] val 對(duì)val值設(shè)置內(nèi)在限制,-mf選項(xiàng)限制分配給val的最大塊數(shù)目;-mr選項(xiàng)限制記錄的最大數(shù)目。這兩個(gè)功能是Bell實(shí)驗(yàn)室版awk的擴(kuò)展功能,在標(biāo)準(zhǔn)awk中不適用。

三、awk的原理

awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

第一步:執(zhí)行BEGIN{ commands }語(yǔ)句塊中的語(yǔ)句;
第二步:從文件或標(biāo)準(zhǔn)輸入(stdin)讀取一行,然后執(zhí)行pattern{ commands }語(yǔ)句塊,它逐行掃描文件,從第一行到最后一行重復(fù)這個(gè)過(guò)程,直到文件全部被讀取完畢。
第三步:當(dāng)讀至輸入流末尾時(shí),執(zhí)行END{ commands }語(yǔ)句塊。
BEGIN語(yǔ)句塊在awk開(kāi)始從輸入流中讀取行之前被執(zhí)行,這是一個(gè)可選的語(yǔ)句塊,比如變量初始化、打印輸出表格的表頭等語(yǔ)句通??梢詫?xiě)在BEGIN語(yǔ)句塊中。

END語(yǔ)句塊在awk從輸入流中讀取完所有的行之后即被執(zhí)行,比如打印所有行的分析結(jié)果這類(lèi)信息匯總都是在END語(yǔ)句塊中完成,它也是一個(gè)可選語(yǔ)句塊。

pattern語(yǔ)句塊中的通用命令是最重要的部分,它也是可選的。如果沒(méi)有提供pattern語(yǔ)句塊,則默認(rèn)執(zhí)行{ print },即打印每一個(gè)讀取到的行,awk讀取的每一行都會(huì)執(zhí)行該語(yǔ)句塊。

四、awk 基本用法

awk的調(diào)用有三種方式

1.命令行方式

awk [-F field-separator] 'commands' input-file(s)

其中,commands 是真正awk命令,[-F域分隔符]是可選的。 input-file(s) 是待處理的文件。
在awk中,文件的每一行中,由域分隔符分開(kāi)的每一項(xiàng)稱(chēng)為一個(gè)域。通常,在不指名-F域分隔符的情況下,默認(rèn)的域分隔符是空格。

2.shell腳本方式

awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file

一個(gè)awk腳本通常由:BEGIN語(yǔ)句塊、能夠使用模式匹配的通用語(yǔ)句塊、END語(yǔ)句塊3部分組成,這三個(gè)部分是可選的。任意一個(gè)部分都可以不出現(xiàn)在腳本中,腳本通常是被單引號(hào)或雙引號(hào)中,例如:

awk 'BEGIN{ i=0 } { i++ } END{ print i }' filename
awk "BEGIN{ i=0 } { i++ } END{ print i }" filename

3.將所有的awk命令插入一個(gè)單獨(dú)文件,然后調(diào)用

awk -f awk-script-file input-file(s)

其中,-f選項(xiàng)加載awk-script-file中的awk腳本,input-file(s)跟上面的命令行方式是一樣的。
我們通過(guò)幾個(gè)簡(jiǎn)單的示例來(lái)進(jìn)一步了解awk的用法

[root@localhost ~]# awk '{print $0}' /etc/passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
.........................................................................
[root@localhost ~]# echo 123|awk '{print "hello,awk"}'
hello,awk

[root@localhost ~]# awk '{print "hi"}' /etc/passwd
hi
hi
hi
hi
hi
hi
hi
hi
hi
.........................................................................


我們指定/etc/passwd作為輸出文件,執(zhí)行awk時(shí),它就會(huì)依次對(duì)/etc/passwd中的每一行執(zhí)行print命令。

awk工作流程是這樣的:讀入有'\n'換行符分割的一條記錄,然后將記錄按指定的域分隔符劃分域,填充域,$0則表示所有域,$1表示第一個(gè)域,$n表示第n個(gè)域。默認(rèn)域分隔符是"空白鍵" 或 "[tab]鍵",所以$1表示登錄用戶(hù),$3表示登錄用戶(hù)ip,以此類(lèi)推。如

打印/etc/passwd下所有的用戶(hù)名

[root@localhost ~]# awk -F: '{print $1}' /etc/passwd
root
bin
daemon
adm

........................................................................
打印/etc/passwd下所有的用戶(hù)名及UID

[root@localhost ~]# awk -F: '{print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2

........................................................................
以u(píng)sername: XXX  uid: XXX格式輸出

[root@localhost ~]# awk -F: '{print "username: " $1 "\t\tuid: "$3}' /etc/passwd
username: root   uid: 0
username: bin    uid: 1
username: daemon    uid: 2
........................................................................


五、awk內(nèi)置變量

變量 描述
\$n 當(dāng)前記錄的第n個(gè)字段,字段間由FS分隔
\$0 完整的輸入記錄
ARGC 命令行參數(shù)的數(shù)目
ARGIND 命令行中當(dāng)前文件的位置(從0開(kāi)始算)
ARGV 包含命令行參數(shù)的數(shù)組
CONVFMT 數(shù)字轉(zhuǎn)換格式(默認(rèn)值為%.6g)ENVIRON環(huán)境變量關(guān)聯(lián)數(shù)組
ERRNO 最后一個(gè)系統(tǒng)錯(cuò)誤的描述
FIELDWIDTHS 字段寬度列表(用空格鍵分隔)
FILENAME 當(dāng)前文件名
FNR 各文件分別計(jì)數(shù)的行號(hào)
FS 字段分隔符(默認(rèn)是任何空格)
IGNORECASE 如果為真,則進(jìn)行忽略大小寫(xiě)的匹配
NF 一條記錄的字段的數(shù)目
NR 已經(jīng)讀出的記錄數(shù),就是行號(hào),從1開(kāi)始
OFMT 數(shù)字的輸出格式(默認(rèn)值是%.6g)
OFS 輸出記錄分隔符(輸出換行符),輸出時(shí)用指定的符號(hào)代替換行符
ORS 輸出記錄分隔符(默認(rèn)值是一個(gè)換行符)
RLENGTH 由match函數(shù)所匹配的字符串的長(zhǎng)度
RS 記錄分隔符(默認(rèn)是一個(gè)換行符)
RSTART 由match函數(shù)所匹配的字符串的第一個(gè)位置
SUBSEP 數(shù)組下標(biāo)分隔符(默認(rèn)值是/034)

示例

[root@localhost ~]# echo -e "line1 f2 f3\nline2 f4 f5\nline3 f6 f7" | awk '{print "Line No:"NR", No of fields:"NF, "$0="$0, "$1="$1, "$2="$2, "$3="$3}'
Line No:1, No of fields:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3
Line No:2, No of fields:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5
Line No:3, No of fields:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f7

使用print $NF可以打印出一行中的最后一個(gè)字段,使用$(NF-1)則是打印倒數(shù)第二個(gè)字段,其他以此類(lèi)推:

[root@localhost ~]# echo -e "line1 f2 f3\n line2 f4 f5" | awk '{print $NF}'
f3
f5
[root@localhost ~]# echo -e "line1 f2 f3\n line2 f4 f5" | awk '{print $(NF-1)}'
f2
f4

統(tǒng)計(jì)/etc/passwd:文件名,每行的行號(hào),每行的列數(shù),對(duì)應(yīng)的完整行內(nèi)容:

[root@localhost ~]# awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:/etc/passwd,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin

統(tǒng)計(jì)/etc/passwd文件中的命令行參數(shù)ARGC,文件行號(hào)FNR,字段分隔符FS,一條記錄的字段數(shù)目NF,已經(jīng)讀出的記錄數(shù)(默認(rèn)是行號(hào))NR

[root@localhost ~]# awk -F: 'BEGIN{printf "%4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR}' /etc/passwd
FILENAME ARGC FNR  FS  NF  NR
---------------------------------------------
/etc/passwd  2  1  :  7  1
/etc/passwd  2  2  :  7  2
/etc/passwd  2  3  :  7  3


六、awk高級(jí)用法

1.awk賦值運(yùn)算

賦值語(yǔ)句運(yùn)算符:= += -= *= /= %= ^= **=

例如:a+=5;等價(jià)于a=a+5

[root@localhost ~]# awk 'BEGIN{a=5;a+=5;print a}'
10

2.awk正則運(yùn)算
輸出包含有root的行,并打印用戶(hù)名和UID及原行內(nèi)容

[root@localhost ~]# awk -F: '/root/ {print $1,$3,$0}' /etc/passwd
root 0 root:x:0:0:root:/root:/bin/bash
operator 11 operator:x:11:0:operator:/root:/sbin/nologin

我們發(fā)現(xiàn)找到了兩行,如果我們想找root開(kāi)頭的行就要這樣寫(xiě):awk -F: '/^root/' /etc/passwd

3.awk三目運(yùn)算

[root@localhost ~]# awk 'BEGIN{a="b";print a=="b"?"ok":"err"}'
ok
[root@localhost ~]# awk 'BEGIN{a="b";print a=="c"?"ok":"err"}'
err

三目運(yùn)算其實(shí)就是一個(gè)判斷運(yùn)算,如果為真則輸出?后的內(nèi)容,如果為假則輸出:后的內(nèi)容

4.awk的循環(huán)運(yùn)用

if語(yǔ)句運(yùn)用

[root@localhost ~]# awk 'BEGIN{ test=100;if(test>90){ print "vear good";} else{print "no pass";}}'
vear good

每條命令后用;結(jié)尾
while循環(huán)運(yùn)用
計(jì)算從1累加到100的值

[root@localhost ~]# awk 'BEGIN{test=100;num=0;while(i<=test){num+=i; i++;}print num;}'
5050
for循環(huán)的運(yùn)用
[root@localhost ~]# awk 'BEGIN{test=0;for(i=0;i<=100;i++){test+=i;}print test;}'
5050
do循環(huán)的運(yùn)用
[root@localhost ~]# awk 'BEGIN{test=0;i=0;do{test+=i;i++}while(i<=100)print test;}'
5050

5.awk的數(shù)組運(yùn)用

數(shù)組是awk的靈魂,處理文本中最不能少的就是它的數(shù)組處理。因?yàn)閿?shù)組索引(下標(biāo))可以是數(shù)字和字符串在awk中數(shù)組叫做關(guān)聯(lián)數(shù)組(associative arrays)。awk 中的數(shù)組不必提前聲明,也不必聲明大小。數(shù)組元素用0或空字符串來(lái)初始化,這根據(jù)上下文而定。一般而言,awk中的數(shù)組用來(lái)從記錄中收集信息,可以用于計(jì)算總和、統(tǒng)計(jì)單詞以及跟蹤模板被匹配的次數(shù)等等。
顯示/etc/passwd的賬戶(hù)

awk -F: 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root
1 bin
2 daemon
3 adm
4 lp
5 sync
........................................................................


6.awk字符串函數(shù)的運(yùn)用

函數(shù)名 描述
sub 匹配記錄中最大、最靠左邊的子字符串的正則表達(dá)式,并用替換字符串替換這些字符串。如果沒(méi)有指定目標(biāo)字符串就默認(rèn)使用整個(gè)記錄。替換只發(fā)生在第一次匹配的 時(shí)候
sub (regular expression, substitution string):
sub (regular expression, substitution string, target string)

實(shí)例:

     awk '{ sub(/test/, "mytest"); print }' testfile
     awk '{ sub(/test/, "mytest"); $1}; print }' testfile

第一個(gè)例子在整個(gè)記錄中匹配,替換只發(fā)生在第一次匹配發(fā)生的時(shí)候。如要在整個(gè)文件中進(jìn)行匹配需要用到gsub

第二個(gè)例子在整個(gè)記錄的第一個(gè)域中進(jìn)行匹配,替換只發(fā)生在第一次匹配發(fā)生的時(shí)候。
gsub 整個(gè)文檔中進(jìn)行匹配
gsub (regular expression, substitution string)
gsub (regular expression, substitution string, target string)

實(shí)例:

     awk '{ gsub(/test/, "mytest"); print }' testfile
     awk '{ gsub(/test/, "mytest" , $1) }; print }' testfile

第一個(gè)例子在整個(gè)文檔中匹配test,匹配的都被替換成mytest。

第二個(gè)例子在整個(gè)文檔的第一個(gè)域中匹配,所有匹配的都被替換成mytest。
index 返回子字符串第一次被匹配的位置,偏移量從位置1開(kāi)始
index(string, substring)

實(shí)例:

         awk '{ print index("test", "mytest") }' testfile

實(shí)例返回test在mytest的位置,結(jié)果應(yīng)該是3。
substr 返回從位置1開(kāi)始的子字符串,如果指定長(zhǎng)度超過(guò)實(shí)際長(zhǎng)度,就返回整個(gè)字符串
substr( string, starting position )
substr( string, starting position, length of string )

實(shí)例:

         awk '{ print substr( "hello world", 7,11 ) }'

上例截取了world子字符串。
split 可按給定的分隔符把字符串分割為一個(gè)數(shù)組。如果分隔符沒(méi)提供,則按當(dāng)前FS值進(jìn)行分割
split( string, array, field separator )
split( string, array )

實(shí)例:

         awk '{ split( "20:18:00", time, ":" ); print time[2] }'

上例把時(shí)間按冒號(hào)分割到time數(shù)組內(nèi),并顯示第二個(gè)數(shù)組元素18。
length 返回記錄的字符數(shù)
length( string )
length

實(shí)例:

     awk '{ print length( "test" ) }' 
     awk '{ print length }' testfile


第一個(gè)實(shí)例返回test字符串的長(zhǎng)度。

第二個(gè)實(shí)例返回testfile文件中第條記錄的字符數(shù)。
match 返回在字符串中正則表達(dá)式位置的索引,如果找不到指定的正則表達(dá)式則返回0。match函數(shù)會(huì)設(shè)置內(nèi)建變量RSTART為字符串中子字符串的開(kāi)始位 置,RLENGTH為到子字符串末尾的字符個(gè)數(shù)。substr可利于這些變量來(lái)截取字符串

match( string, regular expression )

實(shí)例:

     awk '{start=match("this is a test",/[a-z]+$/); print start}'
     awk '{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'


第一個(gè)實(shí)例打印以連續(xù)小寫(xiě)字符結(jié)尾的開(kāi)始位置,這里是11。

第二個(gè)實(shí)例還打印RSTART和RLENGTH變量,這里是11(start),11(RSTART),4(RLENGTH)。
toupper和tolower 可用于字符串大小間的轉(zhuǎn)換,該功能只在gawk中有效

toupper( string )
tolower( string )

實(shí)例:

         awk '{ print toupper("test"), tolower("TEST") }'

標(biāo)簽:安康 鷹潭 淮安 上海 泰安 德宏 樂(lè)山 福州

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Linux中awk的使用方法詳解》,本文關(guān)鍵詞  Linux,中,awk,的,使用方法,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Linux中awk的使用方法詳解》相關(guān)的同類(lèi)信息!
  • 本頁(yè)收集關(guān)于Linux中awk的使用方法詳解的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章