Shell腳本學(xué)習(xí)指南之文本處理工具

4.1 排序文本

4.1.1 行的排序
未提供命令行選項(xiàng)時(shí)，整個(gè)記錄會(huì)根據(jù)當(dāng)前l(fā)ocale所定義的次序排序。
在傳統(tǒng)的C locale中，也就是ASCII順序。

4.1.2 以字段排序
-k選項(xiàng)的后面接著的是一個(gè)字段編號(hào)，或者是一對數(shù)字。
每個(gè)編號(hào)后面都可以接一個(gè)點(diǎn)號(hào)的字符位置，或修飾符字母。

如果僅指定一個(gè)字段編號(hào)，則排序鍵值會(huì)自該字段的起始處開始，
一直繼續(xù)到記錄的結(jié)尾（而非字段的結(jié)尾）。

如果給的是一對用逗號(hào)隔開的字段數(shù)字，則排序鍵值將由第一個(gè)字段值的起始處開始，
結(jié)束于第二個(gè)字段值的結(jié)尾。使用點(diǎn)號(hào)表示字符位置。
-k2.4, 5.6指的是從第二個(gè)字段的第四個(gè)字符開始比較，一直比到第五個(gè)字段的第六個(gè)字符。
$ sort -t: -k1,1 /etc/passwd     以用戶名稱排序
bin:x:1:1:bin:/bin:/sbin/nologin
chico:x:12501:1000:Chico Marx:/home/chico:/bin/bash
harpo:x:12502:1000:Harpo Marx:/home/harpo:/bin/ksh
...

$ sort -t: -k3,3nr /etc/passwd     反省UID排序
或-k3nr,3或-k3,3 -n -r都可以。

4.1.3 文本塊的排序
有時(shí)需要對多行記錄組合而成的數(shù)據(jù)排序。以地址清單為例：
$ cat my-friends
# SORTKEY: Schlo, Hans Jurgen
Hans Jurgen Schlo
Unter den Linden 78
D-10117 Berlin
Germany

# SORTKEY: Jones, Adrian
...

技巧是：利用awk識(shí)別段落間隔，在每個(gè)地址內(nèi)暫時(shí)使用一個(gè)未用過的字符取代分行。
sort看到的行就會(huì)變成這樣：
# SORTKEY: Schlo, Hans Jurgen^ZHans Jurgen Schlo^ZUnter den Linden 78^Z...
cat my-friends |               讀取地址文件
     awk -v RS=" " '{ gsub("\n", "^Z"); print }' |    轉(zhuǎn)換地址為單行
          sort -f |           排序地址數(shù)據(jù)，忽略大小寫
               awk -v ORS="\n\n" '{ gsub("^Z", "\n"); print }' |  恢復(fù)行結(jié)構(gòu)
                    grep -v '# SORTKEY'   刪除標(biāo)記行
1. 函數(shù)gsub()為全局性替換(global substitution)，類似sed下的s/x/y/g結(jié)構(gòu)。
2. RS變量時(shí)輸入數(shù)據(jù)的記錄分隔器（Record Separator）。
   通常輸入數(shù)據(jù)以換行隔開，使每行成為單個(gè)記錄。
    RS=" "是一個(gè)特殊用法，指的是記錄以空行隔開。
3. ORS是輸出記錄分隔器。
注：'{ action }'是對每個(gè)字段的操作，而RS,ORS都是對記錄的設(shè)定。

4.1.5 sort的穩(wěn)定性
sort并不穩(wěn)定。

4.2 刪除重復(fù)
sort -u是依據(jù)匹配的鍵值進(jìn)行消除操作，而非匹配的記錄。
uniq有3個(gè)好用選項(xiàng)：
     -c在每個(gè)輸出行之前加上該行重復(fù)的次數(shù)。
     -d則用于僅顯示重復(fù)的行。
     -u僅顯示未重復(fù)的行。

4.3 重新格式化段落
fwt -w 30

4.4 計(jì)算行數(shù)、字?jǐn)?shù)以及字符數(shù)
wc的默認(rèn)輸出是一行報(bào)告，包括行數(shù)、字?jǐn)?shù)以及字節(jié)數(shù)。
可用選項(xiàng)：-c（字節(jié)數(shù)）、-l（行數(shù)）、-w（字?jǐn)?shù)）。