15分鐘并行神器gnu parallel入門指南

GNU Parallel是一個shell工具，為了在一臺或多臺計算機上并行的執(zhí)行計算任務。本文簡要介紹GNU Parallel的使用。

這個cpu是多核的。

一般兩核是這樣工作的的：

四核是這樣工作的：

16核是這樣工作的：

好了不黑了。再黑intel要打我了。

在某個周末的早上百無聊賴之際，花了半天時間過了一遍gnu parallel的man page和tutorial。哈哈，我得說這半天時間花的應該挺值，因為感覺以后它能為我節(jié)省的時間不止半天吧。

本文并不會嘗試去翻譯gnu parallel的man page或者tutorial。因為現(xiàn)成的翻譯已經(jīng)有了，可以看這里，或者這里。

但是我前幾次看到 parallel詭異的幾個:::以及奇奇怪怪的 {}{#}{.}{\}占位符之后就打起了退堂鼓，如此丑陋的語法令人無愛啊。還好直接看了一下幾個example壓壓驚，動手試一把，才發(fā)現(xiàn)實乃神器也。

本文主要的目的是安利（lure）你使用這個工具，并且告訴你為啥（why）使用和如何（how）使用。

why

使用gnu parallel的目的只要一個，就是為了快！

安裝快

(wget -O - pi.dk/3 || curl pi.dk/3/) | bash

作者說10秒裝好。在國內(nèi)實際情況可能不夠。但是也不用太久。其實就是一個1萬多行perl單文件腳本（是的，你沒看錯，所有模塊都在這個文件里，這是一個特色~）。我之后都是寫fabric腳本直接拷貝到各個節(jié)點機。再chmod一下執(zhí)行權限。
然后是執(zhí)行快，它將你的程序并行利用系統(tǒng)的多核執(zhí)行：
上圖：

grep 一個  1G 大小的log。

使用parallel  ，和不使用parallel直接grep。結果顯而易見，相差 20 倍。這比用啥 ack，ag優(yōu)化效果明顯多了。

備注：這是在一個48 核服務器上執(zhí)行的結果。

how

最簡單的方法就是類比xargs。在xargs里面有一個參數(shù) -P，可以利用多核。

舉個例子：

$ time echo {1..5} |xargs -n 1 sleep

real 0m15.005s
user 0m0.000s
sys 0m0.000s

這一條xargs把每個echo的數(shù)作為參數(shù)傳給sleep ，所以一共sleep了 1+2+3+4+5=15秒。

如果使用 -P 參數(shù)分給5個核，每個核各sleep 1,2,3,4,5秒，所以執(zhí)行完之后總共sleep的5秒。

$ time echo {1..5} |xargs -n 1 -P 5 sleep

real 0m5.003s
user 0m0.000s
sys 0m0.000s

鋪墊結束。一般情況下，parallel的第一種模式，就是替換掉 xargs -P.

比如壓縮一下所有的html文件。

find . -name '*.html' | parallel gzip --best

傳參數(shù)模式

第一種模式是利用 parallel傳參數(shù)。管道前面進來的作為參數(shù)傳給后面的命令，并行執(zhí)行

比如

huang$ seq 5 | parallel echo pre_placehoder_{}
pre_placehoder_1
pre_placehoder_2
pre_placehoder_3
pre_placehoder_4
pre_placehoder_5

其中{}是占位符，用來占位傳入?yún)?shù)的位置。

在云計算操作中，經(jīng)常有批量操作，比如建立10個云硬盤

seq 10 | parallel cinder create 10 --display-name test_{}

建立50個云主機

批量刪除云主機

nova list | grep some_pattern| awk '{print $2}' | parallel nova delete

改寫 for loop

可以看到，我其實是把很多需要寫循環(huán)的地方用parallel替換了，順帶享受了并行帶來的快捷。
這個道理是這樣的，在進行for循環(huán)的時候，是最有可能并行化的，因為被放在循環(huán)中的各個對象是上下文無關的。

普世抽象，shell的循環(huán)：

 (for x in `cat list` ; do
 do_something $x
 done) | process_output

可以直接寫成

 cat list | parallel do_something | process_output

如果loop 里面內(nèi)容太多了

 (for x in `cat list` ; do
 do_something $x
 [... 100 lines that do something with $x ...]
 done) | process_output

那么最好寫成一個腳本

 doit() {
 x=$1
 do_something $x
 [... 100 lines that do something with $x ...]
 }
 export -f doit
 cat list | parallel doit

而且還能避免掉很多麻煩的轉(zhuǎn)義。

--pipe模式

另一種模式就是 parallel --pipe

這時管道前面的不是作為參數(shù)，而是標準輸入傳給后面的命令

例如：

cat my_large_log |parallel --pipe grep pattern 

如果不加 --pipe ，相當于 mylog中的每一行都變成 grep pattern line的命令展開了。而加入了--pipe，則和 cat mylog | grep pattern  沒有區(qū)別，只是分配到各個核上去執(zhí)行了。

好了，基本概念就講完了！其他的都只是各個參數(shù)具體使用，比如到底用幾個核啊，place_holder的替換啊，各種花樣傳參數(shù)啊，并行執(zhí)行但是保證結果順序輸出(-k)，以及神奇的跨節(jié)點并行計算啊，看看man page就知道了。

bonus

手邊有了一個轉(zhuǎn)換成并行的小工具，除了讓你日常執(zhí)行快一點之外，還有一個好處，就是測并發(fā)。

很多接口在并發(fā)操作下會出現(xiàn)一些bug，比如有一些判斷數(shù)據(jù)庫里面沒有加鎖，是在代碼層面判斷的，結果并發(fā)請求下去，每個請求在到達服務器的時候是判斷通過，一起寫了之后就超出限制了。之前寫for循環(huán)因為是串行執(zhí)行的，并不會觸發(fā)這些問題。但是你要真正測并發(fā)的話，又要寫腳本，或者利用python的mulitiprocessing封裝一下。但我手邊有了parallel，又在bashrc里面就加了以下兩個alias

alias p='parallel'
alias pp='parallel --pipe -k' 

這樣制造并發(fā)太方便了，只需要管道后面加個p , 我就時時刻刻可以制造并發(fā)來觀察響應。

舉個例子

seq 50 | p -n0 -q curl 'example.com'

以你核的個數(shù)并發(fā)請求。-n0的意思是seq輸出不作為參數(shù)傳給后面的命令。

八卦時間：gnu界的祥林嫂

作為一個自由軟件八卦愛好者，每次我發(fā)現(xiàn)一個新奇的軟件總會去 google一下 關鍵詞 site:https://news.ycombinator.com和關鍵詞 site:http://www.reddit.com/?？纯达L評如何，并且往往還能在討論中有意外收獲。

然后我再hacker news上看到了一段吐槽，主要就是說每次觸發(fā)執(zhí)行parallel都會彈出一段文字和你說，要是你把這個工具用在學術上的話（很多生命科學相關的都在用這個工具的），要引用他的論文，不然的話你就付他10000歐元吧。我因此學到一個詞，叫Nagware，特指通過啰啰嗦嗦像唐僧那樣煩你要你付錢的軟件。雖然我認為真用到了的確也應該引用一下文章，但是，如同這位同學說的：

I agree it's a great tool, except for the nagware messages and their  content. Imagine if the author of cd or ls had the same attitude...

另外，該作者真是灰常喜歡別人引用他的軟件，以致于在NEWS里面我還看到了：

原理時間

直接摘抄一下作者在 stackoverflow 的回答

GNU Parallel is a general parallelizer and makes is easy to run jobs in parallel on the same machine or on multiple machines you have ssh access to.

If you have 32 different jobs you want to run on 4 CPUs, a straight forward way to parallelize is to run 8 jobs on each CPU:

GNU Parallel instead spawns a new process when one finishes - keeping the CPUs active and thus saving time:

結論

本文主要安利了一個 真 - 并行 工具，解釋了其主要的兩種模式，附贈了一個技巧，八卦了gnu界不為人知的另一面。希望對你有用。

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。