最近在一hadoop測試集群運行一個spark streaming程序,然后使用nohup ./execute.sh & 執(zhí)行讓程序后臺運行,才幾天日志就上G了,如果有問題想要查看日志,顯然打開文件是一件很麻煩的事,于是我想辦法通過減小文件大?。?/p>
1、nohup命令解釋:
a、語法:nohup [command] [args] [&]
b、說明:nohup 命令運行由 Command 參數(shù)和任何相關(guān)的 Arg 參數(shù)指定的命令,忽略所有掛斷信號。在注銷后使用 nohup 命令運行后臺中的程序。要運行后臺中的 nohup 命令,添加 & ( 表示“and”的符號)到命令的尾部,如果不指定重定向,則日志默認輸出到當前目錄下nohup.out文件中,
一般提交如 :nohup ./execute.sh & 這樣日志或輸出當前運行目下.nohup.out中
重定向: nohup ./execute.sh > /home/xxx/log.log 2>&1 & :這樣日志會重定向到指定目錄下
2 、切分nohup.out,同時不讓它無限增長
我這里用的一般提交命令:nohup ./execute.sh &,這樣在當前目錄就有nohup.out文件了,這時候可以想辦法定時將nohup.out切分成,多個小文件,但同時又要使nohup.out不會無限增長下去(一般情況下是程序不能中斷的):
a、每天(根據(jù)需要設(shè)置時間),定時切分前一天的日志,(比如每天大概1g,那么可以么次切分100m左右),
b、切分完后將nohup.out文件情況,保證新的輸出日志會不停的繼續(xù)輸出到nohup.out
以上在shell中
current_date=`date -d "-1 day" "+%Y%m%d"`
split -b 65535000 -d -a 4 nohup.out ./log/log_${current_date}_ 這里使用split命令,將nouhup文件按指定大小切分(65535000b 大概60多M吧,可以自定義大小 ),并分成指定格式(-d -a 4以4位數(shù)字形式為后綴以從0000開始,具體可以百度split命令用法),最終輸出格式為log_20160610_0001
cat /dev/null > nohup.out (該命令會瞬間清空nohup.out文件,后續(xù)會繼續(xù)寫該文件),將日志定向到/dev/null中
使用重定向輸出一樣可以這樣,只不過換成重定向的文件名即可
將這些命令定義在一個shell文件每天定時運行即可,這樣每天日志會被分成若干份,排查也方便,而且如果日志積壓過大的話??梢远〞r刪除歷史的日志,保留近幾天即可
整體代碼如下:
this_path=$(cd `dirname $0`;pwd)
cd $this_path
echo $this_path
current_date=`date -d "-1 day" "+%Y%m%d"`
echo $current_date
split -b 65535000 -d -a 4 /home/.../nohup.out /home/.../log/log_${current_date}_
cat /dev/null > nohup.out
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。