主頁(yè) > 知識(shí)庫(kù) > AWStats簡(jiǎn)介:Apache/IIS的日志分析工具

AWStats簡(jiǎn)介:Apache/IIS的日志分析工具

熱門標(biāo)簽:地圖標(biāo)注員怎么去做 百度地圖標(biāo)注備注 福州外呼系統(tǒng)中間件 貴州全自動(dòng)外呼系統(tǒng)廠家 機(jī)器人電銷有什么用 威海人工智能電銷機(jī)器人系統(tǒng) 好看的地圖標(biāo)注圖標(biāo)下載 上海電銷卡外呼系統(tǒng)廠家 德州外呼系統(tǒng)排名

你完全不必耐心看完所有內(nèi)容:簡(jiǎn)要安裝說(shuō)明如下
安裝
http://sourceforge.net/projects/awstats/ 下載安裝包后:
GNU/Linux:tar zxf awstats-version.tgz
awstats的腳本和靜態(tài)文件缺省都在wwwroot目錄下:將cgi-bin目錄下的文件都部署到 cgi-bin/目錄下:/home/apache/cgi-bin/awstats/
mv awstats-version/cgi-bin /path/to/apache/cgi-bin/awstats
把圖標(biāo)等文件目錄復(fù)制到WEB的HTML文件發(fā)布目錄下,例如:/home/apache/htdocs/ 下發(fā)布
更多的批量更新腳本等在tools 目錄下,可以一并放到cgi-bin/awstats/ 目錄下
升級(jí)國(guó)內(nèi)主要搜索引擎和蜘蛛定義,安裝GeoIP的應(yīng)用庫(kù):C
http://www.maxmind.com/download/geoip/api/c/ 解包,編譯安裝
perl -MCPAN -e 'install "Geo::IP"' 或者使用純Perl包  perl -MCPAN -e 'install "Geo::IP::PurePerl"'
下載GeoIP/GeoIPCityLite包:解包并部署到awstats目錄下
http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz

配置
將缺省awstats.model.conf 命名成common.conf
修改其中的一些配置選項(xiàng):
LoadPlugin="decodeutfkeys"
LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"

創(chuàng)建awstats下創(chuàng)建:data 目錄用于統(tǒng)計(jì)數(shù)據(jù)輸出

按照一下樣例設(shè)置配置文件:
Include "common.conf"
LogFile="/home/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
SiteDomain="www.chedong.com"
HostAliases="chedong.com"
DefaultFile="index.html"
DirData="/home/apache/cgi-bin/awstats/data/"

內(nèi)容摘要:AWStats的使用簡(jiǎn)介和配置一些改進(jìn)說(shuō)明。很高興看到在AWStats 6.3版本開始:中文用戶基本上已經(jīng)只需要將配置文件中將 LoadPlugin="decodeutfkeys" 啟用基本上就沒(méi)有什么中文搜索引擎的統(tǒng)計(jì)問(wèn)題了,目前增加了# Minor chinese search engines 'baidu\.com','search\.sina\.com','search\.sohu\.com',這3個(gè)搜索引擎。包含了針對(duì)國(guó)內(nèi)主要搜索引擎和蜘蛛定義的補(bǔ)丁(解包后覆蓋lib\目錄下的原程序目錄即可)

日志統(tǒng)計(jì)系統(tǒng)在站點(diǎn)的用戶行為分析中扮演了重要的角色,尤其是對(duì)于來(lái)自搜索引擎的關(guān)鍵詞 訪問(wèn)統(tǒng)計(jì):是很有效的用戶行為分析數(shù)據(jù)來(lái)源。隨著互聯(lián)網(wǎng)多年的發(fā)展,WEB日志統(tǒng)計(jì)工具已經(jīng)越來(lái)越成熟,功能也越來(lái)越豐富。其中有很多是開放源代碼的, AWStats就是其中非常優(yōu)秀的一款。

AWStats: Advanced Web Statistics

AWStats是在Sourceforge上發(fā)展很快的一個(gè)基于Perl的WEB日志分析工具。相對(duì)于另外一個(gè)非常優(yōu)秀的開放源代碼的日志分析工具Webalizer,AWStats的優(yōu)勢(shì)在于:

  1. 界面友好:可以根據(jù)瀏覽器直接調(diào)用相應(yīng)語(yǔ)言界面(有簡(jiǎn)體中文版)
    參考輸出樣例:http://www.chedong.com/cgi-bin/awstats/awstats.pl?config=chedong
  2. 基于Perl:并且很好的解決了跨平臺(tái)問(wèn)題,系統(tǒng)本身可以運(yùn)行在GNU/Linux上或Windows上(安裝了ActivePerl后);分析的日志直接支持Apache格式 (combined)和IIS格式(需要修改)。Webalizer雖然也有Windows平臺(tái)版,但目前已經(jīng)缺乏 維護(hù);
    AWStats完全可以實(shí)現(xiàn)用一套系統(tǒng)完成對(duì)自身站點(diǎn)不同WEB服務(wù)器:GNU/Linux/Apache和Windows/IIS服務(wù)器的統(tǒng)一統(tǒng)計(jì)。
  3. 效率比較高:AWStats輸出統(tǒng)計(jì)項(xiàng)目比Webalizer豐富了很多,速度仍可以達(dá)到Webalizer的1/3左右,對(duì)于一個(gè)日訪問(wèn)量 百萬(wàn)級(jí)的站點(diǎn),這個(gè)速度都是足夠的;
  4. 配置/定制方便:系統(tǒng)提供了足夠靈活但缺省也很合理的配置規(guī)則,需要修改的缺省配置不超過(guò)3,4項(xiàng)就可以開始運(yùn)行,而且修改和擴(kuò)展的插件還是 比較多的;
  5. AWStats的設(shè)計(jì)者是面向精確的"Human visits"設(shè)計(jì)的,因此很多搜索引擎的機(jī)器人訪問(wèn)都被過(guò)濾掉了,因此有可能比其他日志統(tǒng)計(jì)工具統(tǒng)計(jì)的數(shù)字要低,來(lái)自公司內(nèi)部的訪問(wèn)也可以通過(guò)IP過(guò)濾 設(shè)置過(guò)濾掉。
  6. 提供了很多擴(kuò)展的參數(shù)統(tǒng)計(jì)功能:使用ExtraXXXX系列配置生成針對(duì)具體應(yīng)用的參數(shù)分析會(huì)對(duì)產(chǎn)品分析非常有用。

更多與其他工具:Webalizer, analog的比較請(qǐng)參考:
http://awstats.sourceforge.net/#COMPARISON

AWStats安裝備忘

AWStats的運(yùn)行模式是這樣的:

  1. 分析日志:運(yùn)行后將這樣的日志統(tǒng)計(jì)結(jié)果歸檔到一個(gè)AWStats的數(shù)據(jù)庫(kù)(純文本)里;
  2. 然后是輸出:分兩種形式
      • 一種是通過(guò)cgi程序讀取統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)輸出;
      • 一種是運(yùn)行后臺(tái)腳本將輸出導(dǎo)出成靜態(tài)文件;

      以下是2個(gè)針對(duì)單個(gè)站點(diǎn)日志統(tǒng)計(jì)例子:
      一個(gè)是在GNU/Linux上通過(guò)CGI方式的輸出,
      一個(gè)是在Windows 2000上的基于靜態(tài)頁(yè)面的導(dǎo)出

      下載/安裝

      http://sourceforge.net/projects/awstats/ 下載安裝包后:

      GNU/Linux:tar zxf awstats-version.tgz
      awstats的腳本和靜態(tài)文件缺省都在wwwroot目錄下: 將cgi-bin目錄下的文件都部署awstats.pl程序到/home/apache/cgi-bin/awstats/ 下
      mv awstats-version/cgi-bin /path/to/apache/cgi-bin/awstats
      #把圖標(biāo)等文件目錄復(fù)制到WEB的HTML文件發(fā)布目錄下:/home/apache/htdocs/ 下發(fā)布
      更多的批量更新腳本等在tools 目錄下,可以一并放到cgi-bin/awstats/ 目錄下,

      Windows 2000:按照后臺(tái)腳本模式運(yùn)行,直接解包,然后移動(dòng)到D:\AWStats目錄下
      把圖標(biāo)icon目錄復(fù)制到IIS的發(fā)布目錄下:inetpub/icon

      數(shù)據(jù)源日志格式和按天的截?cái)嘁?guī)則

      1. 對(duì)于Apache:日志格式好設(shè)置:設(shè)置成combined格式即可,日志截?cái)嗦闊┮稽c(diǎn):需要安裝cronolog工具,將日志設(shè)置成按天截?cái)啵?BR>CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_log.%Y%m%d" combined
        比如:logs/access_log.20030326
        日志是壓縮格式,可以使用gzip -d < /home/apache/logs/access_log.%YYYY-24%MM-24%DD-24.gz | 動(dòng)態(tài)解壓縮統(tǒng)計(jì)。
      2. 對(duì)于IIS:缺省有比較好的日志按天截?cái)嘁?guī)則,但是IIS的日志格式比較不適合AWStats統(tǒng)計(jì),
        因此最好直接去掉所有日志字段,然后嚴(yán)格按照以下列表設(shè)置
        • 日期 date
        • 時(shí)間 time
        • 客戶IP地址 c-ip
        • 用戶名 cs-username
        • 方法 cs-method
        • URI資源 cs-uri-stem
        • 協(xié)議狀態(tài) sc-status
        • 發(fā)送字節(jié)數(shù) sc-bytes
        • 協(xié)議版本 cs-version
        • 用戶代理 cs(User-Agent)
        • 參照 cs(Referer)
        相比IIS缺省設(shè)置:
        減少的有:
        • 服務(wù)器IP地址
        • 服務(wù)器端口
        • URI查詢
        增加的有:
        • 發(fā)送字節(jié)數(shù)
        • 協(xié)議版本
        • 參照 

      配置文件的命名規(guī)則:awstats.sitename.conf

      AWStats的主程序awstats.pl會(huì)自動(dòng)根據(jù)站點(diǎn)名調(diào)用相應(yīng)站點(diǎn)的配置文件:awstats.sitename.conf
      比如:運(yùn)行./awstats.pl -config=chedong 調(diào)用的就是同目錄下的 awstats.chedong.conf 配置文件;
      如果沒(méi)有指定-config,還會(huì)找當(dāng)前目錄下的awstats.conf或者/etc/awstats.conf作為缺省配置文件。
      所以最好把缺省的awstats.model.conf 重命名成 awstats.yoursite.conf;比如:awstats.chedong.conf,

      對(duì)于多個(gè)站點(diǎn)的統(tǒng)計(jì),AWStats的配置文件包含功能還是非常有用的,我們可以把通用的配置放在一個(gè)文檔中,然后用(5.4版本以后開始支持) Include配置將通用配置包含在各個(gè)具體配置文件的頭部,然后用其他配置覆蓋通用配置中的相應(yīng)屬性,比如:
      Include="common.conf"
      LogFile="/path/to/bbs/access_log"
      SiteName="bbs.chedong.com"

      最少的配置文件修改:LogFile SiteDomain LogFormat

      對(duì)于在GNU/Linux上統(tǒng)計(jì)Apache日志只需修改:LogFile SiteDomain這2個(gè)選項(xiàng)

      1. GNU/Linux LogFile="/path/to/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
        Windows 2000 LogFile="d:\iis_logs\W3SV3\ex%YY-24%MM-24%DD-24.log"
        這個(gè)配置的意思是用24小時(shí)前的年份,月份,日期拼出的日志文件名;
      2. SiteDomain="www.chedong.com"
        站點(diǎn)的名稱,缺省是空的,如果為空,AWStats將拒絕運(yùn)行;
      3. 對(duì)于統(tǒng)計(jì)IIS日志需要多修改一個(gè):
        LogFormat=2
        缺省值是1:Apache日志,2是IIS日志

      其他需要注意的事項(xiàng):
      AWStats缺省不過(guò)濾swf文件,會(huì)把.swf算成PageView,所以如果站點(diǎn)上swf文件主要是廣告的話最好還是要過(guò)濾掉:

      日志分析

      ./awstats.pl -update -config=sitename -lang=cn
      比如:./awstats.pl -update -config=chedong
      會(huì)自動(dòng)調(diào)用awstats.chedong.conf這個(gè)配置文件

      統(tǒng)計(jì)輸出

      GNU/Linux    http://localhost/cgi-bin/awstats/awstats.pl?config=chedong
      Windows 2000 http://localhost/awstats/awstats.chedong.html

      日志統(tǒng)計(jì)自動(dòng)運(yùn)行

      GNU/Linux上:crontab -e: 每天8點(diǎn)10分運(yùn)行
      #update awstats
      10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl -update -config=chedong)

      Windows 2000上:設(shè)置每天8點(diǎn)10分運(yùn)行
      D:\Perl\bin\perl.exe d:\AWStats\tools\awstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:\inetpub\awstats\ -awstatsprog=d:\awstats\wwwroot\cgi-bin\awstats.pl

      多站點(diǎn)日志統(tǒng)計(jì)

      AWStats自帶了一個(gè)批處理工具:tools/awstats_updateall.pl,可以批量地遍歷一個(gè)目錄下所有地配置文件并運(yùn)行統(tǒng) 計(jì)。因此剩下的工作就主要是日志的同步問(wèn)題了。

      針對(duì)多個(gè)站點(diǎn),很多配置選項(xiàng)是重復(fù)的,如果每個(gè)配置文件都修改維護(hù)起來(lái)會(huì)很麻煩,AWStats從5.4版本開始提供了配置文件包含的功能,所以我們可 以配置一個(gè)通用配置,比如:common.conf

      然后其他站點(diǎn)的配置設(shè)置為:可以通過(guò)后面的選項(xiàng)覆蓋和缺省不一致的配置。
      awstats.bbs.chedong.conf
      Include "chedong.common.conf"
      LogFile "/path/to/bbs_log"
      SiteName "bbs.chedong.com"

      awstats.www.chedong.conf
      Include "chedong.common.conf"
      LogFile "/path/to/www_log"
      SiteName "www.chedong.com"
      HostAliases="chedong.com" 

      統(tǒng)計(jì)指標(biāo)說(shuō)明

      • 參觀者:按來(lái)訪者不重復(fù)的IP統(tǒng)計(jì),一個(gè)IP代表一個(gè)參觀者;
      • 參觀次數(shù):一個(gè)參觀者可能1天之內(nèi)參觀多次(比如:上午一次,下午一次),所以按一定時(shí)間內(nèi)(比如:1個(gè)小時(shí)),不重復(fù)的IP數(shù)統(tǒng)計(jì),參觀者 的訪問(wèn)次數(shù);
      • 網(wǎng)頁(yè)數(shù):不包括圖片,CSS, JavaScript文件等的純頁(yè)面訪問(wèn)總數(shù),但如果一個(gè)頁(yè)面使用了多個(gè)幀,每個(gè)幀都算一個(gè)頁(yè)面請(qǐng)求;
      • 文件數(shù):來(lái)自瀏覽器客戶端的文件請(qǐng)求總數(shù),包括圖片,CSS,JavaScript等,用戶請(qǐng)求一個(gè)頁(yè)面是,如果頁(yè)面中包含圖片等,所以對(duì)服 務(wù)器會(huì)發(fā)出多次文件請(qǐng)求,文件數(shù)一般遠(yuǎn)遠(yuǎn)大于文件數(shù);
      • 字節(jié):傳給客戶端的數(shù)據(jù)總流量;
      • 來(lái)自REFERER中的數(shù)據(jù):日志中的參考(REFERER)字段,記錄了訪問(wèn)相應(yīng)網(wǎng)頁(yè)之前地址,因此如果用戶是通過(guò)搜索引擎的搜索結(jié)果點(diǎn)擊 進(jìn)入網(wǎng)站的,日志中就會(huì)有用戶在相應(yīng)搜索引擎的查詢地址,這個(gè)地址中就可以通過(guò)解析將用戶查詢使用的關(guān)鍵詞提取出來(lái):
        比如:
        2003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0) http://www.google.com/search?q=chedong
        AWStats在搜索引擎的關(guān)鍵短語(yǔ)和關(guān)鍵詞統(tǒng)計(jì)方面的功能還是比較完整的:可以對(duì)全世界3百多種機(jī)器爬蟲進(jìn)行識(shí)別,并且可以識(shí)別大部分主流國(guó)際化搜索引 擎和很多地區(qū)的本地語(yǔ)言搜索引擎。

      Hacking AWStats

      基于地理信息的插件安裝:

      GeoIP 和 Geo::IPfree(awstats 5.5+)
      GeoIP和Geo::IPfree都免費(fèi)的是國(guó)家/IP的影射表,比通過(guò)DNS反相解析域名得到的統(tǒng)計(jì)準(zhǔn)確,而且速度快。GeoIP的API都是免費(fèi) 的,缺省庫(kù)是免 費(fèi)的,收費(fèi)的是它的數(shù)據(jù)更新服務(wù)。Geo::IPfree不僅代碼是公開的,而且?guī)鞌?shù)據(jù)也是公開的。

      GeoIP安裝:
      先下載C庫(kù):GeoIP C解包后
      %./configure; make
      #make install

      然后下載Perl庫(kù):GeoIP Perl解包后
      %perl MakeFile.PL; make
      #make install

      Geo::IPfree安裝:
      下載Geo::IPfree解 包后
      %perl Makefile
      %make
      #make install

      配置:通過(guò)在配置文件中啟用GEOIP相關(guān)插件:

      LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
      LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"
       

      MaxMind目前免費(fèi)提供了GeoIP和GeoIPCityLite數(shù)據(jù)包:可以定期每個(gè)月從以下地址下載

      http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
      http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz

      標(biāo)簽:葫蘆島 岳陽(yáng) 南陽(yáng) 撫州 泉州 邵陽(yáng) 白城 南陽(yáng)

      巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《AWStats簡(jiǎn)介:Apache/IIS的日志分析工具》,本文關(guān)鍵詞  AWStats,簡(jiǎn)介,Apache,IIS,的,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
    1. 相關(guān)文章
    2. 下面列出與本文章《AWStats簡(jiǎn)介:Apache/IIS的日志分析工具》相關(guān)的同類信息!
    3. 本頁(yè)收集關(guān)于AWStats簡(jiǎn)介:Apache/IIS的日志分析工具的相關(guān)信息資訊供網(wǎng)民參考!
    4. 推薦文章