你把IIS日志從空間下到本地，然后用文本工具打開;
2010-05-14 15:52:03 W3SVC1 121。187。5。143 GET /category-8-b0-min1100-max2200.html - 80 - 220.181.7.74 Baiduspider+(+baidu/search/spider.htm) 200 0 0
分析下 200 0 0組成部分 sc-status(協(xié)議狀態(tài)) sc-substatus(協(xié)議子狀態(tài)) sc-win32-status(Win32狀態(tài)碼)
sc-status(協(xié)議狀態(tài))： 200 連接成功
sc-substatus(協(xié)議子狀態(tài)) ：0 成功
sc-win32-status(Win32狀態(tài)碼)：0 代表抓取成功并帶回?cái)?shù)據(jù)庫 ; 64 指定的網(wǎng)絡(luò)名不再可用
1: 在這個(gè)訪問記錄里面121.187.5.143是你服務(wù)器的IP地址，220.181.7.74 是bd蜘蛛的IP，/category-8-b0-min1100-max2200.html 為蜘蛛訪問你的頁面 80是端口 GET是打開方式 W3SVC1是記錄的文件夾，這里說明，bd蜘蛛已經(jīng)訪問了你的category-8-b0- min1100-max2200.html 這個(gè)頁面，那么最重要的是最后面的這個(gè)參數(shù)200 0 0。
2、200 0 0 成功訪問該頁面，0代表抓取成功并帶回?cái)?shù)據(jù)庫。這個(gè)時(shí)候你就放心了，這個(gè)頁面已經(jīng)被bd收錄，但是還沒有釋放出來，bd更新時(shí)就可能釋放出來。
3：200 0 64 網(wǎng)絡(luò)上流傳著這么三種解釋第一：64為K站的前兆。第二64的出現(xiàn)只是64位操作系統(tǒng)。第三：網(wǎng)絡(luò)不可達(dá)，由于某種原因無法完全打開頁面，或者網(wǎng)絡(luò)不穩(wěn)定這些原因，導(dǎo)致蜘蛛無法帶回頁面或者說不抓取該頁面，所以200 0 64的解釋也應(yīng)該為：訪問了該頁面，但并沒有任何抓取也沒有帶回?cái)?shù)據(jù)庫。這種原因多為空間不穩(wěn)定、服務(wù)器不穩(wěn)定。
4：304 0 0這個(gè)返回碼代表蜘蛛訪問的頁面沒有更新，和他之前來的時(shí)候是一樣的，所以看到這個(gè)不要擔(dān)心，蜘蛛來過，只不過你沒有更新，所以他也不愿意帶走這個(gè)頁面。
5：404 0 0這個(gè)是代表404頁面，但是有個(gè)很嚴(yán)重的問題，這個(gè)返回碼告訴我們，蜘蛛來到了404頁面并把他帶走了，崩潰～～～～，要是這樣的話基本上你要倒霉了，要你有太多的404，那么蜘蛛就會(huì)不斷是抓取，不斷的帶走，這樣會(huì)造成無數(shù)的重復(fù)頁面，最終導(dǎo)致K站或者降權(quán)，正確的返回罵是404 0 64 這就代表蜘蛛沒有抓取你這個(gè)頁面。
6：500錯(cuò)誤500錯(cuò)誤是服務(wù)器內(nèi)部錯(cuò)誤，是由程序的錯(cuò)誤造成的，我不懂程序，但是500錯(cuò)誤是會(huì)給你減分的，這點(diǎn)基本的邏輯都可以想的到，要發(fā)現(xiàn)500錯(cuò)誤，馬上查看是哪個(gè)頁面的，然后去修正以下錯(cuò)誤吧!
7：302要在日志中發(fā)現(xiàn)302的返回碼也是需要注意的，302為臨時(shí)重定向，要你是長期的將這個(gè)頁面重定向到另一個(gè)頁面，麻煩你使用301永久重定向，要是302的話bd蜘蛛下次來還會(huì)訪問這個(gè)頁面，這樣又會(huì)造成復(fù)制大量頁面的問題，結(jié)果肯定是K，所以，抽空檢查以下。
陳中平的回復(fù)：
每個(gè)網(wǎng)絡(luò)蜘蛛都有自己的名字，在抓取網(wǎng)頁的時(shí)候，都會(huì)向網(wǎng)站標(biāo)明自己的身份。網(wǎng)絡(luò)蜘蛛在抓取網(wǎng)頁的時(shí)候會(huì)發(fā)送一個(gè)請求，這個(gè)請求中就有一個(gè)字段為User-agent，用于標(biāo)識(shí)此網(wǎng)絡(luò)蜘蛛的身份。例如Google網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為GoogleBot，Baidu網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為BaiDuSpider，Yahoo網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為Inktomi Slurp。如果在網(wǎng)站上有訪問日志記錄，網(wǎng)站管理員就能知道，哪些搜索引擎的網(wǎng)絡(luò)蜘蛛過來過，什么時(shí)候過來的，以及讀了多少數(shù)據(jù)等等。
通過ftp，查看到后臺(tái)有一個(gè)包含“log”的文件。這個(gè)文件就是日志。通過查看日志中是否有baiduspider的腳印。有baiduspider就說明bd蜘蛛來過網(wǎng)站。
小刀SEO 的回復(fù)：
網(wǎng)站日志一般存放在虛擬主機(jī)的logfiles文件夾下，可以通過FTP工具將網(wǎng)站日志下載下來，通過txt文檔方式查看。
