太狗血了！分享一次網(wǎng)站百度收錄排名異常的檢查記錄
我發(fā)現(xiàn)最蛋疼、最詭異的是，我發(fā)布的文章幾個月都沒被收錄!!!然后我也默默的在心里把度娘罵了幾個月，尼瑪就算被人采集、被人第一時間轉載也不至于不收錄啊?
可實際有圖為證：
基本從5月份開始，發(fā)布的文章就不再收錄，索引從4800掉到現(xiàn)在1000左右!期間，我各種懷疑，是不是robots設置有誤?是不是外鏈go跳轉對搜索引擎封閉等措施帶來懲罰?直到。。。直到我今天心血來潮，想試下百度的API搜索接口，提供sitemap數(shù)據(jù)才發(fā)現(xiàn)抓取失敗。
其實，在之前我就發(fā)現(xiàn)所有和sitemap數(shù)據(jù)提交有關的功能都提示抓取失敗!但是尼瑪，在百度抓取診斷檢測相同的鏈接又是成功的!!我以為是百度站長工具出現(xiàn)了暫時性的問題，還反饋過：
直到今天，我還又反饋了一把：
反饋完之后，我反復去看了下這個抓取失敗結果：
結果發(fā)現(xiàn)都是連接超時錯誤，DNS解析是沒問題的，確實是真實IP，看來不是使用CDN的問題：
繼續(xù)看了幾遍之后，我偶然點開了抓取異常這個工具，一看嚇一跳，每天的連接超時居然將近一半!
突然靈光一閃，連接超時，好熟悉的字眼，不是40X，也不是50X。。。沒錯，就是防火墻攔截!
趕緊登陸阿里云ECS看了下iptables：
看到了有2個網(wǎng)段被禁用，先嘗試解封，然后回到百度更新了下sitemap試了下，居然成功了?!
我次奧!真是這個網(wǎng)段被禁封造成的!成功后，我特意再次更新sitemap。并看了下nginx日志，發(fā)現(xiàn)還真是220.181.108這個IP段的IP，尼瑪，巧就巧在百度抓取診斷工具不在這個網(wǎng)段，可以正常抓取，迷惑了我?guī)讉€月!!!
事后，我努力的回憶了一把當時為什么禁用了這2個網(wǎng)段。。。
記得，我當時用了各種辦法禁止他采集內(nèi)容中的盜圖，最終他用了搜狗的圖片接口來采集我博客的圖片。我就不好怎么禁止了，因為搜索引擎來的IP，CDN是自動回源的!
于是，我圖省事直接把搜狗的圖片接口IP的整個網(wǎng)段都給禁封了!尼瑪，當時也沒想過百度和搜狗的蜘蛛節(jié)點可能在同一個機房了??另外惡狠狠的詛咒下，采集個人博客者木有小JJ!!
幾個月的時間，對SEO帶了非常嚴重的影響!要不是運氣好，突然想到了這么一樁，這博客的百度SEO就基本廢了!
廢了也沒什么，關鍵不明不白，誰也不爽吧!此次解除禁封之后，相信不出一個月，應該就會有效果了，至少最新發(fā)布的文章是會被收錄的，不看別的，就見證下本文一個星期會不會被收錄吧!不過之前未收錄卻被轉載走的文章算是廢了，發(fā)出去雖然推送到了百度，但是百度卻沒抓取到內(nèi)容，被人轉了之后估計被識別成首次發(fā)布的原創(chuàng)了吧!
好了，本文算是一個吐槽貼，也是給一些網(wǎng)站降權、收錄異常的朋友一個參考，某些時候，收錄異常、網(wǎng)站被K站不一定是你SEO方面的問題，一定記得看看是不是服務器把蜘蛛擋在門外了喲!
