很多站長都會遇到這個問題，網站開發(fā)完成上線后，百度一直不收錄。
即使收錄也只是收錄個首頁，內頁很難快速被收錄。這樣網站優(yōu)化工作是難以開展的，如何解決這個問題？
搜索引擎的進化
互聯(lián)網早期，網站數(shù)量有限，所以人工整理是可行的，比如就有DMOZ這樣的人工編輯的網站數(shù)據(jù)庫，分門別類的整理好各種網址。
后來全球網站數(shù)量爆炸性增長，人工整理就不現(xiàn)實了，于是有了網絡爬蟲（也叫蜘蛛）代替人工去訪問抓取網站，這就是最原始的搜索引擎。
雖然互聯(lián)網是一個網狀結構，但是抓取整個互聯(lián)網上的所有網站還是有難度的，首先要解決的問題就是如何發(fā)現(xiàn)這些網站。
為了解決這個問題，搜索引擎都會有一個基礎的網站數(shù)據(jù)庫，從這里的網站開始爬取，希望能抓取整個互聯(lián)網上的信息。而且依靠鏈接之間的引用關系和使用的鏈接文本來計算網頁的權重，從而能對搜索結果排序。比如Google的PageRank算法。
Yahoo算是非常早的搜索引擎，它就使用DMOZ的網站作為爬蟲的抓取起點，而且我懷疑Google也使用DMOZ數(shù)據(jù)，因為10多年前做網站時，大家都希望自己的網站能被DMOZ收錄，甚至賄賂DMOZ的編輯人員。
還有那時候大家都拼命交換友情鏈接，PR值高的網站就是大爺。這背后對應著網站的收錄速度和排名高低。
一個新網站，如果有PR值高的網站給你加友情鏈接，很快網站就可以被抓取收錄。
早期互聯(lián)網內容貧乏，隨便做個網站，找有權重的網站交換友情鏈接，這些搜索引擎爬蟲都如饑似渴的抓取收錄。
可現(xiàn)在互聯(lián)網上的內容太多了（Google的總索引頁面數(shù)477億左右)），搜索引擎也變得越來越挑剔，所以新站起流量越來越難了。
標簽：東營
烏魯木齊
林芝
鹽城
九江
