為什么要禁抓自己的網(wǎng)頁呢?這似乎有點(diǎn)讓人不理解，因?yàn)閷τ谧约旱木W(wǎng)站來說，顯然是讓百度搜查引擎抓取的越多就會越好，因?yàn)橛兄嗟臋C(jī)會揭露到互聯(lián)網(wǎng)上。可是事實(shí)上一個網(wǎng)站通常有很多的內(nèi)頁不應(yīng)該被百度抓取，因?yàn)檫@些網(wǎng)站頁面不僅不利于自身的優(yōu)化，甚至還會帶來反作用。
那么通常哪些網(wǎng)站頁面不應(yīng)該被百度抓取呢?比如網(wǎng)站內(nèi)部存在著一定的重復(fù)性內(nèi)容，比如一些遵照條件查詢獲得的結(jié)果頁面，這一點(diǎn)在很多商城類網(wǎng)站表示的異常突出，比如一個產(chǎn)品因?yàn)轭伾⒋笮『托吞柕牟町?，就會出現(xiàn)很多種類似的頁面，這種頁面能夠?qū)τ脩魜碚f具有一定的體驗(yàn)度，可是對于搜查引擎，卻輕易因?yàn)樘峁┑闹貜?fù)內(nèi)容太多，而被懲處或者降權(quán)。
另外網(wǎng)站中還存在著很多注冊頁面、備份的頁面以及測試頁面等，這些頁面僅僅是為了讓用戶能夠更好的操作網(wǎng)站，以及自己對網(wǎng)站的操作管理。而這些頁面由于內(nèi)容相對單調(diào)，并不適合百度對內(nèi)容質(zhì)量的要求，因此要盡可能的規(guī)避被百度收錄和抓取。下面就來具體談?wù)勅绾我?guī)避百度抓取內(nèi)容頁的方法。
第一，運(yùn)用Flash技術(shù)來展現(xiàn)那些不想被百度收錄的內(nèi)容
通過這種方法不僅能夠讓用戶獲得更好的用戶體驗(yàn)，同時百度也不能夠抓取這些內(nèi)容，從而實(shí)現(xiàn)更好的服務(wù)于用戶，同時也不會影響到自己的內(nèi)容再百度中揭露。
第二，采用robots腳本技術(shù)來屏蔽相應(yīng)的內(nèi)容
目前搜查引擎行業(yè)協(xié)會規(guī)定了對于Robots描述的內(nèi)容和鏈接賦予遏制抓取，因此對于網(wǎng)站上存在著隱私內(nèi)容，以及管理頁面和測試頁面等內(nèi)容，都可以設(shè)置到這個腳本文件中，這不僅能夠?qū)Ρ揪W(wǎng)站提供很好的維護(hù)，同時也能夠讓那些看起來是垃圾的內(nèi)容，規(guī)避被百度抓取后，反而對本網(wǎng)站形成巨大的負(fù)面作用。
第三，使用nofollow屬性標(biāo)簽來摒棄頁面中那些不想被收錄的內(nèi)容
這種方法使用比較常見，而且能夠針對網(wǎng)頁中某一個區(qū)域或者一段文字進(jìn)行屏蔽，從而提升自己網(wǎng)站內(nèi)容的優(yōu)化效果。采用這種技術(shù)只需要對需要屏蔽的內(nèi)容將nofollow屬性設(shè)置為True，就能夠屏蔽這些內(nèi)容。比如對于網(wǎng)站上存在著一些精彩的內(nèi)容，可是這些內(nèi)容還包括了錨文本鏈接，那么為了防范這些錨文本外鏈偷走本站的權(quán)重，就可以對這些錨文本鏈接設(shè)置nofollow屬性，這樣就能夠享受到這些內(nèi)容帶給網(wǎng)站的流量，同時也能夠規(guī)避網(wǎng)站權(quán)重被分流的危急。
第四，使用Meta Noindex和follow標(biāo)簽
使用這種方式既能夠?qū)崿F(xiàn)防止被百度收錄，同時還能夠?qū)崿F(xiàn)權(quán)重的傳遞，當(dāng)然具體怎么操作還需要看站長們的須要，不過采用這種方式來屏蔽內(nèi)容，往往會浪費(fèi)百度蜘蛛的抓取時間，從而影響優(yōu)化體驗(yàn)，也就是說不到萬不得已時不需要采用這種模式。
對于有些站長采用的表單模式和Javascript技術(shù)來進(jìn)行屏蔽，目前已經(jīng)不能夠完成這項(xiàng)使命了，因?yàn)殡S著百度蜘蛛智能化水平的提升，采用這些技術(shù)編篡的內(nèi)容已經(jīng)能夠被抓取，而且從不久的將來，F(xiàn)lash里面的內(nèi)容一旦能夠被抓取，如果想要屏蔽網(wǎng)站內(nèi)容，這個方法也要規(guī)避使用。謝謝閱讀，希望能幫到大家，請繼續(xù)關(guān)注腳本之家，我們會努力分享更多優(yōu)秀的文章。
