通常做網站的目標就是讓搜索引擎收錄，擴大推廣面，但是如果你的網站涉及個人隱私或者機密性非公開的網頁而需要禁止搜索引擎收錄抓取的話，該如何操作呢？比如淘寶網就是禁止搜索引擎收錄的一個例子，本文將教你幾種做法來實現屏蔽或禁止搜索引擎收錄抓取網站的內容。
搜索引擎蜘蛛不斷爬行互聯網，如果我們網站沒有做出禁止搜索引擎收錄的操作，很容易就會被搜索引擎收錄。那么下面介紹一下怎么樣禁止搜索引擎收錄網站內容。
第一種、robots.txt方法
搜索引擎默認的遵守robots.txt協(xié)議(不排除某些耍流氓的引擎)，創(chuàng)建robots.txt文本文件放至網站根目錄下，編輯代碼如下:
User-agent: *
Disallow: /
通過以上代碼，即可告訴搜索引擎不要抓取采取收錄本網站，注意慎用如上代碼：這將禁止所有搜索引擎訪問網站的任何部分。
如果只禁止百度搜索引擎收錄抓取網頁
1、編輯robots.txt文件，設計標記為:
User-agent: Baiduspider
Disallow: /
以上robots文件將實現禁止所有來自百度的抓取。
這里說一下百度的user-agent，Baiduspider的user-agent是什么？
百度各個產品使用不同的user-agent：
- 產品名稱 對應user-agent
- 無線搜索 Baiduspider
- 圖片搜索 Baiduspider-image
- 視頻搜索 Baiduspider-video
- 新聞搜索 Baiduspider-news
- 百度搜藏 Baiduspider-favo
- 百度聯盟 Baiduspider-cpro
- 商務搜索 Baiduspider-ads
- 網頁以及其他搜索 Baiduspider
你可以根據各產品不同的user-agent設置不同的抓取規(guī)則，以下robots實現禁止所有來自百度的抓取但允許圖片搜索抓取/image/目錄：
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
請注意：Baiduspider-cpro和Baiduspider-ads抓取的網頁并不會建入索引，只是執(zhí)行與客戶約定的操作，所以不遵守robots協(xié)議，這個就需要和百度的人聯系才能解決了。
如何只禁止Google搜索引擎收錄抓取網頁，方法如下：
編輯robots.txt文件，設計標記為:
User-agent: googlebot
Disallow: /
第二種、網頁代碼方法
在網站首頁代碼<head>與</head>之間，加入<meta name="robots" content="noarchive">代碼，此標記禁止搜索引擎抓取網站并顯示網頁快照。
在網站首頁代碼<head>與</head>之間，加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取網站并顯示網頁快照。
在網站首頁代碼<head>與</head>之間，加入<meta name="googlebot" content="noarchive">即可禁止谷歌搜索引擎抓取網站并顯示網頁快照。
另外當我們的需求很怪異的時候，比如下面這幾種情況:
1. 網站已經加了robots.txt，還能在百度搜索出來？
因為搜索引擎索引數據庫的更新需要時間。雖然Baiduspider已經停止訪問您網站上的網頁，但百度搜索引擎數據庫中已經建立的網頁索引信息，可能需要數月時間才會清除。另外也請檢查您的robots配置是否正確。如果您的拒絕被收錄需求非常急迫，也可以通過投訴平臺反饋請求處理。
2. 希望網站內容被百度索引但不被保存快照，我該怎么做？
Baiduspider遵守互聯網meta robots協(xié)議。您可以利用網頁meta的設置，使百度顯示只對該網頁建索引，但并不在搜索結果中顯示該網頁的快照。和robots的更新一樣，因為搜索引擎索引數據庫的更新需要時間，所以雖然您已經在網頁中通過meta禁止了百度在搜索結果中顯示該網頁的快照，但百度搜索引擎數據庫中如果已經建立了網頁索引信息，可能需要二至四周才會在線上生效。
3. 希望被百度索引，但是不保存網站快照，如下代碼解決：
<meta name="Baiduspider" content="noarchive">
4. 如果要禁止所有的搜索引擎保存你網頁的快照，那么代碼就是下面的：
<meta name="robots" content="noarchive">
下面列出一些常用的代碼組合：
- <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">：可以抓取本頁，而且可以順著本頁繼續(xù)索引別的鏈接
- <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">：不許抓取本頁，但是可以順著本頁抓取索引別的鏈接
- <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">：可以抓取本頁，但是不許順著本頁抓取索引別的鏈接
- <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">：不許抓取本頁，也不許順著本頁抓取索引別的鏈接
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接
