如何設置讓網站禁止被爬蟲收錄

　　網站建設好了，當然是希望網頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網站不需要被搜索引擎收錄的情況。要啟用一個新的域名做鏡像網站，主要用于PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話，很有可能會影響官網在搜索引擎的權重。

　　以下列舉了屏蔽主流搜索引擎爬蟲(蜘蛛)抓取/索引/收錄網頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲(蜘蛛)。

　　1、通過 robotstxt 文件屏蔽

　　可以說 robotstxt 文件是最重要的一種渠道(能和搜索引擎建立直接對話)，給出以下建議：

　　Useragent Baiduspider

　　Disallow /

　　Useragent Googlebot

　　Disallow /

　　Useragent GooglebotMobile

　　Disallow /

　　Useragent GooglebotImage

　　Disallow/

　　Useragent MediapartnersGoogle

　　Disallow /

　　Useragent AdsbotGoogle

　　Disallow /

　　UseragentFeedfetcherGoogle

　　Disallow /

　　Useragent Yahoo Slurp

　　Disallow /

　　Useragent Yahoo Slurp China

　　Disallow /

　　Useragent YahooAdCrawler

　　Disallow /

　　Useragent YoudaoBot

　　Disallow /

　　Useragent Sosospider

　　Disallow /

　　Useragent Sogou spider

　　Disallow /

　　Useragent Sogou web spider

　　Disallow /

　　Useragent MSNBot

　　Disallow /

　　Useragent iaarchiver

　　Disallow /

　　Useragent Tomato Bot

　　Disallow /

　　Useragent

　　Disallow /

　　2、通過 meta tag 屏蔽

　　在所有的網頁頭部文件添加，添加如下語句：

       <meta name='robots' content='index,follow' />：可以抓取本頁，也可以順著本頁繼續索引別的鏈接

       <meta name='robots' content='noindex,follow' />：禁止抓取本頁，但可以抓取跟蹤本頁的其它鏈接

       <meta name='robots' content='index,nofollow'/>：可以抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

       <meta name='robots' content='noindex,nofollow' />：禁止抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

       <meta name='robots' content='noarchive' />：禁止搜索引擎建立快照

　　3、通過服務器(如：Linux/nginx )配置文件設置

　　直接過濾 spider/robots 的IP 段。

　　以上就是《SEO優化之如何設置讓網站禁止被爬蟲收錄》的全部內容，僅供站長朋友們互動交流學習，SEO優化是一個需要堅持的過程，希望大家一起共同進步。

墨殤SEO