如何設(shè)置讓網(wǎng)站禁止被爬蟲收錄

　　網(wǎng)站建設(shè)好了，當(dāng)然是希望網(wǎng)頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網(wǎng)站不需要被搜索引擎收錄的情況。要啟用一個新的域名做鏡像網(wǎng)站，主要用于PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網(wǎng)站的所有網(wǎng)頁。因?yàn)槿绻R像網(wǎng)站也被搜索引擎收錄的話，很有可能會影響官網(wǎng)在搜索引擎的權(quán)重。

　　以下列舉了屏蔽主流搜索引擎爬蟲(蜘蛛)抓取/索引/收錄網(wǎng)頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲(蜘蛛)。

　　1、通過 robotstxt 文件屏蔽

　　可以說 robotstxt 文件是最重要的一種渠道(能和搜索引擎建立直接對話)，給出以下建議：

　　Useragent Baiduspider

　　Disallow /

　　Useragent Googlebot

　　Disallow /

　　Useragent GooglebotMobile

　　Disallow /

　　Useragent GooglebotImage

　　Disallow/

　　Useragent MediapartnersGoogle

　　Disallow /

　　Useragent AdsbotGoogle

　　Disallow /

　　UseragentFeedfetcherGoogle

　　Disallow /

　　Useragent Yahoo Slurp

　　Disallow /

　　Useragent Yahoo Slurp China

　　Disallow /

　　Useragent YahooAdCrawler

　　Disallow /

　　Useragent YoudaoBot

　　Disallow /

　　Useragent Sosospider

　　Disallow /

　　Useragent Sogou spider

　　Disallow /

　　Useragent Sogou web spider

　　Disallow /

　　Useragent MSNBot

　　Disallow /

　　Useragent iaarchiver

　　Disallow /

　　Useragent Tomato Bot

　　Disallow /

　　Useragent

　　Disallow /

　　2、通過 meta tag 屏蔽

　　在所有的網(wǎng)頁頭部文件添加，添加如下語句：

       <meta name='robots' content='index,follow' />：可以抓取本頁，也可以順著本頁繼續(xù)索引別的鏈接

       <meta name='robots' content='noindex,follow' />：禁止抓取本頁，但可以抓取跟蹤本頁的其它鏈接

       <meta name='robots' content='index,nofollow'/>：可以抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

       <meta name='robots' content='noindex,nofollow' />：禁止抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

       <meta name='robots' content='noarchive' />：禁止搜索引擎建立快照

　　3、通過服務(wù)器(如：Linux/nginx )配置文件設(shè)置

　　直接過濾 spider/robots 的IP 段。

　　以上就是《SEO優(yōu)化之如何設(shè)置讓網(wǎng)站禁止被爬蟲收錄》的全部內(nèi)容，僅供站長朋友們互動交流學(xué)習(xí)，SEO優(yōu)化是一個需要堅(jiān)持的過程，希望大家一起共同進(jìn)步。

墨殤SEO