<source id="48mse"><pre id="48mse"></pre></source>
  • <noscript id="48mse"></noscript>
  • <source id="48mse"><tr id="48mse"></tr></source>
    <source id="48mse"><tr id="48mse"></tr></source>
    <noscript id="48mse"><object id="48mse"></object></noscript>

    等風也等你

    如何設置讓網站禁止被爬蟲收錄

    墨殤 127 ℃ 0 條

    如何設置讓網站禁止被爬蟲收錄

      網站建設好了,當然是希望網頁被搜索引擎收錄的越多越好,但有時候我們也會碰到網站不需要被搜索引擎收錄的情況。要啟用一個新的域名做鏡像網站,主要用于PPC 的推廣,這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話,很有可能會影響官網在搜索引擎的權重。

      以下列舉了屏蔽主流搜索引擎爬蟲(蜘蛛)抓取/索引/收錄網頁的幾種思路。注意:是整站屏蔽,而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲(蜘蛛)。

      1、通過 robotstxt 文件屏蔽

      可以說 robotstxt 文件是最重要的一種渠道(能和搜索引擎建立直接對話),給出以下建議:

      Useragent Baiduspider

      Disallow /

      Useragent Googlebot

      Disallow /

      Useragent GooglebotMobile

      Disallow /

      Useragent GooglebotImage

      Disallow/

      Useragent MediapartnersGoogle

      Disallow /

      Useragent AdsbotGoogle

      Disallow /

      UseragentFeedfetcherGoogle

      Disallow /

      Useragent Yahoo Slurp

      Disallow /

      Useragent Yahoo Slurp China

      Disallow /

      Useragent YahooAdCrawler

      Disallow /

      Useragent YoudaoBot

      Disallow /

      Useragent Sosospider

      Disallow /

      Useragent Sogou spider

      Disallow /

      Useragent Sogou web spider

      Disallow /

      Useragent MSNBot

      Disallow /

      Useragent iaarchiver

      Disallow /

      Useragent Tomato Bot

      Disallow /

      Useragent

      Disallow /

      2、通過 meta tag 屏蔽

      在所有的網頁頭部文件添加,添加如下語句:

           <meta name='robots' content='index,follow' />:可以抓取本頁,也可以順著本頁繼續索引別的鏈接

           <meta name='robots' content='noindex,follow' />:禁止抓取本頁,但可以抓取跟蹤本頁的其它鏈接

           <meta name='robots' content='index,nofollow'/>:可以抓取本頁,禁止抓取和跟蹤本頁的其它鏈接

           <meta name='robots' content='noindex,nofollow' />:禁止抓取本頁,禁止抓取和跟蹤本頁的其它鏈接

           <meta name='robots' content='noarchive' />:禁止搜索引擎建立快照

      3、通過服務器(如:Linux/nginx )配置文件設置

      直接過濾 spider/robots 的IP 段。

      以上就是《SEO優化之如何設置讓網站禁止被爬蟲收錄》的全部內容,僅供站長朋友們互動交流學習,SEO優化是一個需要堅持的過程,希望大家一起共同進步。


    墨殤SEO

    發表評論 (已有0條評論)

    快來評論,快來搶沙發吧~

    主站蜘蛛池模板: 伊人婷婷综合缴情亚洲五月| 久久精品亚洲综合| 久久婷婷成人综合色| 国产综合一区二区| 伊人久久大香线蕉综合热线 | 一本综合久久国产二区| 一本大道久久a久久综合| 久久综合狠狠综合久久97色| 久久综合给合久久狠狠狠97色| 久久婷婷午色综合夜啪| 日日狠狠久久偷偷色综合0| 国产成人麻豆亚洲综合无码精品| 色婷婷久久综合中文久久蜜桃av| 国产色产综合色产在线观看视频 | 亚洲综合日韩中文字幕v在线| 亚洲国产综合人成综合网站00| 日本久久综合久久综合| 久久一日本道色综合久久| 色综合天天综合网看在线影院| 色综合色天天久久婷婷基地| 久久综合日韩亚洲精品色| 色综久久天天综合绕视看| 婷婷色香五月激情综合2020| 久久国产精品亚洲综合| 情人伊人久久综合亚洲| 伊人久久大香线蕉综合爱婷婷| 国产综合成人色产三级高清在线精品发布| 亚洲欧洲综合在线| 亚洲五月丁香综合视频| 97se色综合一区二区二区| 91探花国产综合在线精品| 91精品国产色综合久久不卡蜜| 婷婷亚洲综合五月天小说| 亚洲综合一区二区精品导航| 亚洲国产综合无码一区| 久久综合九色综合网站| 天天影视色香欲综合免费| 亚洲色偷偷偷综合网| 国产综合久久久久鬼色| 亚洲综合精品网站| 久久综合香蕉久久久久久久|