蜘蛛日志分析有什么用?蜘蛛日志分析有什么作用?

墨殤 2019-08-03 18:51 276 ℃ 0 條

蜘蛛日志分析有什么用?蜘蛛日志分析有什么作用?

　　我們做SEO優化離不開引蜘蛛來網站，當優質蜘蛛多了對內頁的收錄與信任度有一定程度的提升，另外我們也可以從爬行日志中分析出一些規律與問題，所以蜘蛛日志分析的作用也不要忽視，接下來我們看下SEO蜘蛛分析能發現哪些問題?

　　我們先了解下蜘蛛日志，其實就是搜索引擎要爬行網站時，向服務器發送請求時產生的訪問記錄文件。這樣的日志文件通常發現異常才會去看，但其實日志文件也很重要，可以幫助我們獲取一些信息以及分析出網站存在的問題。

　　一、在日志中能看到哪些數據?

　　在文件中我們可以看到蜘蛛的IP地址、訪問的時間、蜘蛛抓取的網頁地址、http狀態碼、請求方式、字節數等，日志代碼示例如下：

　　220.181.108.79– – [18/May/2020:10:30:32 +0800] “GET /soft/17.html HTTP/1.1” 200 6779 “-” “Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http:// www.baidu.com/search/spider.html)

　　二、蜘蛛日志分析返回狀態碼：

　　1、200：代表服務器返回頁面成功;

　　2、404：代表頁面無法訪問;

　　3、301：代表頁面301轉向(重定向);

　　4、304：代表客戶端已經執行了GET，但文件未變化;

　　5、500：代表服務器遇到錯誤，無法完成請求;

　　6、403：代表表示服務器拒絕請求。

　　三、蜘蛛日志分析有什么作用?

　　1、通過分析我們可以判斷蜘蛛有沒對站點進行抓取，有沒成功，也可以判斷網站是不是符合搜索引擎的抓取規范，如有抓取失敗可以找出原因。

　　2、可以判斷哪些頁面蜘蛛的訪問頻率太高，影響了服務器的正常運行，我們可以做出調整，限制蜘蛛的訪問頻率來保證服務器速度的穩定。

　　3、通過蜘蛛日志分析文件，我們可以判斷有多少權重蜘蛛，看到蜘蛛的訪問路徑，更好的優化站內結構，同時可以判斷出惡意攻擊的行為。

　　通過日志我們可以分析很多信息，比如從返回狀態碼判斷網站是否有打開不暢問題，有沒存在死鏈等錯誤;在日志中也可以發現用戶對頁面的訪問次數、訪問時間與路徑，通過數據分析用戶的行為習慣，所以日志分析在我們優化網站、管理網站中是不可缺少的。