搜索引|擎Spider對網(wǎng)站的抓取情況，應該是最值得SEO人員研究的內容。但是很多SEO人員面對已經(jīng)在日志中提取出來(lái)的搜索引擎抓取記錄，并不知道需要分析什么。這里簡(jiǎn)單討論一下Spider對網(wǎng)站的抓取情況都有哪些方面是值得分析的，以及分析出的結果是如何指導SEO工作的。
Spider的抓取數據可以分析:Spider對整個(gè)網(wǎng)站的抓取頻率、Spider對重要頁(yè)面的抓取頻率、Spider對網(wǎng)站內容的抓取分布情況、Spider對各種類(lèi)型網(wǎng)頁(yè)的抓取情況、Spider對 網(wǎng)站的抓取狀態(tài)碼情況等。

1. 通過(guò)分析Spider對整個(gè)網(wǎng)站的抓取頻率的趨勢，可以簡(jiǎn)單了解網(wǎng)站在搜索引擎眼中的質(zhì)量。如果網(wǎng)站沒(méi)有進(jìn)行過(guò)大幅度的變動(dòng)，并且內容正常更新，搜索引擎的抓取頻率卻逐漸或突然大幅度降低，不是網(wǎng)站運行出現錯誤，就是搜索引擎認為網(wǎng)站質(zhì)量出現了問(wèn)題;如果搜索引擎的抓取頻率突然增大，可能是網(wǎng)站有404之類(lèi)的頁(yè)面引起了Spider的集中重復抓取;如果搜索引擎的抓取頻率逐漸增大，可能是隨著(zhù)網(wǎng)站內容的逐漸增多，權重的逐漸積累，而獲得的正常抓取。持平和平緩的變動(dòng)不足為奇，如果出現大幅度的變動(dòng)，就需要引起足夠的重視了。
2. (2)通過(guò)分析Spider對重要頁(yè)面的抓取規律，可以輔助網(wǎng)頁(yè)內容更新頻率的調整。一般搜索引擎Spider會(huì )對站內的重要頁(yè)面進(jìn)行高頻度的抓取，這類(lèi)頁(yè)面一般不會(huì )是內容頁(yè)，而是首頁(yè)、列表頁(yè)或者擁有大量外鏈的專(zhuān)題頁(yè)。在網(wǎng)站中有很多種此類(lèi)抓取頻率非常大的頁(yè)面，比如前面所說(shuō)的網(wǎng)站首頁(yè)、目錄頁(yè)和專(zhuān)題頁(yè)。在網(wǎng)站中往往還會(huì )有其他更多類(lèi)型的聚合頁(yè)同樣有著(zhù)比較大的抓取頻率。尤其是網(wǎng)站的首頁(yè)，很多網(wǎng)站的首頁(yè)每天都會(huì )得到搜索引擎成千上萬(wàn)次的抓取，但是不少網(wǎng)站首頁(yè)上更新的鏈接很少，有些浪費了首頁(yè)本身權重所帶來(lái)的Spider高抓取頻率。在不影響SEO關(guān)鍵詞密度和布局的前提下，SEO人員可以充分利用這部分資源，來(lái)使網(wǎng)站內所有的新內容都被搜索引擎及時(shí)發(fā)現，也減少搜索引擎的無(wú)效抓取。雖然現在通過(guò)百度站長(cháng)平臺的sitemap工具，可以直接把站內的URL提交給百度，并不需要太過(guò)擔心百度發(fā)現不了網(wǎng)站內新內容的問(wèn)題，但是現在也有部分網(wǎng)站是沒(méi)有sitemap提交權限的，并且這種通過(guò)頁(yè)面發(fā)現鏈接的形式還會(huì )帶有-定的權值傳遞。眾所周知，網(wǎng)頁(yè)的收錄與否，除取決于網(wǎng)頁(yè)內容的質(zhì)量外，與網(wǎng)頁(yè)所獲得的外鏈和網(wǎng)頁(yè)的權重也是有關(guān)系的，所以以上分析和改進(jìn)還是值得進(jìn)行的。
3. 分析Spider對網(wǎng)站內容的抓取分布情況。每個(gè)網(wǎng)站都會(huì )分出一些不同的頻道，可能大家感覺(jué)在網(wǎng)站內鏈和外鏈的建設中并沒(méi)有特別的偏向，或者為某個(gè)頻道做了很多鏈接，就認為該頻道應該會(huì )得到搜索引擎的青睞，但是事實(shí)可能不是這樣的。Spider對 網(wǎng)站內容抓取分布情況的分析-般會(huì )結合網(wǎng)站的收錄數據，分析網(wǎng)站各頻道內容的更新量、搜索引擎收錄量和Spider對各頻道的每日抓取量是否成正比。

                如果某個(gè)頻道的搜索弓|擎收錄不佳，首先就要分析搜索引|擎對該頻道的抓取是否正常。比如分析百度對網(wǎng)站各頻道的抓取情況，可以使用光年SEO日志分析系統先把百度的抓取記錄提取出來(lái)，然后使用該工具對提取出來(lái)的日志進(jìn)行分析。

4. 分析Spider對站內各類(lèi)頁(yè)面的抓取情況。不同網(wǎng)站都有著(zhù)自己不同的網(wǎng)頁(yè)類(lèi)型，這里進(jìn)行舉例說(shuō)明。在大眾網(wǎng)站中-般首頁(yè)、目錄頁(yè)、文章頁(yè)，目錄頁(yè)和文章頁(yè)可能會(huì )有分頁(yè)，但是經(jīng)過(guò)分析百度Spider的抓取記錄后，可能會(huì )發(fā)現百度Spider幾乎不怎么抓取分頁(yè)，不論是列表分頁(yè)還是文章分頁(yè)。
5. 分析Spider對網(wǎng)站的抓取狀態(tài)碼情況。除了上面所提到的注意網(wǎng)站異常的狀態(tài)碼，還應該留意Spider對網(wǎng)站的抓取記錄中是否還有其他不常見(jiàn)的狀態(tài)碼出現。