(1)網(wǎng)頁(yè)收集:搜索引擎蜘蛛通過(guò)鏈接進(jìn)行爬行和抓取，將抓取到的頁(yè)面存儲到原始數據庫中。
(2)預處理:搜索引擎蜘蛛抓取到的頁(yè)面不能直接進(jìn)行用戶(hù)查詢(xún)排名，需要進(jìn)行預處理。
(3)檢索服務(wù):用戶(hù)輸入查詢(xún)詞后，排名程序調用索引數據庫中的數據，將與用戶(hù)搜索詞相關(guān)的頁(yè)面展示給用戶(hù)。
搜索引擎是通過(guò)蜘蛛程序對互聯(lián)網(wǎng)中的網(wǎng)頁(yè)進(jìn)行抓取和收集的，網(wǎng)頁(yè)收集是搜索引擎工作的第一步。了解搜索引擎的網(wǎng)頁(yè)抓取機制，便于蜘蛛抓取更多的頁(yè)面，使網(wǎng)站有更好的排名。
(1)什么是蜘蛛
網(wǎng)絡(luò )爬蟲(chóng)，又被稱(chēng)為網(wǎng)頁(yè)蜘蛛、網(wǎng)絡(luò )機器人，是指按照一定的規則，自動(dòng)抓取互聯(lián)網(wǎng)中網(wǎng)頁(yè)的程序或者腳本。
(2)蜘蛛的工作方式
對于互聯(lián)網(wǎng)中的網(wǎng)站來(lái)說(shuō)，如果沒(méi)有對其中的鏈接進(jìn)行屏蔽設置，蜘蛛就可以通過(guò)鏈接在網(wǎng)站內或者網(wǎng)站間進(jìn)行爬行和抓取。
由于互聯(lián)網(wǎng)中的網(wǎng)站及頁(yè)面鏈接結構異常復雜，蜘蛛需要采取一定的爬行策略才能抓取更多的頁(yè)面。
最簡(jiǎn)單的爬行策略有兩種:一種是深度優(yōu)先，另一種是廣度優(yōu)先。
廣度優(yōu)先:是指蜘蛛會(huì )先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)，然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè)，繼續抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。這是最常用的方式，因為這個(gè)方法可以讓網(wǎng)絡(luò )蜘蛛并行處理，提高其抓取速度。
深度優(yōu)先:是指蜘蛛會(huì )從起始頁(yè)開(kāi)始，一個(gè)鏈接一個(gè)鏈接跟蹤下去，處理完這條線(xiàn)路之后再轉入下一個(gè)起始頁(yè)，繼續跟蹤鏈接。
深度優(yōu)先和廣度優(yōu)先通常是混合使用的。這樣既可以照顧到盡量多的網(wǎng)站，也可以照顧到一部分網(wǎng)站的內頁(yè)，同時(shí)也會(huì )考慮頁(yè)面權重、網(wǎng)站規模、外鏈、更新等因素。而且搜索引擎為了提高爬行和抓取的速度。都是用多個(gè)蜘蛛并發(fā)分布爬行。
根據這一原理，在優(yōu)化網(wǎng)站時(shí)，應該合理設置網(wǎng)站中的鏈接，便于蜘蛛更加順利的爬行網(wǎng)站中的各個(gè)頁(yè)面。
(3)認識種子站點(diǎn)
一些互聯(lián)網(wǎng)中的網(wǎng)站被蜘蛛格外看重， 蜘蛛的爬行也往往以這些網(wǎng)站作為起始站點(diǎn)。通常情況下，這類(lèi)站點(diǎn)具有一定的權威性和導航性，如新浪、hao123 等。這些具有權威性和導航性的網(wǎng)站稱(chēng)為種子站點(diǎn)。因此，在優(yōu)化網(wǎng)站時(shí)，可以在種子站點(diǎn)中添加自己網(wǎng)站的鏈接，增加線(xiàn) 蛛抓取的入口。
(4)搜索引擎的收集機制
如蛛對于網(wǎng)站的取頻率受網(wǎng)站更新周期的影響，若網(wǎng)站定期定量更新，那么，蜘蛛會(huì )規律進(jìn)入網(wǎng)站中進(jìn)行爬行和抓取。
蜘蛛每次爬行都會(huì )把頁(yè)面數據存儲起來(lái)，如果第二次爬行發(fā)現頁(yè)面與第一次收錄的完全一樣，說(shuō)明頁(yè)面沒(méi)有更新，多次抓取后蜘蛛會(huì )對頁(yè)面更新頻率有所了解。不常更新的頁(yè)面，蜘蛛也就沒(méi)有必要經(jīng)常抓取。如果頁(yè)面內容經(jīng)常更新，蜘蛛就會(huì )更加頻繁地訪(fǎng)問(wèn)這種頁(yè)面，頁(yè)面上出現的新鏈接，也自然會(huì )被統蛛更快地抓取。
因此，在優(yōu)化網(wǎng)站時(shí)，應該定期定量地更新內容，增加網(wǎng)站被抓取的頻率。
(5) 文件存儲
視索引擎蜘蛛抓取的網(wǎng)站制作頁(yè)面存入原始數據庫中。搜索引擎會(huì )對原始數據庫中的頁(yè)面進(jìn)行相應的處。
本文地址：http://www.havencoinwallet.com//article/4389.html
