地址庫

為了避免重復爬行和抓取網(wǎng)址，搜索引擎會(huì )建立一個(gè)地址庫，記錄已經(jīng)被發(fā)現還沒(méi)有抓取的頁(yè)面，以及已經(jīng)被抓取的頁(yè)面地址庫中的 URL 有幾個(gè)來(lái)源:
 


(1) 人工錄入的種子網(wǎng)站。

(2) 蜘蛛抓取頁(yè)面后，從 HTML 中解析出新的鏈接 URL 與地址庫中的數據進(jìn)行對比，如果是地址庫中沒(méi)有的網(wǎng)址，就存入待訪(fǎng)問(wèn)地址庫。
 
(3) 站長(cháng)通過(guò)搜索引擎網(wǎng)頁(yè)提交表格提交進(jìn)來(lái)的網(wǎng)址。

蜘蛛按重要性從待訪(fǎng)問(wèn)地址庫中提取 URL，訪(fǎng)問(wèn)并抓取頁(yè)面，然后把這個(gè) URL，從待訪(fǎng)問(wèn)地址庫中刪除，放進(jìn)已訪(fǎng)問(wèn)地址庫中。

大部分主流搜索引擎都提供一個(gè)表格，讓站長(cháng)提交網(wǎng)址。不過(guò)這些提交來(lái)的網(wǎng)址都只是存入地址庫而已，是否收錄還要看頁(yè)面重要性如何。搜索引擎所收錄的絕大部分頁(yè)面是蜘蛛自己跟蹤鏈接得到的?？梢哉f(shuō)提交頁(yè)面基本上是毫無(wú)用處的，搜索引擎更喜歡自己沿著(zhù)鏈接發(fā)現新頁(yè)面。
 
文件存儲

搜索引擎蜘蛛抓取的數據存入原始頁(yè)面蕪湖網(wǎng)站設計數據庫。其中的頁(yè)面數據與用戶(hù)瀏覽器得到的HTML 是完全一樣的，每個(gè)URL都有一個(gè)獨特的文件編號 。