一、網(wǎng)頁(yè)蜘蛛的定義

網(wǎng)頁(yè)蜘蛛（又被稱為網(wǎng)絡(luò)爬蟲，網(wǎng)絡(luò)機(jī)器人）是一種依照一定的規(guī)則，主動(dòng)地爬行抓取互聯(lián)網(wǎng)信息的程序或腳本。

通俗解說(shuō)：互聯(lián)網(wǎng)類似于蜘蛛網(wǎng)，網(wǎng)絡(luò)爬蟲在其間不斷的爬行抓取，就像是蜘蛛經(jīng)過(guò)蛛網(wǎng)進(jìn)行捕食，每逢發(fā)現(xiàn)新的資源蜘蛛當(dāng)即出動(dòng)并對(duì)其進(jìn)行抓取并將抓取到的內(nèi)容存入數(shù)據(jù)庫(kù)。

二、網(wǎng)絡(luò)爬蟲的技能概述

網(wǎng)絡(luò)爬蟲協(xié)助查找引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是一個(gè)主動(dòng)提取網(wǎng)頁(yè)信息的程序，因而網(wǎng)絡(luò)爬蟲也是查找引擎的重要組成部分。已知的網(wǎng)絡(luò)爬蟲分為傳統(tǒng)爬蟲和聚集爬蟲。

傳統(tǒng)爬蟲：就像蜘蛛在蛛網(wǎng)上爬行，網(wǎng)頁(yè)的URL就類似于彼此相關(guān)的蛛網(wǎng)，網(wǎng)頁(yè)蜘蛛從一些初始網(wǎng)頁(yè)的URL開端，獲得初始網(wǎng)頁(yè)上的URL，在爬蟲抓取網(wǎng)頁(yè)的過(guò)程中，又不斷從爬取到的頁(yè)面上從頭抽取新的URL放入預(yù)抓取行列,如此重復(fù)，直到滿足系統(tǒng)的中止條件，終究中止抓取。

聚集爬蟲：聚集爬蟲的作業(yè)流程較傳統(tǒng)爬蟲更為復(fù)雜，它依據(jù)網(wǎng)頁(yè)剖析算法過(guò)濾與初始抓取主題無(wú)關(guān)的URL，保留有用的鏈接放入預(yù)抓取行列，如此重復(fù)，直到達(dá)到系統(tǒng)的某一條件時(shí)中止。

三、為什么要有“蜘蛛”

隨著網(wǎng)絡(luò)的迅速發(fā)展，互聯(lián)網(wǎng)成為許多信息的載體，怎么有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。作為協(xié)助用戶拜訪互聯(lián)網(wǎng)的入口和指南，查找引擎也存在著許多局限性。

1、通用查找引擎的目標(biāo)是將網(wǎng)絡(luò)掩蓋率盡可能做到最大化，因而有限的查找引擎服務(wù)器資源與無(wú)限的網(wǎng)絡(luò)信息資源之間發(fā)生了巨大的對(duì)立。

2、通用查找引擎所回來(lái)的結(jié)果過(guò)于寬泛，其間包括許多與用戶查找目的不相關(guān)的網(wǎng)頁(yè)。

3、互聯(lián)網(wǎng)數(shù)據(jù)方式和網(wǎng)絡(luò)技能的不斷發(fā)展，圖片、音頻、視頻等多種多媒體數(shù)據(jù)許多涌出，通用查找引擎對(duì)這類信息不能很好的發(fā)現(xiàn)和獲取。

4、通用查找引擎依據(jù)關(guān)鍵字查找，不支持依據(jù)語(yǔ)義查詢。

以上問(wèn)題的呈現(xiàn)也促使了定向抓取相關(guān)網(wǎng)頁(yè)資源的聚集爬蟲的呈現(xiàn)。聚集爬蟲能夠主動(dòng)下載網(wǎng)頁(yè)，它依據(jù)既定的抓取目標(biāo)，有挑選的拜訪互聯(lián)網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接，從中搜集需要的信息。與通用爬蟲不同，聚集爬蟲并不追求大的掩蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁(yè)，為面向主題的用戶查詢預(yù)備數(shù)據(jù)資源。

了解查找引擎的作業(yè)原理關(guān)于網(wǎng)站SEO優(yōu)化起著重要的效果，許多的SEO技巧都是依據(jù)查找引擎的作業(yè)原理而發(fā)生，因而關(guān)于查找引擎作業(yè)原理的解讀是SEO作業(yè)者的重要基本功。

獲取web頁(yè)面。每個(gè)獨(dú)立的查找引擎都有自己的網(wǎng)絡(luò)爬蟲程序（Spider）。爬蟲沿著網(wǎng)頁(yè)中的超鏈接從這個(gè)網(wǎng)站爬到另個(gè)網(wǎng)站，并剖析經(jīng)過(guò)超鏈接剖析獲取更多網(wǎng)頁(yè)的接連拜訪。捕獲的web頁(yè)面稱為web快照。由于超鏈接在Internet中的使用十分遍及，理論上，從定范圍的web頁(yè)面開端，我們可以搜集絕大多數(shù)的web頁(yè)面。

處理web頁(yè)面。捕獲網(wǎng)頁(yè)后，查找引擎還需要做許多的預(yù)處理作業(yè)來(lái)供給檢索服務(wù)。其間重要的是提取關(guān)鍵字，樹立索引庫(kù)和索引。其他包括刪除重復(fù)的網(wǎng)頁(yè)、分詞（中文）、斷定網(wǎng)頁(yè)類型、剖析超鏈接、計(jì)算網(wǎng)頁(yè)的重要性和豐厚度等。

供給檢索服務(wù)。用戶輸入檢索的關(guān)鍵字，查找引擎找到與索引數(shù)據(jù)庫(kù)中關(guān)鍵字匹配的web頁(yè)面。為了便于用戶判斷，除了頁(yè)面標(biāo)題和URL之外，還將供給web頁(yè)面的摘要和其他信息。查找引擎的主動(dòng)信息搜集功用提交網(wǎng)站查找。站長(zhǎng)主動(dòng)將網(wǎng)站提交給查找引擎。它會(huì)在守時(shí)間內(nèi)將爬蟲發(fā)送到您的網(wǎng)站，掃描您的網(wǎng)站并將信息存儲(chǔ)到數(shù)據(jù)庫(kù)中以供用戶使用。由于查找引擎索引規(guī)則發(fā)生了很大變化相關(guān)于過(guò)去，主動(dòng)提交的網(wǎng)站并不確保你的網(wǎng)站能進(jìn)入查找引擎數(shù)據(jù)庫(kù)，所以站長(zhǎng)應(yīng)加大網(wǎng)站的內(nèi)容，讓查找引擎有更多機(jī)會(huì)找到你并主動(dòng)搜集你的網(wǎng)站。

當(dāng)用戶用關(guān)鍵詞查找信息時(shí)，查找引擎將在數(shù)據(jù)庫(kù)中查找。假如你找到個(gè)網(wǎng)站，契合用戶要求的內(nèi)容，個(gè)特別的算法--一般依據(jù)網(wǎng)頁(yè)中關(guān)鍵詞的匹配程度，位置、頻率，鏈接質(zhì)量，等等--計(jì)算網(wǎng)頁(yè)的相關(guān)性和排名。然后，依據(jù)相關(guān)程度，將這些鏈接依次回來(lái)給用戶。