摘 要：隨著當前互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)無處不在，博客、網(wǎng)站中充斥著大量的網(wǎng)頁信息，對于這些網(wǎng)頁信息，如何才能被人們通過搜索引擎獲取，這就要得益于網(wǎng)頁搜索的功勞了。以下本篇淺析了在垂直搜索引擎中應(yīng)用網(wǎng)絡(luò)蜘蛛搜索算法的策略。

關(guān)鍵詞：垂直搜索引擎;搜索算法;網(wǎng)絡(luò)蜘蛛搜索算法

0 引言

隨著我國當前網(wǎng)絡(luò)信息技術(shù)的發(fā)展，人們對互聯(lián)網(wǎng)搜索引擎的需求有所提升。對于互聯(lián)網(wǎng)其不僅是一個有著海量網(wǎng)頁信息數(shù)據(jù)的載體，也是一個擁有海量有用數(shù)據(jù)資源的倉庫，在垂直搜索引擎中應(yīng)用網(wǎng)絡(luò)蜘蛛算法，有助于有效利用這些網(wǎng)絡(luò)中的信息，滿足垂直搜索引擎用戶個性化的搜索服務(wù)，發(fā)揮積極影響。

1 網(wǎng)絡(luò)蜘蛛搜索算法

在Internet上，“蜘蛛”（Spider）是一種功能強大的網(wǎng)絡(luò)搜索程序[1]。網(wǎng)絡(luò)蜘蛛搜索算法，需要一個初始鏈接，但在網(wǎng)絡(luò)搜索中，蜘蛛算法對于此后的計算運行情況[2]，就由蜘蛛算法來決定，在進行網(wǎng)頁搜索中，網(wǎng)絡(luò)蜘蛛程序針對一個頁面，可以先去掃描頁面中所包含的鏈接內(nèi)容，并直接訪問其鏈接頁面信息，根據(jù)網(wǎng)絡(luò)蜘蛛搜索算法，分析統(tǒng)計其追蹤頁面中所包含的鏈接信息，經(jīng)過蜘蛛搜索算法計算后，將最終頁面返回到搜索引擎中。

2 垂直搜索引擎中應(yīng)用網(wǎng)絡(luò)蜘蛛搜索算法的意義

2.1 垂直搜索引擎定義 關(guān)于垂直搜索引擎，其在網(wǎng)絡(luò)應(yīng)用中，就是可以指針對某一行業(yè)、某一種類的信息進行專業(yè)搜索服務(wù)，其是基于傳統(tǒng)搜索引擎服務(wù)的細分和延伸，同時也是對網(wǎng)頁中一類專有信息的整合[3];垂直搜索引擎，可以定向的分字段抽取出網(wǎng)頁中的需求數(shù)據(jù)，將數(shù)據(jù)進行處理之后再以某種形式返回給用戶。

2.2 意義分析 對于當前網(wǎng)絡(luò)搜索中的垂直搜索，在其實際應(yīng)用中，不僅搜索結(jié)果的信息量大，且具有查詢不準確、深度不夠的問題;故此，可以在其設(shè)計中應(yīng)用網(wǎng)絡(luò)蜘蛛搜索算法，可以使得垂直搜索系統(tǒng)盡可能多的去抓取同特定主題有相關(guān)內(nèi)容的網(wǎng)頁，同時，也最大限度減少對無關(guān)網(wǎng)頁內(nèi)容的抓取，以便能夠有序化搜索海量信息，使垂直搜索引擎性能得到提升。

3 垂直搜索引擎中應(yīng)用網(wǎng)絡(luò)蜘蛛搜索算法的策略

針對垂直搜索引擎中，應(yīng)用網(wǎng)絡(luò)搜索算法，可以發(fā)揮引擎搜索能力，產(chǎn)生積極影響。以針對垂直搜索引擎實例，分析在實際中應(yīng)用網(wǎng)絡(luò)蜘蛛搜索算法的策略。

3.1 解析 HTML "在網(wǎng)絡(luò)蜘蛛搜索算法，運用C#語言，首先，可以創(chuàng)建垂直搜索實例，將搜索類中函數(shù)Source的屬性設(shè)置成為可以解析的HTML頁面信息，其表示如下：

Parse HTML parse= New Parse HTML （ ） ; // 選定頁面

Parse.Source = \" Hello ！Hello！\" ; // 解析頁面的內(nèi)容

并且在解析之后，可利用While循環(huán)的方式，去依次檢查HTML文檔頁面之中所包含的文本以及其標記信息。

While （ ！ parse. Eof（ ） ）{

char ch = parse.Parse （ ）

} ;

并注意在循環(huán)結(jié)束后，可返回在HTML文檔中包含的字符對象。在實際垂直搜索引擎中，網(wǎng)絡(luò)蜘蛛搜索算法就是要借助C#索引功能找出各個HREF屬性。例如：

Attribute HreF = Tag [ \"HREF\" ] ; "http:// 屬性

String link = Href .Value ; "http:// 屬性對象獲取

在該算法中，當獲得Attribute對象后，應(yīng)用Attribute.Value命令，獲得這個屬性所代表的值。

3.2 優(yōu)化HTML頁面垂直搜索引擎信息 在網(wǎng)絡(luò)蜘蛛搜索算法中，通過C#提供的HttpWebRequest類先下載HTML頁面，從request創(chuàng)建一個stream流。假設(shè)針對HTML頁面文件進行搜索，那么此時頁面已經(jīng)被下載并保存在一個字符串內(nèi)，通過這個字符串，就可以解析出HTML網(wǎng)頁中的鏈接信息，并且還可以將HTML頁面信息保存到磁盤中，用以分析頁面內(nèi)容。

3.3 執(zhí)行垂直搜索引擎命令 對于垂直搜索引擎中，應(yīng)用網(wǎng)絡(luò)蜘蛛搜索算法，就可以運用run（）函數(shù)方法，使該方法執(zhí)行獨立搜索的線程。在進行垂直搜索的過程中，也可以先去判斷對于入口站點中的信息，分析其是由Web引用還是外部頁面，然后，就可以確認出入口站點的代表符號，運行重置網(wǎng)頁統(tǒng)計計算，并同時調(diào)用searchWeb（）函數(shù)，進行頁面信息搜索：

Public void run （）{

Default TreeModel "treeModel= （ DefaultTreeModel） searchTree.getModel （） ;

String "urllc = startSite .ToLower Case （）; // 設(shè)置字符串

If

（ ！urllc. startsWith （\"http： //……\"） "http:// 網(wǎng)址信息算法比較

{{ startSite = \"http：// ……\" + startSite; // Tack on http：// ……}

Public "static "String fixHref （ String href）

{ String newhref = href.replace（'＼＼'， '/'）;

if（ lastslash gt; lastdot）

{if（newhref .charAt（newhref.length（）-1） ！= '/'）newhref = newhref+\"/\"; }

Return "Newhre; "http://返回結(jié)果

}

使用網(wǎng)絡(luò)蜘蛛搜索算法，跟蹤記錄垂直搜索引擎進展以及其訪問過的站點，應(yīng)用網(wǎng)絡(luò)蜘蛛搜索算法，可以提高垂直搜索引擎對網(wǎng)頁抓取的準確率，改進了網(wǎng)頁搜索待爬行隊列URL優(yōu)先權(quán)值，使垂直搜索引擎搜索性能得到提升，滿足網(wǎng)絡(luò)搜索用戶的需求。

4 結(jié)論

綜上所述，在垂直搜索引擎中應(yīng)用網(wǎng)絡(luò)蜘蛛搜索算法，可以更好的控制用戶網(wǎng)頁界面，通過跟蹤蜘蛛記錄訪問過站點，可以有效顯示出網(wǎng)頁搜索進展，不僅可以提升搜索引擎搜索能力，也發(fā)了揮實際應(yīng)用價值。

參考文獻：

[1]張曉龍.網(wǎng)絡(luò)蜘蛛垂直搜索算法的改進與實現(xiàn)[D].哈爾濱工程大學(xué)，2008.

[2]劉相琴，孟繁疆.大豆垂直搜索引擎的研究與設(shè)計[J].農(nóng)機化研究，2013（5）：200-203.

[3]王靜，劉偉峰，汪偉，等.面向旅游信息的垂直搜索引擎的設(shè)計與實現(xiàn)[J].信息系統(tǒng)工程，2014（3）：29-31.