摘 要：互聯網技術的迅速發(fā)展，使得其在當今社會中承載傳遞的信息日趨增大，在給人們的生活帶來方便的同時，也給相關領域的網絡輿情管理工作帶來了一定壓力。爬蟲技術是互聯網搜索引擎通過一定的指令性程序，對網頁進行信息提取技術，是當前有針對性地進行輿情的基礎要素。以網絡爬蟲技術在輿情分析中的應用為中心展開討論，介紹了互聯網輿情檢索技術的基本構成，分析了爬蟲技術的特點，提出了優(yōu)化網絡爬蟲技術的相關方案，同時通過實例進行了驗證，具有一定的借鑒價值。

關鍵詞：網絡輿情；網絡爬蟲；網絡資源；爬蟲測速；主題更改

中圖分類號：TP391.3

21世紀是信息科學技術飛速發(fā)展的世紀，互聯網在生活中的應用越來越廣泛，尤其是隨著智能手機逐漸普遍，人們能夠通過移動互聯網更加便捷地獲得外部資訊。網絡輿情是當前網民們針對熱點社會事件以及社會政治經濟狀況等內容反映出的態(tài)度總和?！肮苤懈Q豹，時見一斑”，可以說網絡輿情就是當前社會現狀的放大鏡，針對這些態(tài)度思想及政治傾向的社會輿論信息的收集整合，是分析社會動向、研究人民需求的重要手段。

互聯網引擎搜索技術并未完全成熟，在很多具體環(huán)節(jié)仍舊存在著缺點，嚴重制約著網絡輿情監(jiān)測工作的全面展開。傳統(tǒng)的網絡爬蟲技術在進行網絡信息的獲取時，對其內容的處理精確性和不足，存在著無用信息過多和部分關鍵信息缺失的情況。因而，針對網絡爬蟲技術進行研究，提出更為有效的優(yōu)化措施是一項十分必要的工作。

1 互聯網輿情檢索技術

現階段建設的網絡輿情監(jiān)測系統(tǒng)基本涵蓋了所有互聯網領域的基本技術，是一項復雜而龐大工程。但從系統(tǒng)的功能實現上看，輿情監(jiān)測系統(tǒng)的關鍵技術是由互聯網信息采集技術和文本信息抽取技術構成的。

1.1 互聯網信息采集技術簡介

作為互聯網搜索引擎獲得信息的基本技術，信息采集技術的實現方法包括元搜索和網絡爬蟲兩種模式。這也是當前網絡輿情監(jiān)測信息獲得的主要途徑。

所謂元搜索技術，就是在檢索過程中將多個網絡搜索引擎以串聯的方式運行，監(jiān)測方提交的搜索條件被初步處理后，分送給這些串行的搜索引擎，由其各自完成對相應數據庫信息的檢索工作，在獲得初步搜索結果后，再將這部分信息進行二次加工，通過去重、排序、過濾等方式完成冗余信息的處理。元搜索技術在檢索信息全面性方面要明顯優(yōu)于單搜索引擎技術。同時，元搜索技術在進行信息檢索時并不需要對所有互聯網信息進行搜索，具有明顯的效率優(yōu)勢。

1.2 網頁信息抽取及預處理技術

作為網絡信息獲取的最終步驟，對檢索程序獲得的網頁信息進行抽取和預處理是搜索信息全面的重要影響因素。所謂網頁信息抽取及預處理技術是將網絡信息中包含的自然語言根據檢索條件進行提取，從中獲得需要的實體、關系、事件等要素，最終并用易于理解接受的規(guī)范化形式對結果進行記錄和展示。現階段一個成熟的互聯網網站，其頁面通常包括導航欄、正文標題、正文內容、相關鏈接、推廣信息、版權公告等。而在這些內容中，真正吸引用戶的是正文標題和正文內容，也就是切合用戶需求的主體信息。在獲取網絡信息的過程中盡量獲得這些主體內容，對其他次要信息進行選擇性忽略正是網頁信息抽取及預處理技術重要的功能。

2 輿情監(jiān)測網絡爬蟲技術簡介

作為當前重要的互聯網信息采集技術，網絡爬蟲（We-bCrawler）技術在實際應用中收到了較好的效果。當前各領域構件的輿情采集系統(tǒng)中廣泛采用的是Heritrix網絡爬蟲，這一開源程序允許用戶的自主修改移植。Heritrix主要有三大部件：范圍部件、邊界部件、處理器鏈。其中，范圍部件控制抓取的URL入隊過程；邊界部件則對選定的URL的收集情況進行監(jiān)測，進而選擇下一個URL，排除已處理URL；處理器鏈則可視為URL處理器，其工作結果會反饋給邊界部件。

網絡爬蟲的工作流程是從未訪問URL隊列中選取目標并開始爬行，通過URL的指向作用，引導程序識別目標網頁，通過事先認可的網絡協(xié)議將網頁內容爬取抽取出來，然后解析內容其中包括目標網頁內的新URL，并將這部分URL添加進未訪問列表，完成爬取后獲取的內容存放到本地網頁庫內。

3 提高網絡爬蟲在輿情監(jiān)測應用水平的措施

網絡爬蟲的本質是能夠使實現網絡信息自動提取代碼程序，是網絡搜索引擎功能的主要實現手段。網絡爬蟲包括通用爬蟲和面向主題爬蟲兩種，當前網絡輿情監(jiān)測使用的面向主題網絡爬蟲程序，會通過網頁分析算法對非設定主題鏈接進行排除過濾，提高了搜索的精確性。當前，網絡輿情監(jiān)測中的面向主題爬蟲技術的主要研究對象的行業(yè)領域的URL搜索策略問題。

3.1 改善爬蟲網絡利用率的解決方案

網絡爬蟲的利用率是當下輿情監(jiān)測工作的重要限制因素，高效的爬蟲利用能夠更為便捷地獲得全面而準確的信息。

為了準確掌握爬蟲工作的效率，我們在爬蟲中加入測速的方法，對爬蟲抓取速度進行監(jiān)測和工作特征數據進行分析。根據監(jiān)測結果，在抓取速度較慢的階段，采取相應措施進行修正，保證程序對網路資源的高效利用。這一解決方案的具體實現步驟如下：

（1）爬蟲抓取速度監(jiān)控。抓取速度是進行衡量信息獲取水平的重要衡量因素，影響爬蟲的網頁抓取速度主要有兩個因素，分別是抓取頁面的大小和抓取這些頁面所耗費的時間。因而，可以根據基本的換算關系定義網絡爬蟲抓取速度B：B=PT，式中：T為爬蟲進行抓取的時間間隔；P代表該時間間隔內抓取頁面的大小。

（2）爬行策略更改。40%正常水平的抓取速度是十分低效的，這時必須采取相應的措施進行解決。常見的措施主要包括：減少爬蟲的線程數；暫停當前爬蟲的運行，選擇適當的時間繼續(xù)爬行；更換爬行網站。

3.2 改善爬蟲主題覆蓋率的解決方案

當前的社會熱點層出不窮，具有一定的突然性，同時在人們的討論和交流中會進一步發(fā)酵，產生的信息量很大。為了保證網絡輿情監(jiān)測工作的順利進行，就要求爬蟲程序具有較高的抓取的覆蓋率。另外，在進行網頁內容的抓取過程中，爬蟲程序需要執(zhí)行網頁與主題相關度的計算，會影響爬行速度。所以在進行網絡爬蟲抓取優(yōu)化時，通常會使用在傳統(tǒng)爬蟲中加入主題更改模塊的形式，即保證了抓取速度的同時也提高了主題覆蓋率。

3.3 系統(tǒng)設計與測試

通過以上分析可知，提高爬蟲系統(tǒng)工作效率的關鍵是在其內部添加測速模塊和主體更改模塊，由此可完成設計方案的優(yōu)化。該爬蟲在傳統(tǒng)爬蟲的基礎上添加了爬蟲測速模塊和主題更改模塊。

4 結束語

網絡爬蟲技術是當前輿情監(jiān)測系統(tǒng)中使用的重要技術，在網頁內容獲取方面發(fā)揮了重要作用。限制這一技術進一步發(fā)揮作用的主要原因是爬蟲程序的網絡資源利用率的問題。同時，網絡輿情監(jiān)測檢索突發(fā)性和大數據性特征，要求爬蟲抓取信息的過程更為迅速，主體覆蓋面也要更廣。本文通過在傳統(tǒng)爬蟲中加入了爬蟲測速監(jiān)控模塊和主題更改模塊的形式，進行了抓取速度和覆蓋率的監(jiān)測實驗，其結果表明，這一優(yōu)化方案有效提高了爬蟲程序的執(zhí)行效率和信息獲得的全面性，是一種值得認可的檢索技術。

參考文獻：

[1]王桂梅.主題網絡爬蟲關鍵技術研究[D].哈爾濱工業(yè)大學，2009.

[2]周巍巍.網絡爬蟲網頁庫智能更新策略分析與研究[J].電腦知識與技術，2010（31）.

作者單位：湖南民族職業(yè)學院，湖南岳陽 414000