李鵬程

（鐵道警察學(xué)院 河南 450053）

0 引言

美國(guó)前總統(tǒng)杜魯門曾說：“美國(guó)有95%的秘密情報(bào)，都在報(bào)紙和其他刊物上發(fā)表過”。美國(guó)中央情報(bào)局 80% 的情報(bào)來源于公開材料，由此可見公共情報(bào)信息的重要性。公共情報(bào)信息主要類型有：報(bào)刊、圖書、地圖、聲像資料、互聯(lián)網(wǎng)資料、照片、實(shí)物等。而互聯(lián)網(wǎng)又是其中更新最快，內(nèi)容最豐富的信息載體。對(duì)于公安機(jī)關(guān)，互聯(lián)網(wǎng)的有效信息源主要包括：普通Web站點(diǎn)；網(wǎng)絡(luò)社區(qū)，BBS論壇，博客網(wǎng)站，網(wǎng)絡(luò)聊天室和新聞?dòng)懻摻M等互動(dòng)媒體；MSN，QQ，E-mail等即時(shí)通訊工具；網(wǎng)絡(luò)數(shù)據(jù)庫(kù)等。如何對(duì)這些互聯(lián)網(wǎng)情報(bào)信息進(jìn)行有效的搜集成為公安情報(bào)工作的重點(diǎn)。

1 互聯(lián)網(wǎng)公共情報(bào)搜集的方式

現(xiàn)有的進(jìn)行互聯(lián)網(wǎng)公共情報(bào)搜集的方式主要有一下幾種：

1.1 通過人工瀏覽及對(duì)固定網(wǎng)站監(jiān)控

對(duì)于一些BBS論壇，博客網(wǎng)站及聊天室信息，屬于通用搜索引擎（谷歌，百度，雅虎等）不容易搜索到的網(wǎng)絡(luò)信息，這樣的互聯(lián)網(wǎng)信息通過人工瀏覽的方式進(jìn)行搜集和整理。對(duì)于基層的派出所和信息化程度不高的公安機(jī)關(guān)通過專人對(duì)所在轄區(qū)的論壇版塊和聊天室視頻信息等進(jìn)行查閱和收集整理。

1.2 通過通用搜索引擎進(jìn)行搜集和整理

對(duì)于專題情報(bào)和固定的網(wǎng)絡(luò)信息搜集采用通用搜索引擎進(jìn)行搜集和整理，如網(wǎng)絡(luò)群體性事件預(yù)防，為積極預(yù)防群體性事件的發(fā)生，公安機(jī)關(guān)針對(duì)網(wǎng)絡(luò)上可能引發(fā)群體性事件的社會(huì)矛盾輿情動(dòng)態(tài)以及可能參與群體性事件的重點(diǎn)人群常登陸網(wǎng)站做好情報(bào)信息的系統(tǒng)收集工作。通過搜索引擎對(duì)固定詞匯和事件進(jìn)行搜索，對(duì)群體性事件的發(fā)展做出應(yīng)有的判斷。

1.3 通過定制搜索引擎對(duì)網(wǎng)絡(luò)信息進(jìn)行下載分析分類

公安機(jī)關(guān)情報(bào)部門根據(jù)自身的需要，自己定制開發(fā)搜索引擎，通過它可以快速獲取大量感興趣的網(wǎng)頁(yè)資料，從而及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)上存在的符合公安情報(bào)收集需求和信息。再通過信息過濾技術(shù)從“信息過載”的動(dòng)態(tài)信息流中抽取中符合公安機(jī)關(guān)個(gè)性化需求的信息，使用Web挖掘技術(shù)分析出信息數(shù)據(jù)所呈現(xiàn)的規(guī)律，及時(shí)發(fā)現(xiàn)敏感的虛擬網(wǎng)絡(luò)團(tuán)體，分析其目的、行為、特征、趨勢(shì)等。

搜索引擎是現(xiàn)有的對(duì)互聯(lián)網(wǎng)信息搜索的最有效的方式，但是隨著網(wǎng)絡(luò)信息的增長(zhǎng)，通用的搜索引擎（谷歌，百度，雅虎等）用于公開情報(bào)信息的搜集的缺陷日益凸顯，傳統(tǒng)的安排專人使用通用搜索引擎對(duì)網(wǎng)絡(luò)信息進(jìn)行搜集的方式不但消耗人力，而且出現(xiàn)信息不全面，準(zhǔn)確度不高，實(shí)時(shí)性差的問題。而公安輿情信息匯集的基本要求是快、準(zhǔn)、全，即搜集對(duì)公安機(jī)關(guān)及其相關(guān)輿情信息要及時(shí)，早發(fā)現(xiàn)、早收集，注重時(shí)效性；反映和搜集的問題要準(zhǔn)，真實(shí)可靠，匯集信息全面。所以采用定制搜索引擎對(duì)網(wǎng)絡(luò)信息進(jìn)行搜集成為現(xiàn)代網(wǎng)絡(luò)公共信息搜集的大趨勢(shì)。

圖1 搜索引擎原理圖

2 開源搜索引擎的原理及現(xiàn)狀

開源搜索引擎是一個(gè)軟件系統(tǒng)，傳統(tǒng)網(wǎng)絡(luò)用戶所使用的搜索引擎（百度，谷歌等）只是整個(gè)搜索引擎軟件系統(tǒng)面向用戶的一個(gè)應(yīng)用，搜索引擎應(yīng)該包括爬蟲系統(tǒng)、網(wǎng)頁(yè)抽取及文本分類系統(tǒng)、索引分類及數(shù)據(jù)處理系統(tǒng)、數(shù)據(jù)存儲(chǔ)系統(tǒng)、面向管理員和用戶的交互系統(tǒng)。各個(gè)系統(tǒng)之間的關(guān)系如圖1所示。

開源搜索引擎為源代碼開放的搜索引擎，編程愛好者們根據(jù)搜索引擎的工作原理開發(fā)的適合不同搜索需求的引擎系統(tǒng)，特點(diǎn)是：免費(fèi)使用；可以修改定制源碼以定制自己所需要的功能；開發(fā)快捷，方便；開源搜索引擎的原理和通用搜索引擎是相同的，但是通用搜索引擎存在著功能限制和實(shí)時(shí)性差，搜索信息不準(zhǔn)確的問題，這些都可以通過對(duì)開源搜索引擎的定制解決。

現(xiàn)有主流的開源搜索引擎主要有：基于 JAVA語(yǔ)言的Nutch，Lucence，MG4J，Heritrix，基于PHP語(yǔ)言的Sphider，PhpDig，OpenWebSpider等。其中 Nutch，Heritrix和 Sphider為編程人員比較常用的開源搜索引擎，可以查閱的資料和文檔相對(duì)豐富，以上這些搜索引擎的配置并不需要很深的計(jì)算機(jī)知識(shí)，筆者對(duì)Heritrix，Sphider和PhpDig分別進(jìn)行和配置測(cè)試，其安裝和使用都比較簡(jiǎn)單，對(duì)計(jì)算機(jī)操作熟練的人即可配置安裝。對(duì)于不同的開源搜索引擎其用途和功能有所差別，黃翼彪等對(duì)其進(jìn)行了詳細(xì)的比較和研究。

3 定制搜索引擎在情報(bào)中的應(yīng)用

趙蓉英等提出了基于Nutch的圖情博客搜索引擎，采用控制信息采集更新網(wǎng)站范圍的方法構(gòu)建搜索引擎，對(duì)Nutch 系統(tǒng)中的爬蟲下載模塊制定合理的抓取策略；對(duì)Nutch 系統(tǒng)的檢索模塊進(jìn)行優(yōu)化和改進(jìn)。共改進(jìn)了主題資源發(fā)現(xiàn)模塊、爬蟲模塊和檢索模塊。

葛敏提出網(wǎng)絡(luò)公開軍事情報(bào)的搜集需要充分利用智能搜索引擎信息自動(dòng)推送隱含數(shù)據(jù)挖掘、敏感詞匯過濾、海量數(shù)據(jù)管理等信息技術(shù)手段。網(wǎng)絡(luò)公開軍事情報(bào)搜集對(duì)科學(xué)技術(shù)的依賴程度大大增加，成為科技武裝下的情報(bào)活動(dòng)。

沈振萍等提出了新浪微博的競(jìng)爭(zhēng)情報(bào)搜集研究，其中采用新浪開放API應(yīng)用和新浪微博搜索引擎進(jìn)行定制搜索，及時(shí)、準(zhǔn)確的方式掌握用戶及用戶微博信息。通過地域分布、性別認(rèn)證比例、粉絲活躍度等指標(biāo)來對(duì)某個(gè)微博客帳號(hào)的關(guān)注者進(jìn)行統(tǒng)計(jì)分析，進(jìn)而對(duì)該帳號(hào)進(jìn)行分析評(píng)估，通過微博互相關(guān)注和粉絲屬性等分析微博用戶關(guān)系。

4 網(wǎng)絡(luò)信息的組織方式和開源搜索引擎的結(jié)合

互聯(lián)網(wǎng)是由多個(gè)網(wǎng)站組成，每個(gè)站點(diǎn)之間由超鏈接進(jìn)行關(guān)聯(lián)如圖2。

圖2 互聯(lián)網(wǎng)站點(diǎn)關(guān)系圖

每個(gè)站點(diǎn)通過瀏覽器訪問時(shí)，都可以通過超鏈接跳轉(zhuǎn)到其他站點(diǎn)上，這一點(diǎn)為搜索引擎對(duì)網(wǎng)頁(yè)的遍歷提供了基礎(chǔ)理論依據(jù)，當(dāng)搜索引擎的爬蟲從一個(gè)網(wǎng)站開始抓取頁(yè)面時(shí)，可以通過超鏈接遍歷整個(gè)互聯(lián)網(wǎng)上所有站點(diǎn)。單個(gè)站點(diǎn)的結(jié)構(gòu)如下圖3：

圖3 網(wǎng)站結(jié)構(gòu)圖

當(dāng)搜索引擎的爬蟲從一個(gè)頁(yè)面開始抓取時(shí)，可以通過站內(nèi)網(wǎng)頁(yè)間的超鏈接抓取關(guān)聯(lián)頁(yè)面，整個(gè)網(wǎng)站的結(jié)構(gòu)能夠保證爬蟲可以抓取整個(gè)站點(diǎn)的所有網(wǎng)頁(yè)。

筆者以 Sphider開源搜索引擎系統(tǒng)為例，通過圖 4介紹Sphider的基礎(chǔ)環(huán)境搭建和安裝配置。安裝搜索引擎系統(tǒng)的服務(wù)器配置如表1：

表1 服務(wù)器配置表

圖4 sphider安裝步驟

Sphider安裝完成后即可通過瀏覽器進(jìn)行訪問配置，安裝漢化版后訪問管理員控制面板頁(yè)面如截圖5：

圖5 sphider管理員控制面板

可以根據(jù)管理員控制面板中的提示開始對(duì)某個(gè)感興趣的網(wǎng)站進(jìn)行索引操作，待索引完成后可以在搜索頁(yè)面對(duì)需要的關(guān)鍵字進(jìn)行搜索。

5 開源搜索引擎對(duì)網(wǎng)絡(luò)公共信息的搜集

隨著計(jì)算機(jī)與互聯(lián)網(wǎng)技術(shù)的普及網(wǎng)絡(luò)技術(shù)門檻及成本越來越低，越來越多的政府機(jī)關(guān) 企事業(yè)單位和個(gè)人開始籌建網(wǎng)站或撰寫博客。截至2012年6月底，我國(guó)網(wǎng)民數(shù)量達(dá)到5.38億人，互聯(lián)網(wǎng)普及率已經(jīng)達(dá)到39.9%，網(wǎng)民規(guī)模世界第一位。2012年12月，中國(guó)網(wǎng)站數(shù)量為268萬，網(wǎng)頁(yè)數(shù)量為1227億個(gè)，均處于迅速遞增狀態(tài)。要全面監(jiān)測(cè)所有網(wǎng)站網(wǎng)頁(yè)信息是不現(xiàn)實(shí)的，因此要在了解全國(guó)性的主要Web網(wǎng)站、網(wǎng)絡(luò)論壇、討論組等網(wǎng)絡(luò)媒體的基礎(chǔ)上確定重點(diǎn)監(jiān)測(cè)對(duì)象。

根據(jù)開源搜索引擎的特點(diǎn)可以把重點(diǎn)監(jiān)測(cè)對(duì)象站點(diǎn)添加到搜索引擎索引列表中，搜索引擎會(huì)實(shí)時(shí)的把站點(diǎn)上所有的文本信息都下載，分類保存到數(shù)據(jù)庫(kù)中，當(dāng)需要對(duì)某個(gè)特點(diǎn)的事件進(jìn)行分析和監(jiān)控發(fā)展動(dòng)態(tài)時(shí)，可以先根據(jù)事件確定關(guān)鍵字，通過關(guān)鍵字在搜索引擎的搜索界面進(jìn)行搜索。搜索結(jié)果會(huì)把和關(guān)鍵字有關(guān)的所有的信息都反饋出來。用戶可以根據(jù)信息對(duì)事件進(jìn)行分析和研判。

和通用搜索引擎不同，當(dāng)重點(diǎn)監(jiān)測(cè)站點(diǎn)的信息一旦被搜索引擎索引后，站點(diǎn)中幾乎所有的文本信息都會(huì)保存在本地服務(wù)器上，可以根據(jù)公安機(jī)關(guān)的需要進(jìn)行數(shù)據(jù)挖掘操作，抽取出符合公安機(jī)關(guān)個(gè)性化需求的信息，分析出信息數(shù)據(jù)所呈現(xiàn)的規(guī)律。通用搜索引擎和開源搜索引擎對(duì)特定站點(diǎn)搜索的比較如下：

表2 通用搜索引擎和開源搜索引擎對(duì)特點(diǎn)站點(diǎn)搜索的比較

6 對(duì)基層情報(bào)搜集的作用

隨著公安信息化程度的提高，網(wǎng)絡(luò)公共信息情報(bào)被越來越重視，對(duì)網(wǎng)絡(luò)公共信息情報(bào)的搜集成為了新的研究方向，對(duì)于大型的情報(bào)中心，可以投入大量的人力物力進(jìn)行系統(tǒng)的研發(fā)對(duì)開源的搜索引擎進(jìn)行二次開發(fā)和定制，使其根據(jù)當(dāng)?shù)毓睬閳?bào)的需求進(jìn)行信息自動(dòng)化搜集和敏感信息自動(dòng)挖掘推送。對(duì)于基層的派出所和信息化投入不高的公安機(jī)關(guān)，情報(bào)人員可以安裝基本的開源搜索引擎，對(duì)需要監(jiān)控的網(wǎng)站進(jìn)行索引，不僅能減輕瀏覽和搜索的工作量，還能夠保存歷史信息，為以后的數(shù)據(jù)分析、事件關(guān)聯(lián)和跟蹤打下基礎(chǔ)。

[1]張玲，搜索引擎情報(bào)檢索功能視角分析. 現(xiàn)代情報(bào)，2003（08）.

[2]彭知輝，論公安情報(bào)的收集內(nèi)容與方式. 公安學(xué)刊（浙江警察學(xué)院學(xué)報(bào)），2012（2）：第42-45頁(yè).

[3]熊允發(fā)與吳紹忠，基于互聯(lián)網(wǎng)的公安情報(bào)收集技術(shù)研究.警察技術(shù)，2007（06）.

[4]劉正強(qiáng)，關(guān)于公安輿情信息機(jī)制建設(shè)的思考. 公安研究，2007（12）.

[5]黃翼彪與孫淑蘭，開源搜索引擎索引性能的比較研究. 圖書館學(xué)研究，2012（11）：第68-72頁(yè).

[6]趙蓉英與陳必坤，基于 Nutch的圖情博客搜索引擎的設(shè)計(jì)與實(shí)現(xiàn). 情報(bào)科學(xué)，2012（4）：第486-491頁(yè).

[7]葛敏，網(wǎng)絡(luò)公開軍事情報(bào)搜集的探索. 高校圖書館工作，2012（2）：第54-57+96頁(yè).

[8]沈振萍與謝陽(yáng)群，基于微博客的競(jìng)爭(zhēng)情報(bào)搜集研究：以新浪微博為例. 情報(bào)雜志，2012（5）：第29-35頁(yè).

[9]謝曉專，公安網(wǎng)絡(luò)輿情搜集機(jī)制研究：內(nèi)容與渠道建設(shè).吉林公安高等專科學(xué)校學(xué)報(bào)，2009（02）.