楊成龍，李德識，2

（1.武漢大學(xué) 電子信息學(xué)院，湖北 武漢430072；2.武漢大學(xué) 深圳研究院，廣東 深圳518000）

0 引 言

隨著物聯(lián)網(wǎng)的快速發(fā)展和不斷普及，海量的傳感器實(shí)體被連接到物聯(lián)網(wǎng)中［1］。如何從數(shù)量眾多的傳感器實(shí)體中快速找到滿足用戶需求的傳感器實(shí)體并友好展示給用戶成為巨大難題。傳統(tǒng)通用搜索引擎對此能夠提供部分傳感器實(shí)體的檢索服務(wù)，但是由于傳統(tǒng)通用搜索引擎在內(nèi)容覆蓋上的全面性，搜索得到的結(jié)果中會包含許多無關(guān)的信息，干擾用戶的搜索。此外，傳統(tǒng)通用搜索引擎具有商業(yè)性，它們一般都具有獨(dú)特的排序算法，比如Google的PageRank排序算法和百度的競價排序算法等，這些算法不能夠考慮到傳感器實(shí)體的特殊屬性，例如時空性。

為此，本文設(shè)計并實(shí)現(xiàn)了面向物聯(lián)網(wǎng)的傳感器實(shí)體搜索系統(tǒng)。該系統(tǒng)由信息采集、信息處理、檢索服務(wù)和結(jié)果展示4個部分組成。針對傳統(tǒng)通用搜索引擎內(nèi)容上的部分無關(guān)性，該系統(tǒng)設(shè)計了一種網(wǎng)絡(luò)爬蟲在互聯(lián)網(wǎng)上有針對性地抓取傳感器實(shí)體資源。通過對網(wǎng)頁進(jìn)行多個傳感器實(shí)體屬性的正則匹配，只有匹配成功的網(wǎng)頁才被判定為傳感器實(shí)體資源，使系統(tǒng)減少了一些無關(guān)信息；針對傳統(tǒng)通用搜索引擎排序算法上的不足，本文結(jié)合Lucene評分機(jī)制［2］和傳感器實(shí)體的地理位置屬性，提出一種基于距離的傳感器排序算法，提高系統(tǒng)的檢索效率。此外，該系統(tǒng)結(jié)合Google Maps API［3］將排序后的檢索結(jié)果以標(biāo)記的形式直觀地顯示在Google地圖上，提升了系統(tǒng)的用戶體驗(yàn)。

1 系統(tǒng)總體設(shè)計

1.1 系統(tǒng)架構(gòu)

本系統(tǒng)遵循瀏覽器／服務(wù)器 （browser／server，BS）體系結(jié)構(gòu)設(shè)計，主要由瀏覽器、Web 服務(wù)器、Google Maps服務(wù)器以及索引數(shù)據(jù)庫等組成。系統(tǒng)的體系結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)體系結(jié)構(gòu)

（1）瀏覽器：用戶可以在網(wǎng)頁上輸入關(guān)鍵詞查詢傳感器實(shí)體資源，服務(wù)器返回的結(jié)果會結(jié)合Google Maps一起呈現(xiàn)給用戶。當(dāng)用戶點(diǎn)擊地圖上的傳感器標(biāo)記時，瀏覽器會顯示包含傳感器實(shí)時信息的地圖信息。

（2）Google Maps服務(wù)器：用戶無需建立自己的地圖信息服務(wù)器，通過Google Maps服務(wù)器從Google Maps地理信息存儲數(shù)據(jù)庫中直接獲取地圖信息。

（3）Web服務(wù)器：接收到用戶的請求后，對其解析，并到索引數(shù)據(jù)庫中進(jìn)行匹配，提取匹配的數(shù)據(jù)返回給用戶。

（4）索引數(shù)據(jù)庫：以倒排索引的形式存儲從互聯(lián)網(wǎng)上抓取得到的傳感器實(shí)體資源。本系統(tǒng)使用構(gòu)建于Lucene［4］之上的Compass［5］搜索引擎框架創(chuàng)建傳感器實(shí)體資源的索引數(shù)據(jù)庫。

1.2 系統(tǒng)功能

本系統(tǒng)主要由信息采集、信息處理、檢索服務(wù)和結(jié)果展示4個功能模塊組成。系統(tǒng)的功能結(jié)構(gòu)如圖2所示。

信息采集模塊：對互聯(lián)網(wǎng)上的傳感器實(shí)體資源進(jìn)行抓取，并將抓取到的傳感器實(shí)體信息 （名稱、數(shù)據(jù)、地理位置和描述等）存儲到原始數(shù)據(jù)庫中。

信息處理模塊：對本地存儲的傳感器實(shí)體信息進(jìn)行預(yù)處理 （中文分詞、索引建立等），得到傳感器實(shí)體資源的索引數(shù)據(jù)庫。

圖2 系統(tǒng)功能結(jié)構(gòu)

檢索服務(wù)模塊：接收用戶的查詢，在索引數(shù)據(jù)庫中進(jìn)行檢索，將結(jié)果經(jīng)排序返回給查詢用戶。本文設(shè)計一種基于距離的傳感器排序算法。

結(jié)果展示模塊：將檢索得到的傳感器的集合結(jié)合Google地圖一同呈現(xiàn)給用戶。

2 基于距離的傳感器排序算法

傳統(tǒng)通用搜索引擎采用的排序算法主要有詞頻位置加權(quán)排序法、Direct Hit算法、PageRank 算法［6］等。但是，這些算法主要從網(wǎng)頁內(nèi)容或者超鏈接等方面分析，不適合于傳感器實(shí)體資源的搜索。一般情況下，傳感器具有明確的地理位置特征，并且通常是以經(jīng)緯度的形式表示。因此，本文提出一種基于距離的傳感器排序算法。根據(jù)兩個傳感器的地理位置可以計算出它們之間的距離。當(dāng)存在多個傳感器時，就可以對多個傳感器之間的距離進(jìn)行排序。

利用經(jīng)緯度計算A、B兩點(diǎn)之間的距離如式 （1）所示

式中：S——A、B兩點(diǎn)的距離，單位為千米，lat1——A 點(diǎn)經(jīng)緯度，lat2——B點(diǎn)經(jīng)緯度，dLat——A、B 兩點(diǎn)緯度差，dLng——A、B兩點(diǎn)經(jīng)度差，R——地球半徑。R 的近似值是6371km。

當(dāng)對多個傳感器進(jìn)行距離排序時，需要選取其中的某一個特定的傳感器作為參照物。按照檢索系統(tǒng)的準(zhǔn)確性和快速性要求，要選取的參照物即是與用戶查詢詞相關(guān)度最高的傳感器實(shí)體。Lucene評分機(jī)制組合使用信息檢索的向量空間模型和布爾模型，并綜合考慮詞頻 （tf（t in d））、倒排詞頻 （idf2（t））、域或文檔的加權(quán)boost（t.field in d）、域的歸一化值lengthNorm（t.field in d）、協(xié)調(diào)因子coord（q，d）和每個查詢的歸一化值queryNorm（q）等因素，計算得出每一個查詢詞匹配每一個文檔的得分［7］。Lucene的評分計算如式 （2）所示

設(shè)想利用Lucene的評分機(jī)制將用戶的查詢詞匹配每一個傳感器實(shí)體資源，那么將得到一個傳感器實(shí)體資源得分的集合。每一個得分代表每個傳感器實(shí)體與用戶查詢詞匹配的相關(guān)程度，因此可以將Lucene評分最高的傳感器作為參照物。

基于距離的傳感器排序算法如圖3 所示，具體步驟如下：

步驟1 根據(jù)用戶輸入的查詢關(guān)鍵詞，按照Lucene的評分機(jī)制，得到一個初步的排序結(jié)果集；

步驟2 選取初步排序結(jié)果集的第一個傳感器作為參照物；

步驟3 取結(jié)果集中下一個傳感器，計算它與參照物的距離；

步驟4 為傳感器和距離建立映射關(guān)系；

步驟5 重復(fù)步驟3和步驟4直至結(jié)果集中所有傳感器被全部取完；

步驟6 對所有的距離從小到大進(jìn)行排序；

步驟7 根據(jù)傳感器和距離的映射關(guān)系，得到按照距離排序后的傳感器集合。

圖3 基于距離的傳感器排序算法

3 系統(tǒng)具體實(shí)現(xiàn)

3.1 信息采集

信息采集模塊是整個系統(tǒng)的數(shù)據(jù)基礎(chǔ)，系統(tǒng)的數(shù)據(jù)主要包括各種傳感器 （如溫度傳感器、濕度傳感器、圖像傳感器等）的名稱、數(shù)值、地理位置信息和描述信息等數(shù)據(jù)。本系統(tǒng)的數(shù)據(jù)是運(yùn)用多線程技術(shù)創(chuàng)建多個網(wǎng)絡(luò)爬蟲在互聯(lián)網(wǎng)上有針對性地抓取傳感器實(shí)體資源得到的。

本系統(tǒng)需要大量的傳感器數(shù)據(jù)作為系統(tǒng)的數(shù)據(jù)來源。當(dāng)采用一般的單線程技術(shù)時，系統(tǒng)僅僅只創(chuàng)建了一個網(wǎng)絡(luò)爬蟲對互聯(lián)網(wǎng)上的傳感器實(shí)體資源進(jìn)行抓取。如果在抓取當(dāng)前網(wǎng)頁過程中發(fā)生數(shù)據(jù)傳輸緩慢或者網(wǎng)絡(luò)異常的情況，網(wǎng)絡(luò)爬蟲需要一直等待直至當(dāng)前網(wǎng)頁被完全抓取完畢后才能去抓取下一個網(wǎng)頁。運(yùn)用多線程技術(shù)則不同，它可以創(chuàng)建多個網(wǎng)絡(luò)爬蟲同時抓取不同的網(wǎng)頁，大大減少了系統(tǒng)信息采集所消耗的時間，有效提高了系統(tǒng)的性能。

傳統(tǒng)通用搜索引擎為了保證自身資源的全面性，它們的網(wǎng)絡(luò)爬蟲往往會抓取互聯(lián)網(wǎng)上出現(xiàn)的文本、音頻、視頻等任何可以抓取的資源。而本系統(tǒng)設(shè)計的網(wǎng)絡(luò)爬蟲抓取的策略是：先通過人工干預(yù)的方式得到一些與傳感器相關(guān)的物聯(lián)網(wǎng)開放平臺網(wǎng)站的統(tǒng)一資源定位符 （uniform resource locator，URL）集合，并將其作為網(wǎng)絡(luò)爬蟲的起始抓取地址，然后按照寬度優(yōu)先遍歷 （breadth first search，BFS）的策略抓取和分析每一個URL對應(yīng)的頁面。其中，遍歷過程遵循一個原則：對每一個網(wǎng)頁進(jìn)行內(nèi)容解析，采用傳感器實(shí)體屬性進(jìn)行正則匹配的方法判定該網(wǎng)頁是否代表一個傳感器實(shí)體。傳感器實(shí)體的屬性包括名稱、數(shù)據(jù)、地理位置和描述等。當(dāng)判定為真時，則對該傳感器實(shí)體進(jìn)行結(jié)構(gòu)化信息提取，并通過Java數(shù)據(jù)庫連接技術(shù) （Java database connectivity，JDBC）將提取的信息存儲到數(shù)據(jù)庫中；否則，丟棄此URL。

3.2 信息處理

信息處理模塊負(fù)責(zé)對本地存儲的傳感器實(shí)體信息進(jìn)行預(yù)處理，得到傳感器實(shí)體資源的索引數(shù)據(jù)庫。它由中文分詞和索引建立兩個子模塊組成。中文分詞用于對信息采集模塊抓取的信息按照中文詞典進(jìn)行分詞；索引建立則是以倒排索引的形式組織存放的數(shù)據(jù)文件，從而提高檢索的速度。

在實(shí)現(xiàn)中，中文分詞和索引建立兩個部分都是通過搜索引擎框架Compass來實(shí)現(xiàn)的。利用Compass實(shí)現(xiàn)的方式一般有配置文件實(shí)現(xiàn)和代碼實(shí)現(xiàn)兩種［8］。本系統(tǒng)采用的是代碼實(shí)現(xiàn)。中文分詞子模塊將庖丁解牛分詞器集成到Compass上，索引建立子模塊則是使用注解的方式為傳感器實(shí)體類建立索引。

3.3 檢索服務(wù)

檢索服務(wù)模塊主要是為用戶提供傳感器實(shí)體資源的查詢檢索的功能。檢索的過程類似于傳統(tǒng)通用搜索引擎：首先用戶輸入查詢條件，經(jīng)過中文分詞，轉(zhuǎn)換為關(guān)鍵詞；接著在索引數(shù)據(jù)庫中尋找于關(guān)鍵詞匹配的傳感器實(shí)體；然后通過對檢索結(jié)果進(jìn)行排序。最后，將排在最前面的傳感器實(shí)體顯示給用戶。與傳統(tǒng)通用搜索引擎不同的是，本系統(tǒng)采用的是結(jié)合Lucene評分機(jī)制和地理位置信息設(shè)計的一種基于距離的傳感器排序算法。該算法主要通過Java語言的集合類List和Map實(shí)現(xiàn)，實(shí)現(xiàn)的關(guān)鍵代碼如下：

3.4 結(jié)果展示

傳統(tǒng)通用搜索引擎通常以一種靜態(tài)羅列的形式展示檢索結(jié)果。為提高動態(tài)性，本系統(tǒng)利用Google Maps API將檢索結(jié)果以標(biāo)記的形式直觀地顯示在Google地圖上［9］。同時，為提高系統(tǒng)的實(shí)時性，本系統(tǒng)利用AJAX 的異步刷新機(jī)制［10］，為用戶提供一個可以獲取實(shí)時數(shù)據(jù)的接口。該模塊主要由實(shí)體定位、動態(tài)展示和實(shí)時更新3個子模塊組成。

（1）實(shí)體定位

利用Google Maps API中標(biāo)記類Marker創(chuàng)建一個標(biāo)記對象marker，結(jié)合傳感器實(shí)體的經(jīng)緯度坐標(biāo)，通過對標(biāo)記所在地圖、標(biāo)記所在位置、標(biāo)記樣式和標(biāo)記出現(xiàn)的動畫效果等參數(shù)的設(shè)置實(shí)現(xiàn)在Google地圖上定位傳感器實(shí)體的功能。

（2）動態(tài)展示

利用Google Maps API中信息框類InfoWindow創(chuàng)建一個信息框?qū)ο骾nfoWindow。該對象有content和position兩個參數(shù)需要設(shè)置。content是由從服務(wù)器端獲取的傳感器數(shù)據(jù)和一些HTML標(biāo)簽拼接而成的網(wǎng)頁源代碼，position是信息框顯示的位置。由于信息框是通過點(diǎn)擊事件觸發(fā)生成的，故將信息框與實(shí)體定位子模塊的標(biāo)記進(jìn)行綁定。一旦點(diǎn)擊了標(biāo)記，該標(biāo)記對應(yīng)的傳感器實(shí)體的信息框?qū)⒓磸棾觥?/p>

（3）實(shí)時更新

客戶端利用AJAX 技術(shù)通過創(chuàng)建一個XMLHttpRequest對象XHR 向Web服務(wù)器發(fā)出異步請求，服務(wù)器根據(jù)URL重新抓取傳感器實(shí)體的實(shí)時數(shù)據(jù)，并將實(shí)時數(shù)據(jù)通過XHR 對象的responseText或者responseXML 屬性返回給客戶端，然后用JavaScript來操作DOM 以更新信息框中傳感器的實(shí)時數(shù)據(jù)。

4 系統(tǒng)測試

本實(shí)驗(yàn)在JDK1.6、Tomcat6.0的軟件平臺和Pentium Dual－Core CPU E5300 （2.6GHz）、2GB 內(nèi)存的 硬件平臺下，針對不同搜索引擎 （Google、本系統(tǒng)），選取了出現(xiàn)頻率相對較高的關(guān)鍵詞進(jìn)行檢索，并且選取了各自前2 頁（每頁顯示10條，共20條結(jié)果）的檢索結(jié)果作比較。不同搜索引擎檢索結(jié)果比較見表1，其中，有效數(shù)是通過主觀判斷的方式認(rèn)為是傳感器實(shí)體資源的數(shù)目。

表1 不同搜索引擎檢索結(jié)果比較

從表1可以看出，Google對傳感器實(shí)體資源的檢索結(jié)果的準(zhǔn)確率大部分只有15%～40%，而本系統(tǒng)基本達(dá)到了80%以上的準(zhǔn)確率。同時，Google的檢索結(jié)果都超過了20條。這是因?yàn)镚oogle返回的結(jié)果集中包含了關(guān)于傳感器的商品買賣信息和各式各樣的推廣信息，而本系統(tǒng)的檢索結(jié)果等于甚至少于20條，這是因?yàn)榛趯υ夹畔⒌淖ト】刂?，保證了返回的每條結(jié)果都盡量是傳感器實(shí)體資源，具有較高的結(jié)果準(zhǔn)確性。

檢索關(guān)鍵詞 “temperature”的結(jié)果如圖4 所示，每頁顯示10條結(jié)果，按照距離從小到大排序。結(jié)果上方顯示檢索的結(jié)果數(shù)量，左側(cè)以標(biāo)記的形式在Google地圖上顯示所有的傳感器實(shí)體資源，當(dāng)鼠標(biāo)移動到結(jié)果條目上時左側(cè)地圖上的標(biāo)記將會高亮顯示。點(diǎn)擊左側(cè)地圖上的標(biāo)記則會彈出一個信息框顯示該標(biāo)記對應(yīng)的傳感器實(shí)體的名稱、數(shù)據(jù)、地理位置和描述等信息。在彈出的信息框中有一個名為 “Get Realtime Value”的接口，點(diǎn)擊此接口即可得到該傳感器的實(shí)時數(shù)據(jù)而不用刷新整個網(wǎng)頁，有效提升了用戶的體驗(yàn)。

5 結(jié)束語

圖4 檢索結(jié)果

本文針對傳統(tǒng)通用搜索引擎對物聯(lián)網(wǎng)中傳感器實(shí)體資源檢索困難的問題，設(shè)計并實(shí)現(xiàn)了面向物聯(lián)網(wǎng)的傳感器實(shí)體搜索系統(tǒng)，具體實(shí)現(xiàn)了信息采集、信息處理、檢索服務(wù)和結(jié)果展示等功能模塊。系統(tǒng)采用對一個網(wǎng)頁進(jìn)行多個傳感器實(shí)體屬性的正則匹配的方法，判定一個網(wǎng)頁是否代表一個傳感器實(shí)體；結(jié)合Lucene評分機(jī)制和傳感器實(shí)體的地理位置屬性，提出一種基于距離的傳感器排序算法；利用Google Maps API和AJAX 技術(shù)，分別實(shí)現(xiàn)傳感器實(shí)體信息的動態(tài)展示和數(shù)據(jù)的實(shí)時更新。實(shí)驗(yàn)結(jié)果表明，相對于傳統(tǒng)通用搜索引擎，本系統(tǒng)提高了傳感器實(shí)體檢索的準(zhǔn)確率，同時具有較好的用戶體驗(yàn)。隨著物聯(lián)網(wǎng)的快速發(fā)展和不斷普及，越來越多的傳感器實(shí)體將被連接到物聯(lián)網(wǎng)中，物聯(lián)網(wǎng)中不同傳感器之間協(xié)同工作的要求也隨之越來越多，本系統(tǒng)將具有十分廣闊的應(yīng)用前景。

［1］Evans Dave.The internet of things how the next evolution of the internet is changing everything ［R］.CISCO White Paper，2011.

［2］WU Jieming，JI Dandan，HAN Yunhui.Research and design of vertical search engine for DCI based on Web ［J］.Computer Engineering and Design，2013，34 （4）：1481－1487 （in Chinese）.［吳潔明，冀單單，韓云輝.基于Web的DCI垂直搜索引擎的研究與設(shè)計 ［J］.計算機(jī)工程與設(shè)計，2013，34（4）：1481－1487.］

［3］Shinji Kobayashi，Tetsushi Fujioka，Yuji Tanaka，et al.A geographical information system using the Google Map API for guidance to referral hospitals［J］.Journal of Medical Systems，2010，34 （6）：1157－1160.

［4］ZHANG Jun，LI Luqun，ZHOU Rong.Research and application of search engine based on Lucene ［J］.Computer Technology and Development，2013，23 （6）：230－232 （in Chinese）.［張俊，李魯群，周熔.基于Lucene的搜索引擎的研究與應(yīng)用［J］.計算機(jī)技術(shù)與發(fā)展，2013，23 （6）：230－232.］

［5］TAO Zhenwei，ZHOU Yucheng.Design and implementation of advanced search system based on the Compass framework［J］.Journal of Chongqing University of Technology （Natural Science），2011，25 （8）：66－70 （in Chinese）. ［陶鎮(zhèn)威，周雨程.基于Compass框架的高級搜索系統(tǒng)的設(shè)計與實(shí)現(xiàn) ［J］.重慶理工大學(xué)學(xué)報 （自然科學(xué)版），2011，25 （8）：66－70.］

［6］ZHANG Xian，ZHOU Ya.Improvement of an algorithm for ranking pages based on Lucene［J］.Computer System ＆ Application，2009，18 （2）：155－158 （in Chinese）. ［張賢，周婭.基于Lucene網(wǎng)頁排序算法的改進(jìn) ［J］.計算機(jī)系統(tǒng)應(yīng)用，2009，18 （2）：155－158.］

［7］RUAN Shufen.Research and improvement of full－text retrieval sorting algorithm based on Lucene［J］.Journal of Wuhan Textile University，2013，26 （6）：84－87 （in Chinese）. ［阮 曙芬.基于Lucene的全文搜索排序算法的研究與改進(jìn) ［J］.武漢紡織大學(xué)學(xué)報，2013，26 （6）：84－87.］

［8］LEI Qiang，LI Xueshan.Implementation for site search engine of railway science and research management information system［J］.Railway Computer Application，2012，21 （3）：26－29（in Chinese）.［雷強(qiáng)，李雪山.基于Compass的鐵路科研管理信息系統(tǒng)站內(nèi)搜索引擎的實(shí)現(xiàn) ［J］.鐵路計算機(jī)應(yīng)用，2012，21 （3）：26－29.］

［9］FU Weiping，GUO Jianwen，LIU Peng.A vectorization Web platform based on Google Maps API［J］.Remote Sensing Technology and Application，2011，26 （6）：863－867 （in Chinese）. ［付衛(wèi)平，郭建文，劉鵬.基于Google Maps API的矢量化Web平臺［J］.遙感技術(shù)與應(yīng)用，2011，26 （6）：863－867.］

［10］TANG Guiwen，TAN Yantao.Research on development of Web GIS based on AJAX and Google Maps API［J］.Geomatics ＆Spatial Information Technology，2013，36 （8）：8－11（in Chinese）.［唐桂文，譚衍濤.基于AJAX 和Google Maps API的Web GIS開發(fā)研究 ［J］.測繪與空間地理信息，2013，36 （8）：8－11.］