袁 賽, 陳能成, 肖長(zhǎng)江, 杜文英, 王 凱

(武漢大學(xué) 測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室, 武漢 430070)

存算分離的原位傳感器觀測(cè)接入方法①

袁 賽, 陳能成, 肖長(zhǎng)江, 杜文英, 王 凱

(武漢大學(xué) 測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室, 武漢 430070)

原位傳感器是智慧城市建設(shè)的重要數(shù)據(jù)來(lái)源, 其在城市資源協(xié)調(diào)、災(zāi)害預(yù)警、動(dòng)態(tài)監(jiān)測(cè)分析等領(lǐng)域發(fā)揮決定性作用. 當(dāng)前傳感器觀測(cè)接入方法未考慮傳感器數(shù)據(jù)的流式特征, 無(wú)統(tǒng)一的接入模型, 導(dǎo)致無(wú)法統(tǒng)一過(guò)濾特定時(shí)空?qǐng)鼍跋碌挠^測(cè)結(jié)果, 傳感器接入組件可復(fù)用性差. 本文提出一種存算分離的原位傳感器觀測(cè)接入方法, 以站點(diǎn)為中心的傳感器統(tǒng)一接入模型為基礎(chǔ), 將流式處理框架下的原位傳感器觀測(cè)接入過(guò)程分為數(shù)據(jù)獲取、觀測(cè)過(guò)濾與觀測(cè)存儲(chǔ)三個(gè)部分. 實(shí)驗(yàn)證明該方法能夠基于傳感器統(tǒng)一接入模型有效接入網(wǎng)絡(luò)結(jié)構(gòu)異構(gòu)的原位傳感器站點(diǎn), 并實(shí)現(xiàn)對(duì)多個(gè)原位傳感器觀測(cè)結(jié)果特定時(shí)間、空間場(chǎng)景下的屬性過(guò)濾.

原位傳感器; 觀測(cè)接入; 存算分離; 流式處理; 過(guò)濾

隨著地理空間傳感網(wǎng)[1]的不斷發(fā)展, 以度量值為觀測(cè)結(jié)果的標(biāo)量觀測(cè)原位傳感器不斷增多, 包括RFID傳感器、溫度、風(fēng)力、風(fēng)向傳感器等. 作為城市資源協(xié)調(diào)、災(zāi)害預(yù)警、動(dòng)態(tài)監(jiān)測(cè)分析的保障, 傳感器觀測(cè)數(shù)據(jù)的信息有效性是決策分析的關(guān)鍵. 因而研究原位傳感器觀測(cè)接入對(duì)動(dòng)態(tài)獲取原位傳感器觀測(cè)結(jié)果, 提高特定時(shí)空?qǐng)鼍跋碌挠^測(cè)質(zhì)量, 實(shí)時(shí)發(fā)布傳感器觀測(cè)服務(wù)具有重要作用.

開(kāi)放地理空間聯(lián)盟(Open Geospatial Consortium,OGC)在傳感網(wǎng)絡(luò)整合框架(Sensor Web Enablement,SWE)中提出了傳感器觀測(cè)服務(wù)(Sensor Observation Service, SOS)[2], 以傳感器建模語(yǔ)言(Sensor ModelLanguage, SensorML)[3]和觀測(cè)與測(cè)量(Observation and Measurement, O&M)[4]標(biāo)準(zhǔn)實(shí)現(xiàn)異構(gòu)傳感器規(guī)則觀測(cè)數(shù)據(jù)的存儲(chǔ)與發(fā)布, 而沒(méi)有規(guī)范底層傳感器數(shù)據(jù)流到SWE框架接入過(guò)程. 針對(duì)SWE框架下的傳感器觀測(cè)接入問(wèn)題, 當(dāng)前的主要解決思路是通過(guò)創(chuàng)建映射規(guī)則進(jìn)行協(xié)議轉(zhuǎn)換[5,6], 將底層協(xié)議轉(zhuǎn)換成SWE協(xié)議.Broering等人[7]在此基礎(chǔ)上進(jìn)行了擴(kuò)展, 提出了傳感器總線概念. Karl等人[8]提出一種GSN方式的傳感器接入中間件與傳感網(wǎng)連接方法. 在傳感器觀測(cè)質(zhì)量提升方面, 張明哲等人[9]將嵌入式RFID中間件數(shù)據(jù)過(guò)濾模型分為屬性、冗余、行為和規(guī)則四個(gè)部分; 易葉青等人[10]研究了傳感器虛假數(shù)據(jù)過(guò)濾問(wèn)題. 上述傳感器觀測(cè)接入研究集中于SWE框架和非SWE框架兩個(gè)方面的擴(kuò)展, 主要以適配器的方式接入傳感器單元, 但在接入過(guò)程中有三個(gè)問(wèn)題未進(jìn)行考慮: 1)對(duì)于異構(gòu)的傳感器接入單元, 未能提出統(tǒng)一的傳感器接入模型; 2)傳感器觀測(cè)數(shù)據(jù)是一種典型的時(shí)間序列數(shù)據(jù), 具有流式數(shù)據(jù)實(shí)時(shí)性、無(wú)邊性和瞬時(shí)性[11], 上述研究未考慮如何在流式數(shù)據(jù)處理框架下接入傳感器觀測(cè)數(shù)據(jù); 3)當(dāng)前傳感器觀測(cè)過(guò)濾以觀測(cè)值為過(guò)濾對(duì)象, 對(duì)時(shí)間、空間過(guò)濾條件涉及較少, 未形成一套完整的過(guò)濾方法與機(jī)制.

綜上所述, 針對(duì)原位傳感器觀測(cè)接入, 考慮傳感器的異構(gòu)性與觀測(cè)數(shù)據(jù)的流式特征, 本文提出一種存算分離的原位傳感器觀測(cè)接入方法, 在流式數(shù)據(jù)處理框架下, 以原位傳感器站點(diǎn)為單元, 將原位傳感器接入過(guò)程分為數(shù)據(jù)接收、觀測(cè)過(guò)濾和觀測(cè)存儲(chǔ)三個(gè)部分, 實(shí)現(xiàn)原位傳感器網(wǎng)絡(luò)單元觀測(cè)數(shù)據(jù)的體系化過(guò)濾接入及實(shí)時(shí)存儲(chǔ)發(fā)布.

1 原位傳感器觀測(cè)接入設(shè)計(jì)原理

原位傳感器具有網(wǎng)絡(luò)結(jié)構(gòu)異構(gòu)的特征, 即相同通信協(xié)議下的傳感器網(wǎng)絡(luò)組成的傳感器數(shù)量和類型不同.同時(shí), 傳統(tǒng)的傳感器觀測(cè)過(guò)濾, 忽略時(shí)間與空間屬性,僅對(duì)傳感器觀測(cè)值過(guò)濾, 因而不同地理場(chǎng)景下的事件監(jiān)測(cè)、預(yù)警難以展開(kāi). 考慮傳感器觀測(cè)數(shù)據(jù)的異構(gòu)特征以及過(guò)濾計(jì)算需求, 本文在傳感器接入階段將傳感器觀測(cè)數(shù)據(jù)結(jié)構(gòu)統(tǒng)一化, 將傳感器數(shù)據(jù)接收、觀測(cè)過(guò)濾和觀測(cè)存儲(chǔ)相分離, 三者相互獨(dú)立, 依靠傳感器觀測(cè)數(shù)據(jù)模型銜接, 進(jìn)而解決異構(gòu)傳感器觀測(cè)接入問(wèn)題和傳感器統(tǒng)一過(guò)濾. 原位傳感器觀測(cè)接入框架如圖1所示,傳感器觀測(cè)接入過(guò)程涉及傳感器網(wǎng)絡(luò)層、接入拓?fù)鋵蛹皞鞲衅饔^測(cè)服務(wù)層. 傳感器網(wǎng)絡(luò)層代表原位傳感器實(shí)體網(wǎng)絡(luò)結(jié)構(gòu), 通過(guò)原位傳感器平臺(tái)實(shí)現(xiàn)與接入拓?fù)鋵拥臄?shù)據(jù)通信. 同時(shí), 需要對(duì)傳感器網(wǎng)絡(luò)層進(jìn)行建模并注冊(cè)到傳感器觀測(cè)服務(wù)中; 接入拓?fù)鋵拥慕尤胪負(fù)鋯卧譃閿?shù)據(jù)接收、觀測(cè)過(guò)濾和觀測(cè)存儲(chǔ)三個(gè)部分, 它們由傳感器流式接入單元配置參數(shù)構(gòu)建成一個(gè)傳感器接入拓?fù)鋯卧? 原位觀測(cè)服務(wù)層支持傳感器網(wǎng)絡(luò)模型的注冊(cè)以及拓?fù)鋵咏尤氲膫鞲衅饔^測(cè)結(jié)果的實(shí)時(shí)存儲(chǔ)與發(fā)布. 接入拓?fù)鋵訉鞲衅骶W(wǎng)絡(luò)層與觀測(cè)服務(wù)層銜接起來(lái), 進(jìn)而實(shí)現(xiàn)原位傳感器觀測(cè)數(shù)據(jù)的實(shí)時(shí)接入與發(fā)布. 存算分離的原位傳感器觀測(cè)接入方法, 提高了傳感器觀測(cè)計(jì)算和存儲(chǔ)部分的復(fù)用性. 異構(gòu)的傳感器觀測(cè)接入, 只需要重構(gòu)數(shù)據(jù)獲取組件, 直接復(fù)用傳感器觀測(cè)過(guò)濾與存儲(chǔ)組件.

圖1 原位傳感器觀測(cè)接入框架

2 存算分離的觀測(cè)接入方法

基于原位傳感器觀測(cè)接入中的存算分離思想, 傳感器接入拓?fù)鋯卧罁?jù)傳感器流式接入流程配置參數(shù),將數(shù)據(jù)接收組件、觀測(cè)過(guò)濾組件與觀測(cè)存儲(chǔ)組件有機(jī)地結(jié)合, 形成一個(gè)原位傳感器觀測(cè)接入單元.

2.1 數(shù)據(jù)接收組件

數(shù)據(jù)接收組件處理流程主要有構(gòu)建原位傳感器統(tǒng)一接入模型、傳感器數(shù)據(jù)流獲取與解析以及傳感器觀測(cè)數(shù)據(jù)發(fā)送.

原位傳感器統(tǒng)一接入模型以傳感器站點(diǎn)為接入單元, 將傳感器地理空間位置、觀測(cè)時(shí)間和觀測(cè)屬性等信息組織在傳感器站點(diǎn)下. 如圖2所示, 傳感器站點(diǎn)標(biāo)識(shí)以StationID表示, 其下可包含任意傳感器單元; 傳感器單元由傳感器標(biāo)識(shí)(SensorID)、傳感器位置(position)、傳感器觀測(cè)時(shí)間(ObservationTime)以及任意觀測(cè)屬性組成; 傳感器觀測(cè)屬性則包含傳感器觀測(cè)屬性標(biāo)識(shí)(PropertyID)、傳感器觀測(cè)屬性名稱(PropertyName)、傳感器觀測(cè)屬性單位(PropertyUnit)以及傳感器觀測(cè)值(Value). 原位傳感器站點(diǎn)及其包含的傳感器使用傳感器建模語(yǔ)言建模, 并將該模型注冊(cè)到傳感器觀測(cè)服務(wù)中, 數(shù)據(jù)接收組件在明確接入傳感器站點(diǎn)標(biāo)識(shí)后, 解析構(gòu)造原位傳感器統(tǒng)一接入模型, 為原位傳感器數(shù)據(jù)匹配做準(zhǔn)備.

圖2 原位傳感器統(tǒng)一接入模型數(shù)據(jù)結(jié)構(gòu)

為實(shí)現(xiàn)觀測(cè)過(guò)程, 數(shù)據(jù)獲取組件部分定義了傳感器的數(shù)據(jù)傳輸協(xié)議與傳感器數(shù)據(jù)表達(dá)等有關(guān)數(shù)據(jù)接入的元數(shù)據(jù)信息, 用于解析觀測(cè)數(shù)據(jù)流. 本文以傳感器數(shù)據(jù)協(xié)議規(guī)則件描述上述內(nèi)容, 定義傳感器傳輸協(xié)議實(shí)現(xiàn)類, 由于數(shù)據(jù)表達(dá)是針對(duì)數(shù)據(jù)流與傳感器觀測(cè)屬性的映射關(guān)系的描述, 所以需要定義一組數(shù)組. 傳感器的觀測(cè)屬性由傳感器標(biāo)識(shí)SensorID和傳感器觀測(cè)屬性標(biāo)識(shí)(PropertyID)唯一確定, 對(duì)于觀測(cè)屬性固定的二進(jìn)制觀測(cè)數(shù)據(jù)流, 數(shù)組結(jié)構(gòu)為[SensorID, PropertyID,DataPosition, DataLength, DataRatio], 其中DataPosition指當(dāng)前觀測(cè)屬性在數(shù)據(jù)流中的位置, DataLength指觀測(cè)屬性在數(shù)據(jù)流中的長(zhǎng)度, DataRatio是觀測(cè)數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)單位的比率.

原位傳感器統(tǒng)一接入模型, 在匹配獲得各觀測(cè)屬性觀測(cè)值后, 轉(zhuǎn)化為傳感器接入單元內(nèi)部傳輸?shù)挠^測(cè)數(shù)據(jù)模型. 如圖2所示, 該模型由傳感器自身屬性、觀測(cè)屬性和觀測(cè)結(jié)果三部分共同構(gòu)成.

2.2 觀測(cè)過(guò)濾組件

傳感器觀測(cè)過(guò)濾組件負(fù)責(zé)過(guò)濾已經(jīng)接入的傳感器觀測(cè)數(shù)據(jù).

傳感器觀測(cè)是空間和時(shí)間相關(guān)的地理現(xiàn)象表達(dá).時(shí)間、空間與觀測(cè)屬性是過(guò)濾的三個(gè)重要內(nèi)容, 由于傳感器觀測(cè)數(shù)據(jù)存在同質(zhì)性與異質(zhì)性, 既存在觀測(cè)相同地理對(duì)象的傳感器, 又存在觀測(cè)的地理對(duì)象類型不同傳感器. 傳感器觀測(cè)過(guò)濾須定義一致的過(guò)濾對(duì)象數(shù)據(jù)結(jié)構(gòu). 考慮傳感器觀測(cè)是以空間位置為特征的觀測(cè),時(shí)間及觀測(cè)屬性都可以看作其屬性, 該數(shù)據(jù)組織方式為空間數(shù)據(jù)的Feature數(shù)據(jù)結(jié)構(gòu), 因而構(gòu)建一種Feature特征下的傳感器觀測(cè)數(shù)據(jù)結(jié)構(gòu)作為其統(tǒng)一觀測(cè)過(guò)濾對(duì)象. 如圖3所示, 統(tǒng)一過(guò)濾對(duì)象中position為觀測(cè)位置、sensorID為傳感器標(biāo)識(shí)、observationTime為觀測(cè)時(shí)間, 其中傳感器標(biāo)識(shí)與觀測(cè)屬性標(biāo)識(shí)唯一確定一組觀測(cè)對(duì)象.

圖3 傳感器觀測(cè)Feature型數(shù)據(jù)結(jié)構(gòu)

傳感器觀測(cè)過(guò)濾是對(duì)特定時(shí)空?qǐng)鼍跋碌挠^測(cè)屬性過(guò)濾. 過(guò)濾規(guī)則件以時(shí)間、空間過(guò)濾操作描述當(dāng)前目標(biāo)時(shí)空?qǐng)鼍? 當(dāng)接入非目標(biāo)觀測(cè)屬性時(shí), 觀測(cè)數(shù)據(jù)不被過(guò)濾; 而接入觀測(cè)數(shù)據(jù)中含有目標(biāo)觀測(cè)屬性, 且目標(biāo)觀測(cè)屬性的觀測(cè)時(shí)間、空間包含于過(guò)濾規(guī)則件規(guī)定的時(shí)空?qǐng)鼍皶r(shí), 觀測(cè)數(shù)據(jù)被過(guò)濾篩選; 當(dāng)目標(biāo)觀測(cè)屬性不在規(guī)定的時(shí)空?qǐng)鼍胺秶鷷r(shí), 觀測(cè)數(shù)據(jù)無(wú)需過(guò)濾. 圖4為觀測(cè)過(guò)濾流程圖, 具體如下:

Step 1. 輸入觀測(cè)數(shù)據(jù).

Step 2. 將觀測(cè)數(shù)據(jù)轉(zhuǎn)化為圖3所示的Feature型數(shù)據(jù)結(jié)構(gòu);

Step 3. 輸入觀測(cè)過(guò)濾規(guī)則件, 并判斷當(dāng)前觀測(cè)過(guò)濾規(guī)則件是否包含屬性過(guò)濾操作, 若包含, 則輸入該過(guò)濾規(guī)則件; 否則, 判定為錯(cuò)誤規(guī)則件, 過(guò)濾退出.

Step 4. 判斷當(dāng)前觀測(cè)數(shù)據(jù)觀測(cè)屬性是否包含在過(guò)濾規(guī)則件屬性過(guò)濾中, 若是, 則轉(zhuǎn)Step 5; 否則, 不過(guò)濾,直接發(fā)送當(dāng)前觀測(cè)數(shù)據(jù).

Step 5. 判斷當(dāng)前觀測(cè)數(shù)據(jù)時(shí)間是否滿足時(shí)間過(guò)濾操作, 若是, 則轉(zhuǎn)Step 6; 否則, 判定為非目標(biāo)空間場(chǎng)景數(shù)據(jù), 并發(fā)送當(dāng)前觀測(cè)數(shù)據(jù).

Step 6. 判斷當(dāng)前觀測(cè)數(shù)據(jù)空間位置是否滿足空間過(guò)濾操作, 若是, 則轉(zhuǎn)Step 7; 否則, 判定為非目標(biāo)空間場(chǎng)景數(shù)據(jù), 并發(fā)送當(dāng)前觀測(cè)數(shù)據(jù).

圖4 原位傳感器觀測(cè)過(guò)濾方法

Step 7. 判斷當(dāng)前觀測(cè)數(shù)據(jù)觀測(cè)屬性值是否滿足屬性過(guò)濾操作, 若是, 判定為目標(biāo)場(chǎng)景需要的觀測(cè)數(shù)據(jù),并發(fā)送當(dāng)前觀測(cè)數(shù)據(jù); 否則, 判定為目標(biāo)場(chǎng)景冗余數(shù)據(jù),剔除該觀測(cè)數(shù)據(jù), 不發(fā)送.

過(guò)濾操作主要有空間過(guò)濾、時(shí)間過(guò)濾和屬性過(guò)濾三個(gè)方面, 三者之間的邏輯操作當(dāng)前支持AND操作, 若同時(shí)對(duì)多個(gè)觀測(cè)屬性過(guò)濾, 觀測(cè)屬性過(guò)濾操作之間以邏輯操作OR銜接. 時(shí)間過(guò)濾是針對(duì)傳感器觀測(cè)時(shí)刻的過(guò)濾, 因而只需包含對(duì)時(shí)刻點(diǎn)的過(guò)濾方法, 有在某個(gè)時(shí)刻之后、在某個(gè)時(shí)刻之前以及在某個(gè)時(shí)間段內(nèi); 空間過(guò)濾是針對(duì)原位傳感器觀測(cè)屬性的空間采樣位置的過(guò)濾, 因而過(guò)濾對(duì)象是空間點(diǎn), 主要有距離范圍內(nèi)、包含、不包含以及在矩形查詢; 屬性過(guò)濾部分是對(duì)觀測(cè)屬性值的過(guò)濾, 支持的過(guò)濾方法有小于、大于、等于、不等于、小于或等于以及大于或等于.

2.3 觀測(cè)存儲(chǔ)組件

傳感器存儲(chǔ)組件將異構(gòu)傳感器觀測(cè)數(shù)據(jù)以傳感器觀測(cè)數(shù)據(jù)編碼方式統(tǒng)一描述, 調(diào)用發(fā)布傳感器觀測(cè)服務(wù)操作, 將傳感器觀測(cè)數(shù)據(jù)實(shí)時(shí)發(fā)布到傳感器觀測(cè)服務(wù)中.

2.4 傳感器接入單元配置與構(gòu)建

傳感器數(shù)據(jù)接收、觀測(cè)過(guò)濾及觀測(cè)存儲(chǔ)組件是相互獨(dú)立的, 為構(gòu)建一個(gè)有機(jī)的接入拓?fù)鋯卧? 需明確各組件的輸入?yún)?shù)以及具體實(shí)現(xiàn)類. 由于傳感器觀測(cè)的異構(gòu)性特征明顯, 傳感器接入方法不可一成不變, 所以使用配置文檔為依據(jù)的接入拓?fù)鋯卧獦?gòu)建方法, 在傳感器接入單元配置參數(shù)中聲明傳感器數(shù)據(jù)接收、觀測(cè)過(guò)濾以及觀測(cè)存儲(chǔ)的實(shí)現(xiàn)類. 原位傳感器觀測(cè)單元眾多, 本文以站點(diǎn)為中心接入傳感器觀測(cè)數(shù)據(jù), 為區(qū)分傳感器觀測(cè)接入拓?fù)鋯卧? 在傳感器接入配置參數(shù)中以傳感器站點(diǎn)標(biāo)識(shí)(stationID)作為接入拓?fù)錁?biāo)識(shí)以及配置文件標(biāo)識(shí), 各組件部分配置包括組件標(biāo)識(shí), 組件實(shí)現(xiàn)類名稱, 組件任務(wù)數(shù)以及組件參數(shù)文檔位置. 基于此,生成傳感器觀測(cè)接入拓?fù)鋯卧?

3 實(shí)例分析

3.1 實(shí)驗(yàn)場(chǎng)景

實(shí)驗(yàn)包含原位傳感器建模與觀測(cè)和傳感器接入拓?fù)鋬刹糠? 在傳感器建模與觀測(cè)服務(wù)方面, 本文在SWE傳感網(wǎng)整合框架下, 以SensorML1.0傳感器建模語(yǔ)言描述原位傳感器站點(diǎn)及傳感器單元, 并以SOS 1.0.1中的RegisterSensor操作注冊(cè)傳感器站點(diǎn)單元信息.以Filter 2.0過(guò)濾標(biāo)準(zhǔn)實(shí)現(xiàn)傳感器觀測(cè)過(guò)濾. 以O(shè)&M 1.0觀測(cè)預(yù)測(cè)標(biāo)準(zhǔn)描述傳感器觀測(cè)數(shù)據(jù)并以SOS中的InsertObservation操作插入到傳感器觀測(cè)服務(wù)中. 在傳感器接入拓?fù)浞矫? 原位傳感器接入拓?fù)鋯卧褂肧torm 1.0.0框架, 以java語(yǔ)言實(shí)現(xiàn)傳感器接入各部分組件, 并以XML接入單元配置文檔組合各組件, 生成接入拓?fù)鋯卧? 并上傳到Storm運(yùn)行平臺(tái)中.

本文實(shí)驗(yàn)選取湖北省武漢市豹澥地區(qū)三個(gè)原位傳感器站點(diǎn), 水文監(jiān)測(cè)站、氣象土壤監(jiān)測(cè)站1和氣象土壤監(jiān)測(cè)站2. 如表1所示, 氣象土壤監(jiān)測(cè)站1和氣象土壤監(jiān)測(cè)站2為通類型觀測(cè)站點(diǎn), 但地理位置不同, 包含風(fēng)速、風(fēng)向、雨量、土壤濕度、土壤溫度、大氣濕度、大氣溫度、大氣壓力8種觀測(cè)對(duì)象; 水文監(jiān)測(cè)站包含水位、水溫、水PH值3種觀測(cè)對(duì)象. 氣象觀測(cè)站與水文觀測(cè)站傳感器數(shù)量和類型不同, 兩者組成的傳感器網(wǎng)絡(luò)單元異構(gòu). 圖5為三個(gè)傳感器站點(diǎn)的空間分布.

實(shí)驗(yàn)中, 三個(gè)原位傳感器站點(diǎn)在接入過(guò)程使用相同的觀測(cè)過(guò)濾條件. 時(shí)間段在以格林威治時(shí)間轉(zhuǎn)到本地時(shí)間下的2016-09-21T01:00:00.00+0800到2016-09-21T05:00:00.00+0800之間空間范圍在(30.46970,30.46967, 114.52677, 114.52675)矩形范圍內(nèi), 即圖9中矩形框P所示范圍, 空間內(nèi)只包含氣象土壤觀測(cè)站1; 過(guò)濾觀測(cè)對(duì)象是屬性標(biāo)識(shí)為“urn:ogc:def:property:OGC:1.0: rainfall”的降雨量, 設(shè)置只保留在上述時(shí)空范圍內(nèi)降雨量大于0 mm的觀測(cè)結(jié)果.

表1 原位傳感器站點(diǎn)信息表

圖5 原位傳感器站點(diǎn)空間分布示意圖

3.2 實(shí)驗(yàn)結(jié)果分析

3.2.1 接入網(wǎng)絡(luò)結(jié)構(gòu)異構(gòu)的原位傳感器站點(diǎn)

如圖6所示, 圖6(a)為水文監(jiān)測(cè)站中水PH傳感器的PH觀測(cè)結(jié)果, 圖6(b)為氣象土壤監(jiān)測(cè)站1的大氣溫度傳感器的大氣溫度觀測(cè)結(jié)果, 因而該方法下使用傳感器統(tǒng)一接入模型能夠有效接入網(wǎng)絡(luò)結(jié)構(gòu)異構(gòu)的原位傳感器站點(diǎn).

3.2.2 實(shí)現(xiàn)特定空間場(chǎng)景過(guò)濾

有效的時(shí)間場(chǎng)景過(guò)濾. 與圖6(c)氣象土壤監(jiān)測(cè)站1的降雨量觀測(cè)結(jié)果不同, 圖6(b)氣象土壤監(jiān)測(cè)站1的大氣溫度觀測(cè)在2016-09-21T01:00:00.00+0800到2016-09-21T05:00:00.00+0800時(shí)間范圍內(nèi)存在觀測(cè)值, 因而該過(guò)濾方法能夠有效過(guò)濾同一觀測(cè)站點(diǎn)下的不同觀測(cè)屬性.

有效的空間過(guò)濾. 圖6(e)為氣象土壤監(jiān)測(cè)站2的降雨量觀測(cè)接入結(jié)果, 其在2016-09-21T01:00:00.00+0800到2016-09-21T05:00:00.00+0800時(shí)間范圍內(nèi)存在降雨觀測(cè)值. 盡管該傳感器站點(diǎn)與氣象土壤監(jiān)測(cè)站1具有相同的降雨量觀測(cè)屬性, 但由于其空間范圍不在過(guò)矩形區(qū)P范圍內(nèi), 所以該站點(diǎn)的降雨量觀測(cè)未進(jìn)行過(guò)濾.

同一站點(diǎn)或不同站點(diǎn)下的不同傳感器觀測(cè)過(guò)濾互不影響. 圖6(c)本身來(lái)看, 不在過(guò)濾時(shí)間范圍內(nèi)的時(shí)刻具有觀測(cè)屬性, 圖6(a)(b)(d)在過(guò)濾時(shí)間段內(nèi)的不同觀測(cè)屬性未受影響.

圖6 原位傳感器站點(diǎn)部分傳感器觀測(cè)過(guò)濾接入結(jié)果圖

3.2.3 系統(tǒng)負(fù)載測(cè)試

本文采用模擬傳感器站點(diǎn)方式測(cè)試該方法系統(tǒng)負(fù)載情況, 其中每個(gè)傳感器站點(diǎn)包含十個(gè)傳感器單元, 觀測(cè)數(shù)據(jù)觀測(cè)時(shí)間間隔為30秒, 傳感器對(duì)象以SOS服務(wù)方式發(fā)布. 系統(tǒng)負(fù)載測(cè)試環(huán)境為浪潮NF5270M3 臺(tái)式電腦, 處理器為英特爾Xeon E5-2650 0@2 GHz八核, 內(nèi)存DDR3 1333 HZ 32 G.

圖7為傳感器觀測(cè)接入數(shù)量不斷增加系統(tǒng)負(fù)載情況, 包含內(nèi)存和CPU占用百分比. 初始系統(tǒng)CPU使用在0%左右, 內(nèi)存使用率在51%左右, 當(dāng)系統(tǒng)不斷增加傳感器數(shù)量時(shí), 內(nèi)存與CPU使用率在不斷上升, 直到加入傳感器觀測(cè)數(shù)量達(dá)到500個(gè)時(shí), CPU使用率接近100%, 內(nèi)存使用在之后再進(jìn)行傳感器接入, 則傳感器接入單元CPU可用資源變少, 傳感器觀測(cè)接入可運(yùn)行但系統(tǒng)超負(fù)載. 因而, 本方法的傳感器觀測(cè)接入在當(dāng)前情況下,傳感器單元接入時(shí)間間隔為30秒時(shí), 單機(jī)接入在400到500個(gè)傳感器, 能最大利用CPU與內(nèi)存資源.

圖7 傳感器觀測(cè)接入系統(tǒng)負(fù)載測(cè)試圖

綜上, 該觀測(cè)過(guò)濾方法, 能夠?qū)崿F(xiàn)不同傳感器觀測(cè)接入拓?fù)鋯卧南嗤^(guò)濾條件過(guò)濾, 通過(guò)修改接入單元配置文件也可以實(shí)現(xiàn)各傳感器觀測(cè)單元不同過(guò)濾條件過(guò)濾. 該過(guò)濾方法可有效過(guò)濾掉特定時(shí)間、空間場(chǎng)景下的特定觀測(cè)屬性, 而不影響其他時(shí)空?qǐng)鼍跋碌挠^測(cè)數(shù)據(jù)的接入過(guò)程. 此外, 在單機(jī)模式下有效支持多個(gè)傳感器的觀測(cè)接入, 但由于計(jì)算資源有限, 單機(jī)觀測(cè)接入數(shù)量不宜過(guò)多, 本文情況下控制在400-500個(gè)之間.

4 結(jié)果與展望

從實(shí)驗(yàn)結(jié)果來(lái)看, 針對(duì)觀測(cè)屬性位置固定的原位傳感器, 以本文提出的存算分離的原位傳感器觀測(cè)接入方法, 在并以SWE 1.0傳感網(wǎng)整合框架與Storm流式處理框架實(shí)驗(yàn)環(huán)境下, 以傳感器統(tǒng)一接入模型為基礎(chǔ),復(fù)用觀測(cè)過(guò)濾及存儲(chǔ)組件, 可實(shí)現(xiàn)異構(gòu)的傳感器網(wǎng)絡(luò)單元觀測(cè)接入. 除考慮傳感器觀測(cè)屬性值的過(guò)濾外, 提出傳感器觀測(cè)時(shí)間、空間的過(guò)濾規(guī)則, 擴(kuò)展傳統(tǒng)的原位傳感器觀測(cè)過(guò)濾內(nèi)容, 明確不同時(shí)空?qǐng)鼍跋碌膫鞲衅饔^測(cè)過(guò)濾方法. 與當(dāng)前的傳感器觀測(cè)接入方法相比,本文提出的存算分離的原位傳感器觀測(cè)方法采用流式數(shù)據(jù)處理框架, 傳感器觀測(cè)接入各模塊相分離, 異構(gòu)傳感器接入單元可復(fù)用過(guò)濾與存儲(chǔ)組件. 與當(dāng)前僅考慮觀測(cè)值過(guò)濾的方法不同, 本文定義了傳感器觀測(cè)接入特定時(shí)空?qǐng)鼍跋掠^測(cè)過(guò)濾流程, 解決了異構(gòu)傳感器的同條件過(guò)濾問(wèn)題, 實(shí)現(xiàn)了傳感器的特定時(shí)空?qǐng)鼍坝^測(cè)接入.

綜合考慮傳感器觀測(cè)的接入問(wèn)題, 當(dāng)前主要是針對(duì)原位傳感器的異構(gòu)性與過(guò)濾問(wèn)題進(jìn)行設(shè)計(jì)考慮, 而隨著大數(shù)據(jù)時(shí)代的來(lái)臨, 當(dāng)前的傳感器數(shù)量巨大, 多傳感器的高并發(fā)量, 這會(huì)引發(fā)服務(wù)器接入壓力問(wèn)題. 在接下來(lái)的研究中考慮從多傳感器問(wèn)題的角度出發(fā), 考慮服務(wù)器負(fù)載均衡問(wèn)題, 解決傳感器接入的并發(fā)問(wèn)題, 這對(duì)構(gòu)建物聯(lián)網(wǎng)平臺(tái)具有重要作用.

1陳能成, 楊訓(xùn)亮, 王曉蕾. 地理空間傳感網(wǎng)信息公共服務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn). 地球信息科學(xué)學(xué)報(bào), 2013, 15(6): 887–894, 917.

2Br?ring A, Stasch C, Echterhoff J. OGC OpenGIS sensor observation service interface standard. OpenGIS Implementation Specification OGC, 2007.

3Botts M, Robin A. OpenGIS sensor model language(SensorML) implementation specification. OpenGIS Implementation Specification OGC, 2007.

4Cox SJD. OpenGIS observation and measurements.OpenGIS Implementation Specification OGC, 2007.

5蔡永娟, 沈春山, 吳仲城, 等. 基于SensorML和IEEE 1451的新型傳感器網(wǎng)絡(luò)標(biāo)準(zhǔn)研究. 儀表技術(shù), 2010, (1): 1–3, 6.

6Hu P Z, Robinson R, Indulska J. Sensor standards: Overview and experiences. Proc. 3rd International Conference on Intelligent Sensors, Sensor Networks and Information.Melbourne, QLD, Australia. 2007. 485–490.

7Broering A, Foerster T, Jirka S, et al. Sensor bus: An intermediary layer for linking geosensors and the sensor web.Proc. 1st International Conference and Exhibition on Computing for Geospatial Research & Application.Washington, DC, USA. 2010. 1–8.

8Aberer K, Hauswirth M, Salehi A. The global sensor networks middleware for efficient and flexible deployment and interconnection of sensor networks. Epfl, 2006, (12):1–21.

9張明哲, 張強(qiáng), 袁巍, 等. 嵌入式RFID中間件數(shù)據(jù)過(guò)濾模型研究. 計(jì)算機(jī)工程與設(shè)計(jì), 2010, 31(17): 3743–3746.

10易葉青, 林亞平, 彭舸, 等. 無(wú)線傳感器網(wǎng)絡(luò)中不依賴MAC認(rèn)證的虛假數(shù)據(jù)過(guò)濾算法. 通信學(xué)報(bào), 2009, 30(6): 53–63.

11丁維龍, 趙卓峰, 韓燕波. Storm: 大數(shù)據(jù)流式計(jì)算及應(yīng)用實(shí)踐. 北京: 電子工業(yè)出版社, 2015: 15–16.

Storage-Computation Separation Method for In-Situ Sensor Observation Access

YUAN Sai, CHEN Neng-Cheng, XIAO Chang-Jiang, DU Wen-Ying, WANG Kai
(State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079,China)

In-situ sensor is an important data source of intelligent urban construction, which plays a decisive role in urban resource coordination, disaster early warning, dynamic monitoring analysis and other fields. The present sensor observation access method does not consider the flow characteristics of sensor data with no uniform access model resulting in a failure of unified filtering of time and space under the observation and poor reusability of the sensor access components. In this paper, an in-situ sensor observation access method based on storage and computation separation is proposed. Upon the station-based observation access uniform model, the in-situ sensor access process is divided into three parts: data acquisition, observation filtering and observation storage. The experimental results show that the method can effectively access the heterogeneous in-situ sensor station based on the sensor observation access uniform model and realize the attribute filtering in the specific time and space scenes of the multiple in-situ sensor observation results.

in-situ sensor; observation access; storage-computation separation; stream processing; filter

袁賽,陳能成,肖長(zhǎng)江,杜文英,王凱.存算分離的原位傳感器觀測(cè)接入方法.計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(7):90–96. http://www.c-sa.org.cn/1003-3254/5874.html

湖北省自然科學(xué)基金創(chuàng)新群體(2016CFA003); 國(guó)家自然科學(xué)基金(41301441)

2016-11-21; 收到修改稿時(shí)間: 2017-01-04