賈天龍，夏涵愷，徐赫遙

(哈爾濱工程大學(xué) 船舶工程學(xué)院，黑龍江 哈爾濱 150001)

基于Hadoop多節(jié)點式無人水文監(jiān)測船系統(tǒng)

賈天龍，夏涵愷，徐赫遙

(哈爾濱工程大學(xué) 船舶工程學(xué)院，黑龍江 哈爾濱 150001)

水文監(jiān)測技術(shù)是水利水文信息化的重要基礎(chǔ)，它不僅為水利工程安全運行提供保障，還在防災(zāi)減災(zāi)、水資源科學(xué)調(diào)度中發(fā)揮著極其重要的作用。在解決水污染的問題中，水質(zhì)監(jiān)測系統(tǒng)的數(shù)量和覆蓋率是非常重要的，現(xiàn)有的水質(zhì)監(jiān)測系統(tǒng)需要建立多個固定的監(jiān)測點,這樣就使成本過高。因此,提出了利用移動監(jiān)測點來進(jìn)行移動監(jiān)測的概念,并實現(xiàn)了這一概念的雛形——基于Hadoop平臺的多節(jié)點式無人水文監(jiān)測船系統(tǒng)。這是實現(xiàn)水文遠(yuǎn)程監(jiān)測的一個非常理想的解決方案,對水文監(jiān)測的發(fā)展有著非常重要的意義。

無人；水文監(jiān)測；Hadoop平臺；多節(jié)點

水文監(jiān)測技術(shù)是水文信息化的重要基礎(chǔ)。它保證了水利工程的安全運行，在防災(zāi)減災(zāi)、水資源科學(xué)調(diào)度中發(fā)揮著極其重要的作用。因此，水文監(jiān)測是一個蓬勃發(fā)展，有無限發(fā)展前景的技術(shù)。水文監(jiān)測的主要任務(wù)是完成對河流、湖泊、水庫和地下水的監(jiān)測，監(jiān)測內(nèi)容包括水位、流速、流量、降雨、冰、閘的位置等水文參數(shù)。

傳統(tǒng)的水文監(jiān)測是基于人工方法的測量，存在精度低、工程量大、限制較多的局限，而現(xiàn)今隨著現(xiàn)代電子技術(shù)、傳感器技術(shù)、通信技術(shù)和計算機(jī)技術(shù)的飛速發(fā)展，水文自動監(jiān)測技術(shù)得到了迅速發(fā)展?，F(xiàn)今的水利監(jiān)測通過現(xiàn)代通信，在全行業(yè)廣泛應(yīng)用計算機(jī)網(wǎng)絡(luò)等先進(jìn)的信息技術(shù)，充分開發(fā)應(yīng)用水利信息資源，為防洪抗旱減災(zāi)，水資源保護(hù)、開發(fā)、利用、配置等綜合管理，水環(huán)境治理和保護(hù)等決策服務(wù)，為水利工程安全運行提供了保障。

在現(xiàn)今技術(shù)發(fā)展的背景下，經(jīng)過研究分析國內(nèi)外對此領(lǐng)域技術(shù)的研究現(xiàn)狀，提出了一種基于Hadoop平臺的多節(jié)點式無人水文監(jiān)測船系統(tǒng)[1-2]。本系統(tǒng)主要是針對中小型河流水文信息的監(jiān)測與分析而設(shè)計的。系統(tǒng)提出以遠(yuǎn)程水文監(jiān)測模塊為核心,以無線傳感模塊節(jié)點為基礎(chǔ),構(gòu)建中小河流監(jiān)測區(qū)域的監(jiān)測網(wǎng)絡(luò)。同時，基于BDS/GPS技術(shù)，實現(xiàn)對監(jiān)測區(qū)域的遠(yuǎn)程實時監(jiān)控。通過對遠(yuǎn)程數(shù)據(jù)的分析和處理，實現(xiàn)了遠(yuǎn)程水文信息的分析和預(yù)警。根據(jù)分析和預(yù)警結(jié)果，提出了相應(yīng)的應(yīng)用方案或指導(dǎo)策略[3]。

1 系統(tǒng)介紹

1.1 基于Hadoop平臺結(jié)構(gòu)化處理數(shù)據(jù)

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的力量進(jìn)行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)，分布式文件系統(tǒng)具有高容錯性的特點，可以部署在低成本的硬件上，并能提供高吞吐量的應(yīng)用數(shù)據(jù)，適合于大數(shù)據(jù)集的應(yīng)用。

Hadoop框架設(shè)計的核心是:HDFS和MapReduce[4]。HDFS為海量數(shù)據(jù)提供了存儲，然后MapReduce為海量數(shù)據(jù)提供計算。

Hadoop的捕獲效率高，有著很強(qiáng)的發(fā)現(xiàn)和分析能力，能夠從類型復(fù)雜的異常數(shù)據(jù)中挖掘事件突出價值[5]，發(fā)現(xiàn)監(jiān)控時出現(xiàn)的異常情況，并在第一時間，安排水文監(jiān)測人員到相應(yīng)的地點處理問題。

1.2 基于BDS(北斗)/GPS雙模無人定位系統(tǒng)

船體裝有BDS/ GPS雙模定位模塊，使船能進(jìn)行精確的地理定位，自動導(dǎo)航，根據(jù)預(yù)設(shè)的導(dǎo)航路徑，規(guī)劃執(zhí)行水文監(jiān)測任務(wù)。開發(fā)板采用VK2217M3M5模塊，集成MT3333芯片。外形尺寸22.4 mm×17.0 mm×2.4 mm，不僅方便搭載在船體上執(zhí)行任務(wù)，而且還可以接收包括北斗和GPS兩種頻率的信號?？捎貌ㄌ芈蕝^(qū)間為[1200,112 500]bps，靈敏度分為跟蹤模式與捕捉模式兩種指標(biāo)，跟蹤模式為-165 dBm，捕捉模式為-148 dBm。啟動模式存在冷啟動、溫啟動、熱啟動三種狀態(tài)，更新頻率區(qū)間為[1,10]Hz。電源指標(biāo)為3.3VDC±5%，搜索模式下耗電量33 mA，追蹤模式下耗電量30 mA。供給船體的電源可以很方便地經(jīng)分壓穩(wěn)壓濾波后為定位模塊提供動力。

1.3 基于多節(jié)點式的測量

多節(jié)點意味著，該系統(tǒng)可以在不同深度和不同距離的水域測量水文和水質(zhì)數(shù)據(jù)，并做到實時無線回傳。

通過監(jiān)測船上的傳感器配置，監(jiān)測船在水中動態(tài)導(dǎo)航的傳感器設(shè)置，達(dá)到在同一時間檢測到不同位置的水文情況，并獲得多組數(shù)據(jù)。位置為唯一區(qū)別變量，以此實行多層次、多節(jié)點的數(shù)據(jù)傳輸和記錄。同時，可以通過同一時間多組數(shù)據(jù)的相似區(qū)間排除毛刺數(shù)據(jù)，分析水深等因素對水文的影響。這是一種更直觀的方式，也有利于對水文數(shù)據(jù)的研究。

2 功 能

2.1 船體部分

船體搭載了溫濕度傳感器、多節(jié)點溫度傳感器、無線攝像頭、水泵采樣模塊、雙模定位模塊，以及無線通信模塊。可用于執(zhí)行采集空氣溫濕度，不同水深水層溫度、地理定位、采樣目標(biāo)水域水體樣本等任務(wù)。使用的無線攝像頭可以導(dǎo)航路徑，規(guī)劃系統(tǒng)的監(jiān)測，可靈活避障。在突發(fā)事件或事故的情況下，可以及時進(jìn)行人工干預(yù)，極大地提高了船舶在執(zhí)行監(jiān)測任務(wù)時的靈活性。使用的無線通信模塊可以從目標(biāo)區(qū)域采集數(shù)據(jù)后，實時將數(shù)據(jù)發(fā)送到接收端。

制作的實物模型如圖1、圖2所示。

圖1 實物模型圖

圖2 實物模型圖

2.2 下位機(jī)接收終端

下位機(jī)中MCU控制無線通信模塊對船體所發(fā)送的數(shù)據(jù)尋址，并確認(rèn)出首地址和結(jié)束地址，對數(shù)據(jù)包內(nèi)的數(shù)據(jù)進(jìn)行解讀，MCU在確認(rèn)數(shù)據(jù)無損狀態(tài)下將數(shù)據(jù)顯示至終端液晶屏幕上。同時，無線攝像頭將捕捉的畫面回傳到接收顯示屏，進(jìn)行實時顯示，使水文監(jiān)測人員可以對船的路徑進(jìn)行實時規(guī)劃，必要時人為干預(yù)。

2.3 上位機(jī)PC端

上位機(jī)中程序采用C++語言編寫，并通過串口接收十六進(jìn)制的數(shù)據(jù)，每組20個數(shù)據(jù)，將一組數(shù)據(jù)存入緩沖區(qū)中。由于數(shù)據(jù)量大，傳輸速度快，每組數(shù)據(jù)的開始和結(jié)束都要設(shè)置校驗碼，驗證每組數(shù)據(jù)是否準(zhǔn)確，如果不準(zhǔn)確則放棄數(shù)據(jù)并校準(zhǔn)數(shù)集，監(jiān)測是否有數(shù)據(jù)傳入；如果是正確的，原始的輸入數(shù)據(jù)被寫入文檔1，將原始采集到的十六位二進(jìn)制轉(zhuǎn)換成十進(jìn)制，將整數(shù)和小數(shù)整合，然后將處理后的數(shù)據(jù)寫入文檔2。隨著時間的推移，采集的數(shù)據(jù)記錄也開始大量積累，因此，本系統(tǒng)采用了Hadoop這一數(shù)據(jù)處理平臺。

3 實現(xiàn)原理

無線通信模塊用于水文監(jiān)測系統(tǒng)和接收終端之間的通信。通信模塊采用Nordic公司的nRF24L01芯片。無線通信模塊具有許多優(yōu)點，其具有2.4 GHz ISM頻段，全球開放免費授權(quán)使用，在2 Mbps速率最高，高效GFSK調(diào)制，抗干擾能力強(qiáng)。低功耗模式1.9～3.6 V工作，待機(jī)模式狀態(tài)為22 uA；掉電模式下為900 nA。該模塊可以提供一個地址，只有收到本機(jī)地址時才會輸出數(shù)據(jù)(提供中斷指示)。模塊的大小是29.010 56 mm×15.010 48 mm，模塊核心為NRF24L01芯片。

根據(jù)本系統(tǒng)的實現(xiàn)原理，設(shè)計了如下的實驗。

在一個裝有一半容積冷水(22.3 ℃)的長3.2 m，寬2.2 m，高2.4 m的玻璃水缸(如圖3)中間倒入一桶100 ℃的熱水，讓船從水池的一端開向另一端，途中實時接收水溫數(shù)據(jù)，將實驗室實測數(shù)據(jù)儲存到電腦中，并用Matlab軟件繪制溫度隨時間的變化曲線(如圖4)。

圖4 Matlab數(shù)據(jù)處理圖

一桶熱水倒進(jìn)玻璃水缸中，對原有水的溫度影響并不是很大。因此將圖像的刻度值范圍縮小，便可以清晰地觀察到水溫的變化情況：0～10 s之間，船在冷水區(qū)航行，實測溫度在20.9～21.0 ℃之間細(xì)微變化；10～70 s之間，船進(jìn)入熱水區(qū)，并減速航行，實測溫度在21.0～21.1 ℃之間細(xì)微變化，可見系統(tǒng)可以很好地實現(xiàn)對水溫的監(jiān)測。

通過對實驗現(xiàn)象的觀察和數(shù)據(jù)的分析，可以驗證出本系統(tǒng)的三個功能和優(yōu)勢。

(1)基于Hadoop平臺，實現(xiàn)大數(shù)據(jù)的處理，并進(jìn)行一定階段內(nèi)數(shù)據(jù)的預(yù)測，將結(jié)果調(diào)度分配給用戶[6]。

(2)基于BDS/GPS雙模定位系統(tǒng)，實現(xiàn)自導(dǎo)航監(jiān)測，精準(zhǔn)定位，極大節(jié)省了監(jiān)測過程中消耗的人力、物力。

(3)采用無線回傳模塊及攝像頭，實現(xiàn)監(jiān)測數(shù)據(jù)的實時回傳。

4 市場分析和經(jīng)濟(jì)效益預(yù)測

運用BDS/GPS雙模衛(wèi)星定位系統(tǒng)，定位精度高，誤差小。相對于水工測量中，利用全站儀來確定水面上一點，再施工放樣要更加精確，避免了人為讀數(shù)的誤差。水文監(jiān)測實現(xiàn)無人操控，具有很大的應(yīng)用前景。本系統(tǒng)具有如下幾個方面的市場優(yōu)勢及經(jīng)濟(jì)效益。

(1)監(jiān)測指標(biāo)記錄更加準(zhǔn)確，應(yīng)用價值高。

(2)監(jiān)測器測量更加靈活多變，突破因水域特殊對人工采集水樣的限制。

(3)水利部門可在一艘母船上，同時攜帶若干個監(jiān)測器，實現(xiàn)對同一河流，不同位置，多種水質(zhì)監(jiān)測指標(biāo)的測量，減少人力、物力。

(4)船體小巧靈便，適用于多種復(fù)雜水域，續(xù)航能力強(qiáng)，使用周期長，具有良好的經(jīng)濟(jì)效益。

(5)制作成本低廉，適合中小型河流湖泊使用。通過市場分析，由于其低廉的價格是魚塘主等普遍接受的，因此預(yù)計魚塘主的購買量會占據(jù)主導(dǎo)地位。本系統(tǒng)可被用于測量魚塘水池不同深度的水溫以及空氣溫度，便于比較分析不同水層隨氣溫的變化特征，為魚的養(yǎng)殖做好水溫調(diào)控及科學(xué)養(yǎng)殖管理提供科學(xué)依據(jù)。

[1] Shvachko K, Kuang H, Radia S, et al. The hadoop distributed file system[C]// Mass Storage Systems and Technologies (MSST), 2010 IEEE 26th Symposium on. IEEE, 2010:1-10.

[2] Shi Z Y，Gai J P，Wang D H，et al.A new kind of high speed wireless RF transceiver-nRF24L01 and its application[J].International Electronic Elements，2007(8)：42-44.

[3] Dittrich J，Quiané-Ruiz J A，Jindal A，et al.Hadoop++:making a yellow elephant run like a cheetah (without it even noticing)[J].Proceedings of the Vldb Endowment，2010，3(12)：518-529.

[4] Taylor R C.An overview of the Hadoop/MapReduce/HBase framework and its current applications in bioinformatics[J].Bmc Bioinformatics，2010，11(6):3395-3407.

[5] 欒亞建，黃翀民，龔高晟,等.Hadoop平臺的性能優(yōu)化研究[J].計算機(jī)工程，2010，36(14):262-263.DOI:doi:10.3969/j.issn.1000-3428.2010.14.095.

[6] Ibrahim S，Jin H，Lu L，et al.Evaluating MapReduce on Virtual Machines:The Hadoop Case[M].Cloud Computing，Berlin Heidelberg:Springer-Verlag，2009.

Multinodal unmanned hydrological surveillance ship system based on Hadoop platform

JIA Tianlong，XIA Hankai，XU Heyao

(CollegeofShipbuildingEngineering,HarbinEngineeringUniversity,Harbin150001,China)

Hydrological monitoring technology is an important basis for the information of water conservancy and hydrology. It provides guarantee for the safe operation of water conservancy projects, plays an extremely important role in disaster prevention and mitigation, water resources scientific scheduling. In the problem of water pollution, water quality monitoring system is very important in quantity and coverage. Two one of the reasons causing water pollution is that the existing water quality monitoring system needs to set up a number of fixed monitoring points, thereby causing high cost. Therefore, the concept of mobile monitoring is put forward to realize the concept of mobile monitoring system. To realize the hydrological remote monitoring is a very ideal solution, has very important significance to the development of hydrological monitoring.

ummanned;hydrological monitoring;Hadoop platform;multiple nodes

哈爾濱工程大學(xué)2015年大學(xué)生科研立項(重大型)資助計劃

賈天龍(1994-)，男，本科生，港口航道與海岸工程專業(yè)。E-mail:2533433765@qq.com

P335

A

2096-0506(2015)06-0029-04