高仁智，尚麗輝，涂 煊

(1.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093；2.上海工業(yè)自動(dòng)化儀表研究院，上海 200093)

基于Android的環(huán)境監(jiān)控系統(tǒng)的軟件開(kāi)發(fā)

高仁智1，尚麗輝1，涂 煊2

(1.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093；2.上海工業(yè)自動(dòng)化儀表研究院，上海 200093)

針對(duì)傳統(tǒng)建筑環(huán)境監(jiān)控中，采用固定節(jié)點(diǎn)的監(jiān)控與可移動(dòng)性能差等問(wèn)題，提出了在遠(yuǎn)程監(jiān)控系統(tǒng)中利用移動(dòng)設(shè)備的通信、數(shù)據(jù)處理功能對(duì)遠(yuǎn)程環(huán)境進(jìn)行監(jiān)控。文中模擬利用Andriod手機(jī)同裝有(機(jī)器人操作系統(tǒng))的機(jī)器人進(jìn)行組網(wǎng)通信視頻數(shù)據(jù)采集和處理以及基于TCP協(xié)議在服務(wù)器端實(shí)現(xiàn)對(duì)圖像獲取和處理，實(shí)現(xiàn)了移動(dòng)終端對(duì)裝有ROS系統(tǒng)機(jī)器人的數(shù)據(jù)通信與控制。

環(huán)境監(jiān)控；移動(dòng)終端；Android；機(jī)器人操作系統(tǒng)

隨著大型公共建筑的增多，其能耗和環(huán)境監(jiān)測(cè)問(wèn)題日益突出。為了監(jiān)控環(huán)境與能耗參數(shù)，一般采用固定安裝在建筑物內(nèi)的大量傳感器節(jié)點(diǎn)，采集環(huán)境和能耗參數(shù)。近年來(lái)，將安裝有環(huán)境測(cè)量傳感器的移動(dòng)機(jī)器人用于環(huán)境監(jiān)控，成為一種新的技術(shù)方案。由于移動(dòng)機(jī)器人在自主或在遙操作模式下能夠靈活地深入危險(xiǎn)場(chǎng)所、探測(cè)有害氣體等環(huán)境參數(shù)，甚至傳送遠(yuǎn)程視音頻信息，因此能有效彌補(bǔ)傳統(tǒng)環(huán)境與能耗監(jiān)控系統(tǒng)的缺點(diǎn)，靈活地提供所需探測(cè)點(diǎn)的環(huán)境參數(shù)信息，增強(qiáng)遙操作者的臨場(chǎng)感效果。

本文在此背景下，提出了針對(duì)傳統(tǒng)環(huán)境監(jiān)控系統(tǒng)交互能力差，便攜能力差及人為獲取環(huán)境信息艱難等問(wèn)題的解決方案，該方案使用智能終端設(shè)備，獲取監(jiān)控系統(tǒng)中機(jī)器人提供的一系列數(shù)據(jù)，同時(shí)反饋給監(jiān)控端用戶。此外，對(duì)方案的可實(shí)施性，本文均提供了實(shí)驗(yàn)分析和探究結(jié)果。

1 監(jiān)控系統(tǒng)核心技術(shù)

1.1 嵌入式智能終端在監(jiān)控中的應(yīng)用

在對(duì)環(huán)境進(jìn)行監(jiān)控的過(guò)程中，需要對(duì)大量的實(shí)時(shí)數(shù)據(jù)進(jìn)行采集和初步處理，這就需要使用大量的傳感器和數(shù)據(jù)通信設(shè)備。同時(shí)，傳統(tǒng)監(jiān)控端使用的PC，其的體積和連網(wǎng)方式不便，不便于現(xiàn)場(chǎng)監(jiān)控人員對(duì)環(huán)境的實(shí)時(shí)掌控。綜合這兩點(diǎn)，在環(huán)境監(jiān)控中使用嵌入式[1]智能終端可較好的解決這些問(wèn)題。嵌入式的移動(dòng)終端可不受地理限制，對(duì)環(huán)境進(jìn)行實(shí)時(shí)動(dòng)態(tài)監(jiān)控。

1.2 Android和移動(dòng)機(jī)器人在監(jiān)控中的使用

移動(dòng)機(jī)器[2]人是一個(gè)集環(huán)境感知、動(dòng)態(tài)決策與規(guī)劃[3]、行為控制與執(zhí)行[4]等多功能于一體的綜合系統(tǒng)[5]。其除了具有較高的智能度外，還具備較好的靈活移動(dòng)能力，能在各種環(huán)境中動(dòng)態(tài)的獲取各種指定的環(huán)境信息，并對(duì)信息進(jìn)行處理分析。目前智能手機(jī)的普及率較高，若能將智能機(jī)同移動(dòng)機(jī)器人相互結(jié)合，系統(tǒng)在環(huán)境監(jiān)控過(guò)程中的靈活度和使用范圍將得到大幅的提高。

1.3 ROS(機(jī)器人操作系統(tǒng))

ROS是一種分布式的進(jìn)程框架，這使得執(zhí)行程序可各自獨(dú)立地設(shè)計(jì)，松散的、實(shí)時(shí)地相組合并將其提供給Android的客戶端。最后，在搭建好的ROS運(yùn)行平臺(tái)下，利用Android智能和該平臺(tái)進(jìn)行通信，模擬客戶端與機(jī)器人的交互流程與測(cè)試結(jié)果。

2 環(huán)境監(jiān)測(cè)數(shù)據(jù)服務(wù)器與通信軟件設(shè)計(jì)

2.1 Qt實(shí)現(xiàn)多線程服務(wù)器

Qt[6]是一個(gè)跨平臺(tái)的C++應(yīng)用程序開(kāi)發(fā)框架，廣泛用于開(kāi)發(fā)GUI程序。信號(hào)與槽的搭配使用為Qt構(gòu)造了一個(gè)強(qiáng)大的部件編程機(jī)制[7]。

2.2 視頻轉(zhuǎn)碼

在視頻方面，Android設(shè)備主要支持對(duì)H.264 AVC與MPEG-4 SP編碼方式。所以，需要將已獲得的avi格式視頻轉(zhuǎn)換成MPEG-4。要實(shí)現(xiàn)視頻的轉(zhuǎn)碼，需要用到視頻轉(zhuǎn)碼工具，本文采用Avconv工具。

2.3 服務(wù)器調(diào)試及其軟件界面設(shè)計(jì)

在服務(wù)器端，需要加入對(duì)視頻流的控制操作組件，如打開(kāi)攝像頭、停止攝像、開(kāi)始監(jiān)控等。在真實(shí)的機(jī)器人硬件系統(tǒng)上，若其軟件部分設(shè)計(jì)了相關(guān)的界面調(diào)試內(nèi)容，則調(diào)試起來(lái)會(huì)方便、快捷[8-9]。部分軟件界面實(shí)現(xiàn)如圖1所示，主要是視頻和環(huán)境信息的顯示，以及系統(tǒng)調(diào)試信息的打印。

圖1 服務(wù)器軟件界面截圖

3 系統(tǒng)Android客戶端設(shè)計(jì)與實(shí)現(xiàn)

3.1 客戶端總體設(shè)計(jì)及需求分析

客戶端的職責(zé)是同用戶進(jìn)行交互，將用戶想了解的機(jī)器人參數(shù)顯示出來(lái)。同時(shí)，還需將用戶的指令發(fā)送給ROS的服務(wù)器程序端，用于對(duì)服務(wù)器端的機(jī)器人進(jìn)行控制。為實(shí)現(xiàn)客戶端與服務(wù)器的系統(tǒng)管理，其之間的邏輯調(diào)用關(guān)系如圖2所示。

圖2 程序框架

由圖2可知，客戶端程序分為兩個(gè)主體部分，體現(xiàn)在Android程序中就是兩個(gè)Activity;分別是MainActivity與 ShowActivity。

進(jìn)入這一Activity后，首先要設(shè)置開(kāi)啟視頻模式，按下該按鈕后，客戶端會(huì)向服務(wù)器發(fā)出一個(gè)視屏通話請(qǐng)求，服務(wù)器接收到修改信號(hào)后開(kāi)始將PC端的視頻數(shù)據(jù)通過(guò)Socket發(fā)送給客戶端，客戶端接收到相關(guān)數(shù)據(jù)并緩存下來(lái)，調(diào)用視頻播放程序進(jìn)行視頻播放。

3.2 客戶端主要模塊

3.2.1 客戶端UI界面

客戶端界面[10]的目標(biāo)如圖3的效果。

圖3 界面初步設(shè)計(jì)

這樣一個(gè)界面包含了能同服務(wù)器端進(jìn)行交互的所有要素。手機(jī)程序開(kāi)啟之后，第一件事就是獲取界面所有組件的ID。這之后等待用戶操作，首先檢測(cè)網(wǎng)絡(luò)連接按鈕是否被按下，后續(xù)的所有操作都在網(wǎng)絡(luò)建立好的基礎(chǔ)上進(jìn)行。檢測(cè)到該連接按鈕被按下后，繼續(xù)檢測(cè)IP地址輸入框內(nèi)是否輸入了符合IPv4地址規(guī)范的字符串，如果有，那么將這個(gè)IP地址存下來(lái)，并創(chuàng)建一個(gè)線程，在線程中根據(jù)之前獲取的IP地址來(lái)建立一個(gè)Socket。需要注意的是，在Android 4.0之后的版本是不允許用戶在主線程中建立網(wǎng)絡(luò)連接的，即用戶要建立一個(gè)網(wǎng)絡(luò)連接，就必須新建一個(gè)線程，并在線程內(nèi)完成Socket或其他的網(wǎng)絡(luò)連接。

3.2.2 Android網(wǎng)絡(luò)通信模塊與多線程

安卓通信[10]主要依靠Socket網(wǎng)絡(luò)編程，在獲取服務(wù)器端的視頻流信息時(shí)，使用的是sufaceView類，并直接使用了Http協(xié)議來(lái)獲取服務(wù)器端的視頻流信息。首先，最依賴的還是Socket通信。要實(shí)現(xiàn)多線程，在大多數(shù)情況下，均可使用Thread線程類，Thread比較簡(jiǎn)單，直接匿名創(chuàng)建重寫run方法，調(diào)用start方法執(zhí)行即可。但對(duì)于Android平臺(tái)來(lái)說(shuō)UI控件均沒(méi)有設(shè)計(jì)成為線程安全類型，所以需要引入同步機(jī)制來(lái)刷新界面[11-12]。

3.2.3 Android視頻播放模塊

在本系統(tǒng)中，視頻的采集和轉(zhuǎn)碼都已在服務(wù)器端的程序中實(shí)現(xiàn)了，所以在Android程序中，需要做的就是播放服務(wù)器端處理好的視頻。本文使用的是MediaPlayer和SurfaceView配合的方案。該模塊程序流程如圖4所示。

圖4 視頻播放流程圖

在上述函數(shù)中，最重要的兩個(gè)函數(shù)setDataSource和setDisplay，分別指定了視頻播放的資源和視頻播放器，播放資源可設(shè)置為網(wǎng)絡(luò)域名，這是使用了Http協(xié)議來(lái)接收視頻信息。

4 演示系統(tǒng)與系統(tǒng)測(cè)試

4.1 Android客戶端與服務(wù)器功能演示

在對(duì)本系統(tǒng)進(jìn)行測(cè)試演示時(shí)，需要將PC端的服務(wù)器和Android端的客戶程序打開(kāi)，PC和手機(jī)需同時(shí)連入局域網(wǎng)內(nèi)。首先打開(kāi)Ubuntu系統(tǒng)的終端，輸入“ifconfig”指令[13]，終端會(huì)顯示出當(dāng)前PC機(jī)所用的IP地址。

之后需要啟動(dòng)ROS系統(tǒng)，輸入指令：#roscore。再打開(kāi)ROS的rosbridge節(jié)點(diǎn)，用于接收手機(jī)端的連接請(qǐng)求，注意，這里需要重新打開(kāi)一個(gè)終端用來(lái)輸入：#rosrun rosbridge rosbridge.py。獲取了PC的IP地址并開(kāi)啟了服務(wù)器后，在手機(jī)客戶端的IP地址輸入框內(nèi)輸入PC的IP地址，輸入后點(diǎn)擊連接，若彈出連接成功提示，表示已正確連接。

隨后在視頻播放框的下方輸入框內(nèi)輸入查詢環(huán)境參數(shù)的指令，本系統(tǒng)中，對(duì)應(yīng)的測(cè)試指令功能如下：(1)CO2,查詢二氧化碳濃度值；(2)WET，查詢當(dāng)前空氣濕度值；(3)TEMP，查詢當(dāng)前溫度值；(4)ABOUT，查詢軟件信息。

客戶端可輸入以上幾個(gè)指令來(lái)模擬查詢對(duì)應(yīng)的信息。接下來(lái)就是較為重要的視頻通信[14-15]，首先，在服務(wù)器端的程序中開(kāi)啟攝像頭，并點(diǎn)擊開(kāi)始監(jiān)控。此時(shí)，服務(wù)器的視頻界面里含有監(jiān)控的畫面如圖5所示。

圖5 服務(wù)器監(jiān)控畫面

打開(kāi)服務(wù)器端的程序并獲取了攝像頭的視頻信息后，在手機(jī)客戶端輸入相關(guān)的地址信息后，點(diǎn)擊連接，播放視頻，可利用手機(jī)客戶端的程序來(lái)播放服務(wù)器端的視頻信息。通過(guò)Http協(xié)議傳輸?shù)囊曨l信息需要進(jìn)行一定的緩沖。所以，在視頻播放之前，需要等待一段時(shí)間。這是由于網(wǎng)絡(luò)傳輸?shù)难舆t，網(wǎng)絡(luò)傳輸?shù)乃俾室彩怯绊懸曨l播放質(zhì)量的重要因素。

4.2 Android客戶端控制ROS節(jié)點(diǎn)演示

要實(shí)現(xiàn)對(duì)ROS節(jié)點(diǎn)的控制，首先需要將ROS系統(tǒng)及ROS的相關(guān)節(jié)點(diǎn)打開(kāi)，讓其處于運(yùn)行狀態(tài)，其次通過(guò)手機(jī)的前后左右按鈕來(lái)對(duì)節(jié)點(diǎn)進(jìn)行模擬控制。運(yùn)行效果如圖6所示。

圖6 手機(jī)終端控制ROS節(jié)點(diǎn)

4.3 數(shù)據(jù)分析

本系統(tǒng)中，需要測(cè)試只有一個(gè)或多個(gè)客戶端接入系統(tǒng)時(shí)，視頻的通信質(zhì)量。首先，測(cè)試了服務(wù)器中只有一個(gè)手機(jī)客戶端接入時(shí)的數(shù)據(jù)，如圖7所示，在1 min之內(nèi)，手機(jī)端播放的視頻最高幀率為23 fps，最低為8.5 fps，平均之后，幀率為14.32 fps，通過(guò)觀察圖7中的曲線可知，視頻播放過(guò)程中，幀率的波動(dòng)比較大，說(shuō)明視頻傳輸不夠穩(wěn)定。

圖7 單客戶端視頻幀率

下一步就是測(cè)試多個(gè)客戶端接入到服務(wù)器時(shí)，客戶端所播放視頻的幀率波動(dòng)。同樣，通過(guò)截取客戶端1 min內(nèi)的視頻幀率變化曲線來(lái)進(jìn)行分析，如圖8所示。最高的幀率為21 fps，最低為6 fps，平均值為15.61 fps。結(jié)果表明，在服務(wù)器對(duì)多個(gè)手機(jī)客戶端進(jìn)行視頻連接時(shí)，播放品質(zhì)下降不明顯。

圖8 多客戶端視頻幀率

通過(guò)對(duì)連續(xù)60幀的視頻數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，結(jié)合前面的視頻幀率數(shù)據(jù)，可計(jì)算出視頻的傳輸速度等系列數(shù)據(jù)，如表1所示。

表1 視頻數(shù)據(jù)分析

5 結(jié)束語(yǔ)

設(shè)計(jì)了一種適于環(huán)境監(jiān)控系統(tǒng)，并介紹了系統(tǒng)的組成部分，以及結(jié)構(gòu)與運(yùn)行模式。針對(duì)監(jiān)控系統(tǒng)

的基本要求，設(shè)計(jì)了一款A(yù)ndroid智能手機(jī)應(yīng)用程序，同時(shí)實(shí)現(xiàn)了與該應(yīng)用程序配套進(jìn)行測(cè)試的服務(wù)器。針對(duì)移動(dòng)機(jī)器人的監(jiān)控系統(tǒng)，分析了智能移動(dòng)終端在該系統(tǒng)中的重要性，給出了移動(dòng)終端在該監(jiān)控系統(tǒng)中需要實(shí)現(xiàn)的內(nèi)容；且開(kāi)發(fā)了一個(gè)基于ROS操作系統(tǒng)的機(jī)器人仿真服務(wù)器平臺(tái)，模擬了移動(dòng)機(jī)器人獲取環(huán)境數(shù)據(jù)，使用Qt為該服務(wù)器平臺(tái)增加用戶界面。

[1] 左璐.嵌入式系統(tǒng)現(xiàn)狀與發(fā)展前景研究[J].現(xiàn)代商貿(mào)工業(yè),2010,22(15):331-332.

[2] 趙全保.移動(dòng)機(jī)器人網(wǎng)絡(luò)控制中的關(guān)鍵技術(shù)研究[D].天津:天津理工大學(xué),2006.

[3] Fong T,Thorpe C,Baur C.Multi-robot remote driving with collaborative control[J].Industrial Electronics,2003,50(4): 699-704.

[4] Tira-Thompson E,Touretzky D S.The tekkotsu robotics development environment[C].Istanbul:IEEE ICRA,2011.

[5] 劉其峰,朱世強(qiáng),劉松國(guó),等.開(kāi)放式移動(dòng)機(jī)器人嵌入式控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]機(jī)電工程，2007,24(9): 56-58,66.

[6] 張建偉,張立偉,胡穎,等.開(kāi)源機(jī)器人操作系統(tǒng)-ROS[M].北京:科學(xué)出版社,2012.

[7] 任小龍.環(huán)境在線監(jiān)控系統(tǒng)運(yùn)維優(yōu)化思考與建議[J].環(huán)境監(jiān)控與預(yù)警,2012(6):35-37.

[8] 張昆,朱微維.智能建筑監(jiān)控系統(tǒng)中控制邏輯的設(shè)計(jì)與實(shí)現(xiàn)[J].工業(yè)控制計(jì)算機(jī),2012,25(3):32-33.

[9] 劉清,吳軍,郭建明,等.基于Internet的移動(dòng)機(jī)器人網(wǎng)絡(luò)監(jiān)控系統(tǒng)[J].武漢理工大學(xué)學(xué)報(bào):信息與管理工程版,2009,31(6):913-916.

[10] 朱效洲.戶外環(huán)境下基于視覺(jué)的移動(dòng)機(jī)器人可通行區(qū)域識(shí)別研究[D].長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué),2012.

[11] Patrick R.Goebel ROS by example[M].UT,USA:ROS Groovy,2013．

[ 2] 余榮發(fā).基于Android 的移動(dòng)視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].廣州:華南理工大學(xué),2011.

[13] Mark Summerfield. Advanced Qt programming: creating great software with C++ and Qt4[M].New York:Prentice Hall,2010.

[14] Jasmin Blanchette, Mark Summerfield. C++ GUI programming with Q t4[M].New York:Prentice Hall,2006.

[15] Carpin S,Lewis M,Wang J,et a1.USARSim：a robot simulator for research and education[C].Shanghai:IEEE Intemational Conference on Robotics and Automation,2007.

[16] Bradski G, Kaehler A. Learning opencv: computer vision with the openCV library [M].USA:O’Reilly Media, Inc,2007.

Environment Monitoring System Software Development Based on Android

GAO Renzhi1，SHANG Lihui1，TU Xuan2

(1. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology,Shanghai 200093, China ; 2. Shanghai Institute of Process Automation Instrumentation, Shanghai 200093, China )

Considering the fixed nodes in traditional monitoring in building environment and poor mobility performance, this paper proposed the use of mobile devices in the remote monitoring system communication, data processing functions for remote monitoring of the environment. In this paper, simulating use of Android mobile phone equipped with ROS (Robot Operating System) of the robot group network communication video data acquisition, processing, and TCP-based protocol on the server side to achieve image acquisition and processing, the mobile terminal equipped with a robotic system ROS data communication and control implementation.

environmental monitoring; mobile terminal; Android; ROS

2016- 03- 06

上海市自然科學(xué)基金資助項(xiàng)目(15ZR1429300)

高仁智(1990-)，男，碩士研究生。研究方向：智能控制理論與Linux嵌入式開(kāi)發(fā)。尚麗輝(1977-)，女，博士，講師。研究方向：智能控制論與復(fù)雜網(wǎng)絡(luò)控制理論。涂煊(1974-)，男，高級(jí)工程師。研究方向：無(wú)線短程數(shù)據(jù)傳輸網(wǎng)絡(luò)系統(tǒng)在工業(yè)環(huán)境下的開(kāi)發(fā)與應(yīng)用。

10.16180/j.cnki.issn1007-7820.2017.01.032

TN929.5；TP277.5

A

1007-7820(2017)01-115-04