趙 薛 強(qiáng)，凌 峻

(中水珠江規(guī)劃勘測(cè)設(shè)計(jì)有限公司，廣東 廣州 510610)

0 引 言

大型水利工程建設(shè)周期長(zhǎng)，工況復(fù)雜，為及時(shí)掌握其建設(shè)進(jìn)度和實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)監(jiān)控，保障施工安全，需要開展定期或不定期巡檢巡查。傳統(tǒng)的人工巡檢不僅存在諸多限制條件、效率低、成本高，且巡檢數(shù)據(jù)停留在文件管理階段，不能可視化、智能化地及時(shí)有效反饋巡檢情況[1]。隨著無人機(jī)技術(shù)的發(fā)展，其靈活性、經(jīng)濟(jì)性以及不受地形限制等特點(diǎn)使其成為水利工程巡檢的首選[2]，但基于人工操控的無人機(jī)巡檢對(duì)操控手專業(yè)要求相當(dāng)高、難度較大，且巡檢數(shù)據(jù)量較大，管理不方便[3]，亟需發(fā)展智能化的無人機(jī)自動(dòng)巡檢智慧監(jiān)控系統(tǒng)，以實(shí)現(xiàn)自動(dòng)化巡檢和智慧化管理海量數(shù)據(jù)。

無人機(jī)自動(dòng)巡檢技術(shù)最早應(yīng)用于電力行業(yè)，并獲得了國內(nèi)外學(xué)者的廣泛關(guān)注，且技術(shù)較為成熟。Montambault等[4]論述了無人機(jī)在電力設(shè)備巡檢中的應(yīng)用，系統(tǒng)分析了無人機(jī)巡檢過程中的諸多關(guān)鍵技術(shù)問題，并進(jìn)一步展望了無人機(jī)自動(dòng)巡檢技術(shù)良好的發(fā)展前景。繆希仁等[5]系統(tǒng)研究了無人機(jī)輸電線路智能巡檢技術(shù)，并就巡檢數(shù)據(jù)智能處理、無人機(jī)自主導(dǎo)航和無人機(jī)續(xù)航等的關(guān)鍵技術(shù)難題進(jìn)行了闡述。楊成順等[6]以四旋翼無人飛行器為多旋翼無人飛行器系統(tǒng)載體，配合地面站系統(tǒng)和高清相機(jī)構(gòu)建了無人自動(dòng)巡檢系統(tǒng)，并將該系統(tǒng)成功應(yīng)用于輸電線路野外巡檢工作，取得了較好的預(yù)期效果。但國內(nèi)外投入運(yùn)營的基于無人機(jī)技術(shù)的輸電線路自動(dòng)巡檢系統(tǒng)并不多，且僅是針對(duì)電力系統(tǒng)，沿著電線的線狀巡檢，雖巡檢技術(shù)較為成熟但是針對(duì)海量巡檢數(shù)據(jù)尚未形成可視化、智能化的管理分析系統(tǒng)。

在水利工程領(lǐng)域，無人機(jī)巡檢僅停留在人工操控?zé)o人機(jī)巡檢階段，智能化程度不高且對(duì)操控手要求極高，巡檢數(shù)據(jù)采用文件管理和人工判別方式查找問題，效率不高[7-8]。為深入貫徹落實(shí)“水利工程補(bǔ)短板，水利行業(yè)強(qiáng)監(jiān)管”的水利改革發(fā)展總基調(diào)，推動(dòng)智慧水利建設(shè)，實(shí)現(xiàn)水利工程的自動(dòng)化巡檢和智能化數(shù)據(jù)管理，擬開展無人機(jī)自動(dòng)巡檢智慧監(jiān)控系統(tǒng)平臺(tái)構(gòu)建研究?；跓o人機(jī)技術(shù)、物聯(lián)網(wǎng)技術(shù)、人工智能、4G/5G技術(shù)等構(gòu)建無人機(jī)自動(dòng)巡檢巡查技術(shù)平臺(tái)，基于5G技術(shù)、RTMP通信協(xié)議(Real Time Messaging Protocol實(shí)時(shí)消息傳輸協(xié)議)、微波通信等構(gòu)建多路遠(yuǎn)程視頻無損回傳技術(shù)體系，通過引入注意力模塊(Squeeze-and-Excitation(SE)-block)，優(yōu)化Yolov3(You Only Look Once：Unified，Real-Time Objection Detection v3)目標(biāo)檢測(cè)算法，構(gòu)建基于Yolov3-SE算法架構(gòu)的高精度特征目標(biāo)識(shí)別算法，通過引入網(wǎng)絡(luò)地理信息處理服務(wù)(WPS)，構(gòu)建了基于Mask R-CNN深度學(xué)習(xí)模型的遠(yuǎn)程在線和多人共享的遙感影像地物識(shí)別檢測(cè)技術(shù)方法。同時(shí)，融合上述目標(biāo)檢測(cè)算法和正射影像識(shí)別技術(shù)，研發(fā)了無人機(jī)巡檢大數(shù)據(jù)管理平臺(tái)，為水利工程、防汛應(yīng)急搶險(xiǎn)、河道岸線違法等領(lǐng)域的動(dòng)態(tài)監(jiān)管提供技術(shù)保障。

1 系統(tǒng)設(shè)計(jì)

本文借鑒前人應(yīng)用經(jīng)驗(yàn)，開展基于無人機(jī)技術(shù)、物聯(lián)網(wǎng)技術(shù)、4G/5G技術(shù)等的多旋翼無人機(jī)系統(tǒng)、高精度起降系統(tǒng)、遠(yuǎn)程控制系統(tǒng)和智能機(jī)巢的無人機(jī)自動(dòng)巡檢系統(tǒng)集成研究，構(gòu)建基于GIS技術(shù)、人工智能技術(shù)、大數(shù)據(jù)技術(shù)等的無人機(jī)巡檢數(shù)據(jù)管理平臺(tái)，系統(tǒng)整體設(shè)計(jì)如圖1所示。

圖1 系統(tǒng)整體設(shè)計(jì)Fig.1 Overall design of the system

(1) 無人機(jī)自動(dòng)巡檢系統(tǒng)集成。集成多旋翼無人機(jī)系統(tǒng)、高精度起降系統(tǒng)、遠(yuǎn)程控制系統(tǒng)和智能機(jī)巢，基于無人機(jī)、4G/5G等技術(shù)，研發(fā)無人機(jī)自動(dòng)巡檢系統(tǒng)，實(shí)現(xiàn)無人機(jī)的自動(dòng)巡檢，進(jìn)而對(duì)違法違規(guī)目標(biāo)進(jìn)行定點(diǎn)拍攝和空中喊話，獲取照片、視頻和正射影像等數(shù)據(jù)?；谝苿?dòng)App、無線傳輸和流媒體服務(wù)器技術(shù)構(gòu)建多路遠(yuǎn)程無損視頻回傳技術(shù)，實(shí)現(xiàn)從無人機(jī)前端到遠(yuǎn)程終端(自動(dòng)巡檢系統(tǒng)WEB端)的多路視頻實(shí)時(shí)回傳。

(2) 巡檢管理系統(tǒng)的設(shè)計(jì)?；跀?shù)據(jù)庫技術(shù)，將照片、視頻和正射影像等數(shù)據(jù)進(jìn)行入庫構(gòu)建巡檢數(shù)據(jù)庫；基于計(jì)算機(jī)、GIS技術(shù)，設(shè)計(jì)照片、視頻、影像批量化管理的巡檢管理系統(tǒng)。

(3) 自動(dòng)識(shí)別系統(tǒng)設(shè)計(jì)?；谡掌⒁曨l的圖像異常特征物目標(biāo)檢測(cè)算法和無人機(jī)正射影像的深度學(xué)習(xí)算法，自動(dòng)識(shí)別標(biāo)注巡檢區(qū)域的違法違規(guī)等異常情況?；谝岩?guī)劃設(shè)計(jì)的巡檢報(bào)告模板，自動(dòng)生成巡檢報(bào)告。

2 算法設(shè)計(jì)

2.1 無人機(jī)自動(dòng)巡檢系統(tǒng)集成

系統(tǒng)硬件集成如圖2所示。在固定沿線或區(qū)域布設(shè)該系統(tǒng)，可實(shí)現(xiàn)點(diǎn)、線、面的動(dòng)態(tài)巡檢。首先，基于TCP/IP協(xié)議[9]建立機(jī)巢與系統(tǒng)平臺(tái)之間的通信聯(lián)系，無人機(jī)操控平臺(tái)依托4G/5G技術(shù)下發(fā)任務(wù)指令到智能機(jī)巢，智能機(jī)巢開啟。隨后，基于2.4GHZ/5.8GHZ微波信號(hào)建立無人機(jī)與機(jī)巢間的通信聯(lián)系，機(jī)巢接到系統(tǒng)平臺(tái)的下發(fā)任務(wù)指令通過微波通信傳遞給無人機(jī)，多旋翼無人機(jī)自主起飛，根據(jù)操控平臺(tái)下發(fā)的任務(wù)指令開展基于高精度衛(wèi)星導(dǎo)航定位技術(shù)(GNSS)的精準(zhǔn)巡航作業(yè)。作業(yè)完成后，多旋翼無人機(jī)自主降落，智能機(jī)巢艙門關(guān)閉并開始對(duì)無人機(jī)自主充電。

圖2 無人機(jī)自動(dòng)巡檢系統(tǒng)硬件集成Fig.2 Hardware integration of UAV automatic inspection system

2.2 基于5G的多路遠(yuǎn)程視頻回傳技術(shù)

市場(chǎng)上主流無人機(jī)遠(yuǎn)程視頻回傳技術(shù)主要依賴WiFi傳輸，因而易受傳輸距離的影響[9]。為克服該影響、突破無人機(jī)自帶操控APP的局限，基于無人機(jī)SDK和移動(dòng)操作系統(tǒng)，開發(fā)支持5G通信網(wǎng)絡(luò)遠(yuǎn)程分享至流媒體服務(wù)器的無人機(jī)操控APP，打通無人機(jī)與機(jī)巢、機(jī)巢與客戶端之間的通信通道，突破自建局域網(wǎng)[10]的技術(shù)限制，研究構(gòu)建基于4G/5G/寬帶通信的無人機(jī)拍攝視頻實(shí)時(shí)傳輸和多人共享的多路遠(yuǎn)程視頻回傳技術(shù)。

具體實(shí)現(xiàn)方法：① 由無人機(jī)搭載高清攝像頭實(shí)時(shí)采集視頻，巡檢視頻流經(jīng)H.264(一種數(shù)字視頻壓縮格式)編碼解譯后傳輸至無人機(jī)硬件系統(tǒng)(操控遙控器或智能機(jī)巢)，通過5G網(wǎng)絡(luò) RTMP協(xié)議傳輸至基于開源架構(gòu)Nginx-rtmp-modul[11]搭建的流媒體服務(wù)器。② 通過流媒體服務(wù)器對(duì)視頻流進(jìn)行視頻流轉(zhuǎn)碼。③ 利用自主研發(fā)的無人機(jī)自動(dòng)巡檢系統(tǒng)基于HTTP-FLV(一種將RTMP封裝在HTTP協(xié)議上的直播協(xié)議)直播協(xié)議對(duì)流媒體服務(wù)器的視頻流進(jìn)行拉流，實(shí)現(xiàn)無人機(jī)多路遠(yuǎn)程視頻回傳的前端播放。關(guān)鍵技術(shù)流程如圖3所示。

圖3 多路無人機(jī)遠(yuǎn)程視頻回傳技術(shù)流程Fig.3 Remote video return technology of multi channel UAV

2.3 基于目標(biāo)檢測(cè)的圖像異常特征物識(shí)別

當(dāng)前主流的檢測(cè)方法主要有雙階段的目標(biāo)檢測(cè)和單階段目標(biāo)檢測(cè)2種。雙階段目標(biāo)檢測(cè)算法精度高、速度慢[12]，而單階段目標(biāo)檢測(cè)算法對(duì)圖像僅需處理一次就可獲得異常目標(biāo)的位置及分類信息，速度運(yùn)行較快[13]，在實(shí)時(shí)性要求較高的場(chǎng)景中得到廣泛應(yīng)用，其代表算法為YOLO算法[13-19]。

由于無人機(jī)照片中特征物大小尺寸不同，直接采用YOLO算法難以滿足工程應(yīng)用中速度與精度需求[13]。因此，在Yolov3框架的基礎(chǔ)上，引入可通過對(duì)各通道的依賴性進(jìn)行建模以提高網(wǎng)絡(luò)的表征能力，并且可以對(duì)特征進(jìn)行逐通道調(diào)整的通道注意力模塊[20]，構(gòu)建Yolov3-SE算法以提高圖像識(shí)別的速度與精度。具體實(shí)現(xiàn)方法為：首先通過squeeze操作，將各通道的全局空間特征作為該通道的表示，形成通道描述符；再經(jīng)excitation操作，學(xué)習(xí)對(duì)各通道的依賴程度，并根據(jù)依賴程度的不同對(duì)特征圖進(jìn)行調(diào)整；最終輸出。添加通道注意力模塊后的Yolov3-SE算法網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

同時(shí)，針對(duì)標(biāo)注數(shù)據(jù)集樣本不均衡的情況，根據(jù)圖片數(shù)據(jù)和目標(biāo)物分布的實(shí)際情景進(jìn)行相應(yīng)的數(shù)據(jù)增強(qiáng)處理，以提高無人機(jī)特征物識(shí)別的成功率。關(guān)鍵技術(shù)流程分為3個(gè)步驟：① 根據(jù)要求將視頻流進(jìn)行解析，轉(zhuǎn)換為圖片；② 對(duì)圖片中特征物體進(jìn)行人工標(biāo)注，制作用于模型訓(xùn)練的數(shù)據(jù)集；③ 根據(jù)檢測(cè)的精度和速度的要求，選取現(xiàn)行精度和速度適宜的Yolov3框架，引入注意力模塊，并優(yōu)化相關(guān)算法，開展網(wǎng)絡(luò)的訓(xùn)練工作以及圖片的預(yù)測(cè)與測(cè)試。具體技術(shù)流程實(shí)現(xiàn)過程如圖5所示。

2.4 多期影像檢測(cè)識(shí)別對(duì)比分析算法設(shè)計(jì)

為實(shí)現(xiàn)多期無人機(jī)航攝遙感影像異常變化對(duì)比分析，在總結(jié)前人經(jīng)驗(yàn)的基礎(chǔ)上[21-22]，針對(duì)當(dāng)前深度學(xué)習(xí)模型對(duì)CPU和GPU等硬件要求高，以及深度學(xué)習(xí)模型檢測(cè)沒有地理坐標(biāo)等缺點(diǎn)，通過引入GIS技術(shù)，采用淺層機(jī)器學(xué)習(xí)模型Tensorflow和深度卷積神經(jīng)網(wǎng)絡(luò)模型Mask R-CNN，將無人機(jī)遙感影像地物檢測(cè)識(shí)別設(shè)計(jì)為一種網(wǎng)絡(luò)地理信息處理服務(wù)(WPS)的正射影像識(shí)別方法，實(shí)現(xiàn)深度學(xué)習(xí)模型下的遙感影像地物檢測(cè)的遠(yuǎn)程在線和多人共享應(yīng)用，降低對(duì)硬件設(shè)備的依賴。

圖4 Yolov3-SE的算法架構(gòu)Fig.4 Algorithm architecture of Yolov3-SE

圖5 異常特征物自動(dòng)識(shí)別技術(shù)流程Fig.5 Technical process of automatic recognition of abnormal features

具體實(shí)現(xiàn)技術(shù)方法為：① 利用機(jī)器學(xué)習(xí)框架Tensorflow實(shí)現(xiàn)Mask R-CNN模型結(jié)構(gòu)，并通過基于TCP/IP協(xié)議的Socket網(wǎng)絡(luò)通信實(shí)現(xiàn)對(duì)Mask R-CNN模型的遠(yuǎn)程調(diào)用；② 利用地理服務(wù)器提供的編程API，制作地理WPS服務(wù)，地理WPS服務(wù)可收受客戶端的網(wǎng)絡(luò)請(qǐng)求參數(shù)，然后向Mask R-CNN模型發(fā)出遠(yuǎn)程調(diào)用請(qǐng)求；③ 利用GDAL(Geospatial Data Abstraction Library)空間數(shù)據(jù)讀取庫，實(shí)現(xiàn)Mask R-CNN模型對(duì)遙感影像數(shù)據(jù)的自動(dòng)化地物檢測(cè)識(shí)別計(jì)算(見圖6)；④ 利用GIS空間處理和空間數(shù)據(jù)庫，將Mask R-CNN模型遙感影像地物檢測(cè)的輸出結(jié)果自動(dòng)轉(zhuǎn)換為空間矢量多邊形數(shù)據(jù)并進(jìn)行存儲(chǔ)(見圖7)；⑤ 將地物檢測(cè)的空間矢量結(jié)果轉(zhuǎn)換為能進(jìn)行網(wǎng)絡(luò)傳輸?shù)牡乩砭幋a格式，通過地理WPS服務(wù)返回至請(qǐng)求服務(wù)的客戶端；⑥ 將不同期的地物檢測(cè)結(jié)果采用GIS疊加分析，進(jìn)而分析多期正射影像變化情況；也可針對(duì)特定檢測(cè)物如建筑物，在識(shí)別結(jié)果的基礎(chǔ)上，疊加水利工程管理范圍線，通過矢量邏輯運(yùn)算，篩選出管理范圍線內(nèi)的建筑物，實(shí)現(xiàn)違建信息提取的目的。

圖6 自動(dòng)化地物檢測(cè)識(shí)別示意Fig.6 Schematic diagram of ground object automatic detection and recognition

圖7 地物檢測(cè)結(jié)果自動(dòng)轉(zhuǎn)換為矢量數(shù)據(jù)并存儲(chǔ)在空間數(shù)據(jù)庫Fig.7 Ground object detection results are automatically converted into vector data and stored in the spatial database

3 實(shí)例應(yīng)用

3.1 工程概況

大藤峽水利樞紐工程(110°2′E，23°27′N)位于珠江流域西江水系黔江河段大藤峽峽谷出口處，下距廣西桂平市6 km，屬于亞熱帶季風(fēng)氣候區(qū)，多年平均風(fēng)速為1.2 m/s，多年平均氣溫為 21.5 ℃，流域多年平均降雨量為1 400～1 800 mm，雨水充沛[23]。區(qū)域水文地質(zhì)條件復(fù)雜，處于大瑤山向溶蝕平原過渡地帶和寬緩的河流階地部位，屬于低平原覆蓋型巖溶[24]。為了在工程建設(shè)、運(yùn)營期，實(shí)時(shí)全方位地監(jiān)控壩址重點(diǎn)施工區(qū)的變化，基于無人機(jī)自動(dòng)巡檢智慧監(jiān)控系統(tǒng)開展了針對(duì)重點(diǎn)施工區(qū)施工和異常變化等重要場(chǎng)景智能化、智慧化的巡檢、巡查應(yīng)用研究。

3.2 應(yīng)用與結(jié)果分析

3.2.1應(yīng)用成果

為實(shí)現(xiàn)大藤峽水利樞紐工程建設(shè)期、運(yùn)行期的全方位、智能化、智慧化監(jiān)控和監(jiān)管，研發(fā)了集成無人機(jī)自動(dòng)巡檢系統(tǒng)和無人機(jī)自動(dòng)巡檢管理系統(tǒng)的無人機(jī)自動(dòng)巡檢智慧監(jiān)控系統(tǒng)。

(1) 大藤峽水利樞紐無人機(jī)自動(dòng)巡檢系統(tǒng)。大藤峽無人機(jī)自動(dòng)巡檢系統(tǒng)主要包括：基于大疆精靈4RTK無人機(jī)系統(tǒng)SDK和安卓操作系統(tǒng)研發(fā)的無人機(jī)操控APP，它支持將巡檢視頻一鍵分享至無人機(jī)遠(yuǎn)程控制系統(tǒng)；基于物聯(lián)網(wǎng)技術(shù)、二維碼識(shí)別技術(shù)、無人機(jī)自帶的高精度RTK起降系統(tǒng)搭建的無人機(jī)起降智能機(jī)巢；基于Web服務(wù)器、流媒體服務(wù)器、GIS技術(shù)的無人機(jī)遠(yuǎn)程控制系統(tǒng)。大藤峽自動(dòng)巡檢系統(tǒng)實(shí)現(xiàn)了遠(yuǎn)程操控?zé)o人機(jī)自主起降和充電，并可根據(jù)固定航線巡航、巡檢。該系統(tǒng)通過自主搭建流媒體服務(wù)器，將無人機(jī)多路航攝視頻遠(yuǎn)程實(shí)時(shí)傳送至Web端無人機(jī)遠(yuǎn)程控制系統(tǒng)，實(shí)現(xiàn)了隨時(shí)、隨地瀏覽、巡查施工現(xiàn)場(chǎng)的目的。

(2) 大藤峽水利樞紐無人機(jī)自動(dòng)巡檢管理系統(tǒng)。采用Java、Javascript等編程語言，利用Yolov3-SE算法和多期影像檢測(cè)識(shí)別對(duì)比分析算法，基于ArcGIS平臺(tái)開發(fā)了實(shí)現(xiàn)海量無人機(jī)巡檢照片、視頻和正射影像數(shù)據(jù)展示、管理、異常變化分析的大藤峽無人機(jī)自動(dòng)巡檢管理系統(tǒng)。系統(tǒng)主要包括用戶登錄模塊、巡檢成果入庫模塊、巡檢成果管理模塊、巡檢成果自動(dòng)分析檢測(cè)模塊、巡檢報(bào)告自動(dòng)生成模塊、多期巡檢成果對(duì)比模塊。

巡檢成果入庫模塊：無人機(jī)自動(dòng)巡檢系統(tǒng)獲取的照片、視頻導(dǎo)入系統(tǒng)時(shí)，支持自動(dòng)識(shí)別時(shí)間、位置、軌跡等信息，并進(jìn)行統(tǒng)一入庫管理，便于隨時(shí)提取查看。

巡檢成果管理模塊：對(duì)巡檢的照片、視頻和影像進(jìn)行管理。

巡檢成果自動(dòng)分析檢測(cè)模塊：利用YoLov3-SE算法實(shí)現(xiàn)對(duì)海量巡檢照片和視頻中的水利樞紐工程附近水中漂浮物、棄渣、塌方、運(yùn)輸船等異常特征物體高精度識(shí)別；利用基于網(wǎng)絡(luò)地理信息處理服務(wù)(WPS)的正射影像識(shí)別方法進(jìn)行正射影像中的違章建筑物識(shí)別和對(duì)比分析，然后將其存入異常數(shù)據(jù)庫，供Web前端調(diào)用。

巡檢報(bào)告自動(dòng)生成模塊：調(diào)用自動(dòng)識(shí)別的異常照片和影像，根據(jù)預(yù)設(shè)的模板自動(dòng)生成巡檢報(bào)告。

多期巡檢成果對(duì)比模塊：選擇調(diào)用數(shù)據(jù)庫的照片、視頻進(jìn)行分屏對(duì)比顯示。

3.2.2結(jié)果分析

(1) 巡檢效率及結(jié)果分析。大藤峽重點(diǎn)施工區(qū)6 km2的巡檢區(qū)域，同等條件下，傳統(tǒng)的人工巡檢方式至少需12 h巡檢完畢，而該系統(tǒng)通過預(yù)設(shè)巡檢任務(wù)，無需作業(yè)人員到達(dá)現(xiàn)場(chǎng)手動(dòng)操控飛行即可實(shí)現(xiàn)自動(dòng)巡檢和自動(dòng)更換電池，完成全程飛行僅需4 h。與傳統(tǒng)的人工手動(dòng)操控巡檢方式相比，解放了生產(chǎn)力，巡檢效率提升3倍以上，尤其是應(yīng)急救援等特殊情況下的巡檢，可快速到達(dá)現(xiàn)場(chǎng)作業(yè)，具有傳統(tǒng)無人機(jī)巡檢無法比擬的優(yōu)勢(shì)。

(2) 多路遠(yuǎn)程視頻回傳效果分析。為了驗(yàn)證多路遠(yuǎn)程視頻回傳的效果，在自制的實(shí)際應(yīng)用場(chǎng)景上進(jìn)行了有效驗(yàn)證，將無人機(jī)自帶的視頻回傳功能(即利用自帶的操控App將視頻流推流分享至第三方流媒體服務(wù)器)與基于5G的多路遠(yuǎn)程視頻回傳技術(shù)進(jìn)行回傳效果比較分析。

實(shí)驗(yàn)環(huán)境為大疆系列無人機(jī)、第三方流媒體服務(wù)器和無人機(jī)自動(dòng)巡檢系統(tǒng)。實(shí)驗(yàn)方法為：① 采用同架無人機(jī)分別近距離拍攝移動(dòng)物體，根據(jù)移動(dòng)物體的動(dòng)作變化對(duì)兩種視頻回傳技術(shù)進(jìn)行延遲分析；② 采用同架無人機(jī)，分別遠(yuǎn)距離開展無人機(jī)視頻回傳，對(duì)比分析兩種方法的最大回傳距離。

結(jié)果表明：① 自主研發(fā)的多路遠(yuǎn)程視頻回傳技術(shù)的視頻回傳延遲時(shí)間在0.8 s以內(nèi)，遠(yuǎn)小于無人機(jī)自帶的視頻回傳功能中5.0 s左右的回傳延遲時(shí)間；② 在同等畫質(zhì)清晰度方面，該回傳技術(shù)同類型的視頻回傳距離比無人機(jī)系統(tǒng)自帶的視頻回傳距離遠(yuǎn)30%；③ 通過實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，多路遠(yuǎn)程視頻回傳技術(shù)最大可支持8路視頻無損、無延遲高清實(shí)時(shí)回傳，而無人機(jī)自帶的視頻回傳功能僅支持單路且視頻不流暢。

(3) 圖像識(shí)別效率及精度分析。為了評(píng)估本文所提出的Yolov3-SE算法的檢測(cè)性能，選取了各類別精度AP(Average Precision)和平均精度mAP(mean Average Precision)作為評(píng)價(jià)指標(biāo)，在真實(shí)圖片數(shù)據(jù)集上進(jìn)行測(cè)試，開展了大藤峽重點(diǎn)施工區(qū)4 a共150萬張巡檢照片和視頻中的聚集型垃圾(g_garbage指建筑處、壩址設(shè)置的攔網(wǎng)所形成的水面上聚集型漂浮物)、分散型垃圾(d_garbage指水面上漂浮的零散的、不成堆的漂浮物)、施工棄渣(spoil)、塌方(collapse)、運(yùn)輸船(trans_boat)、工地積水(stag_water)等6種異常特征物的自動(dòng)識(shí)別及變化對(duì)比。本文算法總共進(jìn)行80輪迭代訓(xùn)練，每輪訓(xùn)練的批大小(batchsize)設(shè)為8，前50輪學(xué)習(xí)率為le-4，后30輪為le-5，采用Adam(Adam optimization algorithm)優(yōu)化策略，學(xué)習(xí)率衰減為0.95。實(shí)驗(yàn)環(huán)境為Ubuntu18.04系統(tǒng)，配備2張顯存大小為11 GB的NVIDIA GPU GTX-1080Ti顯卡、64 GB內(nèi)存和Intel Xeon Gold 5122 CPU，采用Pytorch 1.2.0深度學(xué)習(xí)框架，編程語言及其版本為Python 3.6.12。結(jié)果表明：改進(jìn)算法的mAP達(dá)到了90.17%，比基礎(chǔ)算法的59.83%提高了30個(gè)百分點(diǎn)，統(tǒng)計(jì)結(jié)果如表1所列。綜合以上結(jié)果可知，本文算法相較于Yolov3基礎(chǔ)算法在單個(gè)目標(biāo)物的檢測(cè)精度及總體平均檢測(cè)精度都有明顯提升。

表1 識(shí)別精度統(tǒng)計(jì)Tab.1 Recognition accuracy statistics %

(4) 影像識(shí)別對(duì)比效率及精度分析。為了評(píng)估本文所提出的影像檢測(cè)識(shí)別方法的精度和效果，采用以聯(lián)合交集IoU(Intersection-over-Union)為主要指標(biāo)的基于像素的評(píng)價(jià)方法[21-22]，在自制的實(shí)際應(yīng)用場(chǎng)景數(shù)據(jù)集上進(jìn)行了有效驗(yàn)證。選取大藤峽重點(diǎn)施工區(qū)域無人機(jī)航拍巡檢數(shù)據(jù)庫中2 cm分辨率的正射影像圖，并針對(duì)實(shí)際應(yīng)用場(chǎng)景中的違章建筑物，制作了實(shí)際應(yīng)用場(chǎng)景下的數(shù)據(jù)集。實(shí)驗(yàn)環(huán)境為Ubuntu18.04系統(tǒng)，配備兩張顯存大小為11 GB的NVIDIA GPU GTX-1080Ti顯卡、64 GB內(nèi)存和Intel Xeon Gold 5122 CPU，利用機(jī)器學(xué)習(xí)框架Tensorflow進(jìn)行100輪次訓(xùn)練，使用Microsoft COCO數(shù)據(jù)集預(yù)訓(xùn)練權(quán)重，再進(jìn)行fine-tuning，對(duì)6 km2的巡檢區(qū)域進(jìn)行訓(xùn)練，訓(xùn)練總時(shí)長(zhǎng)約20 h，訓(xùn)練效率大幅提升。自動(dòng)化樣本制作工具，并將樣本存儲(chǔ)于空間數(shù)據(jù)庫。

為防止在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，采用2種方法對(duì)訓(xùn)練樣本進(jìn)行增強(qiáng)：① 根據(jù)該數(shù)據(jù)集的建立規(guī)則，選取形狀各異、不同季節(jié)、不同尺度、不同光照條件下的高分辨率遙感影像數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)的擴(kuò)充；② 打亂訓(xùn)練樣本數(shù)據(jù)，再進(jìn)行隨機(jī)排序，從而達(dá)到提升模型檢測(cè)性能的效果。經(jīng)過深度學(xué)習(xí)識(shí)別后的建筑物情況如圖8所示。

圖8 建筑物自動(dòng)識(shí)別提取結(jié)果Fig.8 Extraction results of automatic building recognition

采用基于像素的評(píng)價(jià)方法量化建筑物檢測(cè)識(shí)別的效果，其主要指標(biāo)為IoU：

(1)

式中：FP代表錯(cuò)誤分類為建筑物實(shí)例的像素?cái)?shù)；TP代表正確分類為建筑物實(shí)例的像素?cái)?shù)；FN代表錯(cuò)誤分類為背景的像素?cái)?shù)。

結(jié)果表明：本文提出的基于網(wǎng)絡(luò)共享遙感影像建筑物檢測(cè)模型的多期影像分類識(shí)別對(duì)比算法，極大降低了影像識(shí)別對(duì)計(jì)算機(jī)硬件的要求，節(jié)約了成本。通過計(jì)算，建筑物實(shí)例整體的置信度為0.938，可為海量影像的自動(dòng)識(shí)別和多期對(duì)比分析提供技術(shù)支持。

4 結(jié) 論

通過深入研究無人機(jī)、人工智能、GIS等技術(shù)，設(shè)計(jì)研發(fā)了無人機(jī)自動(dòng)巡檢智慧監(jiān)控系統(tǒng)，主要工作如下。

(1) 基于無人機(jī)、人工智能、AI算法等多種技術(shù)研發(fā)的無人機(jī)自動(dòng)巡檢智慧監(jiān)控系統(tǒng)，實(shí)現(xiàn)了大型水利樞紐工程——大藤峽水利樞紐工程重點(diǎn)施工區(qū)全天候24 h不間斷巡檢、巡查，以及對(duì)巡檢照片、視頻和正射影像等建設(shè)期歷史珍貴資料的存檔管理和異常特征自動(dòng)識(shí)別分析，為大藤峽水利樞紐工程博物館的建設(shè)提供了珍貴的歷史資料。

(2) 無人機(jī)自動(dòng)巡檢智慧監(jiān)控系統(tǒng)解放了生產(chǎn)力，規(guī)避和降低了人工巡檢的安全風(fēng)險(xiǎn)，將巡檢效率提升了3倍以上。海量巡檢照片、視頻的自動(dòng)異常識(shí)別算法，將判別效率和識(shí)別成功率提升了30個(gè)百分點(diǎn)，具有傳統(tǒng)人工判別無法比擬的優(yōu)勢(shì)。

(3) 無人機(jī)自動(dòng)巡檢智慧監(jiān)控系統(tǒng)目前主要是針對(duì)巡檢后的照片、視頻和影像進(jìn)行入庫、異常識(shí)別和管理，而對(duì)于應(yīng)急救援等特殊情況，仍需進(jìn)一步研究基于無人機(jī)航攝視頻的前端異常特征實(shí)時(shí)識(shí)別。

本文設(shè)計(jì)的無人機(jī)自動(dòng)巡檢智慧監(jiān)控系統(tǒng)，不僅適用于大型水利樞紐工程建設(shè)期、運(yùn)營期的自動(dòng)巡檢、巡查等，也可應(yīng)用于河道岸線、庫區(qū)、應(yīng)急救援、輸變線電站、交通執(zhí)法等多行業(yè)多領(lǐng)域，具有廣闊的應(yīng)用前景。