劉 文，陸小鋒，毛建華，方思凱，錢 國

(1.上海大學(xué) 通信與信息工程學(xué)院，上海 200444; 2.上海寶冶冶金工程有限公司，上海 201900)

0 引言

無人機(jī)巡檢是近幾年才發(fā)展起來的新型技術(shù)[1]，它融合了航空、遙感、電子、通信等多項(xiàng)高端技術(shù)。其中四旋翼無人機(jī)具有強(qiáng)靈活性、低功耗和低成本等優(yōu)點(diǎn)[2-3]，這使得其相關(guān)的應(yīng)用領(lǐng)域已涉及到森林蟲害檢測(cè)、電力巡檢、工地安全管理、漁政執(zhí)法、露天礦場(chǎng)檢測(cè)等。這些場(chǎng)景的存在著區(qū)域大、環(huán)境復(fù)雜和人力巡檢作業(yè)成本高的特點(diǎn)。無人機(jī)巡檢作業(yè)不僅彌補(bǔ)人工巡檢安全不足、成本高等問題，而且由于其可攜帶多種傳感器和相機(jī)鏡頭，使得無人機(jī)巡檢方式在場(chǎng)景適配性和功能應(yīng)用性上表現(xiàn)突出。

文獻(xiàn)[4-5]基于地面移動(dòng)圖形工作站設(shè)計(jì)了無人機(jī)森林蟲害檢測(cè)系統(tǒng)，通過無人機(jī)遙控器控制無人機(jī)拍攝森林航拍圖像，圖像經(jīng)過圖傳通道回傳至遙控器端，再轉(zhuǎn)發(fā)給地面服務(wù)器，最后運(yùn)行圖像目標(biāo)檢測(cè)算法得到檢測(cè)結(jié)果。方案中檢測(cè)系統(tǒng)由于需要人工控制拍攝森林圖像，所以智能性較差，不具備實(shí)時(shí)性巡檢的條件，且地面的移動(dòng)圖像工作站攜帶較為不方便。李寧等[6]將無人機(jī)巡檢應(yīng)用到輸電線路缺陷檢測(cè)中，通過圖傳通信模塊、地面工作終端完成無人機(jī)視頻的傳輸和檢測(cè)。該方案的特點(diǎn)在于通過射頻信號(hào)回傳無人機(jī)相機(jī)視頻流到地面服務(wù)器，但是在無人機(jī)巡檢飛行中，考慮到無人機(jī)的遠(yuǎn)距離高空飛行狀況以及云臺(tái)相機(jī)視頻分辨率較大的問題，所以很難維持長時(shí)間穩(wěn)定的、實(shí)時(shí)的視頻流目標(biāo)檢測(cè)。

上述方案可知，以地面站服務(wù)器作為巡檢方案的檢測(cè)單元時(shí)存在著下面3個(gè)問題：

1)檢測(cè)輸入為航拍圖像時(shí)：航拍圖像需要人工篩選拍攝，而當(dāng)檢測(cè)目標(biāo)不明顯時(shí)可能造成遺漏，且此種方案無法達(dá)到智能化、自動(dòng)化的巡檢任務(wù)要求。

2)檢測(cè)輸入為相機(jī)視頻流時(shí)：在目前無人機(jī)視頻流導(dǎo)出至地面服務(wù)器的傳輸方案中，接收輸入容易出現(xiàn)中斷、失真和延遲，故無法保證實(shí)時(shí)、穩(wěn)定的視頻目標(biāo)檢測(cè)。

3)地面站服務(wù)器在巡檢過程中攜帶、安裝不方便。

故研究人員開始研究將檢測(cè)單元轉(zhuǎn)移至無人機(jī)端的巡檢方案，即基于無人機(jī)板載平臺(tái)來設(shè)計(jì)巡檢方案。焦振田[7]采用了無人機(jī)端搭載機(jī)載計(jì)算機(jī)來設(shè)計(jì)用于森林防火的無人機(jī)安全檢測(cè)系統(tǒng)，方案中機(jī)載計(jì)算機(jī)可以直接獲取無人機(jī)相機(jī)視頻流的進(jìn)行檢測(cè)識(shí)別，相比于地面工作站方案使得無人機(jī)端直接具備了邊緣計(jì)算[8-9]的能力，但是一方面機(jī)載端檢測(cè)算法采用的是YOLOv3-Tiny，檢測(cè)精度差，無法滿足巡檢邊緣計(jì)算的要求。另一方面檢測(cè)結(jié)果的回傳困難，未實(shí)現(xiàn)完整一體化、實(shí)時(shí)的邊緣計(jì)算結(jié)果的接收，同時(shí)整個(gè)系統(tǒng)在巡檢的智能操控上仍需改進(jìn)。

針對(duì)上述方案存在的問題，本文設(shè)計(jì)了一種基于機(jī)載計(jì)算機(jī)的無人機(jī)智能巡檢方案。該方案結(jié)合大疆SDK[10](Software Development Kit)設(shè)計(jì)了機(jī)載計(jì)算機(jī)和無人機(jī)APP的操作控制程序，可實(shí)現(xiàn)完整一體化的邊緣計(jì)算結(jié)果地面端和云平臺(tái)端雙重實(shí)時(shí)接收，且巡檢操作設(shè)計(jì)簡單靈活。機(jī)載端為保證實(shí)時(shí)的檢測(cè)計(jì)算，借助輕量化模型來提升檢測(cè)算法的計(jì)算速度。另外設(shè)計(jì)了遠(yuǎn)程云平臺(tái)端的巡檢操控和可視化方案，實(shí)現(xiàn)多端控制的同時(shí)，提升了遠(yuǎn)程監(jiān)控人員的巡檢決策和精準(zhǔn)響應(yīng)的能力。

1 無人機(jī)智能巡檢方案

1.1 總體方案設(shè)計(jì)

如圖1是以建筑工地工人安全帽佩戴檢測(cè)場(chǎng)景[11-12]為例，演示無人機(jī)智能巡檢方案工作模式的示意圖。用戶在云平臺(tái)或者移動(dòng)終端設(shè)置好巡檢任務(wù)指令，然后搭載機(jī)載計(jì)算機(jī)、云臺(tái)相機(jī)和其他傳感器的無人機(jī)接收并解析巡檢任務(wù)指令，開始按照設(shè)置的巡航路線和飛行參數(shù)進(jìn)行巡檢作業(yè)。機(jī)載計(jì)算機(jī)在巡檢飛行中讀取云臺(tái)相機(jī)的視頻流，并運(yùn)行相應(yīng)的安全帽檢測(cè)算法進(jìn)行檢測(cè)，分析得到的檢測(cè)結(jié)果實(shí)時(shí)壓縮回傳至移動(dòng)終端，APP接收后自動(dòng)將檢測(cè)結(jié)果和相應(yīng)的狀態(tài)信息打包上傳至云平臺(tái)。遠(yuǎn)程監(jiān)控人員登錄云平臺(tái)后可實(shí)時(shí)查看檢測(cè)結(jié)果和地圖組件上標(biāo)注的檢測(cè)位置,做到及時(shí)精準(zhǔn)的安全響應(yīng)[13]。

圖1 無人機(jī)巡檢方案工作模式示意圖

當(dāng)遇到飛行環(huán)境不好或者檢測(cè)的巡航路線設(shè)置錯(cuò)誤等特殊情況，移動(dòng)終端可以控制暫?；蚪Y(jié)束巡檢作業(yè)，此時(shí)無人端也相應(yīng)停止檢測(cè)任務(wù)，用戶可在檢查情況安全后重新設(shè)置巡航檢測(cè)命令或者切換至手動(dòng)操縱模式。

1.2 硬件平臺(tái)搭建

1.2.1 無人機(jī)平臺(tái)

方案中無人機(jī)模塊采用的是大疆公司的DJI Matrice210 RTK V2(簡稱M210 RTK V2)。該無人機(jī)屬于經(jīng)緯M200 V2系列飛行平臺(tái)，其設(shè)計(jì)緊湊，擴(kuò)展靈活且飛行性能顯著優(yōu)化，可攜帶下置雙云臺(tái)或上置單云臺(tái)。強(qiáng)大的負(fù)載攜帶能力和傳感器擴(kuò)展能力使得它能被DIY適用于多種無人機(jī)巡檢飛行任務(wù)[14]。實(shí)物圖如圖2。

圖2 DJI Matrice210 RTK V2(下置雙云臺(tái))

1.2.2 機(jī)載計(jì)算機(jī)

方案中機(jī)載計(jì)算機(jī)采用的是大疆公司的妙算Manifold 2-G。該計(jì)算平臺(tái)是一款專為智能機(jī)器打造的高性能機(jī)載計(jì)算機(jī)，具備卓越的處理能力和響應(yīng)速度，擴(kuò)展靈活，適配多款大疆飛行平臺(tái)和飛控系統(tǒng)。Manifold 2-G的處理器是NVIDIA Jetson TX2，其配備NVIDIA Pascal GPU和8G內(nèi)存，性能強(qiáng)大，外形小巧，節(jié)能高效。作為板載處理器，擁有專門與無人機(jī)固定的安裝支架，保證高空飛行時(shí)的安全穩(wěn)定。

圖3 Manifold 2-G

1.3 檢測(cè)信息的傳輸方案設(shè)計(jì)

檢測(cè)信息的傳輸指將機(jī)載計(jì)算機(jī)的檢測(cè)結(jié)果和無人機(jī)的狀態(tài)信息實(shí)時(shí)回傳至移動(dòng)終端和云平臺(tái)。方案的核心首先是實(shí)現(xiàn)整個(gè)巡檢系統(tǒng)檢測(cè)信息的實(shí)時(shí)傳輸，如圖4是方案的檢測(cè)信息傳輸流程圖。

圖4 檢測(cè)信息傳輸流程圖

機(jī)載計(jì)算機(jī)運(yùn)行安全帽檢測(cè)算法得到檢測(cè)結(jié)果后，分類篩選出未佩戴安全帽的結(jié)果。然后篩選的結(jié)果圖片采用Jpeg壓縮機(jī)制壓縮為圖像碼流，機(jī)載計(jì)算機(jī)按照自定義的協(xié)議再分段緩存發(fā)送給APP，同時(shí)APP還會(huì)接收無人機(jī)狀態(tài)信息。地面端的APP接收后從圖像碼流中解壓縮恢復(fù)出檢測(cè)結(jié)果，一方面將檢測(cè)信息進(jìn)行本地備份，用于現(xiàn)場(chǎng)查看；另一方面將信息重新打包后通過Http協(xié)議發(fā)送給云平臺(tái)，用于遠(yuǎn)端監(jiān)控人員查看。

1.3.1 回傳協(xié)議與檢錯(cuò)機(jī)制設(shè)計(jì)

方案檢測(cè)結(jié)果圖片回傳鏈路采用的是無人機(jī)的機(jī)載計(jì)算機(jī)和APP的通信鏈路?？紤]到無人機(jī)遠(yuǎn)距離高空巡檢環(huán)境，局域網(wǎng)的方式無法保證檢測(cè)圖片回傳通信的穩(wěn)定傳輸，而機(jī)載計(jì)算機(jī)與APP的通信鏈路嵌在遙控器與無人機(jī)的通信鏈路中，故遠(yuǎn)距離圖傳較為穩(wěn)定，但方案中采用的硬件提供的圖傳帶寬較窄。為了能夠準(zhǔn)確、實(shí)時(shí)的傳輸檢測(cè)結(jié)果，分別設(shè)計(jì)了傳輸協(xié)議和APP的檢錯(cuò)接收機(jī)制。

如表1是檢測(cè)結(jié)果從機(jī)載計(jì)算機(jī)端到APP的回傳協(xié)議，考慮到檢測(cè)結(jié)果壓縮后的碼流數(shù)據(jù)量仍遠(yuǎn)大于通道帶寬，無法一次發(fā)完，所以緩存多次發(fā)送。單次發(fā)送的數(shù)據(jù)段包括開始標(biāo)志位、有效數(shù)據(jù)、檢錯(cuò)標(biāo)志位和結(jié)束標(biāo)志位。有效數(shù)據(jù)的數(shù)據(jù)量依據(jù)實(shí)際帶寬而調(diào)整，檢錯(cuò)標(biāo)志位用于APP端檢測(cè)當(dāng)次接收的數(shù)據(jù)段。

表1 檢測(cè)結(jié)果的回傳協(xié)議

如圖5所示是APP的檢錯(cuò)接收機(jī)制，目的是減少接收碼流的錯(cuò)誤率，進(jìn)而降低恢復(fù)檢測(cè)結(jié)果的失真率。APP端檢測(cè)到開始標(biāo)志位后開始接收?qǐng)D像數(shù)據(jù)，如果當(dāng)次數(shù)據(jù)段中檢錯(cuò)標(biāo)志位出錯(cuò)，則APP向機(jī)載計(jì)算機(jī)發(fā)送重發(fā)指令且將原本緩存接收的集合清空，等待機(jī)載計(jì)算機(jī)重新發(fā)送。檢錯(cuò)標(biāo)志位正確時(shí)，從協(xié)議數(shù)據(jù)中分離出當(dāng)次有效數(shù)據(jù)放入接收集合中，如此循環(huán)接收，當(dāng)檢測(cè)到結(jié)束標(biāo)志位后，APP解壓縮恢復(fù)檢測(cè)結(jié)果。

圖5 APP的檢錯(cuò)接收機(jī)制

1.3.2 檢測(cè)控制程序設(shè)計(jì)

本方案是基于大疆硬件開發(fā)，APP與機(jī)載計(jì)算機(jī)的無人機(jī)控制程序分別采用了大疆提供的Mobile-SDK[15](簡稱MSDK)和Onboard-SDK[16](簡稱OSDK)軟件開發(fā)包，其軟件包提供了相應(yīng)的API接口用于開發(fā)者定制實(shí)現(xiàn)所需要的功能。檢測(cè)信息的傳輸控制實(shí)現(xiàn)如下。

MSDK和OSDK的使用首先均需在大疆開發(fā)者平臺(tái)注冊(cè)并申請(qǐng)DJI APP Key，然后將APP Key在程序中注冊(cè)。如圖6和圖7所示，其中OSDK的Key秘鑰填寫在機(jī)載計(jì)算機(jī)控制程序的UserConfig.txt 文件中，MSDK的Key秘鑰填寫在移動(dòng)終端APP的AndroidManifest.xml 文件中。

圖6 OSDK的應(yīng)用注冊(cè)

圖7 MSDK的應(yīng)用注冊(cè)

機(jī)載計(jì)算機(jī)端與APP間傳輸數(shù)據(jù)采用的是OSDK中的MobileDevice類，該類用于板載端(機(jī)載計(jì)算機(jī))實(shí)現(xiàn)數(shù)據(jù)透?jìng)鞴δ?其中sendD-ataToMSDK函數(shù)用于機(jī)載計(jì)算機(jī)端發(fā)送數(shù)據(jù)給移動(dòng)終端APP，接收APP的控制指令是利用s-etFromMSDKCallback函數(shù)。

APP的無人機(jī)狀態(tài)信息獲?。韩@取M210 RTK V2無人機(jī)的飛行狀態(tài)信息包括經(jīng)緯度、飛行高度、飛行距離和飛行剩余時(shí)間。dji.common.flightcontroller包中FlightControllerState類包含直接獲取無人機(jī)的飛行高度、無人機(jī)home點(diǎn)位置和飛行剩余時(shí)間的函數(shù)，飛行距離是獲取無人機(jī)RTK坐標(biāo)和home點(diǎn)坐標(biāo)后借助高德地圖SDK計(jì)算得到，MSDK中未提供直接計(jì)算飛行距離的接口方法。RTK(Real Time Kinematic)經(jīng)緯度的獲取是在dji.common.flightcontroller包的RTK類中，其中RTK參考站采用的是千尋位置提供的NTRIP(Networked Tra-nsport of RTCM via Internet Protocol)RTK信息服務(wù)，連接和初始化步驟如下:

1)設(shè)置基站源為CUSTOM_NETWORK_SERVICE(代表第三方網(wǎng)絡(luò)RTK);

2)設(shè)置購買的網(wǎng)絡(luò)RTK賬戶信息，包括IP、端口、用戶名、密碼和網(wǎng)絡(luò)服務(wù)的mountp-oint掛載點(diǎn);

3)啟動(dòng)網(wǎng)絡(luò)RTK服務(wù);

4)使能RTK服務(wù)。

以上步驟完成后可用RTK類中的isconnect和isRTKBeingUsed方法分別檢測(cè)RTK服務(wù)是否與飛行器連接成功和飛行器是否使用RTK數(shù)據(jù)，成功后便可使用RTKState類的getFusionM-obileStationLocation方法獲取高精度RTK經(jīng)緯度坐標(biāo)。

APP端與機(jī)載計(jì)算機(jī)傳輸數(shù)據(jù)：采用的是d-ji.common.flightcontroller包中FlightController類所包含的方法，其中接收機(jī)載計(jì)算機(jī)數(shù)據(jù)的方法是setOnboardSDKDeviceDataCallback，發(fā)送數(shù)據(jù)給機(jī)載計(jì)算機(jī)的方法是sendDataToOnboardSDKDevice。實(shí)際傳輸之前APP需檢測(cè)機(jī)載平臺(tái)是否可用，調(diào)用isOnboardSDKDeviceAvailable方法返回true即可。

1.4 邊緣計(jì)算的設(shè)計(jì)

巡檢方案中機(jī)載計(jì)算機(jī)取代地面服務(wù)器，將檢測(cè)任務(wù)從地面端轉(zhuǎn)移到無人機(jī)端，實(shí)現(xiàn)巡檢作業(yè)任務(wù)的邊緣計(jì)算，并通過APP向上與云平臺(tái)實(shí)現(xiàn)數(shù)據(jù)對(duì)接，但是作為邊緣端檢測(cè)設(shè)備，相比服務(wù)器它的計(jì)算能力和內(nèi)存仍較為有限[17]。如表2所示是3種常用目標(biāo)算法在其上的測(cè)試的結(jié)果，可以看到Y(jié)OLOv3[18]和Faster-RCNN[19]測(cè)試的FPS均小于10幀/s，這使得無法直接移植到機(jī)載計(jì)算機(jī)上做實(shí)時(shí)性檢測(cè)，YOLOv3-Tiny的檢測(cè)FPS可以達(dá)到15.2幀/s，但是其本身檢測(cè)精度較低，不適合巡檢應(yīng)用。

表2 3種目標(biāo)檢測(cè)算法的測(cè)試結(jié)果

綜上為了提高方案中邊緣計(jì)算的檢測(cè)能力，需要在保證檢測(cè)模型算法較高精度的同時(shí)大幅提升其檢測(cè)速度，以滿足實(shí)時(shí)性巡檢的要求。

本方案采用了MobileNet V2[20]輕量級(jí)CNN網(wǎng)絡(luò)對(duì)檢測(cè)模型進(jìn)行輕量化，其主要以深度可分離卷積的方式降低標(biāo)準(zhǔn)卷積的計(jì)算量來達(dá)到提升模型檢測(cè)速度目的[21]。MobileNet V2的核心是深度可分離卷積、倒殘差和線性瓶頸。深度可分離卷積將標(biāo)準(zhǔn)卷積的運(yùn)算過程拆分成深度(Depth-wise)卷積和點(diǎn)(Point-wise)卷積，深度卷積為輸入特征圖的每一通道分配了單獨(dú)的卷積核用于卷積運(yùn)算，點(diǎn)卷積采用1×1的卷積核對(duì)深度卷積的結(jié)果進(jìn)行標(biāo)準(zhǔn)卷積運(yùn)算，這樣幾乎所有的計(jì)算量都集中于點(diǎn)卷積操作中，兩者合并去替代一次標(biāo)準(zhǔn)卷積便可達(dá)到加快計(jì)算速度的目的。倒殘差和線性瓶頸是MobileNet V2在MobileNet V1上進(jìn)一步提升檢測(cè)速度和準(zhǔn)確率的優(yōu)化策略，MobileNet V2的卷積模塊如圖8所示。倒殘差結(jié)構(gòu)先通過1×1點(diǎn)卷積將特征圖的通道擴(kuò)充，然后用3×3深度卷積替代殘差結(jié)構(gòu)中的標(biāo)準(zhǔn)卷積，最后通過瓶頸設(shè)計(jì)經(jīng)由1×1點(diǎn)卷積降低維度并與輸入相加，步長為2時(shí)因?yàn)檩斎肱c卷積輸出的維度不匹配故不添加殘差邊。

圖8 MobileNet V2卷積模塊框圖[20]

對(duì)檢測(cè)算法進(jìn)行輕量化的方法是通過圖8中的MobileNet V2卷積塊去替代原本檢測(cè)算法的標(biāo)準(zhǔn)卷積，整體上即替換目標(biāo)檢測(cè)算法的主干特征提取網(wǎng)絡(luò)，本文測(cè)試時(shí)選擇的安全帽檢測(cè)算法的檢測(cè)頭部分是YOLOv3，其主干特征提取網(wǎng)絡(luò)是Darknet-53，替換后特征提取網(wǎng)絡(luò)的結(jié)構(gòu)如表3所示。采用的激活函數(shù)是ReLU6，第一層是標(biāo)準(zhǔn)卷積，第二層是單獨(dú)的深度卷積加點(diǎn)卷積的結(jié)構(gòu)，后面層均是倒殘差結(jié)構(gòu)。分別提取第7、14和18層的3個(gè)對(duì)應(yīng)尺度輸出用于后續(xù)YOLOv3的通道變換、上采樣等處理。

表3 主干特征提取網(wǎng)絡(luò)結(jié)構(gòu)

1.5 巡檢控制任務(wù)設(shè)計(jì)

無人機(jī)智能巡檢要求無人機(jī)接收到控制命令后可以自動(dòng)執(zhí)行航點(diǎn)巡檢任務(wù)，并實(shí)時(shí)的返回巡檢結(jié)果，所以對(duì)于巡檢任務(wù)設(shè)置要求全面合理且易操作。如圖9和10分別設(shè)計(jì)了APP端和云平臺(tái)端巡檢任務(wù)的設(shè)置內(nèi)容，首先需要在地圖上標(biāo)記飛行航點(diǎn)，然后設(shè)置飛行參數(shù)和檢測(cè)參數(shù)，最后向無人機(jī)提交檢測(cè)任務(wù)。圖9中APP主界面的左上角是巡檢設(shè)置任務(wù)欄，點(diǎn)擊任務(wù)設(shè)置按鈕進(jìn)行飛行參數(shù)設(shè)置。圖10中左邊是飛行參數(shù)設(shè)置，右邊地圖組件中可以進(jìn)行航點(diǎn)標(biāo)記和刪除。

圖9 APP的巡檢任務(wù)設(shè)置

圖10 云平臺(tái)巡檢任務(wù)設(shè)置

巡檢任務(wù)設(shè)置的內(nèi)容包括巡檢飛行高度和速度、巡檢場(chǎng)景選擇(選擇檢測(cè)模型)、巡檢的飛行機(jī)頭朝向以及巡檢結(jié)束后無人機(jī)的飛行動(dòng)作(回返航點(diǎn)、直接降落等)。方案中巡檢任務(wù)的控制命令設(shè)置既可以APP端(飛手)現(xiàn)場(chǎng)控制，也可以由遠(yuǎn)程監(jiān)控人員進(jìn)行設(shè)置。當(dāng)遠(yuǎn)程端設(shè)置時(shí)，在巡檢任務(wù)開始之前需要APP將無人機(jī)現(xiàn)場(chǎng)坐標(biāo)發(fā)送給云平臺(tái)，云平臺(tái)在地圖組件上進(jìn)行無人機(jī)實(shí)際位置標(biāo)記，以便飛行航點(diǎn)的設(shè)置。

云平臺(tái)的巡檢控制命令設(shè)置完成之后，通過Http輪詢的方式發(fā)送給APP，APP接收并解析控制命令，其中檢測(cè)模型指令按照1.3中APP與機(jī)載計(jì)算機(jī)的通信方式發(fā)送，航點(diǎn)飛行任務(wù)指令解析后在MSDK的dji.sdk.mission.waypoint包的WaypointMissionOperator類中進(jìn)行重新設(shè)置。航點(diǎn)飛行指令在APP中重新設(shè)置步驟如下。

1)讀取云平臺(tái)設(shè)置的航點(diǎn)列表轉(zhuǎn)為Waypoint對(duì)象;

2)依次設(shè)置每一個(gè)航點(diǎn)的航點(diǎn)動(dòng)作： addAction方法;

3)將航點(diǎn)依次放入Waypoint格式的List中，并將List作為輸入放在WaypointMission的Builder類的waypointList方法中，這樣完成所有航點(diǎn)的轉(zhuǎn)換設(shè)置;

4)在WaypointMission.Builder()中導(dǎo)入飛行參數(shù)并調(diào)用loadMission方法進(jìn)行加載，飛行參數(shù)包括機(jī)頭朝向、自動(dòng)飛行速度、飛行高度等;

5)上傳航點(diǎn)飛行任務(wù)：uploadMission方法;

6)開始、停止或暫停執(zhí)行航點(diǎn)飛行任務(wù)：startMission、stopMission和pauseMission方法。

第4)～6)步需要注意調(diào)用后的回傳結(jié)果，當(dāng)存在設(shè)置出錯(cuò)或者設(shè)備連接問題時(shí)，回傳結(jié)果會(huì)有DJIError，需要根據(jù)錯(cuò)誤類型進(jìn)行相應(yīng)改正。沒有錯(cuò)誤回傳時(shí)表示云平臺(tái)設(shè)置航點(diǎn)飛行任務(wù)執(zhí)行成功。

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證方案實(shí)際有效性，選擇機(jī)載端檢測(cè)模型為工地安全中檢測(cè)工人安全帽佩戴情況的目標(biāo)檢測(cè)算法來測(cè)試。安全帽佩戴在工地安全巡檢中屬于較為常見但極為重要的，能夠防護(hù)大多數(shù)小型高空掉物。

1)模型輕量化實(shí)驗(yàn)：

如表4所示是安全帽檢測(cè)算法模型采用MobileNet V2輕量化前后的對(duì)比，輕量化改進(jìn)主要針對(duì)模型的主干特征提取網(wǎng)絡(luò)，改進(jìn)的內(nèi)容如1.4所示。安全帽分類檢測(cè)數(shù)據(jù)集一共5 000張，均來自VOC格式的數(shù)據(jù)集，按照比例8∶1∶1劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中訓(xùn)練集包括正負(fù)樣本2 000張；驗(yàn)證集和測(cè)試集包括正負(fù)樣本250張，訓(xùn)練集和驗(yàn)證集圖片均混合打亂。

由表4可知原始的模型算法在機(jī)載計(jì)算機(jī)上的FPS只有4.1幀/s，輕量化后的算法檢測(cè)速度可以達(dá)到25.1幀/s，且其準(zhǔn)確率P仍可達(dá)到72.3%，準(zhǔn)確率的定義如公式1。算法標(biāo)注時(shí)將沒戴安全帽和戴安全帽的人采用不同顏色標(biāo)注。

表4 算法輕量化前后對(duì)比

①True positives(TP)：戴安全帽的人被正確檢測(cè)為戴安全帽。

②False positives(FP)：沒戴安全帽的人被錯(cuò)誤的檢測(cè)為戴安全帽。

(1)

結(jié)果表明，原本只能用于地面端服務(wù)器檢測(cè)的模型算法可以在機(jī)載計(jì)算機(jī)上達(dá)到近似實(shí)時(shí)性巡檢的要求，且相比原本算法保持了較好的準(zhǔn)確率。

2)檢測(cè)信息傳輸實(shí)驗(yàn)：

檢測(cè)信息傳輸實(shí)驗(yàn)測(cè)試的是機(jī)載計(jì)算機(jī)的檢測(cè)結(jié)果是否能實(shí)時(shí)回傳，以及云平臺(tái)是否能遠(yuǎn)程控制巡檢任務(wù)設(shè)置并接收檢測(cè)結(jié)果。如表5所示。

表5 傳輸測(cè)試

表5中分辨率是回傳檢測(cè)結(jié)果的圖片大小，有效字段為1.3中檢測(cè)結(jié)果回傳協(xié)議中圖像碼流的有效數(shù)據(jù)量，傳輸時(shí)間指檢測(cè)結(jié)果從機(jī)載計(jì)算機(jī)端開始回傳至云平臺(tái)接收解析的所需傳輸時(shí)間。實(shí)驗(yàn)中，分辨率越小且有效字段越少時(shí)，整體所需傳輸時(shí)間越少。有效數(shù)據(jù)字段為88字節(jié)，分辨率為256×256時(shí)，所需傳輸時(shí)間為6 s左右，滿足遠(yuǎn)程端實(shí)時(shí)性接收檢測(cè)結(jié)果的要求。其中機(jī)載計(jì)算機(jī)和APP的圖傳帶寬為100字節(jié)，測(cè)試時(shí)發(fā)現(xiàn)當(dāng)單次傳輸數(shù)據(jù)量達(dá)到100字節(jié)時(shí)，APP接收碼流并解壓縮恢復(fù)檢測(cè)結(jié)果時(shí)存在失真點(diǎn)，當(dāng)有效數(shù)據(jù)的字段量小于90字節(jié)時(shí)，未發(fā)現(xiàn)失真現(xiàn)象。

如圖11和12所示是云平臺(tái)接收檢測(cè)結(jié)果展示。圖11中左邊是檢測(cè)到未佩戴安全帽目標(biāo)的圖片，右上方顯示無人機(jī)的狀態(tài)信息，包括經(jīng)緯度、巡檢高度、與home點(diǎn)距離、飛機(jī)剩余飛行時(shí)間以及結(jié)果提交時(shí)間。右下角根據(jù)RTK經(jīng)緯度信息在地圖組件中定位出無人機(jī)位置。圖12是云平臺(tái)檢測(cè)結(jié)果記錄查詢，用于展示所有無人機(jī)巡檢接收記錄。

圖11 云平臺(tái)檢測(cè)結(jié)果的展示

圖12 云平臺(tái)檢測(cè)結(jié)果記錄查詢

實(shí)驗(yàn)中APP地面控制巡檢或云平臺(tái)遠(yuǎn)程控制巡檢時(shí)均可正常完成巡檢任務(wù)。綜上檢測(cè)結(jié)果的實(shí)時(shí)回傳顯示表明無人機(jī)智能巡檢方案可以實(shí)現(xiàn)遠(yuǎn)程人員實(shí)時(shí)了解無人機(jī)巡檢的現(xiàn)場(chǎng)結(jié)果，同時(shí)為遠(yuǎn)程安全響應(yīng)提供了實(shí)時(shí)、準(zhǔn)確的依據(jù)。

3 結(jié)束語

本文基于大疆M210 RTK V2無人機(jī)，結(jié)合機(jī)載計(jì)算機(jī)、輕量化網(wǎng)絡(luò)、大疆SDK、云端技術(shù)等設(shè)計(jì)了一種無人機(jī)智能巡檢方案，實(shí)現(xiàn)了無人機(jī)巡檢邊緣計(jì)算的同時(shí)完成一體化的邊緣計(jì)算檢測(cè)結(jié)果的地面端和云平臺(tái)端雙重實(shí)時(shí)接收。既極大的提高了無人機(jī)巡檢作業(yè)執(zhí)行效率，也為遠(yuǎn)程人員監(jiān)管無人機(jī)巡檢提供了可行化方案。通過在機(jī)載計(jì)算機(jī)上移植不同的目標(biāo)檢測(cè)算法，可以達(dá)到適用于不同的巡檢場(chǎng)景，另外對(duì)于特定場(chǎng)景也可以定制合適的巡檢任務(wù)。