李曉陽 郭 慧 李曉慧 謝恒義 韓貞輝

1）河南省地震局, 鄭州 450016

2）應(yīng)急管理部大數(shù)據(jù)中心, 北京 100013

引言

無人機遙感系統(tǒng)具有靈活性好、成本低、空間分辨率高的優(yōu)點，已成為衛(wèi)星遙感和地面遙感的有效補充手段，在震后應(yīng)急中發(fā)揮著越來越重要的作用（郭建興等，2018；張順等，2019）。近年來，無人機遙感技術(shù)已分別在2011 年盈江地震、2013 年蘆山地震、2015 年尼泊爾地震中得到實際應(yīng)用（溫奇等，2012；Xu 等，2014；王曉青等，2015；王之等，2018），對震后災(zāi)情評估起到了一定作用。河南省是地震災(zāi)害較嚴重的省份之一，同時作為人口大省，部分地區(qū)建筑物抗震性能差，現(xiàn)場災(zāi)情獲取手段尚不完善，因此震后快速獲取災(zāi)情尤為重要。河南省地震局現(xiàn)有1 架無人機及2 名操控手，可用于解決現(xiàn)場災(zāi)情獲取及無人機影像有效應(yīng)用的問題，進一步完善河南省災(zāi)情獲取手段，提升災(zāi)情研判能力。在河南省近兩年的地震應(yīng)急演練中，多次測試了無人機系統(tǒng)各項功能，一是無人機影像傳輸功能，通過單兵及直播技術(shù)將拍攝的影像實時回傳至指揮大廳，音視頻效果正常；二是航線規(guī)劃功能，利用航線規(guī)劃軟件對周邊部分區(qū)域?qū)崿F(xiàn)自動拍攝，影像中建筑物輪廓特征清晰，分辨率達厘米級。

本文以震后將無人機獲取的災(zāi)情信息實時傳輸?shù)角昂蠓街笓]中心為目的，研發(fā)了2 種不同通信方式，并在應(yīng)急演練中測試了通信效果，得到更符合實際應(yīng)用的云服務(wù)器直播通信方式，結(jié)合現(xiàn)場應(yīng)急通信車實現(xiàn)了在4G 網(wǎng)絡(luò)中斷的情況下無人機信息的傳輸，以滿足震后災(zāi)情研判、應(yīng)急專題圖制作及輔助決策信息的產(chǎn)出。以某次應(yīng)急演練為例，模擬了震后4G 網(wǎng)絡(luò)中斷的情況下將現(xiàn)場災(zāi)情信息回傳至指揮大廳，利用應(yīng)急通信車的衛(wèi)星組網(wǎng)功能，實現(xiàn)了云服務(wù)器直播方式下的無人機圖像回傳，但存在依賴現(xiàn)場環(huán)境及衛(wèi)星帶寬的問題，偶爾出現(xiàn)圖像卡頓、不流暢的情形，可通過調(diào)整圖像傳輸清晰度、不同的播放協(xié)議加以改善。在實踐過程中仍存在一些問題，如受飛行空域的影響，在個別區(qū)域飛行時，信號干擾較大，畫面?zhèn)鬏斝Ч?。另外，對于云直播手段中拍攝影像的建筑物識別、災(zāi)情自動報警等功能還有待深入探索。

1 災(zāi)情獲取中的無人機系統(tǒng)方案

1.1 無人機的應(yīng)用

無人機最早源于軍事，主要作為靶機用于軍事訓練。到20 世紀后期，無人機因其機動性強、偵查范圍廣、戰(zhàn)場適應(yīng)性強等特點受到廣泛重視（石珺等，2017）。隨著無人機技術(shù)的不斷進步，其應(yīng)用領(lǐng)域逐步擴展，在民用方面的應(yīng)用迅速發(fā)展，按照不同行業(yè)特點，無人機通過搭載不同載荷完成不同應(yīng)用目的，如無人機可以根據(jù)需要搭載不同的相機、滅火裝置、喊話喇叭、植保農(nóng)藥、紅外掃描儀、合成孔徑雷達等，目前無人機已應(yīng)用于災(zāi)害監(jiān)測評估、農(nóng)林植保、地圖測繪、電力巡檢、影視拍攝、應(yīng)急救援等領(lǐng)域（杜強，2019；陳楠等，2020）。

本文主要研究無人機在地震行業(yè)中的應(yīng)用。地震應(yīng)急救災(zāi)中，無人機因其機動靈活、成本低、分辨率高等特點，可獲取多角度、多分辨率影像，第一時間到達救援人員無法到達的危險區(qū)域，及時獲取災(zāi)區(qū)影像數(shù)據(jù)并實時回傳，為災(zāi)區(qū)的災(zāi)害排查、災(zāi)情評估、救災(zāi)力量部署、人員安置等應(yīng)急工作提供科學依據(jù)（黃海峰等，2017）。震后災(zāi)害調(diào)查內(nèi)容主要包括建筑物破壞、道路交通破壞、次生災(zāi)害及生命線工程破壞等，除現(xiàn)場工作人員實地調(diào)查外，也可利用無人機完成受災(zāi)點航拍識別，地形、地貌、救援路線勘察，受災(zāi)人員臨時安置點選址調(diào)查等（王林，2016）。

1.2 無人機系統(tǒng)建設(shè)情況

河南省地震局現(xiàn)有1 架多旋翼型無人機、2 名操控手及包括現(xiàn)場圖像獲取設(shè)備的無人機地震災(zāi)情獲取系統(tǒng)。無人機型號為大疆M200，搭載禪思X5S 云臺，通過將單兵設(shè)備與遙控器連接，采集圖像信息，再上傳至遠端服務(wù)器中，通過4G 公網(wǎng)的形式在前后方電腦端訪問回傳的影像。

無人機及采用的通信方式原理分別如圖1、圖2 所示。

圖2 無人機通信原理Fig.2 Uav communication schematic diagram

經(jīng)多次系統(tǒng)測試，在用的單兵圖傳系統(tǒng)常存在無法獲取無人機圖像的問題，經(jīng)分析發(fā)現(xiàn)為后方服務(wù)器的問題，因維護不及時導致系統(tǒng)運行不穩(wěn)定，且第三方公司保障能力有限，已影響正常使用。針對該問題，為快速獲取現(xiàn)場災(zāi)情，第一時間將無人機采集的圖像信息回傳至指揮大廳，以穩(wěn)定性好、操作便捷、成本低為出發(fā)點，研究了云服務(wù)器視頻傳輸方式。首先確定推流、播放地址，該過程需提前準備2 個域名，且域名均需完成CNAME 解析，可登錄DNSPod 控制臺完成，并在騰訊云控制臺地址生成器中按照規(guī)則自動生成地址，需注意設(shè)定的直播應(yīng)用名稱、數(shù)據(jù)流名稱及過期時間等參數(shù)。然后利用直播的方式，將圖像信息先通過無人機操作平臺推流至云服務(wù)器，再實現(xiàn)直播信號的拉流處理，可同時在前后方電腦端、手機端實時顯示。該方式較依賴現(xiàn)場環(huán)境，可依據(jù)現(xiàn)場信號干擾、網(wǎng)絡(luò)情況設(shè)置無人機操作平臺中信道模式、圖傳碼率及圖傳模式等參數(shù)，調(diào)整傳輸效果。最后將信號以4G 或衛(wèi)星網(wǎng)絡(luò)的方式通過應(yīng)急通信車中的視頻會議系統(tǒng)傳輸至后方指揮中心。

2 無人機直播方案中的關(guān)鍵技術(shù)

利用無人機航拍采集地震現(xiàn)場圖像信息，通過4G 網(wǎng)絡(luò)推流至云端流媒體服務(wù)器，再采用拉流的方式實現(xiàn)視頻實時直播，可完成在不同客戶端的展示。系統(tǒng)采用實時消息傳輸協(xié)議（Real Time Messaging Protocol，RTMP）用于服務(wù)器和播放器之間的流式音視頻數(shù)據(jù)傳輸，傳輸層采用Transmission Control Protocol（TCP）協(xié)議，為保證數(shù)據(jù)傳輸流暢，RTMP 將流數(shù)據(jù)分段，把基本的數(shù)據(jù)單元信息拆分成消息塊，通過TCP 協(xié)議發(fā)送消息塊。云端服務(wù)器接收到數(shù)據(jù)后，重組消息塊即可恢復原先的流數(shù)據(jù)（石珺等，2017）。系統(tǒng)方案如圖3 所示。

“互聯(lián)網(wǎng)+教育”脫離傳統(tǒng)課堂，增強了學生學習的自主性。首先在教學資源上，學生可以按自己的需要直接在網(wǎng)上搜索。其次在教學模式上，在線學習、互動學習成為主流，改變了傳統(tǒng)教育中以教師在課堂教授為主的模式[3]。最后在教學形式上，沒有時間和地點的限制，學生可以根據(jù)自己的實際情況進行復習和回顧。

圖3 系統(tǒng)方案Fig.3 System scheme

無人機操作平臺使用的軟件為DJI GO 4，兼容iOS 及安卓系統(tǒng)，考慮到該軟件本身具備RTMP 流媒體直播能力，可為推流端節(jié)省費用與時間成本。需搭建RTMP 流媒體服務(wù)器，利用DJI GO 4 軟件中的直播推流功能，通過4G 網(wǎng)絡(luò)將視頻流推送到云服務(wù)器，并將其輸出到客戶端，然后利用現(xiàn)場應(yīng)急通信車中的視頻會議系統(tǒng)將無人機影像回傳至后方指揮中心。因地震災(zāi)害現(xiàn)場可能出現(xiàn)4G 網(wǎng)絡(luò)中斷的情況，導致該系統(tǒng)中無人機圖像傳輸至服務(wù)器端時數(shù)據(jù)中斷，無法完成災(zāi)情信息傳輸。利用應(yīng)急通信車衛(wèi)星通信優(yōu)勢，將網(wǎng)絡(luò)切換至衛(wèi)星通信后，應(yīng)急通信車內(nèi)的無線網(wǎng)絡(luò)可正常使用，該系統(tǒng)可通過連接現(xiàn)場無線網(wǎng)絡(luò)恢復視頻流的傳輸。除可采用電腦端直接訪問視頻直播畫面顯示到指揮大廳屏幕上以外，也可通過視頻會議系統(tǒng)將現(xiàn)場拍攝的影像信息傳到后方指揮中心，但存在衛(wèi)星帶寬不夠時圖像卡頓的問題，尤其是視頻會議系統(tǒng)占用帶寬較大，可選擇在后方指揮大廳電腦端直接播放直播畫面，通過調(diào)整圖像傳輸清晰度、不同的播放協(xié)議加以改善。DJI GO 4 中推流直播界面如圖4 所示。

圖4 直播推流界面Fig.4 Live push stream interface

流媒體服務(wù)器是流媒體應(yīng)用的核心系統(tǒng)，主要功能是對流媒體內(nèi)容進行采集、緩存和傳輸播放，數(shù)據(jù)傳輸?shù)馁|(zhì)量也取決于流媒體服務(wù)器的性能和服務(wù)質(zhì)量（牛志，2017）。經(jīng)對比流媒體處理能力、成本、操作性等方面，選用騰訊云服務(wù)器，具體搭建過程如下：

第1 步確定域名，使用云直播服務(wù)需要2 個域名，即推流域名和播放域名，且不能使用相同的域名，開通云直播服務(wù)后自動獲得1 個域名，將其作為推流域名。播放域名可在域名注冊、域名備案后使用。其中，域名備案需提前購買云服務(wù)器資源，可根據(jù)實際需要選用不同規(guī)格、帶寬的服務(wù)器，如拉流端并發(fā)連接數(shù)較多，可選用支持高帶寬的云服務(wù)器。然后分別添加自有域名作為推流、播放域名，添加成功后系統(tǒng)自動分配以.liveplay.myqcloud.com 為后綴的CNAME 域名，完成配置后即可訪問。CNAME 域名配置需登錄DNSPod 控制臺進行解析，按照域名類型填寫主機記錄、記錄類型、記錄值及秒數(shù)等參數(shù)。

第2 步獲取推流、播放地址。除在地址生成器中自動生成地址外，還可通過自主拼裝的方式完成，地址生成中需注意直播應(yīng)用名稱、流ID 及過期時間等參數(shù)，需保持參數(shù)一致。標準的推流統(tǒng)一資源定位符（Uniform Resource Locator，URL）如圖5 所示，其中，domain 為推流域名，AppName 為直播的應(yīng)用名稱，默認為live，可自定義；StreamName（流ID）為自定義的流名稱，為每路直播流的唯一標識符；鑒權(quán)Key（非必需）包含txSecret 和txTime 兩部分，開啟推流鑒權(quán)后需使用包含鑒權(quán)Key 的URL 進行推流，若未開啟推流鑒權(quán)，則推流地址中無需“?”及其后內(nèi)容；txTime（地址有效期）表示何時該URL 會過期，格式支持十六進制的UNIX 時間戳。

圖5 標準的推流URLFig.5 Standard push stream URL

播放地址規(guī)則與推流地址相同，也由播放前綴、播放域名（domain）、應(yīng)用名稱（AppName）、流名稱（StreamName）、播放協(xié)議后綴、鑒權(quán)參數(shù)及其他自定義參數(shù)組成。

播放協(xié)議及前綴對比如表1 所示。

表1 播放協(xié)議及前綴對比Table 1 Comparison of broadcast protocol and prefix

第3 步進行直播推流及播放。直播推流方式包括PC 端、Web 端、APP 端和小程序端，因本系統(tǒng)中使用的DJI GO 4 軟件本身具備流媒體直播能力，所以進行推流時直接選用APP 端。推流端參數(shù)可根據(jù)現(xiàn)場信號干擾、網(wǎng)絡(luò)情況設(shè)置，通過多次測試，一般情況下內(nèi)置信道模式設(shè)置為自動選擇，圖傳碼率選擇4 Mbps，圖傳模式設(shè)置為720 P。為便于多渠道展示直播畫面，采用PC 端及APP 端分別完成播放，其中PC 端使用Visible Light Communication 播放工具，該播放器適用所有常見的直播格式，操作便捷，安裝后打開網(wǎng)絡(luò)串流，輸入拉流地址，點擊播放即可。APP 端使用視頻云SDK 的直播播放功能，采用延遲低、支持超高并發(fā)的HTTP-FLV 播放協(xié)議，以“http”開頭，以“.flv”結(jié)尾。SDK 功能集成中通過添加View、創(chuàng)建Player、啟動播放等步驟實現(xiàn)。對于傳回影像的畫面調(diào)整、屏幕截圖、截流錄制、直播回看等功能，需繼續(xù)深入研究。通過多次測試，F(xiàn)LV 和WebRTC 協(xié)議播放效果更佳，考慮到標準直播通常采用FLV 協(xié)議，快直播使用WebRTC 協(xié)議，而快直播流量費用基本為標準直播費用的2 倍，因此本系統(tǒng)在滿足傳輸效果的情況下采用FLV 協(xié)議。

第4 步是將現(xiàn)場災(zāi)情信息傳回后方指揮大廳。無人機獲取的現(xiàn)場災(zāi)情信息推流至云服務(wù)器后，可在前后方電腦端、手機端實現(xiàn)視頻直播，后方指揮大廳可直接將電腦端直播信號投屏到大屏顯示，另外也可利用現(xiàn)場通信車中的視頻會議系統(tǒng)，以信號線的形式將視頻圖像傳輸至后方指揮中心，可完成多方視頻調(diào)度中災(zāi)情信息的顯示?，F(xiàn)場通信車中包含4G 和衛(wèi)星2 種通信方式，如遇現(xiàn)場通信中斷，可使用衛(wèi)星通信方式臨時完成視頻傳輸過程，在一定程度上豐富了通信手段，解決了現(xiàn)場通信單一的問題，可依靠非常規(guī)手段將無人機拍攝到的現(xiàn)場畫面回傳至后方指揮中心。

3 現(xiàn)場不同數(shù)據(jù)傳輸方式對比

本文使用單兵圖傳和無人機直播傳輸?shù)姆绞綔y試視頻傳輸效果，重點考慮畫面顯示效果、數(shù)據(jù)安全及便捷性等因素，通過對比確定了較適用的無人機直播傳輸方法，可在震后網(wǎng)絡(luò)正?；蛑袛嗟那闆r下實現(xiàn)無人機圖像的實時傳輸。經(jīng)查閱相關(guān)文獻，黃恩釗等（2018）在無人機信息傳輸過程中主要通過基于小魚視頻和應(yīng)急衛(wèi)星的方式實現(xiàn)，其他行業(yè)中也存在通過視頻監(jiān)控平臺端訪問、視頻直播、在本地服務(wù)器上建立通信系統(tǒng)等方式，以實現(xiàn)無人機信息的實時傳輸。

本研究采用的單兵圖傳方式為：單兵設(shè)備與遙控器連接，采集圖像信息，將圖像信息上傳到遠端服務(wù)器中，通過4G 公網(wǎng)的形式在前后方電腦端訪問回傳的影像，顯示效果如圖6 所示。該通信手段可完成影像的傳輸，在單兵設(shè)備使用初期效果較好，但因遠端服務(wù)器建立在第三方公司，常存在服務(wù)器維護不及時、運行不穩(wěn)定的情形，影響正常使用。該方式僅支持在電腦端登錄專用軟件訪問，顯示形式較單一，且傳回的圖像信息清晰度較差，視頻質(zhì)量損失較嚴重，其中幀率僅為12 幀/s，有卡屏現(xiàn)象。無人機直播傳輸效果如圖7、圖8 所示。

圖6 單兵圖傳系統(tǒng)回傳畫面Fig.6 The picture returned by individual soldier map transmission system

圖7 電腦端直播畫面Fig.7 Computer broadcast screen

圖8 手機端直播畫面Fig.8 Mobile phone live screen

本系統(tǒng)可實現(xiàn)前后方電腦端及手機端的實時顯示，播放形式更靈活，且云服務(wù)器具備云直播功能，按照FLV 協(xié)議設(shè)定推流、播放地址相關(guān)參數(shù)后，基本無須人工日常維護。通過肉眼觀察回傳畫面可知，直播傳輸畫面較單兵系統(tǒng)清晰度高，視頻質(zhì)量基本無損失，幀率＞30 幀/s，穩(wěn)定性較好。另外，也可通過云服務(wù)器后臺查看每次直播信息，包含流數(shù)據(jù)、SDK 質(zhì)量監(jiān)控等，便于掌握通信效果，保證通信質(zhì)量。

在無人機直播方式中測試了RTMP、FLV、WebRTC 播放協(xié)議下的傳輸效果，在播放延遲方面，RTMP 協(xié)議延遲較高，接近3 s，F(xiàn)LV 和WebRTC 協(xié)議延遲保持在2 s 以下。在拉流端并發(fā)連接數(shù)多的情況下，WebRTC 協(xié)議播放效果最佳，F(xiàn)LV 協(xié)議次之，RTMP 協(xié)議不支持；在拉流端低并發(fā)的情況下，F(xiàn)LV和WebRTC 協(xié)議播放效果差別較小，均可滿足使用需求。

4 結(jié)論

地震發(fā)生后，利用無人機進行現(xiàn)場拍攝，快速獲取災(zāi)情，并在第一時間將災(zāi)情信息回傳至后方指揮大廳，對災(zāi)情研判、指揮決策具有重要參考意義。本文研究了通過無人機視頻直播快速獲取現(xiàn)場災(zāi)情信息的方法，對比分析了該方法和單兵圖傳的傳輸效果，并在應(yīng)急演練中開展了模擬測試，確定無人機直播方式效果更佳，更符合實際應(yīng)用需求。在該系統(tǒng)中選用3 種不同的播放協(xié)議，從時延、流暢度及流量費用等方面進行了綜合分析，選用效果佳且流量費用低的FLV 播放協(xié)議。該系統(tǒng)為現(xiàn)場災(zāi)情信息回傳至后方指揮大廳縮短了時間，提高了工作效率。

本研究使用的直播手段可完成現(xiàn)場災(zāi)情信息的傳輸，并實現(xiàn)電腦端及手機端的顯示，同時可滿足在網(wǎng)絡(luò)中斷時依靠現(xiàn)場應(yīng)急通信車的衛(wèi)星組網(wǎng)功能恢復災(zāi)情信息的傳輸。一般情況下，后方指揮大廳可直接將電腦端直播信號投放到大屏顯示，也可利用現(xiàn)場視頻會議系統(tǒng)將災(zāi)情信息回傳至后方指揮中心，完成多方視頻調(diào)度中災(zāi)情信息的顯示。但對于無人機災(zāi)情獲取手段，在實踐中仍存在一些問題，如受飛行空域的影響，在個別區(qū)域飛行時，信號干擾較大，畫面?zhèn)鬏斝Ч?，通過調(diào)整信道模式，傳輸效果雖有一定改善，但圖像仍不穩(wěn)定。另外，對于云直播手段中拍攝影像的截流錄制、直播回看及災(zāi)情自動報警等問題仍有待深入探索與實踐。

獲取的現(xiàn)場災(zāi)情信息如何更好地為后方指揮決策提供支持取決于拍攝影像的質(zhì)量及數(shù)據(jù)可處理能力，本系統(tǒng)僅對圖像傳輸進行了研究，未涉及所獲取災(zāi)情信息的圖像處理功能，下一步工作中將針對現(xiàn)場災(zāi)情信息的快速處理開展研究，包括正射影像的快速拼接、建筑物的識別、震害信息的提取等。