周科杰,毛 玙*,張力波,曹 鐵,李 明,張 平
(1. 民航局第二研究所,成都 610041;2. 民航成都電子技術(shù)有限責任公司科研開發(fā)中心,成都 611430)
機場圍界是機場的首道防線,是機場飛行區(qū)安全保障的重要組成部分。根據(jù)民航業(yè)標準,機場應對圍界進行日常巡檢。目前國內(nèi)機場圍界依賴人工巡檢,次數(shù)約為每日8次,對于千萬級機場而言,每年巡檢里程可達10萬千米,存在工作量大、巡檢不規(guī)范、過程不透明、結(jié)果無著落等缺陷,這些缺陷嚴重威脅機場飛行區(qū)安全。
機場圍界無人巡檢系統(tǒng)通過自動駕駛技術(shù)驅(qū)動巡檢機器人在圍界巡場道上自動導航巡檢,采集圍界巡檢視頻;通過智能視頻分析技術(shù)對巡檢視頻進行實時分析,包括圍界入侵人員檢測、異常預警等;以圍界巡檢管理終端實現(xiàn)圍界巡檢信息化管理、異??梢暬⑷肭侄ㄎ粓缶?、圍界異常展示定位等。相比人工巡檢,圍界無人巡檢具有低成本、全天候、適配機場環(huán)境等優(yōu)點[1],它依靠自動駕駛、計算機視覺等人工智能技術(shù),進行圍界巡視檢查和實時分析,并實時報送到后臺,從而克服人工巡檢存在的諸多問題,更好地保障機場飛行區(qū)安全。
圖1為系統(tǒng)的總體架構(gòu),具體包含以下幾個部分:
圖1 機場圍界無人巡檢系統(tǒng)總體架構(gòu)
(1)圍界無人巡檢機器人:巡檢機器人依托激光雷達和組合導航在圍界巡場道上進行自動導航巡檢[2],通過可見光/熱成像一體化云臺相機采集巡檢視頻。并且采用4G/5G 無線通信方式實現(xiàn)機器人與后臺服務器之間的通信。
(2)云平臺:包含服務器、GPU計算卡等部分,實現(xiàn)巡檢數(shù)據(jù)存儲,巡檢視頻智能分析等功能。主要存儲入侵檢測數(shù)據(jù)、圍界異常、巡檢任務、巡檢視頻以及機器人狀態(tài)等數(shù)據(jù)。
(3)監(jiān)控中心:監(jiān)控中心主要包含圍界無人巡檢管理平臺,負責與用戶交互,能夠?qū)崿F(xiàn)實時查看巡檢視頻、機器人狀態(tài);機器人遠程接管,給巡檢機器人下發(fā)命令;出現(xiàn)異常事件時,觸發(fā)平臺報警;管理巡檢異常信息等功能[3]。
2.1.1 巡檢機器人
巡檢機器人由動力底盤以及安裝在底盤之上的功能元件組成,功能元件包含工控機、激光雷達、慣性導航系統(tǒng)、可見光/熱成像一體化云臺相機、信號警示燈等部分,機器人主要參數(shù)指標見表1,外觀設計如圖2所示。
表1 巡檢機器人主要技術(shù)指標
圖2 巡檢機器人外觀設計
2.1.2 自動導航巡檢
機場圍界場景下巡檢機器人自動導航巡檢的核心難點是在巡場道低紋理非結(jié)構(gòu)化道路、機場電磁干擾、飛機高空遮擋GPS、全天候、惡劣天氣等條件下如何實現(xiàn)機器人自身的高精度定位。圍界無人巡檢機器人的自動導航巡檢系統(tǒng)采用多傳感器融合高精度定位方法。多傳感器包括GNSS-RTK、INS、激光雷達SLAM,融合定位方法為Kalman濾波算法[4]。首先將INS作為參考系統(tǒng);再將INS輸出數(shù)據(jù)與GNSS-RTK輸出數(shù)據(jù)構(gòu)造子濾波器1(記為LF1),通過Kalman濾波得到局部估計及其協(xié)方差陣;再將INS輸出數(shù)據(jù)與SLAM 輸出數(shù)據(jù)構(gòu)造子濾波器2(記為LF2),通過Kalman 濾波得到局部估計及其協(xié)方差陣;將各子濾波器LF1和LF2的局部估計及其協(xié)方差陣輸入主濾波器,與主濾波器的估計進行融合,得到無人設備位置的全局最優(yōu)估計及其協(xié)方差陣,技術(shù)路線見圖3。
圖3 多傳感器融合高精度定位方法
2.1.3 巡檢視頻采集
通過機器人上配置的可見光/熱成像一體化云臺相機實現(xiàn)對巡檢視頻的全天候采集。云臺先將視頻上傳至機器人工控機,然后通過4G/5G移動網(wǎng)絡將巡檢視頻實時傳輸至視頻服務器,視頻服務器一方面存儲視頻,同時還將巡檢視頻實時推送至客戶端。工作流程如圖4所示。
圖4 巡檢視頻采集流程
2.1.4 信號警示燈光
圍界巡檢機器人在機場圍界巡場道路巡檢過程中必須遵守機場交通規(guī)則,因此必須依照機場要求配備信號警示燈。圍界巡檢機器人整個車體共六個信號警示燈,其中包含燈1、燈2、燈3、燈4共四個交通信號燈,燈5、燈6共兩個機場工作必備報警燈。信號燈提示時前方的燈閃爍白光,后方的燈閃爍紅光,車燈安裝俯視圖如圖5所示。
圖5 巡檢機器人燈光安裝俯視圖
機器人在倒車、轉(zhuǎn)彎、剎車、變速等情況下,工控機會根據(jù)車輪的速度及偏轉(zhuǎn)的角度進行判斷從而給出不同方式的提示,具體規(guī)則設置見表2。
表2 車燈閃爍規(guī)則
2.1.5 自主充電
要想實現(xiàn)圍界巡檢的無人化巡檢,機器人自主充電是必不可少的一環(huán)。當管理人員在后臺發(fā)送巡檢任務,機器人收到巡檢任務后,將依據(jù)巡檢線路信息和自身電量信息判斷電量是否充足,若不足以完成巡檢任務,則繼續(xù)充電,同時向后臺反饋拒絕接受任務信息。機器人完成巡檢任務后,會停靠到充電樁進行自主充電[5]。自主充電工作流程如圖6所示。
圖6 自動充電流程
圍界入侵檢測的主要目的是防止機場外來人員通過攀爬、翻越、破壞圍界進入機場飛行區(qū),從而造成重大安全事故。圍界入侵檢測難點是全天候有效工作。傳統(tǒng)可見光視頻能夠清楚展示場景中的細節(jié)輪廓,但在夜間、雨霧天氣下難以有效工作,而熱成像圖像的抗干擾能力較強[6]。針對這一問題,本系統(tǒng)采用一種基于YOLOv7的多模態(tài)入侵檢測算法。該算法使用YOLOv7 Backbone 作為可見光圖像特征提取網(wǎng)絡,YOLO-Hotnet 作為熱成像圖像特征提取網(wǎng)絡,分別提取兩種模態(tài)的多尺度特征,使用注意力機制對兩種特征進行動態(tài)加權(quán)融合,權(quán)重系數(shù)組由深度網(wǎng)絡自動迭代更新,最終實現(xiàn)混合特征網(wǎng)絡并使用該多模態(tài)融合特征網(wǎng)絡進行全天候入侵檢測。圖7所示即采用的多模態(tài)融合圍界入侵檢測方法。
圖7 多模態(tài)融合圍界入侵檢測
通過開發(fā)機場圍界無人巡檢管理系統(tǒng),實現(xiàn)圍界管理人員對圍界無人巡檢系統(tǒng)的信息化管理,系統(tǒng)界面展示如圖8所示,主要包含以下幾個模塊:
圖8 圍界無人巡檢管理系統(tǒng)
(1)巡檢視頻模塊:展示巡檢機器人實時采集的視頻,可以分別切換可見光與熱成像的視頻展示界面,在巡檢視頻上還會通過bounding8-box對圍界入侵目標進行實時標注。
(2)巡檢地圖模塊:展示巡檢機器人的巡檢任務線路,同時將巡檢機器人的位置實時更新到地圖上。
(3)巡檢機器人狀態(tài)模塊:顯示機器人狀態(tài)信息,包括行駛路線、機器人當前位置、剩余電量、速度等信息。同時該模塊負責管理系統(tǒng)與巡檢機器人的遠程連接,通過在該模塊輸入IP 地址和端口號,通過TCP 協(xié)議將客戶端與機器人進行連接。
(4)機器人云臺控制模塊:管理人員通過云臺控制模塊可以控制機器人運動方向、調(diào)整攝像機角度、縮放畫面大小來查看圍界具體情況。
(5)機器人自動駕駛巡檢模塊:設置自動巡檢任務,包括巡檢線路、巡檢速度,機器人會根據(jù)信息執(zhí)行相應的巡檢任務。同時管理人員可以在巡檢過程中通過暫停、恢復、取消任務等指令控制機器人的運動狀態(tài)。
(6)機器人遠程駕駛巡檢模塊:管理人員在必要條件下,將通過遠程駕駛巡檢模塊接管巡檢機器人。
(7)巡檢日志模塊:展示巡檢機器人檢測到的如圍界異?;蛉藛T入侵等的異常情況,在系統(tǒng)界面會展示發(fā)現(xiàn)時間、機器人編號、異常類型等。
對巡檢機器人的基本技術(shù)指標進行了測試,測試結(jié)果見表3。
表3 巡檢機器人基本指標測試
對巡檢機器人的導航定位、停障、遠程接管等功能進行測試,測試結(jié)果見表4。
表4 無人巡檢導航功能測試結(jié)果
對巡檢機器人圍界入侵功能進行測試,從目標檢測正確率與最大目標檢測距離兩個角度進行測試。測試結(jié)果見表5。
表5 圍界入侵檢測功能測試
我國機場圍界幾乎100%使用人工巡檢的方式,存在工作量大、巡檢不規(guī)范、過程不透明、結(jié)果無著落等諸多問題,嚴重威脅了機場安全。針對這些現(xiàn)狀,本文設計了一套機場圍界無人巡檢系統(tǒng),并在重慶機場測試了其可行性,基本能滿足機場圍界巡檢的需求,對推動我國機場圍界巡檢的智慧化、少人化、無人化提供一定的參考指導。