陳農(nóng)田，滿永政，袁 浩，董俊杰，寧威峰，李俊輝

（中國民用航空飛行學院a.航空工程學院；b.民航安全工程學院，四川廣漢 618307）

0 引言

通航航空是民航交通運輸重要組成部分。近年來，隨著我國航空業(yè)的快速發(fā)展，通用航空已成為我國低空航空產(chǎn)業(yè)助力國家經(jīng)濟發(fā)展的重要引擎，廣泛應(yīng)用于空中游覽，短途運輸，應(yīng)急救援等方面［1］。當前我國隨著通用航空飛行總量不斷增加，事故以及安全事件時有發(fā)生，極大影響了民眾對通用航空的熱情，不利于通用航空持續(xù)安全健康發(fā)展。根據(jù)民航局對近20 年的通航事故表明大多數(shù)事故由人為因素導(dǎo)致，占到通航事故起因的73%，其中飛行員操縱不當所占比重最高，達到事故誘因的61%［2-3］。因此，建立飛行員駕駛艙異常行為檢測預(yù)警系統(tǒng)，從安全角度預(yù)防由于人的因素誘發(fā)通航事故具有重要價值。

20 世紀60 年代異常行為研究開始發(fā)展，主要關(guān)注作業(yè)場景對異常行為影響誘發(fā)機制［4-5］。在異常行為識別與檢測研究方面，王濤等［6］將深度圖法用于識別飛行員在駕駛艙內(nèi)的手部動作，開展飛機進近著陸風險分析。張建輝等［7］提出基于飛行仿真軟件Prepar3D 的航空氣象教學實驗平臺建設(shè)方案。岳彬等［8］建立了一種智能視覺物聯(lián)網(wǎng)檢測系統(tǒng)架構(gòu)，可以滿足信號采集、傳輸、處理與反饋需求，提出一種視頻語義分析模型，將人體行為識別與人臉識別進行協(xié)同分析，實現(xiàn)對人員行為的分析與檢測。張曉平等［9］對基于視頻的人體異常行為識別與檢測，通過總結(jié)特征提取的方法給出常用異常行為檢測數(shù)據(jù)集及相關(guān)算法表現(xiàn)。梁宇寧等［10］通過監(jiān)控視頻來自動檢測操作任務(wù)中手部異常行為的系統(tǒng)。李自強等［11］設(shè)計了一種能同時捕捉外觀和動作信息的孿生網(wǎng)絡(luò)模型，能夠在視頻異常行為檢測中更加充分地運用外觀和動作信息。高振興等［12］通過建立風切變場景飛行模擬實驗，創(chuàng)建受湍流影響的動態(tài)飛行仿真模型。針對微下?lián)舯┝黠L切變，分析縱向和橫側(cè)改出飛行操作。Ko 等［13］利用深度卷積網(wǎng)絡(luò)，將標準RGB 圖像中檢測、分析異常行為。

總之，國內(nèi)外學者在異常行為識別方面開展了系列研究，但在面向通用航空的駕駛艙飛行員異常行為識別方面，特別在異常行為檢測預(yù)警系統(tǒng)設(shè)計方面鮮見。依據(jù)民用航空規(guī)章［6-7］，本文將飛行員在駕駛艙內(nèi)出現(xiàn)的吸煙、打電話等行為歸類為駕駛艙異常行為。并提出了一種基于改進YOLOv3（You Only Look Once）的飛行員駕駛異常行為監(jiān)測識別算法，采用基于深度學習的異常行為目標檢測算法，利用改進的交并比（Intersection Over Union，IOU）進行定位，最后通過卷積神經(jīng)網(wǎng)絡(luò)提取特征對飛行員異常行為監(jiān)測識別。為實現(xiàn)通用航空飛行安全精準智慧監(jiān)管，本文以通用航空飛行員駕駛艙異常行為圖像視頻數(shù)據(jù)為基礎(chǔ)，擬設(shè)計基于深度學習的駕駛艙飛行員異常行為檢測預(yù)警系統(tǒng)，利用高精度大廣角攝像頭進行圖像視頻采集，利用Open CV軟件的接口技術(shù)實現(xiàn)數(shù)據(jù)實時傳輸，通過改進的YLOVOv3 深度學習算法進行圖像視頻異常行為判據(jù)，最后通過系統(tǒng)硬件實現(xiàn)飛行員異常行為預(yù)警可視化，并將檢測預(yù)警信息上傳至云端，實現(xiàn)圖像視頻信息實時存儲及可追溯。

1 系統(tǒng)總體設(shè)計

1.1 系統(tǒng)組成

本文設(shè)計的系統(tǒng)結(jié)構(gòu)主要由異常行為識別、異常行為檢測、異常行為預(yù)警、異常行為存儲4 個模塊組成，如圖1 所示。異常行為識別模塊主要解決通航飛行員飛行駕駛的時候，對其在駕駛艙內(nèi)所有行為進行識別捕獲。在捕獲到飛行員所有行為之后，將其上傳至異常行為檢測模塊，并將飛行員所表現(xiàn)出來的行為的圖像與已存儲至數(shù)據(jù)庫內(nèi)部的異常行為的圖像進行對比，如圖2 所示的飛行員駕駛艙異常行為識別檢測功能流程所示。異常行為預(yù)警模塊主要解決如果捕獲行為與數(shù)據(jù)庫內(nèi)異常行為圖像匹配度達85%以上，將會激發(fā)異常行為預(yù)警模塊，預(yù)警方式為蜂鳴器發(fā)出聲響以及燈光警示。異常行為存儲模塊會將預(yù)警信息存儲至本地的內(nèi)存卡，以及將相關(guān)數(shù)據(jù)上傳至云端，實時傳輸異常行為數(shù)據(jù)并具備可追溯性。

圖1 系統(tǒng)結(jié)構(gòu)組成框圖

圖2 飛行員駕駛艙異常行為識別檢測流程

1.2 功能模塊及組成

（1）異常行為識別模塊。通過攝像頭對通航飛機駕駛艙內(nèi)的飛行員在飛行駕駛時的所有動作進行捕捉采集。針對捕捉采集到的數(shù)據(jù)樣本利用基于骨架識別算法改進的YOLOv3 算法融合，對飛行員在駕駛艙內(nèi)的所有動作進行姿態(tài)判定，將攝像頭捕捉到的疑似異常動作的畫面上傳至異常行為檢測模塊。

（2）異常行為檢測模塊。將異常行為識別模塊經(jīng)過初步篩選上傳的疑似異常動作的圖像，利用改進的YOLOv3 深度學習檢測算法，讓圖像與原本存儲在數(shù)據(jù)庫內(nèi)的異常動作圖像進行對比，若相似度達到85%以上，即判定為異常行為，同時，將檢測信息上傳至異常行為預(yù)警模塊，對其發(fā)出預(yù)警指令。

（3）異常行為預(yù)警模塊。在接收到異常行為檢測模塊顯示出已檢測到異常行為的信息之后，自動開啟蜂鳴器，發(fā)出設(shè)置好的預(yù)警聲音，同時雙色LED 燈開始閃爍。兩種方式同時告警駕駛艙內(nèi)的通航飛行員，使其對其發(fā)出的異常行為進行改正。在飛行員對自己的異常行為修正后的一段時間內(nèi)，異常行為識別模塊及異常行為檢測模塊將對其再次進行識別檢測，若識別檢測結(jié)果為正常，異常行為檢測模塊將向異常行為預(yù)警模塊發(fā)出停止指令。在蜂鳴器及雙色LED 燈開啟或關(guān)閉的同時，異常行為預(yù)警模塊將預(yù)警信息及異常行為圖像上傳至云端，并標注時間。

（4）異常行為存儲模塊。在異常行為預(yù)警模塊將預(yù)警信息及異常圖像上傳時，攝像頭會將所記錄的視頻材料保存至本地存儲24 h，下一段24 h視頻信息自動覆蓋，同時所有內(nèi)容上傳至云端保存。地面監(jiān)管人員可以登錄云端，對通用航空飛行員在飛機駕駛艙內(nèi)的異常行為進行觀測分析。

2 系統(tǒng)硬件設(shè)計

設(shè)計的系統(tǒng)硬件主要包括樹莓派主控板、云臺及舵機、攝像頭及蜂鳴器燈光告警等硬件，如圖3 所示。

圖3 異常行為捕獲攝像控制流程圖

（1）主控板。所用的樹莓派4b（Raspberry Pi4B）作為面向通航飛行員異常行為檢測預(yù)警系統(tǒng)的主控中心，圖4 為樹莓派4b 的主板。本文采用型號為BCM2711 的CPU 架構(gòu)，該處理器是4核，并以1.5 GHz的頻率運行；可支持以60 f／s 速度刷新，以及4K分辨率的雙顯示屏；提供8 GB 內(nèi)存；板載2.4／5.0 GHz雙頻無線WiFi 和5.0BLE 低功耗藍牙；1 個千兆以太網(wǎng)口；2 個USB3.0 端口；1 個5 V3A電源接口，具有多種串行、并行、PWM等擴展引腳。

圖4 樹莓派4b（Raspberry Pi4B）主板

（2）云臺及舵機。舵機采用雙MG90 舵機，尺寸為23 mm ×12.2 mm ×29 mm，在不安裝攝像頭情況下，其操作速度為0.12 s／60°（4.8 V）及0.10 s／60°（6.0 V），扭矩1.6 kg·cm（4.8 V）。該舵機工作電壓3.5～6 V時，可在-30～60 ℃溫度之間工作，可上下左右180°范圍內(nèi)活動。云臺由雙舵機進行驅(qū)動，舵機分別控制攝像頭左右、上下180°范圍內(nèi)的可控調(diào)節(jié)，能夠自主探尋被測者，并且始終能將目標放置于圖像中央位置。

（3）攝像頭及存儲。本文選用3.6 mm／F光圈的攝像頭，其視場角為170°，清晰度達5MP，用云存儲容量可實現(xiàn)30 d 循環(huán)存儲，白天有效距離可達30 m 及以上，夜晚有8 m 的夜視距離。同時攝像頭內(nèi)存為128 GB，20 d循環(huán)存儲，可實現(xiàn)對駕駛艙內(nèi)飛行員的所有動作進行觀察記錄，地面人員可登錄云端對其進行實時觀測。

（4）蜂鳴器。本實驗采用電壓式蜂鳴器，主要由壓電蜂鳴片、多諧振蕩器及共鳴箱等部件組成，其中最重要部件是多諧振蕩器，內(nèi)包含大量晶體管和集成電路。當異常行為檢測模塊發(fā)出指令到異常行為預(yù)警模塊后，預(yù)警模塊蜂鳴器接通電源，發(fā)出聲響警示。

（5）雙色LED燈。本實驗采用三腳雙色LED燈，在透明塑料內(nèi)封裝2 個不同顏色的發(fā)光二極管，并共用同一個正極和負極，其中1 個負極接通時，則接通的LED發(fā)光，若2個負極均接通電源，則2個同時發(fā)光，成為混色光，共發(fā)出3種顏色的光。當異常行為預(yù)警模塊接收到指令之后，雙色LED燈接通電源發(fā)出燈光警示。

3 駕駛艙異常行為檢測深度學習算法

3.1 YOLO v3 檢測模型

YOLOv3 是通過主干網(wǎng)絡(luò)Darknet-53 來進行特征提取，由1 個DBL 模塊和5 個殘差體組成，Darkent-53有53 層卷積層，前52 層為核心網(wǎng)絡(luò)。YOLOv3 采用這種網(wǎng)絡(luò)模式，神經(jīng)網(wǎng)絡(luò)卷積層數(shù)增大會誘發(fā)“退化”情況［14］。

YOLOv3 核心思想是把單一圖片拆解為13x13、26x26、52x52 大小網(wǎng)格，每個網(wǎng)格區(qū)域由網(wǎng)絡(luò)點負責。解碼過程就是計算得出最后顯示的邊界框的坐標bx、by以及寬高bw、bh，這樣就得出了邊界框的位置。YOLOv3 根據(jù)聚類法來提取候選框，將聚類中心劃分成3 個大小不同的尺度進行預(yù)測，偏移量計算式為：

式中：（cx，cy）表示與左上角之間的距離；（pw，ph）為先驗框的長和寬，pw和ph是根據(jù)目標大小而定；（tx，ty）是根據(jù)檢測對象的中心點到網(wǎng)格左上角預(yù)測點的偏移量；預(yù)測框的寬度是tw，th表示預(yù)測框高度；σ 代表相應(yīng)的激活函數(shù)，代表［0，1］之間的概率。

3.2 改進YOLO v3 算法

3.2.1 CIOU預(yù)測框的選取

YOLO v3 在進行預(yù)測框選取、邊框選擇和計算損失函數(shù)時，將預(yù)測框和真實框的IOU作為損失函數(shù)。IOU是預(yù)測動作與實際框架之間的收斂程度。因此，可以得到以下結(jié)論，損失函數(shù)IOU存在問題：IOU是一個比值。若實際動作與預(yù)測框之間不重合，那么損失函數(shù)IOU則為0，這樣也會使梯度為0，則無法進行優(yōu)化［15-16］。

為了解決上述問題，所以利用CIOU（Complete-IOU）來代替IOU，使用CIOU可以讓真實框更加穩(wěn)定地回歸，考慮預(yù)測框與真實框之間的距離、重疊的面積、長和寬。CIOU示意圖見圖5。

圖5 CIOU示意圖

圖5 中m為先驗框和目標框最小矩形的對角線距離，n為2 個中心點之間的歐式距離。使用該方法把面積比轉(zhuǎn)換成距離比，這樣能將預(yù)測框與真實框之間的真實關(guān)系反映出來，這樣能減少在訓(xùn)練時候的計算量，加快損失函數(shù)收斂速度，并可以快速地使預(yù)測框與真實框重合。CIOU評估預(yù)測框與真實框的相關(guān)性用v來表示，同時控制預(yù)測框尺度、移動方向和收斂樣式利用α來表示。其計算式為：

式中：r2（b，bgt）為真實框中心點與預(yù)測框中心點的歐式距離；c為真實框和預(yù)測框的最小閉包區(qū)域的對角線距離；α為權(quán)重函數(shù)；v為檢驗是預(yù)測框與真實框之間比例是否一致的衡量參數(shù)。

3.2.2 損失函數(shù)設(shè)計

在YOLO v3 模型中，預(yù)測框生成期間其中包括物體的置信度，置信度是真實框與預(yù)測框的交并比，預(yù)測框內(nèi)正確樣本數(shù)量減少，損失函數(shù)速度會受到影響。

CIOU解決了IOU作為損失函數(shù)優(yōu)化了損失函數(shù)IOU不能為0，解決了真實框與預(yù)測框二者之間最小距離及2 個框長寬比的一致性問題。把CIOU應(yīng)用在YOLO v3 模型中，LCIOU作為邊界損失函數(shù)，其表達式為

式中：S2為網(wǎng)格數(shù)；N為網(wǎng)格中預(yù)測框個數(shù)，若網(wǎng)格中含有目標則用obj表示；i為網(wǎng)格；j為預(yù)測框；lijobj為預(yù)測有效值（有效取1，無效取0），若目標在網(wǎng)格單元i中，則，預(yù)測值在第j個邊框即有效，否則即無效。

4 實驗測試及結(jié)果

4.1 飛行員駕駛異常行為檢測測試

實驗測試安排在民航飛行學院飛行模擬機中心通用航空飛行模擬器上進行，飛行員駕駛艙異常行為檢測過程：①用攝像頭對正在模擬飛行的飛機模擬駕駛艙內(nèi)的飛行員所有動作進行捕捉采集，將采集到的視頻以幀為單位獲取圖像；②采用改進YOLO v3 深度學習算法識別定位飛行員區(qū)域，根據(jù)模型檢測識別飛行員異常行為；③當檢測到有異常行為時，預(yù)警系統(tǒng)發(fā)出警報，然后該幀檢測結(jié)束后，自動進入下一幀。本文選取了140 s 視頻作為測試視頻，如圖6 所示為抽煙和打電話準確率變化圖。

圖6 準確率變化圖

4.2 駕駛艙抽常行為測試

如圖7 所示為飛行員駕駛艙抽煙行為檢測測試，在視頻中采集的圖像中，發(fā)現(xiàn)與數(shù)據(jù)庫內(nèi)存儲的抽煙行為相似的行為之后，進行局部框選并進行對比，并且在對比相似度超過85%（測試值為88%），判定為抽煙行為并觸發(fā)預(yù)警。

圖7 飛行員駕駛艙抽煙行為檢測測試

4.3 駕駛艙打電話行為測試

如圖8 所示為飛行員駕駛艙打電話行為檢測測試，在視頻中采集到的圖像中，發(fā)現(xiàn)與數(shù)據(jù)庫內(nèi)存儲的打電話行為相似的行為之后，進行局部框選并進行對比，對比相似度超過85%（測試值為92%），判定為打電話行為并觸發(fā)預(yù)警。

圖8 飛行員駕駛艙打電話行為檢測測試

5 結(jié)語

本文設(shè)計并實現(xiàn)了基于深度學習的通航駕駛艙飛行員異常行為檢測預(yù)警系統(tǒng)，建立了識別檢測、預(yù)警和儲存模塊，提出了改進的YOLO v3 異常行為檢測深度學習算法實施優(yōu)化。通過應(yīng)用該系進行通航飛行員駕駛艙異常行為檢測實驗測試，結(jié)果表明，該檢測預(yù)警系統(tǒng)針對飛行員駕駛艙抽煙異常行為檢測準確率達88%、打電話異常行為檢測準確率達92%，表明該系統(tǒng)能有效實現(xiàn)飛行員異常行為檢測預(yù)警，為下一步開展面向通用航空安全監(jiān)測的記載設(shè)備原型系統(tǒng)適航工程驗證奠定基礎(chǔ)。