摘 要：通過構建基于多模態(tài)情感計算的民航旅客異常行為預警模型，使用GEMEP語料庫中音視頻數據模擬旅客可能出現的異常行為，在對面部表情、肢體姿態(tài)和語音三模態(tài)數據識別后，采取賦予各模態(tài)情感識別模型權重和賦予各模態(tài)情感識別模型中不同情感權重兩種決策級融合方法，感知旅客生氣、厭惡、焦慮、害怕、悲傷等5類情感，并依據判定結果實現異常行為分級預警。研究發(fā)現，賦予各模態(tài)情感識別模型中不同情感權重的方法為最優(yōu)情感計算模型，能夠有效識別旅客存在潛在異常行為的相關情感，其整體識別準確率達到了82.76%。其中，生氣、厭惡、焦慮、害怕、悲傷5類情感識別準確率分別為81.9%、78.5%、81.3%、83.2%、81.7%。

關鍵詞：多模態(tài)數據；情感計算；航空安全；民航安檢；異常行為預警

中圖分類號：V35" " " " " "文獻標識碼：A" " " " " " " " " " 文章編號：1007 - 9734 （2024） 03 - 0039 - 08

0 引 言

民航安全是民航業(yè)發(fā)展的關鍵環(huán)節(jié)。據民航行業(yè)發(fā)展統(tǒng)計公報，我國2022年全行業(yè)運輸航空公司完成運輸飛行小時627.56萬小時，實現了247個空防安全月，民航安保取得了顯著的成績［1］。然而，目前國內外還存在反恐防爆形勢嚴峻、空防安全意識不足、安保技術和方法欠佳等問題，航空安全仍面臨著不小的威脅與挑戰(zhàn)。國際上，航空安全主要分為機器、人素、組織3個航空安全歷程，隨著飛機自動化程度和可靠性大幅提升，“人素”漸成為航空安全領域的研究重點，這里所提及的“人素”多指航空機組人員的人因差錯［2］。除此之外，旅客的異常行為也是航空安全領域中“人素”的構成之一。傳統(tǒng)民航安檢流程核心關注點在于旅客相關證件真?zhèn)尾轵?，是否攜帶違禁品、危險品等物品類外顯指征，如若未涉及上述情況則視該旅客為“無威脅”的，便能夠通過安檢。但局限于旅客證件、行李物品等外顯相關指征還無法完全排除航空安全的潛在威脅，如在美國911事件中，劫機者在未攜帶違禁品、危險品的“無威脅”認定下順利登機，以至于造成重大航空安全事故。由此可見，在某種程度上民航安檢只針對物品類外顯指征的預防措施存在較大的局限性。因此，面向“人素”的異常行為識別走進廣大學者的研究視野，通過監(jiān)控和分析個體的行為，以驗證是否存在與正常行為模式不符的異常行為的過程，從而預警潛在威脅，彌補傳統(tǒng)民航安檢流程不足，進而有效提升航空安全保障能力和水平。

現階段，有關旅客異常行為識別研究多聚焦于歸納異常行為關鍵特征進行判斷，無論是人為眼睛觀察或是機器視覺訓練，均建立在預定異常行為及其等級之上，一旦超出預定“規(guī)則”，將無法有效識別異常行為，從而造成航空安全疏漏。認知是人們對某一事物的看法，同時也是情感產生的前提，而情感能夠影響人們的行為，使得人們表現出不同的行為模式［3］。人們的行為與其情感存在某種程度上的關聯，根據情感預測人的行為是可行的。同時，當人們在高風險高壓力的環(huán)境下，如具有異常行為傾向的旅客進行安檢時，便會產生不受思維控制的反映，從而映現其內心情感的真實變化和狀態(tài)［4］。因此，本文提出基于旅客情感的異常行為預警模型，動態(tài)調配算力資源、持續(xù)采集情感數據，在融合面部表情、肢體姿態(tài)、語音多模態(tài)計算旅客情感的基礎之上，判定旅客可能做出異常行為的預警等級，為匹配相應的預警策略提供支持，以期幫助安保人員識別可能的安全威脅或潛在的飛行風險，確保民航安全的保障性和持續(xù)性。

1 相關研究現狀

1.1" 民航安檢工作現狀研究

目前，國內外有關民航安檢領域的研究主要包括安檢流程、安檢人員和分類安檢三類。

安檢流程方面，學者多聚焦于使用建模仿真的方法。如常敏［5］借助Anylogic建立智能旅客安全檢查仿真模型，通過行李放置位、整理位以及輸送帶速度仿真判斷最優(yōu)智能旅檢通道布局參數；趙元棣［6］利用排隊理論建立單隊單服務臺和多隊多服務臺兩種安檢排隊模型，計算并比對各運行指標優(yōu)劣；?iroky［7］根據哈維爾機場真實數據參數，運用排隊理論模擬安檢流程，實現航站樓客流過程可視化。

安檢人員方面，主要關注安檢人員的能力、心理和壓力等方面的研究。王永剛［8］通過調查問卷和層次分析獲取安檢員勝任力指標及權重參數，并以此構建安檢員勝任力評價模型。王霞［9］基于心理資本調節(jié)作用提出不安全感對安檢人員工作績效的影響，以此改善安檢人員工作績效管理模式。Thomas［10］從安檢人員壓力視角出發(fā)進行研究，發(fā)現壓力誘導的皮質醇在反應性峰值時增加將反作用于安檢人員的安檢表現，提出緩解安檢人員壓力將有利于改善安檢效率和航空安全。

分類安檢方面，主要考慮旅客風險實現分級、分類、分流的安檢模式。滕昭旭［11］通過構建暴恐分子與民航安檢部門的攻防序貫博弈模型，實現了基于易安檢模式的旅客分流安檢流程；馮文剛［12］基于民航數據庫和公安數據庫，通過構建深度學習網絡訓練獲取旅客風險因素并對其進行安檢分類；Bearth［13］認為選擇性安全檢查能夠有效降低機場成本和等待時間，同時保持高安全性，但對所有乘客進行篩查的傳統(tǒng)安全檢查更具威懾力。

1.2" 民航旅客異常行為研究

民航旅客的異常行為可以認為是與常規(guī)旅客行為有所差異的行為特征，存在安全威脅或非法活動的可能。為有效識別民航旅客異常行為，消除極端恐怖主義活動威脅，已有多位學者針對民航旅客異常行為展開研究，主要包括基于設備監(jiān)測或視頻圖像的異常行為識別和基于實際案例的異常行為特征分析兩類。

在基于設備監(jiān)測或視頻圖像的異常行為識別方面，Gao等人［14］提出基于輪廓域邊緣檢測的民航旅客異常行為圖像識別方法，通過構建監(jiān)控圖像識別總體模型實現異常行為的有效檢測；Zhang等人［15］提出一種結合表觀特征和深度特征的目標跟蹤算法，為高性能機場智能視頻監(jiān)控系統(tǒng)的開發(fā)和實施提供參考；王燕青等人［16］借助眼動儀采集航空安全員視覺特征數據，分析其視覺搜索特征對旅客異常行為識別的影響；常慶龍［17］開發(fā)了一種航站樓集群安全識別與預警原型系統(tǒng)，利用圖像處理算法和并行處理技術實現多路視頻條件下的旅客異常行為識別。

在基于實際案例的異常行為特征分析方面，許凌潔［18］通過分析我國1977年至2007年間55例劫機犯罪事件，構建包含犯罪主體、犯罪條件和犯罪成本的PCC′預防模型；沈海濱［19］分析總結我國2000年至2019年間124起民航旅客異常行為案例，構建民航旅客異常行為識別指標體系；劉南男［20］針對我國各地273起非法干擾行為的數量、地域、性質、行為方式等展開定量定性分析，通過梳理發(fā)生規(guī)律及其發(fā)展趨勢，提出遏制非法干擾行為建議。

綜上所述，現有民航安檢研究主要涉及流程、人員等方面，其中，有關旅客異常行為研究則多聚焦于視頻監(jiān)測和案例分析的方法開展，鮮有以旅客個人情感為參考要素預警異常行為的研究。人們的情感狀態(tài)能夠影響其個人行為，分析識別民航旅客的情感則能夠在一定程度上預測可能發(fā)生的異常行為。因此，本文提出了基于多模態(tài)情感計算的民航旅客異常行為預警模型，以期通過旅客面部表情、肢體姿態(tài)和語音三模態(tài)數據實現情感識別，從而對潛在的異常行為進行預警。

2 民航旅客異常行為預警模型

構建一個基于多模態(tài)情感計算的民航旅客異常行為預警模型應包括情感數據采集、多模態(tài)情感驗證、異常行為預警等方面，如圖1所示。如何確定民航旅客個人多模態(tài)情感的有效融合策略，實現精準的情感計算，為旅客異常行為預警提供參考是本文的重點研究問題。因此，本文提出了融合面部表情、肢體姿態(tài)和語音三種模態(tài)的情感識別模型，在對各模態(tài)情感數據進行識別后，采取權重分配的方法實現決策級融合，以此獲取旅客最終情感預測結果，從而判斷其是否具有潛在異常行為的風險和可能。

2.1" 情感數據采集

在民航安檢全流程中，旅客的情感數據能夠通過多種方式進行表達。人的情感狀態(tài)往往能夠影響其自身的行為活動，如在偽造謊言時產生的情緒會引發(fā)面部表情、無意識行為、語音特征、生理活動等變化，通過捕獲這些行為活動能夠分析旅客情感［21］。傳統(tǒng)安檢過程中，安檢員通過查驗旅客證件、行李來判斷其是否能夠通過安檢，如若不是極其明顯的“神情慌張”或“舉止怪異”，在沒有受過專業(yè)培訓的情況下很難觀察到旅客情感狀態(tài)并判斷其是否存在異常行為風險的可能?，F代化智慧機場在新一代技術和軟硬件設備的加持下，可以實現旅客多維度情感數據的有效采集。如借助超清攝像頭能夠對排隊等待安檢的旅客進行面部表情和肢體姿態(tài)的定點持續(xù)采集，錄音設備能夠記錄每位旅客面對安檢員例行提問時所做出的言語回答中的語音特征，如“是否攜帶危險品或違禁物品”“是否有健康狀況或癥狀等”，以此便能夠為情感識別提供原始數據。盡管包括心率、脈搏、眼動等在內的生理數據作為人類所表現出來的潛在反應是最為真實的數據，且不易被偽造［22］。但面向機場安檢的常態(tài)化應用場景中，生理數據的采集需要借助不同的監(jiān)測設備，局限性和侵入性較大，故不便使用此類數據進行情感計算。因此，本研究從侵入性、干擾性、設備要求、可實現性等方面對情感數據采集方法進行綜合考慮后，認為面部表情、肢體姿態(tài)和語音特征三種模態(tài)更為合適。

2.2" 多模態(tài)情感融合

在多模態(tài)情感融合過程中，不同的數據融合方式將對民航旅客情感計算結果產生不同的影響。在旅客排隊等候安檢過程中，借助高清攝像頭分目標定點持續(xù)采集面部表情和肢體姿態(tài)數據，采取常用于圖像數據識別處理的卷積神經網絡分別提取表情和姿態(tài)特征，識別旅客個人情感，從而實現民航旅客異常行為初預警并作包含正常、低警戒、中警戒、高警戒狀態(tài)的四分級。其中，由于不同情感數據的識別精準度差異會導致不同的融合識別結果以及不同情感數據對不同情感狀態(tài)識別效果也有所差異。因此，采取在兩種模態(tài)數據識別結果基礎上進行決策級融合［23］的方式來實現情感計算。通過賦予各模態(tài)情感識別結果不同的權重，以加權求和的方法獲得不同的情感計算結果對比選優(yōu)。

其次，在安檢進行時，安檢員針對不同旅客根據初預警分級反饋展開差異化檢查、提問，借助錄音設備記錄旅客在進行回答時的語音特征用以后續(xù)情感分析。其中，初預警處于正常狀態(tài)的旅客可以例行檢查、提問；警戒程度越高，則采取更為嚴謹、詳細的安檢流程并將其列為重點監(jiān)控對象。與初預警一致，使用同樣的融合方法實現三模態(tài)數據的情感計算結果，以此作為最終情感參考并聯系異常行為做出預警。

2.3" 異常行為預警

異常行為預警是根據民航旅客安檢過程情感狀態(tài)的識別與分析結果，在人機協同機制的支持下，為安檢員提供與之相匹配的預警策略。已有研究發(fā)現，當一個人在說謊時會引發(fā)一定的情感變化，且這種變化必然通過其行為外顯出來［24］?？赡艽嬖诋惓Ｐ袨轱L險的旅客在安檢過程中，因存在有目的地隱瞞、偽造有關信息或事實的動機，難免會引起自身緊張、焦慮、害怕、厭惡等負面情緒的變化，或是過度抗拒安檢流程的正常進行。因此，通過識別旅客安檢過程中的消極情感狀態(tài)并綁定風險預警可以為準確判斷潛在的異常行為風險提供參考。本研究將可能蘊含安全風險的生氣、厭惡、焦慮、害怕、悲傷5種負面情緒作為異常行為預警的判斷依據，同時考慮情感響應程度以及專家和研究人員確定的每種預警程度所對應的閾值，將其劃分為“高”“中”“低”“正?！?級程度，并據此反饋給安檢人員決定“是否做出應對策略”以及“做出何種應對策略”。與此同時，異常行為預警結果也可反饋給負責核查托運行李的安檢人員，使其進行有目標性、針對性的重點檢查，協同防范安全風險事件發(fā)生。

3 實驗設計

3.1" GEMEP多模態(tài)語料庫

本研究采用的日內瓦多模態(tài)情感描述（the Geneva Multimodal Emotion Portrayal，GEMEP）語料庫是在2011年IEEE國際會議上提供的一個數據集［25］。該語料庫由145段1s—2s的音頻視頻組成，每段視頻都包含有面部表情、肢體姿態(tài)和語音三個模態(tài)的信息，代表了18種情感（包括很少被研究的微妙情感），由10名專業(yè)演員（5名女性）在專業(yè)導演的指導下扮演。本研究只考慮每位演員扮演的包括生氣、厭惡、焦慮、害怕、悲傷5類情感數據視頻，部分視頻數據如圖2所示。

3.2" 多模態(tài)情感識別模型

3.2.1視頻數據識別模型

本研究采用卷積神經網絡進行視頻數據識別處理，通過提取演員面部表情和肢體姿態(tài)特征實現情感識別。借助OpenCV中的VideoCapture類每隔幾幀分割數據集中視頻流的面部表情和肢體姿態(tài)圖像。選取VGG16和ResNet50兩種模型作為已分割視頻數據識別處理的深度學習神經網絡模型，并通過對比實驗評估它們的識別效果，以確定最佳的卷積神經網絡。在VGG16模型中，經過13次卷積、5次池化和3次全連接操作后，分別得到兩種模態(tài)情感分類的識別結果，詳細過程見圖3。而在ResNet50模型中，該模型包含STAGE0～STAGE4共5層卷積層，經過49次卷積、2次池化和1次全連接操作后，得到情感分類的識別結果，詳細過程見圖4。

3.2.2音頻數據識別模型

本研究采用分層粒度和特征模型（Hierarchical Grained and Feature Model， HGFM）進行音頻數據情感識別。首先，對GEMEP語料庫中相關情感音頻進行降噪、音頻強度歸一化等預處理操作，逐幀分割并提取手工特征。其次，使用門控循環(huán)單元（Gated Recurrent Unit， GRU）對包含過零率（Zero Crossing Rate， ZCR）、（Mel-frequency Cepstral Coefficients， MFCC）、常數Q變換（Constant-Q Transform， CQT）的低維手工特征進行編碼，將其映射到高維情感特征空間，并通過自注意力機制進行加權，隨后再借助門控循環(huán)單元實現高維情感特征預測，從而在多次訓練后獲取音頻數據情感識別結果。詳細過程參見圖5。

在該模型訓練過程中，設定進程數（Workers）為4，輸入維度為33，門控循環(huán)單元第一、二層隱藏單元維度（Encoder Hidden Size）均為300，全連接層維度為100，批處理量（Batch Size）為32，初始學習率（Learning Rate）為0.001（指數衰減，衰減系數為0.8），Dropout為0.5，損失函數為交叉熵損失函數（Cross Entropy Loss， CEL）、優(yōu)化器為Adam。最終，得到音頻數據識別精度為65.78%

3.3" 多模態(tài)情感數據融合

在多模態(tài)數據融合過程中，演員情感計算結果受所采用的融合方法所決定。本研究采取將三模態(tài)模型識別結果進行決策級融合［47］的方式來實現情感計算，賦予面部表情、肢體姿態(tài)、語音情感數據識別模型不同的權重，以此通過加權求和的方法獲得不同情感計算模型的結果對比選優(yōu)。權重分配應注意：（1）不同模態(tài)數據的識別精準度差異會導致不同的融合識別結果；（2）不同模態(tài)數據對不同情感狀態(tài)識別效果也有所差異?；诖耍狙芯繉⒍嗄B(tài)數據融合的情感計算分為賦予各模態(tài)情感識別模型權重和賦予各模態(tài)情感識別模型中不同情感權重兩種方式。

假設面部表情、肢體姿態(tài)、語音三模態(tài)情感識別模型的輸出結果分別為oface、obody、ovoice，且每種模態(tài)輸出結果均含有5維信息：生氣、厭惡、焦慮、害怕、悲傷，每種情感在面部表情、肢體姿態(tài)、語音模態(tài)中的情感信息分別表示為i、 j、 k。[ijk] ，[i∈0，1，2，3，4j∈0，1，2，3，4k∈0，1，2，3，4] （1）

則多模態(tài)輸出結果的概率分布矩陣[P]可表示為：

[P]=[oface0obody0ovoice0oface1obody1ovoice1oface2obody2ovoice2oface3" " "obody3" " "ovoice3oface4" " "obody4" " "ovoice4] （2）

賦予各模態(tài)情感識別模型權重的計算結果為：

R=[λ1][×]oface+[λ2]obody+[λ3]ovoice （3）

式（3）中：[λ1]、[λ2]、[λ3]分別表示面部表情、肢體姿態(tài)、語音三模態(tài)情感識別模型的權重參數，且[λ1+λ2+λ3=1]；[R]表示融合模型的最終計算結果。

賦予各模態(tài)情感識別模型中不同情感權重的計算結果為：

[R=i=0i=4λ1oface i+][j=0j=4λ2obodyj+k=0k=4λ3ovoicek] （4）

式（4）中：[ofacei]表示面部表情情感識別模型中各維情感信息的輸出結果，[obodyj]表示肢體姿態(tài)情感識別模型中各維情感信息的輸出結果，[ovoicek]表示語音情感識別模型中各維情感信息的輸出結果。

4 實驗結果

4.1" 視頻數據神經網絡模型選擇

經過訓練，基于VGG16和ResNet50卷積神經網絡的面部表情識別模型和肢體姿態(tài)識別模型均得到了情感識別結果。過程中，設定以下主要參數來構建和訓練網絡：激活函數、損失函數、優(yōu)化器、批處理大小、迭代次數等。

通過模型訓練，基于VGG16和ResNet50的面部表情識別模型和肢體姿態(tài)識別模型歷經多次迭代優(yōu)化，兩個模型的損失函數都逐漸趨向于一個穩(wěn)定的值，表明它們在訓練數據上已經取得了較好的擬合效果。識別結果如表1所示。

由表1可看出，在相同數據語料庫和訓練參數的情況下，基于VGG16卷積神經網絡的面部表情和肢體姿態(tài)識別準確率均顯著高于ResNet50模型。同時，VGG16網絡結構相對簡潔實用，能夠通過加深網絡結構提高特征提取能力，且超參數較少。因此，本研究采用VGG16實現面部表情和肢體姿態(tài)視頻數據的情感識別處理。

4.2 單模態(tài)情感識別結果

基于VGG16的視頻數據識別模型和基于分層粒度和特征模型的音頻數據識別模型在GEMEP多模態(tài)語料庫上對生氣、厭惡、焦慮、害怕、悲傷5類情感的識別結果如表2所示。

4.3" 多模態(tài)情感識別結果

多模態(tài)決策級融合是將面部表情、肢體姿態(tài)、語音識別模型的輸出結果乘以各自的權重，以期獲取最優(yōu)情感識別結果下的權重分布情況。

4.3.1賦予各情感識別模型權重

在賦予各情感識別模型權重中，為保證三個識別模型權重參數之和為1，我們在0.1至0.8之間以0.1為固定步長人為分配面部表情、肢體姿態(tài)和語音識別模型的權重，共得到36種權重分配結果，部分權重參數分配情況如表3所示。

隨后，分別計算36種不同權重參數在多模態(tài)情感決策級融合中的識別結果，以識別準確率為衡量標準進行排序。由于識別結果有36項，不宜全部展示，這里只羅列其中最優(yōu)的7種識別效果，如表4所示。

由表4可以看出，當面部表情權重oface為0.4，肢體姿態(tài)權重obody為0.3，語音權重ovoice為0.3時，多模態(tài)情感決策級融合識別效果最佳，達到了80.12%。此外，當oface、obody、ovoice權重分配相近或oface≥0.5時，其識別結果普遍優(yōu)于其他情況。

4.3.2賦予各情感識別模型中5類情感權重

基于上述多模態(tài)情感識別結果，以oface、obody、ovoice權重相近與oface≥0.5為前提條件賦予各情感識別模型5類情感權重。最終，得到最優(yōu)識別結果的權重參數分配情況，見表5。

通過觀察表5得出：當面部表情識別模型中5類情感權重參數為0.4、0.6、0.3、0.5、0.5，肢體姿態(tài)識別模型中5類情感賦值權重參數為0.3、0.2、0.2、0.3、0.2，語音識別模型中5類情感權重參數為0.3、0.2、0.5、0.2、0.3時，該模型可達到82.76%的識別準確率。

4.4" 實證分析

查驗本研究各識別模型在GEMEP多模態(tài)語料庫結果得知，賦予各情感識別模型中5類情感權重的精度最高，是本研究中最優(yōu)情感計算模型，為82.76%；其次是賦予各情感識別模型權重，為80.12%；隨后便是基于面部表情、語音、肢體姿態(tài)的單模態(tài)情感識別模型，分別為72.52%、65.78%、64.35%。由此，選取賦予各情感識別模型中5類情感權重的方法對生氣、厭惡、焦慮、害怕、悲傷5類情感進行識別，其識別精度混淆矩陣如圖6所示。

梳理上述全部結果可知：（1）基于多模態(tài)情感決策級融合的識別精度要高于基于單模態(tài)情感識別精度；（2）多模態(tài)情感決策級融合中賦予各情感識別模型中5類情感權重的方法要優(yōu)于賦予各情感識別模型權重；（3）三種單模態(tài)情感識別模型中，識別精度由高到低是面部表情、語音、肢體姿態(tài)；（4）最優(yōu)情感計算模型對生氣情感識別準確率最高，其次是害怕、厭惡、悲傷，最后是焦慮情感。

5 結 語

本文從多模態(tài)情感視角出發(fā)，認為人的情感與其行為具有密切聯系，通過構建民航旅客異常行為預警模型，基于GEMEP多模態(tài)語料庫，實現旅客情感識別進而預警異常行為，輔助安檢人員預防來自“人素”的安全威脅或非法活動，以期為旅客安全、民航安全等提供保障。然而，本研究仍存在一些不足和尚待改善的地方。首先，本文只考慮了存在異常行為風險旅客的部分負面情感進行識別并判定風險等級，但真實情況中可能存在其他負面情感或是正面情感的存在，未來將會綜合考慮更多情感維度與異常行為之間的潛在聯系。其次，本研究重心在于如何有效識別旅客的生氣、厭惡、焦慮、害怕、悲傷5類情感，并未詳細展開說明依據旅客風險等級做出何種相應的預警策略?？傮w而言，本文提出的基于多模態(tài)情感計算的民航旅客異常行為預警模型，能夠有效判斷安檢過程中旅客情感狀態(tài)，加大安檢工作反恐篩查力度，進一步降低航空安全事故發(fā)生的可能性。

參考文獻：

［1］2022年民航行業(yè)發(fā)展統(tǒng)計公報［EB/OL］.（2023-05-10）［2023-10-7］.https：//www.gov.cn/lianbo/2023-05/10/content_5754810.htm.

［2］楊驍勇，張輝，劉尚豫，等.航空安全領域研究進展可視化綜述［J］.交通信息與安全，2021，39（3）：8-16.

［3］蘇曉軼.高校鑄牢中華民族共同體意識的文化觀教育研究［J/OL］.中南民族大學學報（人文社會科學版）：1-8［2023-09-20］.

［4］姚鴻勛，鄧偉洪，劉洪海等. 情感計算與理解研究發(fā)展概述 ［J］. 中國圖像圖形學報， 2022，27（6）：2008-2035.

［5］常敏，李光飛，吝特高，等.智能旅檢通道模式下機場旅客安檢效率研究［J］.中國民航大學學報，2022，40（4）：49-53.

［6］趙元棣，蔣曉蕾.機場航站樓安檢通道數量配置優(yōu)化方法研究［J］.數學的實踐與認識，2017，47（20）：293-301.

［7］?IROKY J， HLAVSOVá P. Optimizing process of check-in and security check at airport terminals［C］//MATEC Web of Conferences. EDP Sciences， 2018， 236： 01003.

［8］王永剛，崔光豪，宋真真，等.機場安檢員勝任力評價研究［J］.安全與環(huán)境學報，2018，18（6）：2257-2263.

［9］王霞.基于心理資本的機場安檢員工作不安全感對工作績效的影響［J］.安全與環(huán)境學報，2021，21（1）：263-269.

［10］THOMAS L， SCHWANINGER A， HEIMGARTNER N， et al. Stress‐induced cortisol secretion impairs detection performance in x‐ray baggage screening for hidden weapons by screening novices［J］. Psychophysiology， 2014，51（9）：912-920.

［11］滕昭旭，馮文剛.基于易安檢的民航涉恐防暴序貫博弈模型［J］.鄭州航空工業(yè)管理學院學報，2022，40（6）：91-101.

［12］馮文剛，姜兆菲璠.基于民航旅客分級分類方法的差異化安檢和旅客風險演化研究［J］.數據分析與知識發(fā)現，2020，4（12）：105-119.

［13］BEARTH A， HOFER F， STOTZ T， et al. Increasing the deterrence of airport security checks by managing expectations through communication： a hypothetical scenario experiment［J］. Journal of Transportation Security， 2021（14）：275-289.

［14］YANFEI G， JUNJIE C， NING Z. Optimization of surveillance image recognition of civil aviation airport［J］. Recent Patents on Computer Science， 2017， 10（4）： 270-274.

［15］ZHANG D， QIAN X， ZHANG Y. Research on abnormal behavior target tracking algorithm in airport intelligent video surveillance［C］//2017 International Conference on Progress in Informatics and Computing （PIC）. IEEE，2017：154-158.

［16］王燕青，林育任，李甲等.航空安全員視覺搜索多重分形特征對旅客異常行為識別的影響［J］.安全與環(huán)境學報，2023，23（8）：2830-2835.

［17］常慶龍. 航站樓集群安全識別與預警關鍵技術研究［D］.南京：南京航空航天大學，2014.

［18］許凌潔.我國民航劫機犯罪的特征及PCC′預防模型研究［J］.社會科學研究，2009（1）：72-78.

［19］沈海濱，張妍.民航旅客異常行為識別指標體系研究［J］.安全與環(huán)境學報，2020，20（4）：1397-1405.

［20］劉南男.當前我國非法干擾民用航空安全事件研究［J］.中國人民公安大學學報（社會科學版），2013，29（2）：24-30.

［21］趙宏潔，劉洪廣. 謊言識別技術在刑事偵查中的應用與發(fā)展［J］.遼寧警察學院學報，2019，21（2）：62-67.

［22］趙國朕，宋金晶，葛燕，等.基于生理大數據的情緒識別研究進展［J］.計算機研究與發(fā)展，2016，53（1）：80-92.

［23］何俊，劉躍，何忠文.多模態(tài)情感識別研究進展［J］.計算機應用研究，2018，35（11）：3201-3205.

［24］方斌.基于行為分析的犯罪嫌疑人謊言識別［J］.中國刑警學院學報，2021，（2）：69-78.

［25］B?NZIGER T， MORTILLARO M， SCHERER K R. Introducing the Geneva Multimodal expression corpus for experimental research on emotion perception［J］. Emotion， 2012， 12（5）： 1161-1179.

責任編校：陳 強，裴媛慧

Multimodal Emotion Perspective： Research on Early Warning of Civil Aviation Passengers' Abnormal Behavior

FU Yonghua，SI Junyong

（Zhengzhou University of Aeronautics， Zhengzhou" 450046，China）

Abstract： This paper proposes a multimodal emotion computation method for aviation security screening， emphasizing the significance of safety in the aviation industry. The research establishes a model for alerting abnormal behavior among aviation passengers by integrating various emotional cues from passengers' multiple modes. Utilizing audiovisual data from the GEMEP corpus to simulate potential abnormal behaviors， the study focuses on facial expressions， body postures， and speech as three modalities for recognition. Post recognition， two decision-level fusion methods are employed： assigning weights to emotional recognition models for each modality and allocating different emotional weights within these models. This approach enables the detection of passengers' emotions such as anger， disgust， anxiety， fear， and sadness， facilitating a graded alert system for abnormal behavior. The research findings highlight that assigning different emotional weights within the emotional recognition models yields the optimal emotional computation model. This model effectively identifies relevant emotions indicating potential abnormal behavior among passengers， achieving an overall recognition accuracy of 82.76%. Specifically， the recognition accuracy for the emotions of anger， disgust， anxiety， fear， and sadness were 81.9%， 78.5%， 81.3%， 83.2%， and 81.7%， respectively.

Key words： multimodal data; affective computing; aviation security; civil aviation security inspection; early warning of abnormal behavior

收稿日期：2023-11-10

基金項目：河南省研究生教育改革與質量提升工程項目：人機情感（YJS2023JC29）

作者簡介：付永華，山東即墨人，副教授，研究方向為信息服務。