吳仁彪 趙婭倩 屈景怡* 高愛國 陳文秀

①(中國民航大學天津市智能信號與圖像處理重點實驗室 天津 300300)

②(中國民用航空華東地區(qū)空中交通管理局 上海 200335)

1 引言

由于航空網(wǎng)絡(luò)內(nèi)部航班之間具有相關(guān)性，所以當某一航班發(fā)生延誤時往往會波及網(wǎng)絡(luò)內(nèi)的其他航班，從而造成大面積的航班延誤波及現(xiàn)象。因此，有必要深入研究航班延誤發(fā)生后在航空網(wǎng)絡(luò)內(nèi)的傳播路徑，對航班延誤波及時間進行預(yù)測，為延誤波及的預(yù)防和控制提供理論依據(jù)與數(shù)據(jù)支持。

針對航班延誤波及預(yù)測問題，國內(nèi)外學者展開了大量研究，早先從延誤傳播特性入手，構(gòu)建航班延誤波及模型來分析延誤波及效應(yīng)[1-7]。其中，文獻[1]構(gòu)造了機場多航班的有色-時間Petri網(wǎng)模型，根據(jù)所提算法可以預(yù)測當初始機場發(fā)生航班延誤后的下游機場是否也會發(fā)生航班延誤；文獻[2]提出基于貝葉斯網(wǎng)絡(luò)的航班延誤波及預(yù)測模型；并從復(fù)雜航空運輸網(wǎng)絡(luò)方面研究樞紐機場在大型網(wǎng)絡(luò)中的延誤波及現(xiàn)象；文獻[3]基于排隊論機制，提出解析排隊和網(wǎng)絡(luò)分解模型，構(gòu)造了一個近似網(wǎng)絡(luò)延誤模型來研究美國34個繁忙機場的延誤情況；文獻[4]提出基于復(fù)雜網(wǎng)絡(luò)理論的航班延誤波及分析預(yù)測方法，給出了延誤波及的具體分類。以上方法均是通過對已有歷史數(shù)據(jù)分析建模來研究航班延誤波及的演變狀況，未考慮如何預(yù)測到未來一段時間內(nèi)的航班延誤波及狀況。隨著民航業(yè)大數(shù)據(jù)的發(fā)展，面對大量航空公司和管制部門數(shù)據(jù)，越來越多的機器學習方法[8,9]用于民航延誤預(yù)測中。文獻[8]提出采用機器學習的方法預(yù)測空中交通延誤，并利用淺層的人工神經(jīng)網(wǎng)絡(luò)對航班延誤進行預(yù)測；文獻[9]基于空中交通管制延誤可控問題，綜合考慮天氣、飛機導航與控制等影響因素，采用機器學習的方法對單個飛機的延誤進行預(yù)測。

目前，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)特征提取能力明顯優(yōu)于傳統(tǒng)的機器學習算法，實際應(yīng)用效果顯著[10-12]。文獻[10]提出的CondenseNet較一般CNN能有效解決深層網(wǎng)絡(luò)訓練時梯度消失的現(xiàn)象，計算效率更高而且參數(shù)存儲更少；文獻[11]提出一種全新卷積模塊注意力機制模塊(Convolutional Block Attention Module,CBAM)，從空間維度和特征維度進行雙重特征權(quán)重標定來提升網(wǎng)絡(luò)準確率。本文采用基于大數(shù)據(jù)的深度學習方法來研究航班延誤波及預(yù)測問題，結(jié)合CondenseNet和CBAM的設(shè)計思想提出一種CBAMCondenseNet算法，針對航班延誤波及預(yù)測問題，構(gòu)建基于CBAM-CondenseNet的航班延誤波及預(yù)測模型，實現(xiàn)預(yù)測同一航空器執(zhí)行多任務(wù)時，首班航班延誤引起的其他航班離港延誤等級。

2 航班延誤波及鏈式模型

航線安排以樞紐機場為中心，以干線形式滿足空中運輸需要，以支線形式由樞紐機場輻射至其他中小機場，干支線間有嚴密的航班時刻銜接計劃的航線網(wǎng)絡(luò)稱為樞紐航線網(wǎng)絡(luò)。樞紐航線網(wǎng)絡(luò)由多條航班鏈組成。在實際運行過程中，同一航空器在同一天中往往會被指派執(zhí)行多個連續(xù)的航班任務(wù)，如圖1所示。某一航空器產(chǎn)生的航班延誤，會通過航班鏈將上游航班的延誤影響至下游航班，使航班延誤的波及范圍在整條航班鏈中擴大。通常，樞紐機場的航班延誤更容易直接傳播至其他中小型機場，故將航空網(wǎng)絡(luò)中的樞紐機場定義為1級機場，與1級機場航班往來的機場定義為2級機場，與2級機場航班往來的機場定義為3級機場，以此類推，多個機場由于某一航班的聯(lián)系從而構(gòu)成航班鏈。

首先，本文對航班延誤波及鏈式模型建模，構(gòu)造航班鏈數(shù)據(jù)集；其次，對航班鏈數(shù)據(jù)集進行數(shù)據(jù)預(yù)處理與數(shù)據(jù)融合；最后，通過深度CBAMCondenseNet模型分別對1級機場首班航班離港延誤等級進行預(yù)測，對由1級機場離港航班延誤波及的2級機場離港航班延誤等級進行預(yù)測，對由1級機場和2級機場離港航班延誤波及的3級機場的離港航班延誤等級進行預(yù)測。提前預(yù)測能夠為相關(guān)部門提供精準有效的干預(yù)方案，從而降低延誤波及程度、減小延誤損失。

3 CBAM-CondenseNet

3.1 網(wǎng)絡(luò)描述

傳統(tǒng)的CondenseNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2(a)所示，每個結(jié)構(gòu)塊內(nèi)的每層網(wǎng)絡(luò)均以稠密連接的方式連接到后續(xù)所有層，不同的結(jié)構(gòu)塊之間也采用稠密連接的方式連接。本文提出的CBAM-CondenseNet是在每個結(jié)構(gòu)塊的3×3卷積層后增加CBAM模塊，如圖2(b)所示。CondenseNet和CBAM模塊經(jīng)過融合，網(wǎng)絡(luò)可以根據(jù)通道、空間的不同重要程度去增強有用特征并抑制無用特征，從而增強網(wǎng)絡(luò)的特征表達能力。

3.2 CBAM卷積模塊

圖1 航班鏈式預(yù)測模型

CBAM主要包含2個步驟：在空間維度上使用全局最大池化和全局平均池化將信息壓縮為一個信道描述符，并標定壓縮操作中聚合的權(quán)重矩陣；在上述操作的基礎(chǔ)上建模像素點之間的重要程度，在通道維度上使用全局最大池化和全局平均池化得到2個不同的信道描述符，并按其通道維度將2個信道描述符合并，之后使用一個包含單個卷積核的隱藏層對特征映射進行卷積操作，生成最終的權(quán)重標定。其結(jié)構(gòu)如圖3所示。對于一個中間層的輸入特征矩陣 F ∈ RC×H×W, CBAM經(jīng)過1維通道壓縮操作并與輸入的特征矩陣相乘得到 F′，隨后經(jīng)過2維空間壓縮操作計算 F′∈ RC×H×W的空間權(quán)值矩陣得到 F′′。 其中⊙ 表示矩陣元素依次相乘。

3.3 CBAM-CondenseNet單個結(jié)構(gòu)塊

圖2 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖3 CBAM結(jié)構(gòu)圖

3.4 網(wǎng)絡(luò)反向傳播

CBAM-CondenseNet模型的訓練主要通過反向傳播(Back Propagation, BP)算法[13]將訓練樣本的誤差消息傳回到隱藏層，實現(xiàn)隱藏層之間權(quán)重矩陣的不斷迭代更新，直至網(wǎng)絡(luò)收斂。根據(jù)BP算法，以CBAM-CondenseNet的前兩個網(wǎng)絡(luò)結(jié)構(gòu)塊為例對各隱藏層間的梯度值進行推導。假設(shè)每個結(jié)構(gòu)塊包含2組非線性變換，第1個結(jié)構(gòu)塊每組變換有1個卷積層，1個CBAM；第2個結(jié)構(gòu)塊每組變換有2個卷積層，1個CBAM。如圖5所示。則該結(jié)構(gòu)塊內(nèi)各隱藏層的誤差項計算如式(4)-式(13)所示。

圖4 CBAM-CondenseNet單個結(jié)構(gòu)塊

圖5 CBAM-CondenseNet反向傳播

4 基于CBAM-CondenseNet的航班延誤波及預(yù)測

基于CBAM-CondenseNet的航班延誤波及預(yù)測主要包括以下3個部分：數(shù)據(jù)預(yù)處理與數(shù)據(jù)集構(gòu)造、特征提取和分類預(yù)測。如圖6所示。特征提取部分詳見第2節(jié)，下面主要對數(shù)據(jù)預(yù)處理與數(shù)據(jù)集構(gòu)造、分類預(yù)測展開介紹。

4.1 數(shù)據(jù)預(yù)處理與數(shù)據(jù)集構(gòu)造

考慮航班延誤波及的復(fù)雜性與不確定性，即隨著時間推移，延誤波及的過程中除去航班首次發(fā)生延誤根源的影響，延誤向外擴散可能受人為因素、機械故障等行為作用程度更高，影響更深。故本文主要研究在航班鏈中受1級機場航班延誤發(fā)生影響最大的2級、3級機場延誤波及狀況。

4.1.1 數(shù)據(jù)預(yù)處理

本文所使用的國外數(shù)據(jù)為美國交通運輸統(tǒng)計局(Bureau of Transportation Statistics, BTS)提供的2014-2018年航班數(shù)據(jù)(Airline On-Time Performance data, AOTP)。其中，模型所需特征屬性定義如下。

定義1 航班數(shù)據(jù) Ff，包括起飛日期、起飛/降落機場ID、起飛/降落城市ID、航班號、計劃起飛/降落時間、輪擋/掄起時間、航程等24個特征屬性。

定義2 機場數(shù)據(jù) Fa, 包括日期、時間、機場ID等5個特征屬性。

定義3 航班鏈數(shù)據(jù)Fc，同一起飛日期的時間范圍內(nèi)某一航空器分別從1級機場到2級機場再到3級機場執(zhí)行不同的飛行任務(wù)，時間上順序相關(guān)，此為一條航班鏈。多條航班鏈數(shù)據(jù)構(gòu)成航班鏈數(shù)據(jù)集，同時包括航班數(shù)據(jù)特征屬性和機場數(shù)據(jù)特征屬性。

為解決實際中航班不延誤比例較大、數(shù)據(jù)不均衡的問題，首先在構(gòu)造數(shù)據(jù)集時采用重采樣的方法，通過增加稀有類訓練樣本的上采樣和減少大類樣本數(shù)的下采樣使不均衡的樣本分布變得比較均衡。重采樣前數(shù)據(jù)集中延誤航班與不延誤航班之比約為3:7，重采樣之后數(shù)據(jù)集中延誤航班與不延誤航班之比約為4:6；其次在訓練階段采用數(shù)據(jù)平衡策略進行小批量抽樣，通過這兩種方法盡可能消除類別分布不均勻。

4.1.2 數(shù)據(jù)集構(gòu)造

圖6 航班延誤波及預(yù)測模型

綜合上述特征屬性，根據(jù)定義3構(gòu)造航班鏈數(shù)據(jù)集。首先，選定某一個樞紐機場為1級機場；按與該1級機場往來航班量的機場從高到低依次排序，選取排名前20的機場為2級機場；直接選取與每個2級機場有往來航班的機場為3級機場。由此確定以該1級機場為中心，呈輻射狀向外擴散的航空運輸網(wǎng)絡(luò)；其次，以時間、航班尾號為鍵值，從航空網(wǎng)絡(luò)中抽取每條航班鏈，構(gòu)成航班鏈數(shù)據(jù)集。再次，對原始數(shù)據(jù)中的離散數(shù)據(jù)和連續(xù)數(shù)據(jù)采用不同的方法進行編碼，避免對網(wǎng)絡(luò)內(nèi)部訓練機制產(chǎn)生誤導；最后，處理完的數(shù)據(jù)轉(zhuǎn)換成適宜輸入到CNN中的特征矩陣。數(shù)據(jù)預(yù)處理與數(shù)據(jù)集構(gòu)造步驟如下：

步驟 1 對原始航班數(shù)據(jù)、機場數(shù)據(jù)進行清洗，選取有用特征。

步驟 2 根據(jù)定義3進行信息篩選，依次選定1級機場ID、2級機場ID、3級機場ID，將 Ff，F(xiàn)a中的時間屬性按照其所在州進行州時轉(zhuǎn)換，確保全部時間的時區(qū)一致。

步驟 3 選定日期、航班尾號、1級機場ID這3個特征屬性為關(guān)聯(lián)主鍵key1，對航班數(shù)據(jù) Ff，機場數(shù)據(jù)Fa進行第1次融合，構(gòu)建融合數(shù)據(jù)F′。

步驟 4 選定日期、航班尾號、2級機場ID、3級機場ID這4個特征屬性為關(guān)聯(lián)主鍵key2，對航班數(shù)據(jù) Ff，機場數(shù)據(jù)Fa，融合數(shù)據(jù) F′進行第2次融合，構(gòu)建航班鏈數(shù)據(jù)集F1。

步驟 5 選定航班鏈數(shù)據(jù)集 F11級機場中航班延誤時間特征屬性，去除1級機場所有未延誤航班數(shù)據(jù)，僅保留含有1級機場航班發(fā)生延誤的數(shù)據(jù)，構(gòu)建鏈數(shù)據(jù)集F2。

步驟 6 首先選定航班鏈數(shù)據(jù)集F11級機場中航班延誤時間特征屬性；其次選定航班鏈數(shù)據(jù)集2級機場航班延誤時間特征屬性，隨后去除1級機場、2級機場所有未延誤航班數(shù)據(jù)，僅保留含有1級機場、2級機場航班發(fā)生延誤的數(shù)據(jù)，構(gòu)建鏈數(shù)據(jù)集F3。

步驟 7 將原始數(shù)據(jù)特征屬性分為離散性和連續(xù)性兩種，對連續(xù)性特征進行min-max歸一化編碼，將其特征值映射到[0,1]；將離散型特征進行mean-encoder編碼[14]。

對1級機場首班航班離港延誤等級進行預(yù)測時，使用航班鏈數(shù)據(jù)集 F1；對由1級機場航班起飛延誤波及的2級機場離港航班延誤等級進行預(yù)測時，使用航班鏈數(shù)據(jù)集F2；對由1級機場和2級機場航班起飛延誤波及的3級機場的離港航班延誤等級進行預(yù)測時，使用航班鏈數(shù)據(jù)集F3。

4.2 分類預(yù)測

分類預(yù)測模塊由全連接層、Softmax分類器兩層網(wǎng)絡(luò)組成，將 n×n×q維度的矩陣轉(zhuǎn)換為5個類別出現(xiàn)的概率。根據(jù)航延誤的定義，將延誤時間劃分為5個時間段，如表1所示。分別對航班鏈模型中的各級機場航班進行延誤波及預(yù)測。

表1 航班延誤等級劃分

5 實驗結(jié)果分析

本文使用深度CBAM-CondenseNet模型分別對1級機場離港航班延誤等級進行預(yù)測；對由1級機場離港航班延誤波及的2級機場離港航班延誤等級進行預(yù)測；對由1級機場和2級機場離港航班延誤波及的3級機場離港航班延誤等級進行預(yù)測。在此本文提供對由1級機場和2級機場航班起飛延誤波及的3級機場的離港航班延誤等級進行預(yù)測的實驗結(jié)果，使用數(shù)據(jù)集 F3，故使用3級機場的延誤時長作為標簽。同理，進行其余兩次預(yù)測時分別使用1級機場的延誤時長和2級機場的延誤時長作為標簽。首先介紹實驗環(huán)境、參數(shù)配置，然后通過各項指標對比驗證算法改進前后所提升的模型性能。

5.1 實驗環(huán)境和參數(shù)配置

實驗所使用計算機硬件配置為：處理器Intel?Xeon? E5-2630, CPU頻率為1.80 GHz,GPU加速顯卡為Matrox MGA-G200eR2，操作系統(tǒng)為Ubuntu16.04.3操作系統(tǒng)，深度學習開發(fā)平臺為Pytorch0.4框架。本文實驗最終使用數(shù)據(jù)集總計633336條，特征維度為81，最終輸入網(wǎng)絡(luò)中的數(shù)據(jù)維度為9×9×633336。這里給出本文實驗中所設(shè)置的參數(shù)名稱與對應(yīng)的參數(shù)值以供參考：采用權(quán)值正交初始化；優(yōu)化器引入Momentum的隨機梯度下降方法，其中動量因子設(shè)為0.9；分組卷積中凝聚因子設(shè)為4；學習率設(shè)為0.1，且采用余弦退火調(diào)整學習率；訓練時批處理數(shù)量為128，最大迭代次數(shù)為6.9×104次。

5.2 算法復(fù)雜度

算法復(fù)雜度體現(xiàn)在算法可執(zhí)行程序運行時資源損耗程度，體現(xiàn)在以下兩方面：(1)空間復(fù)雜度。算法越復(fù)雜，計算資源損耗越多，模型參數(shù)越多。可用參數(shù)數(shù)量Params衡量。(2)時間復(fù)雜度。算法越復(fù)雜，模型訓練和預(yù)測時間越多，無法快速驗證和改善模型?？捎酶↑c運算次數(shù)FLOPs衡量。一次浮點運算可以定義為1次乘法和1次加法。假設(shè)采用滑動窗實現(xiàn)卷積且忽略非線性計算開銷，卷積核的FLOPs為式(15)所示特征圖的高度，寬度和通道數(shù)； K為核寬度；Cout為輸出通道數(shù)。全連接層網(wǎng)絡(luò)的FLOPs為式(16)所示，其中， I為輸入維數(shù)；O為輸出維數(shù)。

表2、表3分別列出不同層數(shù)的CondenseNet和CBAM-CondenseNet模型參數(shù)及其對比情況。通過對比可知，相同數(shù)據(jù)輸入量情況下，不同網(wǎng)絡(luò)層數(shù)的相同算法模型復(fù)雜度不同，隨著網(wǎng)絡(luò)層數(shù)增加，復(fù)雜度增加；相同網(wǎng)絡(luò)層數(shù)的不同算法模型計算量增長較小，改進后的網(wǎng)絡(luò)模型參數(shù)相比增長不明顯。因此CBAM的嵌入導致模型整體的參數(shù)和計算量增長基本可以忽略不計，其算法復(fù)雜度與改進前基本持平。

5.3 損失值

通過對訓練集損失值大小來衡量模型預(yù)測的好壞，損失值越小，模型收斂，說明預(yù)測結(jié)果與真實值越為接近，模型的魯棒性越好。圖7(a)和圖7(b)分別表示18, 28, 44層的CBAM-CondenseNet和CondenseNet隨迭代次數(shù)變化的損失值大小。可以看出，隨著迭代次數(shù)的增加，模型逐漸趨于收斂，在每個損失下降周期內(nèi)，層數(shù)越多，損失減少越多。當達到44層時，在第3個周期內(nèi)改進后的CBAM-CondenseNet損失降至0.1, CondenseNet降至0.13；在第4個周期內(nèi)，損失最終減少至一定范圍，改進后的CBAM-CondenseNet損失值比CondenseNet更低且更趨于平緩，且下降速度更快。說明CBAM-CondenseNet較CondenseNet能更好地對深層神經(jīng)網(wǎng)絡(luò)模型進行訓練。

5.4 分類準確率

在神經(jīng)網(wǎng)絡(luò)的訓練過程中，數(shù)據(jù)集分為兩類：訓練集和測試集。使用訓練集訓練模型，使用測試集考查訓練模型的泛化能力。表4分別列出不同層數(shù)的CBAM-CondenseNet和CondenseNet算法在數(shù)據(jù)集F3上的準確率。從實驗結(jié)果可以看出改進后的CBAM-CondenseNet算法在相同層數(shù)下，模型準確率均高于CondenseNet算法。當網(wǎng)絡(luò)達到44層時，準確率為97.55%。為進一步驗證改進后算法模型的穩(wěn)定性以及可訓練深度，對網(wǎng)絡(luò)進行更深層訓練測試，當網(wǎng)絡(luò)層數(shù)分別為70層、102層、126層時，試驗結(jié)果表明CBAM-CondenseNet網(wǎng)絡(luò)可以保持良好的穩(wěn)定性，隨著網(wǎng)絡(luò)加深，準確率在97%左右維持穩(wěn)定。

表2 算法改進前后FLOPs(M)

表3 算法改進前后Params(M)

為驗證CBAM-CondenseNet算法在數(shù)據(jù)處理和預(yù)測精度方面更具優(yōu)勢，將不同層數(shù)的CBAMCondenseNet和CondenseNet算法與文獻[15]所提算法模型在數(shù)據(jù)集F3上的準確率進行分析比較，如表5所示。當網(wǎng)絡(luò)分別為18層、36層、44層時，CondenseNet算法模型準確率均高于DenseNet和SEDenseNet算法模型，CBAM-CondenseNet算法模型準確率均高于CondenseNet算法模型。當網(wǎng)絡(luò)達到44層時，CBAM-CondenseNet算法模型比SEDenseNet算法模型準確率高4.41%。說明CBAMCondenseNet算法網(wǎng)絡(luò)性能更好，分類準確率更高。

6 結(jié)束語

圖7 改進前后損失值對比

表4 分類準確率對比(%)

表5 不同算法模型分類準確率對比(%)

本文通過分析航班延誤波及的鏈式傳播特點，提出了一種基于CBAM-CondenseNet的航班延誤波及預(yù)測模型，經(jīng)過大量實驗驗證了該模型的有效性，結(jié)論如下：

(1) 通過對航班延誤傳播特性的研究，構(gòu)建航班延誤波及鏈式模型，實現(xiàn)對首班離港航班延誤波及的后續(xù)離港航班延誤等級預(yù)測。

(2) 改進后的CBAM-CondenseNet既能解決深層網(wǎng)絡(luò)梯度消失的問題，又能結(jié)合空間和通道的注意力機制實現(xiàn)自適應(yīng)權(quán)重標定，經(jīng)過多次實驗，改進后的網(wǎng)絡(luò)預(yù)測精度有所提升。

綜上，本文提出的基于CBAM-CondenseNet的航班延誤波及預(yù)測模型，實現(xiàn)了對航班延誤波及預(yù)測，可以為民航、空管等部門提供有力決策。后續(xù)研究工作重點將針對國內(nèi)數(shù)據(jù)進行延誤波及分析研究以及對航班延誤波及程度的評估。