徐海文，史家財，汪騰

（1.中國民用航空飛行學院 理學院，四川 廣漢 618307；2.中國民用航空飛行學院 民航安全工程學院，四川 廣漢 618307）

0 引言

隨著航班運輸量的大幅提升，空中交通運輸網(wǎng)絡(luò)趨向飽和，惡劣天氣、超負荷流量等原因?qū)е碌暮桨嘌诱`越來越多；同時航班延誤會造成時間、人力和物力等方面的大量損失。譬如，朱江等［1］測算國內(nèi)2018 年4 家主要航空公司的延誤成本達720.93億，美國2016—2019 年直接延誤成本超過200億美元［2］；再者航班延誤旅客的滯留會引起人群密度的變化、情緒穩(wěn)定性降低，旅客行為亦會逐漸發(fā)展為擾亂行為，從而加深旅客與機場、航空公司的矛盾［3］。因此，針對航班延誤相關(guān)問題做出預先分析與更準確的預測，可以讓機場、航空公司及相關(guān)單位提前做好準備工作，進而提升航班運行服務(wù)質(zhì)量，減少航班延誤帶來的經(jīng)濟損失，對民航系統(tǒng)的安全有序運行有著重要意義。

國內(nèi)外眾多研究學者對航班延誤預測問題進行了深入研究，諶婧嬌［4］基于Spark 平臺的決策樹算法對航班延誤問題進行預測；高旗等［5］針對民航終端區(qū)擁堵問題，結(jié)合粒子群優(yōu)化算法建立基于反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)擁堵等級預測模型；唐紅等［6］改進負對數(shù)似然損失函數(shù)，基于非線性賦權(quán)極限梯度提升（eXtreme Gradient Boosting，XGBoost）算法對航班延誤進行分類預測；宋捷等［7］利用機場航段歷史航班運行數(shù)據(jù)，構(gòu)建航班起降延誤預測模型人工神經(jīng)網(wǎng)絡(luò)模型。

上述研究通過改進算法，取得了較為準確的航班延誤情況預測結(jié)果；但是對延誤航班的天氣數(shù)據(jù)考慮并不全面。Choi等［8］針對氣象數(shù)據(jù)，提出基于機器學習的航班延誤分類預測模型；李曉霞等［9］考慮機場實際運行環(huán)境，利用聚類分析方法劃分延誤變量區(qū)間，結(jié)合貝葉斯網(wǎng)絡(luò)建立延誤預測模型，模型計算的準確性穩(wěn)定在81.7%左右；王春政等［10］針對航班運行數(shù)據(jù)與氣象數(shù)據(jù)，建立基于Agent 模型的機場網(wǎng)絡(luò)延誤預測模型。當對航班相關(guān)數(shù)據(jù)進行全面考慮后，處理航班數(shù)據(jù)樣本問題時就會變得非常復雜。故Khanmohammadi等［11］在提取多變量特征與分析航班延誤原因的基礎(chǔ)上，建立基于多輸入層人工神經(jīng)網(wǎng)絡(luò)航班延誤預測模型；吳仁彪等［12］在融合航班數(shù)據(jù)與氣象數(shù)據(jù)的基礎(chǔ)上，通過加深網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建航班延誤預測模型，取得92.1%的預測精確度，提升了處理大樣本與多變量數(shù)據(jù)的特征提取能力；可見在考慮結(jié)合氣象數(shù)據(jù)等復雜多變量問題上神經(jīng)網(wǎng)絡(luò)更具有優(yōu)勢，但是模型精確度提升仍然受限。另外，單一航班串信息數(shù)據(jù)［13-14］在預測模型中的使用，并不能夠反映真實航班之間關(guān)系，延誤航班之間亦是如此，為讓預測結(jié)果更加具有實際意義，故加入能夠反映航班之間網(wǎng)絡(luò)關(guān)系的航班網(wǎng)絡(luò)數(shù)據(jù)，即增加航班網(wǎng)絡(luò)結(jié)構(gòu)。

因此，本文針對上述航班延誤預測模型的研究與存在問題，在考慮航班信息、機場氣象、航班延誤歷史的基礎(chǔ)上，增加反映航班信息關(guān)系的航班網(wǎng)絡(luò)結(jié)構(gòu)，提出了一種基于深度全連接神經(jīng)網(wǎng) 絡(luò)（Deep Fully Connected Neural Network，DFCNN）的離港航班延誤預測模型，并進行不同條件下的實驗。該預測模型在全面考慮延誤預測多項數(shù)據(jù)項變量的基礎(chǔ)上，通過改進DFCNN 結(jié)構(gòu)與調(diào)控模型參數(shù)，能夠抑制梯度彌散現(xiàn)象，優(yōu)化模型計算能力，取得更佳預測效果。

1 深度全連接神經(jīng)網(wǎng)絡(luò)與模型平臺搭建

全連接神經(jīng)網(wǎng)絡(luò)（FCNN）作為深度學習（Deep Learning）的主要表現(xiàn)形式之一，以人工神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)，包含輸入層、隱含層以及輸出層；FCNN 的連接通路能夠連接上一層與下一層的神經(jīng)元節(jié)點，利用BP 訓練算法，讓FCNN 展現(xiàn)出更佳的非線性表現(xiàn)能力；從FCNN 的結(jié)構(gòu)來看，提升神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力主要有兩種方式，分別為增加每一層神經(jīng)元節(jié)點數(shù)量的橫向拓展方式與增加神經(jīng)網(wǎng)絡(luò)層數(shù)的縱向拓展方式［15］；而DFCNN 是在FCNN 中設(shè)置多個隱含層，即通過縱向拓展方式來組成深層的全連接神經(jīng)網(wǎng)絡(luò)，獲得較多表現(xiàn)性能，來縱向增加和改進神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并在實驗中驗證增加神經(jīng)網(wǎng)絡(luò)隱含層層數(shù)的效果。

然而，由多層隱含層組成的DFCNN 模型在計算過程中易出現(xiàn)過擬合現(xiàn)象，在訓練過程中加入有著弱化過擬合能力的隨機丟失層Dropout，可隨機停止部分隱含層神經(jīng)元，避免某些神經(jīng)元的共同激活，并通過調(diào)控Dropout 參數(shù)值對模型進行優(yōu)化［16］。再者，為加快計算過程中數(shù)值結(jié)果的收斂，在輸入層、隱含層、輸出層及各層之間添加激活函數(shù)，同時起到抑制梯度彌散的作用；其中，模型結(jié)構(gòu)參數(shù)具體設(shè)置將在3.2 節(jié)中說明，以1 層隱含層為例，如圖1 所示。

2 航班延誤標準設(shè)置

旅客群體對航班延誤最直觀的感受是對航班實際起飛（實際離港時間）時間的感知，過長的延誤時間易引起旅客積聚并造成擁擠現(xiàn)象，從而導致旅客單體或群體情緒的負向變化［17］。根據(jù)文獻［18］中對不同延誤等待時間范圍下?lián)頂D可接受程度的調(diào)查與可接受程度回歸公式可知：15 min～30 min屬于接受狀態(tài)，而超過30 min 則越傾向于不接受狀態(tài)，當時間在60 min 左右或者超過60 min 時旅客已經(jīng)處于非常不接受狀態(tài)。另外，《華沙公約》《海牙議定書》和《蒙特利爾公約》相繼更正提出過航班延誤的定義［19-20］，但是由于各國發(fā)展進度不同，定義標準仍然存在較大區(qū)別。本文不再對其定義展開過多討論，引用文獻［21］的航班離港延誤時間計算標準：航班實際出港撤輪檔時間T與計劃出港時間T0之間的差值不少于15 min，即T-T0≥15。

因此，針對旅客群體設(shè)置航班延誤的時間標準閾值TH，選擇15 min、30 min、60 min 三個閾值來判斷航班是否延誤。

3 本文模型

基于DFCNN 的離港航班延誤預測模型的計算流程如圖2 所示。

3.1 數(shù)據(jù)預處理

航班延誤預測的研究對象一般是進港航班或離港航班，實驗現(xiàn)有數(shù)據(jù)為成都雙流機場（ZUUU）2017 年6—8 月與2018 年1—8 月中離港航班數(shù)據(jù)與機場氣象觀測數(shù)據(jù)。本文采用的成都雙流機場離港航班數(shù)據(jù)包括：航班信息數(shù)據(jù)、航班延誤歷史統(tǒng)計數(shù)據(jù)和機場氣象觀測數(shù)據(jù)，這些原始數(shù)據(jù)存在異常項與缺失項，需進行剔除與填補，例如取消與返航航班的數(shù)據(jù)、缺失數(shù)據(jù)值。

所以針對原始數(shù)據(jù)項，進行如下步驟的預處理工作。

1）選取原始數(shù)據(jù)中的航班信息數(shù)據(jù)項、機場氣象觀測數(shù)據(jù)項和航班延誤歷史統(tǒng)計數(shù)據(jù)項，并將其中的其他數(shù)據(jù)項剔除；針對取消航班數(shù)據(jù)，因航班未能執(zhí)行，故不作為延誤航班數(shù)據(jù)，在本文研究問題中將此類數(shù)據(jù)剔除。

2）通過整理數(shù)據(jù)得到三類數(shù)據(jù)集：航班信息數(shù)據(jù)Fm(m=1，2，…，14)、機場氣象觀測數(shù)據(jù)Wl(l=1，2，…，18)與航班延誤歷史統(tǒng)計數(shù)據(jù)Dn(n=1，2，3，4)。數(shù)據(jù)集內(nèi)容為：

①航班信息數(shù)據(jù)Fm包括航空公司、航班出發(fā)日期、航班計劃出發(fā)時刻、航班實際出發(fā)時刻、起飛機場、目的地機場等共14 項數(shù)據(jù)。

②機場氣象觀測信息數(shù)據(jù)Wl包括：時間、氣溫、露點、氣壓、能見度、云高、云量、風速、風向、特殊天氣現(xiàn)象等氣象數(shù)據(jù)，共計18 項。

③航班延誤歷史統(tǒng)計數(shù)據(jù)Dn包括由不同始發(fā)地機場至目的地機場之間由于航空公司原因、天氣原因、空管原因及其他原因造成的延誤次數(shù)占始發(fā)地機場由此種原因造成所有延誤的次數(shù)的比值，共計4 項。

3）將氣象數(shù)據(jù)中的天氣現(xiàn)象組的數(shù)據(jù)轉(zhuǎn)化為0 或1 的隨機數(shù)，轉(zhuǎn)化規(guī)則是：若存在此種天氣現(xiàn)象則將數(shù)據(jù)置為1，否則置為0。

4）通過one-hot 獨熱編碼的方法將航班信息數(shù)據(jù)Fm中的航空公司、機場、日期等離散數(shù)據(jù)項轉(zhuǎn)化為二進制字符串數(shù)組。

5）航班網(wǎng)絡(luò)數(shù)據(jù)N即航段序號數(shù)據(jù)，是指同一架航空器按照其離港航班執(zhí)飛時間先后進行排序，得到的一列序號數(shù)據(jù)，每一架航班的N取值為｛1，2，3，4｝（在航班原始數(shù)據(jù)中已有）。在相同時段內(nèi)航班執(zhí)行的先后順序會因為航班延誤存在的累積效應，導致后續(xù)執(zhí)行航班延誤加重；為突出這種延誤中的航班網(wǎng)絡(luò)關(guān)系，在數(shù)據(jù)項中加入航段序號數(shù)據(jù)列，以更好反映航班網(wǎng)絡(luò)的延誤程度及其相互關(guān)系。

6）將四類數(shù)據(jù)Fm、Wl、Dn、N中的連續(xù)型數(shù)據(jù)進行標準化處理，如式（1）所示：

7）根據(jù)Fm、Wl、Dn與N之間的時空聯(lián)系，采用文獻［22］中數(shù)據(jù)融合方法對離港航班數(shù)據(jù)、機場氣象數(shù)據(jù)這兩大類數(shù)據(jù)集進行逐一比較匹配并按照本文第4 章實驗的需要，得到數(shù)據(jù)集A1、A2與A3，數(shù)據(jù)融合步驟如下：

①輸入數(shù)據(jù)集：航班信息數(shù)據(jù)Fm、機場氣象觀測數(shù)據(jù)Wl、航班延誤歷史統(tǒng)計數(shù)據(jù)Dn及航班網(wǎng)絡(luò)數(shù)據(jù)N；

②四類數(shù)據(jù)集的時空屬性匹配：航班信息數(shù)據(jù)Fm、機場氣象觀測數(shù)據(jù)Wl、航班延誤歷史統(tǒng)計數(shù)據(jù)Dn及航班網(wǎng)絡(luò)數(shù)據(jù)N中年、月、日、離港時刻及離港機場等屬性需逐一對應；

③輸出數(shù)據(jù)集：數(shù)據(jù)匹配完成后得到156 801 條數(shù)據(jù)，并通過直接復制對數(shù)據(jù)集的總樣本量進行豐富，得到輸入數(shù)據(jù)470 403 條；經(jīng)數(shù)據(jù)預處理后，對數(shù)據(jù)集進行劃分得到如表1所示數(shù)據(jù)。

表1 成都雙流機場離港航班實驗數(shù)據(jù)信息Tab.1 Experimental data information of Chengdu Shuangliu Airport departure flights

按照表2 中組合方式劃入數(shù)據(jù)集合A，分別得到數(shù)據(jù)集A1、A2、A3，并進行儲存，如表2 所示，亦為本文實驗需要的輸入數(shù)據(jù)集合做鋪墊。

表2 融合數(shù)據(jù)項后的數(shù)據(jù)集合Tab.2 Datasets after merging data items

航班延誤預測的最終目的是判斷航班是否延誤，屬于判斷為0 或1 的分類問題，可以將離港航班延誤預測問題轉(zhuǎn)換為式（2）形式：

即尋找航班信息數(shù)據(jù)Fm、氣象數(shù)據(jù)Wl和航班延誤歷史統(tǒng)計數(shù)據(jù)Dn與函數(shù)f之間的關(guān)系，然后通過預設(shè)的閾值判斷該串航班數(shù)據(jù)是否處于延誤狀態(tài)。

3.2 模型參數(shù)設(shè)置

基于DFCNN 的離港航班延誤預測模型的關(guān)鍵要素主要包括神經(jīng)網(wǎng)絡(luò)層的設(shè)計、模型參數(shù)的設(shè)置和輸入數(shù)據(jù)項，其中模型參數(shù)的設(shè)置主要考慮網(wǎng)絡(luò)層之間激活函數(shù)、優(yōu)化函數(shù)和損失函數(shù)等。模型通過損失函數(shù)（Loss Function）計算出預測值與目標值之間的誤差值，利用反向傳播算法原理和加速自適應梯度優(yōu)化函數(shù)［23］，在不斷反向調(diào)整修正梯度參數(shù)與權(quán)值參數(shù)的計算過程中提高預測值的準確度。另外，深度全連接神經(jīng)網(wǎng)絡(luò)模型亦可看作復雜的線性擬合算法，但是數(shù)據(jù)集中的各項數(shù)值并不總是存在線性關(guān)系，激活函數(shù)的引入可以使得網(wǎng)絡(luò)模型無限逼近任意非線性函數(shù)，從而獲得數(shù)值間的非線性關(guān)系。

3.2.1 激活函數(shù)的選擇

Sigmoid 函數(shù)、tanh 函數(shù)、線性整流函數(shù)（Rectified Linear Unit，ReLU）及指數(shù)線性函數(shù)（Exponential Linear Unit，ELU）等是常用的激活函數(shù)［24-25］，這四種激活函數(shù)都有著能加速收斂和實現(xiàn)簡便的優(yōu)點，下面將展開詳細討論：

ReLU 函數(shù)是非零為中心的輸出函數(shù)，具有稀疏表達能力，但是當輸入值x為負值時容易出現(xiàn)梯度消失情況；而ELU 函數(shù)作為ReLU 函數(shù)的改進算法，避免了梯度消失的情況，當x為負值時能夠獲得一個自然梯度，但是其含有冪運算且計算強度較高。Sigmoid 函數(shù)經(jīng)過演算推導變化可得到tanh 函數(shù)，它們作為激活函數(shù)在前向傳播和反向傳播的過程中計算得出數(shù)值項的方差值是近似的［26］。tanh 相較于Sigmoid 函數(shù)輸出的均值更接近0，前者隨機梯度下降速度能夠更近似自然梯度，所以收斂速度會更快；Sigmoid 函數(shù)的線性區(qū)域會對較小的輸入數(shù)據(jù)x產(chǎn)生聚集作用，會弱化層數(shù)的疊加意義；當輸入x值較大時，x會在函數(shù)平滑區(qū)域聚集，梯度下降反而不利于收斂。因此模型的隱含層單元選擇tanh函數(shù)、ReLU 函數(shù)和ELU 函數(shù)作為激活函數(shù)，并在4.2 節(jié)針對文章數(shù)據(jù)進行實驗以獲取模型最優(yōu)的激活函數(shù)。

其中，經(jīng)Sigmoid 函數(shù)算出的輸出值能夠準確落入（0，1），更好地表現(xiàn)二分類問題結(jié)果，因此選擇能更好表現(xiàn)概率及受噪聲更小的Sigmoid 函數(shù)作為輸出層的激活函數(shù)。根據(jù)融合數(shù)據(jù)后的數(shù)據(jù)集合A設(shè)置神經(jīng)元為512個，隱含層各層神經(jīng)元為512個，其中最后一層隱含層為256 個。

其中：x表示輸入值。

3.2.2 損失函數(shù)選擇

損失函數(shù)能反映輸入數(shù)據(jù)樣本標簽值與預測值的差異情況，交叉熵損失函數(shù)可表示已知數(shù)據(jù)值的真實分布與預測值分布之間的差異，降低交叉熵損失值（Loss）即減小輸入真實值與預測值之間的差距，使得預測值逐漸逼近輸入真實值，從而提高模型的精確度?？梢娖骄徊骒負p失函數(shù)（式（7））對于度量分類問題中兩個值的分布差異性有著明顯優(yōu)勢。

其中：n表示樣本個數(shù)；yi為第i個樣本標簽值；為第i個樣本預測值。

3.2.3 隨機丟失層Dropout的原理與設(shè)置

在神經(jīng)網(wǎng)絡(luò)模型前向傳播時，通過設(shè)置隨機丟失層Dropout 中每個神經(jīng)元節(jié)點被停止的概率數(shù)值且有著相等的停止幾率，使得模型不會太依賴局部特征，提高了模型的泛化能力，抑制過擬合現(xiàn)象。如圖3 所示，以隱含層數(shù)為1 的神經(jīng)網(wǎng)絡(luò)為例，實線為工作的神經(jīng)元節(jié)點，虛線為停止的工作神經(jīng)元節(jié)點；有Dropout 層的神經(jīng)網(wǎng)絡(luò)計算公式，如式（8）所示：

其中：l表示神經(jīng)網(wǎng)絡(luò)的層數(shù)；yl為第l層輸出值；f為激活函數(shù)；wl為第l層激活函數(shù)的權(quán)重系數(shù)；bl為第l層的偏置系數(shù)；rl服從伯努利（Bernoulli）函數(shù)以概率p的隨機取值，在編碼過程中能夠以p∈(0，1)的概率停止部分工作的神經(jīng)元節(jié)點。

故在本文4.2～4.5 節(jié)中設(shè)置Dropout 層默認p值為0.5 的實驗，在4.6 節(jié)中增加不同p值的Dropout 實驗，具體分析見第4 章。

4 實驗與結(jié)果分析

本文預測模型代碼采用Python 語言編寫，在Tensorflow與Keras 深度學習框架下搭建；實驗計算機硬件配置為Inter Xeon Silver 處理器，320 GB 內(nèi)存，運行環(huán)境為64 位Windows Server 2016 版服務(wù)器。

4.1 模型結(jié)果評估

評估模型表現(xiàn)能力優(yōu)劣最直觀是預測結(jié)果中精確度（Accuracy，Acc）與損失值（Loss）的高低，輸入標簽值與預測值間的擬合度越高、精確度越高且損失值越小，證明模型表現(xiàn)能力越優(yōu)異。損失值可根據(jù)3.2 中的損失函數(shù)得到，而預測精確度的計算將利用衡量分類模型準確度中最簡便、直觀的混淆矩陣（Confusion Matrix）方法。

航班延誤預測結(jié)果的混淆矩陣表示有四種結(jié)果，對應情況如下：

1）真正例TP（True Positive）：航班真實情況為延誤，預測結(jié)果也為延誤；

2）真反例TN（True Negative）：航班真實情況為不延誤，預測結(jié)果為不延誤；

3）假正例FP（False Positive）：航班真實情況為延誤，預測結(jié)果為不延誤；

4）假反例FN（False Negative）：航班真實情況為延誤，預測結(jié)果為不延誤。

航班延誤預測精確度PAcc是指正確預測航班的數(shù)量占總航班數(shù)量的比值，如式（9）所示：

4.2 不同激活函數(shù)的結(jié)果分析

在本文實驗中，按照3.2.3 節(jié)中對隱含層的設(shè)置，隱含層層數(shù)設(shè)置為5，將輸出層的激活函數(shù)設(shè)置為Sigmoid 函數(shù)，其他隱含層分別設(shè)置為tanh 函數(shù)、ReLU 函數(shù)和ELU 函數(shù)，Dropout層p值設(shè)置為0.5，延誤時間閾值為15 min，實驗輸入數(shù)據(jù)集為A1。分別進行實驗計算，以驗證不同激活函數(shù)對模型表現(xiàn)能力的影響，得到圖4 的損失值與精確度變化圖。

實驗結(jié)果表明：

1）從圖4（a）可以看出，隨著迭代次數(shù)增加，損失值逐漸收斂至固定區(qū)間；模型使用tanh 與ELU 函數(shù)的驗證集與訓練集的損失值差距較小且曲線變化穩(wěn)定，取得較好的泛化性；經(jīng)迭代計算ELU 函數(shù)在泛化能力上不如tanh 函數(shù)，但是模型穩(wěn)定性好，兩種損失值之間差距保持在0.20 個百分點左右，且迭代結(jié)果略優(yōu)于tanh（如表3 中所示），說明模型擬合能力與泛化能力穩(wěn)定；而使用ReLU 函數(shù)時訓練集與驗證集的損失值變化曲線差距較大，驗證集的損失值變化波動較大，說明此時模型存在梯度彌散與過擬合。

表3 不同激活函數(shù)的實驗預測結(jié)果Tab.3 Experimental prediction results of different activation parameters

2）從圖4（b）可以看出，模型隨迭代次數(shù)的增加，訓練集與驗證集的精確度逐漸升高并收斂至固定區(qū)間；使用tanh 函數(shù)在50 次迭代之后模型的泛化能力表現(xiàn)明顯，并且經(jīng)后續(xù)迭代計算兩種精確度差距穩(wěn)定在1.00 個百分點左右，說明模型擬合能力優(yōu)異，有著較好的泛化性；在ELU 函數(shù)精確度變化中，兩種精確度之差穩(wěn)定在0.40 個百分點左右，證明模型擬合過程穩(wěn)定且抗噪聲能力優(yōu)異；而使用ReLU 激活函數(shù)雖然在訓練集上取得了較高的精確度且高于驗證集精確度，相比之下其泛化能力與擬合能力較差。

3）如表3 所示，模型采用tanh 和ELU 函數(shù)計算測試集得到損失值與預測精確度分別穩(wěn)定在0.218 6、0.216 2 和0.830 0、0.830 2，相較于使用ReLU 函數(shù)得出的結(jié)果在精確度上分別提升1.26 與1.28 個百分點。因此后續(xù)模型實驗將以tanh、ELU 作為模型的激活函數(shù)，檢驗其結(jié)果是否存在偶然性。

4.3 不同數(shù)據(jù)項的結(jié)果分析

為驗證航班歷史與航班網(wǎng)絡(luò)結(jié)構(gòu)對模型計算的影響，針對不同輸入數(shù)據(jù)項A1、A2、A3 進行實驗；模型的隱含層層數(shù)設(shè)置為5，Dropout層p值為0.5，延誤時間閾值為15 min，并在4.2 節(jié)的實驗基礎(chǔ)上分別對tanh 與ELU 函數(shù)進行數(shù)值計算；實驗結(jié)果如表4 所示，在訓練集和驗證集上隨著迭代次數(shù)的增加，損失值與精確度變化情況見圖5～6。

通過對比不同輸入數(shù)據(jù)的結(jié)果曲線變化圖可知，模型在輸入數(shù)據(jù)為A2（即對航班延誤歷史因素加以考慮）時，曲線變化波動比較平滑幅度變化相差不大，說明模型的擬合能力與表現(xiàn)能力變化不大；但是與輸入數(shù)據(jù)集A1 相比，采用ELU函數(shù)與輸入數(shù)據(jù)為A2 時模型損失值和精確度曲線圖中訓練集與驗證集之間的變化差距更小，擬合效果略好；模型在加入A3 數(shù)據(jù)項（即在A2 基礎(chǔ)上加入航班網(wǎng)絡(luò)結(jié)構(gòu)因素），在tanh 與ELU 函數(shù)模型的擬合表現(xiàn)能力上有著明顯改善，模型的精確度能夠穩(wěn)定在85%以上，說明考慮航班網(wǎng)絡(luò)結(jié)構(gòu)能更好地反映航班間的延誤關(guān)系，使得模型獲得更好預測效果。

結(jié)合表4 中測試集的計算結(jié)果可知，在模型加入航班網(wǎng)絡(luò)數(shù)據(jù)項后，模型收斂速度更快，能夠在較少的迭代次數(shù)下實現(xiàn)較高精確度與較低的損失值，模型學習表現(xiàn)能力有著較大的改進；模型采用tanh 函數(shù)的損失值表現(xiàn)略好，但是ELU函數(shù)模型的預測精確度達到了0.861 3，相較于輸入數(shù)據(jù)為A1、A2，分別提升了在3.11、3.12 個百分點；在航班延誤預測問題研究中，在損失值較低的情況下，是以追求更高的預測精確度為目的，對航班延誤與否做出更加精準的判斷，綜合4.2 節(jié)與上述實驗結(jié)果與分析，結(jié)合ELU 函數(shù)的模型有著更好的優(yōu)勢，因此下文實驗將使用ELU 函數(shù)進行計算，在航班網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進行研究。

表4 不同輸入數(shù)據(jù)的實驗預測結(jié)果Tab.4 Experimental prediction results of different input data

4.4 不同閾值的結(jié)果分析

通過激活函數(shù)與輸入數(shù)據(jù)項的實驗分析可知，模型在激活函數(shù)ELU、隱含層層數(shù)為5、Dropout 參數(shù)為0.5 以及輸入數(shù)據(jù)為A3 條件下能夠取得可行性更高的實驗結(jié)果；為期望實現(xiàn)在較長延誤時間內(nèi)的準確預測，在此增加延誤時間閾值為TH=30 min，60 min 的實驗。實驗結(jié)果和迭代計算的變化情況如圖7 與表5 所示。

表5 不同閾值的實驗預測結(jié)果Tab.5 Experimental prediction results of different thresholds

通過對比圖7（a）中損失值變化曲線，隨著延誤時間閾值的提高，損失值的結(jié)果有著一定幅度的改善，在模型迭代計算50 次之前，隨著閾值提高的訓練集收斂速度最快，在局部放大圖中損失值存在一定的波動，但是損失值的梯度變化效果明顯。對比圖7（b）中精確度曲線，可見隨著延誤閾值的提高，預測精度變化較為平緩提高，曲線變化擬合有所改善；在閾值為60 min時，比15 min 與30 min 的精確度分別提高了0.03 與0.08 個百分點，最終預測精度能夠維持在86.21%?？梢婋S著閾值的提高，對預測結(jié)果能夠產(chǎn)生積極影響；在較大延誤時間閾值下能夠?qū)﹂L延誤時間的航班做更好判斷，在實際延誤問題中有較高的價值。文獻［27］中利用美國航班相關(guān)數(shù)據(jù)，建立相似的神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過500 次迭代計算獲得91%以上預測精確度，可見使用不同數(shù)據(jù)集其預測效果仍有差別。

4.5 不同深度層數(shù)的結(jié)果分析

沿用4.4 節(jié)中實驗的模型及輸入數(shù)據(jù)條件，設(shè)定延誤時間閾值TH=60 min，其中利用縱向拓展的方式改變神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)層次，檢驗對模型預測效果的影響，將DFCNN 模型中隱含層層數(shù)由5 分別增加至10 和15，進行不同層數(shù)DFCNN 的實驗，實驗結(jié)果如表6 和圖8 所示。

表6 不同隱含層層數(shù)DFCNN的實驗預測結(jié)果Tab.6 Experimental prediction results of DFCNN with different hidden layers

由圖8（a）可知，在模型迭代計算之初隨著層數(shù)的增加，模型收斂速度變慢，損失值的訓練集與驗證集的曲線變化波動明顯，易出現(xiàn)過擬合的現(xiàn)象；隨著迭代次數(shù)的增加損失值逐步收斂，但是在較低層（5 層隱含層）時有著較好的表現(xiàn)。另外，由圖8（b）可知，隨著迭代次數(shù)的增加，精確度的梯度變化穩(wěn)定且逐漸收斂；從局部放大圖中可知，在較低層時的訓練集與驗證集的精確度較高，并且隨著層數(shù)的提高在訓練集與驗證集上的精確度有著下降的趨勢，說明模型擬合能力與泛化能力變差，存在梯度彌散的風險，可見單純縱向拓展增加神經(jīng)網(wǎng)絡(luò)層次并不能直接改善模型的表現(xiàn)能力。

4.6 不同Dropout層參數(shù)的結(jié)果分析

經(jīng)前文所做實驗可知，深度全連接神經(jīng)網(wǎng)絡(luò)只在縱向拓展深度層次上不能更好地提高其表現(xiàn)能力，因此在前文實驗的基礎(chǔ)上加入Dropout 層參數(shù)的對比實驗，在防止過擬合的同時，提升模型的泛化能力，并使用4.5 節(jié)中相同條件下構(gòu)建層數(shù)分別為5、10、15 的DFCNN 模型。另外，對于工作的神經(jīng)元節(jié)點不能過分保留或者停止其工作，故將p取值范圍設(shè)置在0.3～0.7，間隔為0.2［28］。

通過對比表7 損失值結(jié)果與圖9 各層數(shù)的損失值變化可知，隨著p值的降低即隨機停止神經(jīng)元概率的降低，模型的損失值呈現(xiàn)逐漸降低的趨勢，且在p=0.3 時降至0.109 3，相較于其他參數(shù)值下降明顯，模型泛化能力更好；其次，通過局部放大圖可知曲線變化平穩(wěn)，未出現(xiàn)過擬合現(xiàn)象。

表7 不同層數(shù)下不同Dropout參數(shù)實驗預測結(jié)果Tab.7 Experimental prediction results of different Dropout parameters under different layers

通過對比圖10 各層數(shù)的精確度變化與表8 預測精確度結(jié)果可知，隨著p值的降低即隨機停止神經(jīng)元概率的降低，模型在不同層數(shù)上都表現(xiàn)精確度逐漸提高，說明模型的泛化能力增強，梯度變化穩(wěn)定，且在p=0.3 時精確度最高可達0.923 9，說明模型可靠性強和泛化能力優(yōu)異。另外，通過對比不同層之間預測結(jié)果可知，隨著層數(shù)的增加亦出現(xiàn)了4.5節(jié)中的相似結(jié)論。

4.7 不同航班延誤預測模型對比

在前文模型實驗的對比基礎(chǔ)上，通過對比不同的二分類延誤預測模型（決策樹［29］、貝葉斯網(wǎng)絡(luò)［30］、隨機森林［31］、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［32］、長短期記憶（Long Short Term Memory，LSTM）網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）［33］的預測效果，說明本文延誤預測模型在可行性與精確度上的優(yōu)勢，結(jié)果見表8。其中，文獻［29-31］以國內(nèi)航班相關(guān)數(shù)據(jù)為研究對象，模型具有簡單快捷的優(yōu)勢；但是只有文獻［31］對氣象數(shù)據(jù)進行了全面的考慮，并且在計算分析復雜多變量問題上仍然受限，預測精度提升不明顯。然后，文獻［32-33］利用融合氣象數(shù)據(jù)的美國亞歷山大機場航班相關(guān)數(shù)據(jù)進行建模分析，在隱含層數(shù)為5，模型都取得較高的精確度充分證明了模型的有效性；但是在相同隱含層數(shù)下，本文通過改進5 層DFCNN 模型預測結(jié)果上泛化能力更強。

表8 不同航班延誤預測模型預測精確度對比Tab.8 Comparison of prediction accuracy of different flight delay prediction models

綜上所述，本文提出的改進5 層DFCNN 模型綜合考慮A3 數(shù)據(jù)集中相關(guān)因素，模型預測精確度最高可達92.39%，能夠為國內(nèi)民航管制部門對航班延誤提供更加準確的判斷與參考。

5 結(jié)語

本文考慮激活函數(shù)、航班網(wǎng)絡(luò)結(jié)構(gòu)與時間閾值三方面影響的同時，對模型的神經(jīng)網(wǎng)絡(luò)層數(shù)與Dropout 層的設(shè)置進行了分析，得到結(jié)論如下：

1）通過融合航班信息數(shù)據(jù)、機場氣象觀測數(shù)據(jù)和航班延誤歷史統(tǒng)計數(shù)據(jù)作為輸入項，并考慮不同激活函數(shù)的影響和采用ELU 函數(shù)，構(gòu)建基于深度全連接神經(jīng)網(wǎng)絡(luò)的離港航班延誤預測模型；在考慮增加航班網(wǎng)絡(luò)結(jié)構(gòu)后，模型的預測精度可以達到實際應用的精度，理論上可以較準確地判斷航班是否延誤，說明考慮

航班關(guān)系網(wǎng)絡(luò)能夠?qū)δＰ陀蟹e極作用。

2）在實驗過程中，隨著網(wǎng)絡(luò)層數(shù)的增加，模型出現(xiàn)梯度彌散與泛化能力變差，在實驗迭代計算階段甚至不如較低層數(shù)的網(wǎng)絡(luò)模型，當隱含層為5 層時，預測精度可達86%以上。

3）在同網(wǎng)絡(luò)層數(shù)上調(diào)整合適的閾值，可以對模型的預測精度起到積極作用，能夠?qū)崿F(xiàn)對延誤時間較長的航班進行預測；加入Dropout 層后對隱含層神經(jīng)元做適當取舍，在防止過擬合的同時，能夠起到抑制梯度彌散與提升泛化能力的作用，最終預測精度在5 層DFCNN 時可維持在92%以上。

因此，本文的模型預測結(jié)果，可對國內(nèi)航班延誤做出較為準確的判斷，給予民航相關(guān)部門提供可行的參考；在未來的研究工作中，不僅考慮縱向拓展對模型的影響，還要思考橫向拓展各層神經(jīng)元節(jié)點個數(shù)的配置問題與優(yōu)化算法的研究。