屈景怡 劉暢

（中國民航大學(xué)天津市智能信號與圖像處理重點(diǎn)實(shí)驗(yàn)室，天津 300300）

1 引言

隨著我國經(jīng)濟(jì)水平的不斷提高以及空中交通業(yè)的快速發(fā)展，民航領(lǐng)域旅客吞吐量屢創(chuàng)新高。根據(jù)民航局發(fā)布的2019年民航機(jī)場生產(chǎn)統(tǒng)計(jì)報(bào)告，我國乘客年吞吐量超過13 億人次，較上年增長6.9%［1］，空中交通運(yùn)輸量激增凸顯了很多問題，其中航班延誤問題尤其受大眾關(guān)注。航班延誤受惡劣天氣、機(jī)場調(diào)度、空域限制等多方因素綜合影響，從2019年全球機(jī)場準(zhǔn)點(diǎn)率報(bào)告來看，國內(nèi)排名前五的各大機(jī)場同國外各大型機(jī)場相比，準(zhǔn)點(diǎn)率低約10%，平均延誤時(shí)長高約10 分鐘［2］，由此可見我國航班延誤問題相對較嚴(yán)重。

嚴(yán)重的航班延誤將導(dǎo)致航班延誤的波及致使機(jī)場癱瘓，若可以對航班延誤進(jìn)行預(yù)測，機(jī)場相關(guān)工作者則可視具體情況及時(shí)優(yōu)化航班，降低延誤風(fēng)險(xiǎn)。為此，各國學(xué)者開展了一些研究，采用的方法多為傳統(tǒng)的機(jī)器學(xué)習(xí)算法，如支持向量機(jī)、決策樹、貝葉斯網(wǎng)絡(luò)、隨機(jī)森林等算法［3-7］進(jìn)行航班延誤的原因分析和預(yù)測。這些方法一般應(yīng)用于樣本量小、特征屬性少的數(shù)據(jù)，但是伴隨著大數(shù)據(jù)的海量積累，特別是融合氣象數(shù)據(jù)的航班數(shù)據(jù)集已經(jīng)逐漸呈現(xiàn)出樣本量大、維度高的特點(diǎn)，上述方法在這類大數(shù)據(jù)集上的效果欠佳。深度學(xué)習(xí)算法是處理海量數(shù)據(jù)比較理想的算法，近年來研究學(xué)者們也逐漸將其應(yīng)用于航班延誤預(yù)測問題中，如全連接網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等算法［8-10］均使得航班延誤預(yù)測的準(zhǔn)確率有了很大提升，但由于網(wǎng)絡(luò)層數(shù)較深、算法結(jié)構(gòu)復(fù)雜使模型參數(shù)量和計(jì)算量非常大，致使模型只能部署在PC 端，且傳統(tǒng)深度學(xué)習(xí)算法一直伴有參數(shù)冗余的問題，那么找尋一種算法體積、結(jié)構(gòu)適合于移動(dòng)端的神經(jīng)網(wǎng)絡(luò)尤為重要。

研究學(xué)者們在深度學(xué)習(xí)方面的輕量化方向已經(jīng)做了多角度的嘗試，如知識蒸餾、模型剪枝等方法［11-12］是在算法結(jié)構(gòu)外部做嘗試，前者是先訓(xùn)練出一個(gè)Net-T 網(wǎng)絡(luò)，然后利用此網(wǎng)絡(luò)蒸餾得到一個(gè)更小的Net-S 網(wǎng)絡(luò)，以達(dá)到精簡模型的效果；后者則通過對訓(xùn)練后的模型進(jìn)行通道剪枝等操作精簡模型。輕量化卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)算法一個(gè)新興的分支，將輕量化操作用于算法結(jié)構(gòu)本身，重新設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，具有參數(shù)量少、計(jì)算量小、準(zhǔn)確率高等優(yōu)點(diǎn)。這種網(wǎng)絡(luò)不僅可以在PC 端使用還可以直接部署在移動(dòng)端，占用移動(dòng)設(shè)備內(nèi)存小、功耗低，無需遠(yuǎn)端服務(wù)器的調(diào)用，避免了因網(wǎng)絡(luò)擁堵而造成傳輸結(jié)果的時(shí)延。例如ShuffleNet［13］神經(jīng)網(wǎng)絡(luò)使用分組卷積和通道混洗操作來減輕網(wǎng)絡(luò)的冗余同時(shí)增強(qiáng)特征選擇能力，EfficientNet［14］神經(jīng)網(wǎng)絡(luò)使用多維度混合的模型縮放方法來平衡提升模型性能的三個(gè)維度：模型深度、模型寬度以及圖片分辨率進(jìn)而使模型達(dá)到最優(yōu)。SqueezeNet［15］神經(jīng)網(wǎng)絡(luò)利用大小為1 × 1 的卷積核代替部分3 × 3 卷積核，同時(shí)減少各卷積核的通道數(shù)以此達(dá)到降低參數(shù)量的目的。

MobileNetV2 神經(jīng)網(wǎng)絡(luò)［16］是輕量化卷積神經(jīng)網(wǎng)絡(luò)中的表現(xiàn)較為優(yōu)秀的網(wǎng)絡(luò)，模型重新定義卷積方式并創(chuàng)新性的提出倒殘差模塊，在保障準(zhǔn)確率的同時(shí)有效降低網(wǎng)絡(luò)計(jì)算量和參數(shù)存儲空間，且已經(jīng)在人臉識別［17］、圖像分類［18］等方面取得了優(yōu)秀的成果。為了滿足可以在移動(dòng)端進(jìn)行航班延誤預(yù)測的需求，本文提出一種基于MobileNetV2 輕量化神經(jīng)網(wǎng)絡(luò)的航班延誤預(yù)測模型，并且針對真實(shí)的海量結(jié)構(gòu)化航班數(shù)據(jù)集對模型參數(shù)進(jìn)行調(diào)整，使得算法在參數(shù)量和計(jì)算量上盡可能少，并保障航班延誤預(yù)測準(zhǔn)確率，為后續(xù)移動(dòng)端的部署提供了基礎(chǔ)。

2 基于輕量化網(wǎng)絡(luò)MobileNetV2 航班延誤預(yù)測模型

基于輕量化MobileNetV2 的航班延誤預(yù)測模型總體框圖如圖1所示，其主要由三部分組成：（1）融合氣象數(shù)據(jù)的航班數(shù)據(jù)集的數(shù)據(jù)預(yù)處理。（2）輸入數(shù)據(jù)集的特征提取。（3）航班延誤等級的分類預(yù)測。

2.1 數(shù)據(jù)預(yù)處理

本文使用的數(shù)據(jù)集為中國民用航空華東地區(qū)空中交通管理局（Civil Aviation Administration China，CAAC）提供的2018年3月至2019年3月的航班數(shù)據(jù)集和自動(dòng)氣象觀測系統(tǒng)（Automated Weather Observa?tion System，AWOS）觀測的氣象數(shù)據(jù)集，以及中國民用航空華北空管局提供的2019 年9 月至2020 年10月的航班數(shù)據(jù)集和對應(yīng)的氣象數(shù)據(jù)集。

華東空管局提供的原始數(shù)據(jù)集具體屬性如下：

（1）航班數(shù)據(jù)集包含的特征屬性主要有：航班號（FlightNum）、飛機(jī)尾翼號（TailNum）、二次雷達(dá)編碼（RadarCoding）、計(jì)劃起飛時(shí)間（CRSDepTime）、計(jì)劃到達(dá)時(shí)間（CRSArrTime）、巡航速度（CruSpeed）、巡航高度（CruAltitude）、航跡（EstimateRoute）等22個(gè)屬性。

（2）氣象數(shù)據(jù)集包含的特征屬性主要有：背景亮度平均值（01_35R_BGB_1_AVG）、氣象光學(xué)視程平均值（01_35R_MOR_1_AVG）、風(fēng)速平均值（01_35R_WS_2_AVG）、修正海壓（01_35R_CSP）、溫度（01_35_TP）、相對濕度（01_35R_RD）、場壓（01_34L_FP）、道面溫度（01_35R_PRE）等42個(gè)屬性。

華北空管局提供的原始數(shù)據(jù)集具體屬性如下：

（1）航班數(shù)據(jù)集包含的特征屬性主要有：預(yù)計(jì)到達(dá)時(shí)間（ETA）、預(yù)計(jì)起飛時(shí)間（ETD）計(jì)劃到達(dá)時(shí)間（STA）、計(jì)劃起飛時(shí)間（STD）、航班號（Flight?Num）、應(yīng)答機(jī)（Transponder）、航空公司（Airlines）、任務(wù)性質(zhì)（TaskType）等26個(gè)屬性。

（2）氣象數(shù)據(jù)集包含的特征屬性主要有：露點(diǎn)溫度（Dewpoint）、溫度（Temp）、機(jī)場修正海壓（QNH AERODROME）、場壓（QFE）、相對濕度（RH）、能見度（VISIK）、10 分鐘光學(xué)視程（MOR_10M）、6 小時(shí)降雨量（6H_RAIN）、1 分鐘跑到視程（RVR_1M）等46個(gè)屬性。

數(shù)據(jù)預(yù)處理過程的步驟如下所示：

（1）數(shù)據(jù)清洗：將數(shù)據(jù)集中的空值、缺失值較多的屬性、異常值、重復(fù)屬性做刪除處理，缺失值較少的屬性做填充中值處理。

（2）數(shù)據(jù)融合：將航班數(shù)據(jù)集F中的屬性計(jì)起時(shí)間、計(jì)落時(shí)間作為航班連接主鍵key_I；將氣象數(shù)據(jù)M中的記錄時(shí)間作為連接主鍵key_II，然后將兩個(gè)數(shù)據(jù)集使用關(guān)聯(lián)主鍵進(jìn)行融合成為數(shù)據(jù)集R?？紤]航班延誤并非只受當(dāng)前時(shí)刻的氣象影響，所以本文融合10分鐘氣象數(shù)據(jù)，這樣的融合方式可以增加數(shù)據(jù)特征，起到數(shù)據(jù)增強(qiáng)的效果。

（3）數(shù)據(jù)編碼：融合后的數(shù)據(jù)集包含數(shù)值型和類別型兩種類型的屬性，對數(shù)值型數(shù)據(jù)使用Min-Max［19］歸一化編碼，類別型數(shù)據(jù)分為高基型類別型數(shù)據(jù)和低基類別型數(shù)據(jù)，通常類別型數(shù)據(jù)使用One-Hot［19］獨(dú)熱編碼，但是對高基類別數(shù)據(jù)使用此編碼時(shí)易造成維度爆炸，使得編碼后的數(shù)據(jù)集過于稀疏，不能進(jìn)行下一步的算法特征提取工作。由于本文使用的數(shù)據(jù)集中含有大量的高基類別數(shù)據(jù)，如航班號、尾翼號、機(jī)場編號等，因此本文對于類別型數(shù)據(jù)采用CatBoost［20］編碼。

下面對于CatBoost 編碼進(jìn)行詳細(xì)說明。Cat?Boost 編碼是一種有監(jiān)督的編碼方式，假設(shè)數(shù)據(jù)集R=(r1，1，r2，2，...，rN，M)是包含有M個(gè)特征屬性，N條樣本的數(shù)據(jù)集，標(biāo)簽值用Yi表示，其中i表示分類的個(gè)數(shù)。則編碼的具體步驟為：

Step1隨機(jī)打亂數(shù)據(jù)集R，得到打亂后的數(shù)據(jù)集為σ=(σ1，σ2，...，σN)。

Step2計(jì)算先驗(yàn)概率P，如公式（1）所示。

其中NumY表示標(biāo)簽值的個(gè)數(shù)，表示標(biāo)簽值為Y=Yi的個(gè)數(shù)，所以先驗(yàn)概率P可以表示為標(biāo)簽值類別出現(xiàn)的概率。

Step3編碼第n條數(shù)據(jù)第m個(gè)特征值計(jì)算公式如（2）所示。

CatBoost 編碼的思想最終可以表示為相同類別值的樣本的平均標(biāo)簽值，?>0 為權(quán)重系數(shù)，P表示step2 中得到的先驗(yàn)概率，?和P的加入可以防止在編碼過程中產(chǎn)生過擬合現(xiàn)象。數(shù)據(jù)編碼后得到數(shù)據(jù)集X。

（4）矩陣化：經(jīng)過編碼后的數(shù)據(jù)集在輸入模型前要經(jīng)過矩陣化的過程，以符合算法輸入規(guī)范性，轉(zhuǎn)換過程如圖2 所示，其中編碼后的數(shù)據(jù)集表示為X=(x1，1，x2，2，...，xN，M)，N表示數(shù)據(jù)集的樣本量，M表示數(shù)據(jù)含有的屬性個(gè)數(shù)。矩陣化可以將每條數(shù)據(jù)從向量的表現(xiàn)形式轉(zhuǎn)換為矩陣的表現(xiàn)形式，以此來滿足輕量化卷積神經(jīng)網(wǎng)絡(luò)的輸入要求。

2.2 特征提取

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)為了追求更高的準(zhǔn)確率，一般會(huì)將模型結(jié)構(gòu)設(shè)計(jì)的相對復(fù)雜、網(wǎng)絡(luò)層數(shù)也相對較深，這就將模型限制在了PC 端。MobileNetV2神經(jīng)網(wǎng)絡(luò)［16］重新設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，將傳統(tǒng)卷積拆分為深度型和逐點(diǎn)型兩種卷積，有效降低了模型的計(jì)算復(fù)雜度，同時(shí)引入倒殘差結(jié)構(gòu)來提取更多特征，提高算法模型的準(zhǔn)確率，基于輕量化網(wǎng)絡(luò)MobileNetV2 的航班延誤預(yù)測模型的網(wǎng)絡(luò)配置如下表1所示。

根據(jù)表1的MobileNetV2結(jié)構(gòu)配置表，其中輸出矩陣通道數(shù)NK∈[1，32，16，24，32，64，96，160，320，1280，1280，5]，倒殘差模塊重復(fù)次數(shù)N∈[1，2，3，4，3，3，1]，擴(kuò)展因子t是應(yīng)用于倒殘差模塊中的提升維度的參數(shù)，它的取值為t∈[1，6，6，6，6，6，6]，通道因子α為MobileNetV2特有的超參數(shù)，通過調(diào)節(jié)其大小可以改變整個(gè)網(wǎng)絡(luò)各個(gè)層的輸出矩陣通道數(shù)，以此可以達(dá)到快速改變模型大小的目的。

表1 MobileNetV2結(jié)構(gòu)配置表Tab.1 The MobileNetV2 structure configuration table

2.2.1 深度可分離卷積

深度可分離卷積［16］是MobileNetV2 網(wǎng)絡(luò)的核心部分，由深度卷積和逐點(diǎn)卷積組成，這樣使得深度可分離卷積與傳統(tǒng)卷積提取特征的方式產(chǎn)生了不同。傳統(tǒng)卷積過程如圖3 所示，假定卷積核K∈、輸入特征矩陣，則要求卷積核通道數(shù)CK與輸入特征矩陣通道數(shù)CF相等，經(jīng)過一次傳統(tǒng)卷積后的輸出特征矩陣為，傳統(tǒng)卷積可由公式（3）表示。其中K、L、C表示卷積核W的尺寸，“⊙”表示矩陣間的乘法。

假設(shè)輸入特征矩陣尺寸為NF×DF×DF×CF，傳統(tǒng)卷積核尺寸為NK×DK×DK×CK，深度可分離卷積中兩種卷積核大小分別為CF×DK×DK× 1、NF× 1 × 1 ×CK，傳統(tǒng)卷積的計(jì)算量F1和深度可分離卷積計(jì)算量F2分別為公式（7）、公式（8）：

由此，可得深度可分離卷積相較于傳統(tǒng)卷積減少的計(jì)算量計(jì)算公式（9），當(dāng)卷積核的DK×DK×CK大小為3 × 3 ×CK時(shí)，深度可分離卷積的計(jì)算量會(huì)減少為原來的九分之一。

2.2.2 倒殘差結(jié)構(gòu)

倒殘差結(jié)構(gòu)是由ResNet［21］神經(jīng)網(wǎng)絡(luò)中的殘差結(jié)構(gòu)演變而來，不同于殘差結(jié)構(gòu)中先降維度后升維度的結(jié)構(gòu)特點(diǎn)，倒殘差結(jié)構(gòu)采用先升維后降維的方式來構(gòu)成模型的基本骨干網(wǎng)絡(luò)，其可以形象地表示兩邊小、中間胖的沙漏形，結(jié)構(gòu)如圖5 所示，其由三部分組成：（1）擴(kuò)展層使用1 × 1 卷積來提升輸入特征矩陣的維度，以便保留更多的特征信息。（2）特征映射層使用3 × 3 卷積來提取輸入矩陣的特征信息。（3）壓縮層使用1 × 1 卷積，通過控制卷積核的個(gè)數(shù)來壓縮輸出特征矩陣的維度。后兩層組成深度可分離卷積，整個(gè)結(jié)構(gòu)不僅有效保留特征信息，還可以大幅度減少模型的參數(shù)量和計(jì)算量。

表2 給出了倒殘差結(jié)構(gòu)的計(jì)算步驟［16］，深度可分離卷積內(nèi)嵌在倒殘差模塊中，其中s代表卷積中的步長，擴(kuò)展因子t在倒殘差模塊中起到改變輸出矩陣維度的作用，多個(gè)倒殘差串行構(gòu)成了模型骨干網(wǎng)絡(luò)。

表2 倒殘差結(jié)構(gòu)計(jì)算表Tab.2 Calculation table of inverted residuals

2.3 網(wǎng)絡(luò)訓(xùn)練及分類預(yù)測

經(jīng)過數(shù)據(jù)預(yù)處理后的數(shù)據(jù)集需要轉(zhuǎn)換成張量的形式輸入到模型中進(jìn)行訓(xùn)練。表3給出了航班延誤等級的劃分，也是本文制作標(biāo)簽值的等級劃分。模型最后采用全連接層以及Softmax 激活函數(shù)對航班進(jìn)行延誤等級分類，Softmax分類器將各個(gè)延誤等級的概率表示出來，取概率值最大者作為一條數(shù)據(jù)的最終延誤等級。由于本文最終輸出的結(jié)果為航班延誤等級，屬于多分類模型，所以模型在訓(xùn)練期間采用交叉熵函數(shù)作為損失函數(shù)，如公式（10）所示。

表3 航班延誤等級劃分Tab.3 Classification of flight delays

其中H(y，)表示交叉熵函數(shù)，I表示分類模型中的分類個(gè)數(shù)，本文將航班延誤等級分為5 類，所以I取值為5，表示網(wǎng)絡(luò)預(yù)測值，y表示網(wǎng)絡(luò)標(biāo)簽值，通過損失函數(shù)可以表征網(wǎng)絡(luò)預(yù)測值與標(biāo)簽值y之間的相差程度，損失值越小，預(yù)測值與真實(shí)值越接近，準(zhǔn)確率越高。

3 實(shí)驗(yàn)結(jié)果分析

本節(jié)首先介紹了實(shí)驗(yàn)使用的工作站硬件配置、軟件平臺以及實(shí)驗(yàn)的超參數(shù)配置。然后使用華東空管局提供的上海虹橋機(jī)場數(shù)據(jù)集和華北空管局提供的京津冀機(jī)場群數(shù)據(jù)集進(jìn)行航班延誤預(yù)測，從多角度驗(yàn)證了網(wǎng)絡(luò)模型的有效性，最后對比了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量、計(jì)算量以及準(zhǔn)確率。

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)配置

實(shí)驗(yàn)使用計(jì)算機(jī)配置為：處理器為英特爾至強(qiáng)Xeon E5-1620，CPU 頻率為3.60 GHz；內(nèi) 存16.00×4 GB；操作系統(tǒng)為Ubuntu16.04；圖形加速器為GeForce GTX TITAN Xp；深度學(xué)習(xí)開發(fā)框架為Tensorflow 2.3.0。實(shí)驗(yàn)使用的上海虹橋機(jī)場數(shù)據(jù)集為301089 條，數(shù)據(jù)屬性64 個(gè)，經(jīng)過數(shù)據(jù)預(yù)處理后轉(zhuǎn)換為8 × 8 的形式；京津冀機(jī)場群數(shù)據(jù)集為1650797 條，數(shù)據(jù)屬性72 個(gè)，經(jīng)過數(shù)據(jù)預(yù)處理后轉(zhuǎn)換為8 × 9 的形式。訓(xùn)練集與驗(yàn)證集劃分比例為9∶1。

航班延誤預(yù)測神經(jīng)網(wǎng)絡(luò)模型超參數(shù)配置如下表4 所示，通道因子α為表1 處MobileNetV2 配置表中所提到的超參數(shù)。

表4 實(shí)驗(yàn)參數(shù)配置Tab.4 Experimental parameter

3.2 損失值和準(zhǔn)確率

損失值和準(zhǔn)確率是深度學(xué)習(xí)算法中的基本評估指標(biāo)，可以反映算法模型的魯棒性。損失值大小可以體現(xiàn)算法預(yù)測結(jié)果與真實(shí)結(jié)果的相差程度，損失值越小，預(yù)測準(zhǔn)確度越高。準(zhǔn)確率表示預(yù)測結(jié)果正確的樣本量與總樣本量的比值，公式為（11），在模型擬合度好時(shí)，驗(yàn)證集的準(zhǔn)確率可以一定程度上反映模型的魯棒性能，驗(yàn)證集準(zhǔn)確率越高，模型魯棒性越好。

基于上海虹橋機(jī)場和京津冀機(jī)場群數(shù)據(jù)集，表5給出了不同通道因子下MobileNetV2 的準(zhǔn)確率和損失值大小，可知，隨著通道因子α數(shù)值的增大，模型準(zhǔn)確率逐漸增大，損失值逐漸降低，且在通道因子取值為0.75 和1 時(shí)，準(zhǔn)確率和損失值變化較小，數(shù)值趨于穩(wěn)定。

表5 不同通道因子的準(zhǔn)確率對比Tab.5 Accuracy comparison of different width multiplier

圖6、圖7 分別給出了基于兩個(gè)數(shù)據(jù)集的不同通道因子α下對應(yīng)的損失值變化曲線圖和準(zhǔn)確率變化曲線圖，從曲線的趨勢來看，不同通道因子下?lián)p失值和準(zhǔn)確率變化平緩下降，虹橋機(jī)場數(shù)據(jù)在訓(xùn)練輪次為300 時(shí)收斂，模型損失值和準(zhǔn)確率變化趨于穩(wěn)定，損失值最低為0.036 左右，準(zhǔn)確率最高為99.07%；京津冀機(jī)場群數(shù)據(jù)在訓(xùn)練輪次為150 時(shí)收斂，模型損失值和準(zhǔn)確率變化趨于穩(wěn)定，損失值最低為0.184左右，準(zhǔn)確率最高為96.03%。

3.3 算法復(fù)雜度

算法復(fù)雜度是輕量化卷積神經(jīng)網(wǎng)絡(luò)的重要評估指標(biāo)，它可以體現(xiàn)算法在運(yùn)行時(shí)對資源的消耗程度，算法復(fù)雜度越高模型占用設(shè)備內(nèi)存越高。主要分為以下兩個(gè)方面：（1）空間復(fù)雜度：算法結(jié)構(gòu)越復(fù)雜，占用顯存量越大，空間復(fù)雜度越高，一般用參數(shù)量Params 衡量。算法模型中單層卷積層和單層全連接層的參數(shù)量可近似表示為公式（12）、（13）。（2）時(shí)間復(fù)雜度：算法結(jié)構(gòu)越復(fù)雜，模型訓(xùn)練和推理時(shí)間越長，時(shí)間復(fù)雜度越高，可用浮點(diǎn)運(yùn)算次數(shù)FLOPs來衡量。算法模型中單層卷積層和單層全連接層的計(jì)算量可近似表示為公式（14）、（15）。

在公式（12）、（13）中PC、PQ分別表示單層卷積層的參數(shù)量和單層全連接層的參數(shù)量，DK表示當(dāng)前層中的卷積核尺寸，CF表示當(dāng)前層的輸入特征通道數(shù)，NK表示當(dāng)前層輸出特征通道數(shù)，DF表示當(dāng)前層的輸入特征尺寸。其中公式（14）、（15）中FC、FQ分別表示單層卷積層的計(jì)算量和單層全連接層的計(jì)算量，1 表示全連接層輸出特征尺寸，DF、CF、NK、DK與參數(shù)量計(jì)算公式中的含義相同。從上述公式中可以看出，模型參數(shù)量與輸入數(shù)據(jù)屬性個(gè)數(shù)無關(guān)，而模型計(jì)算量受輸入數(shù)據(jù)屬性個(gè)數(shù)影響。

因此，基于上海虹橋機(jī)場數(shù)據(jù)集，表6給出了不同通道因子α下模型的計(jì)算復(fù)雜度與預(yù)測準(zhǔn)確率之間的關(guān)系，由表6 可知，隨著通道因子的增大，模型的復(fù)雜度增加，準(zhǔn)確率提升。但是在通道因子為0.75 和1.0 時(shí)，準(zhǔn)確率沒有因模型的復(fù)雜度增加有明顯的提升，而且逐步趨于穩(wěn)定，由此可以看出，兩者不是簡單的正相關(guān)關(guān)系，合適的模型復(fù)雜度可匹配得到較高的準(zhǔn)確率，并且不同的移動(dòng)端設(shè)備也可依據(jù)配置要求選擇不同的模型。針對上海虹橋數(shù)據(jù)集，使用通道因子為0.75 時(shí)的MobileNetV2 算法網(wǎng)絡(luò)可以得到相對較優(yōu)的結(jié)果。

表6 不同通道因子的算法復(fù)雜度對比Tab.6 Comparison of the algorithm complexity of the different width multiplier

3.4 不同編碼方法對準(zhǔn)確率的影響

針對本文使用的復(fù)雜結(jié)構(gòu)化數(shù)據(jù)，單一的編碼方式已經(jīng)不能滿足需求，為驗(yàn)證本文使用的Min-Max 編碼和CatBoost 編碼的混合編碼方式的有效性，本節(jié)基于上海虹橋機(jī)場數(shù)據(jù)集，利用Mobile?NetV2-0.75 模型，將Count 編碼［22］、LabelEncoder 編碼［23］、Catboost 編碼進(jìn)行對比，結(jié)果如表7 所示。這兩種編碼方式均可以處理類別型數(shù)據(jù)，Count 編碼利用某一特征屬性下各個(gè)取值的頻次來代替對應(yīng)的類別值，這樣做的一個(gè)弊端是若某一特征下多個(gè)類別值頻次相同，那么會(huì)有編碼值相同的情況，不利于后續(xù)算法模型的有效特征提取。LabelEncoder編碼的核心思想是將某一屬性來的類別值轉(zhuǎn)換成連續(xù)性的數(shù)值，這種編碼方式使得原本沒有順序區(qū)別的類別值具有了大小屬性，會(huì)對算法的特征提取工作帶來影響。

表7 不同編碼方法的準(zhǔn)確率對比Tab.7 Accuracy comparison of different encoding methods

由表7 可知，三種編碼方法中頻次編碼下的預(yù)測準(zhǔn)確率最低為98.24%，本文使用的編碼方法得到的準(zhǔn)確率為99.07%，進(jìn)而驗(yàn)證了本文使用的混合編碼方式的有效性。

3.5 不同網(wǎng)絡(luò)模型結(jié)果分析

在使用深度學(xué)習(xí)的方法處理基于海量的融合氣象信息的航班數(shù)據(jù)集時(shí)，輕量化卷積神經(jīng)網(wǎng)絡(luò)Mo?bileNetV2相比與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)更具優(yōu)勢，為此，本文基于上海虹橋機(jī)場數(shù)據(jù)集和京津冀機(jī)場群數(shù)據(jù)集，將MobileNetV2-0.75 模型與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)ResNet、DenseNet［24］做對比，分別從參數(shù)量、計(jì)算量、準(zhǔn)確率三個(gè)方面進(jìn)行驗(yàn)證，結(jié)果如表8所示。

表8 不同模型的評價(jià)指標(biāo)對比Tab.8 Evaluation index comparison of different models

從中可以看出，在虹橋機(jī)場數(shù)據(jù)集上，Mobile?NetV2-0.75 模型相較于另外兩種模型，準(zhǔn)確率分別提升了3.51%、4.13%，參數(shù)量分別降低了9.87Mil?lion、5.73Million，計(jì)算量分別降低了1388.82Mil?lion、457.78Million；在京津冀機(jī)場群數(shù)據(jù)集上，Mo?bileNetV2-0.75 模型相較于另外兩種模型，準(zhǔn)確率分別提升了1.70%、2.27%，參數(shù)量分別降低了9.87Million、5.73Million，計(jì)算量分別降低了1557.37Million、529.84Million?？梢钥闯鯩obile?NetV2-0.75 模型在上述三個(gè)方面的表現(xiàn)相對比較優(yōu)秀，進(jìn)一步驗(yàn)證了輕量化網(wǎng)絡(luò)MobileNetV2 在航班延誤預(yù)測上的有效性。

4 結(jié)論

本文在國內(nèi)真實(shí)數(shù)據(jù)集的基礎(chǔ)上，提出一種基于輕量化網(wǎng)絡(luò)MobileNetV2 的航班延誤預(yù)測模型，經(jīng)過大量的實(shí)驗(yàn)分析驗(yàn)證了模型的有效性，得到的結(jié)論如下：

（1）在數(shù)據(jù)預(yù)處理部分，本文充分分析數(shù)據(jù)類型，使用Min-Max 編碼和CatBoost 編碼相結(jié)合的混合編碼方式的混合編碼方式對數(shù)據(jù)進(jìn)行針對性編碼，有利于后續(xù)算法的特征提取。

（2）相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，本文提出的模型在航班延誤預(yù)測中準(zhǔn)確率、參數(shù)量、計(jì)算量等方面的表現(xiàn)都比較優(yōu)秀，驗(yàn)證了本文輕量化網(wǎng)絡(luò)在航班延誤預(yù)測上應(yīng)用的有效性。

綜上，本文提出的基于輕量化網(wǎng)絡(luò)Mobile?NetV2 的航班延誤預(yù)測模型，可以實(shí)現(xiàn)對航班延誤進(jìn)行預(yù)測，并且輕量化的MobileNetV2 模型的計(jì)算效率更高、參數(shù)存儲更少，有助于進(jìn)一步將該模型部署在移動(dòng)端。下一步的工作計(jì)劃是在保障模型準(zhǔn)確率的同時(shí)，進(jìn)一步降低模型的參數(shù)量和計(jì)算量，并將其部署在移動(dòng)端。