亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的航班延誤預(yù)測(cè)模型

        2018-08-27 10:58:18吳仁彪李佳怡屈景怡
        計(jì)算機(jī)應(yīng)用 2018年7期
        關(guān)鍵詞:正確率特征提取航班

        吳仁彪,李佳怡,屈景怡

        (中國(guó)民航大學(xué) 天津市智能信號(hào)與圖像處理重點(diǎn)實(shí)驗(yàn)室,天津 300300)(*通信作者電子郵箱qujingyicauc@163.com)

        0 引言

        隨著航空業(yè)的迅速發(fā)展,航班延誤問(wèn)題日益嚴(yán)重。由航班延誤引發(fā)的旅客與機(jī)場(chǎng)、航空公司之間的矛盾已經(jīng)成為一種嚴(yán)重的社會(huì)問(wèn)題,引起極大反響。航班延誤預(yù)測(cè)可通過(guò)已知信息進(jìn)行到港延誤等級(jí)預(yù)測(cè),使相關(guān)部門提前作好應(yīng)對(duì)措施,提升旅客滿意水平。同時(shí),通過(guò)預(yù)測(cè)可提前知曉航班到達(dá)序列,可進(jìn)一步改進(jìn)航班調(diào)度和機(jī)位指派,對(duì)航班延誤的治理具有重要意義[1-2]。

        國(guó)內(nèi)外相關(guān)學(xué)者針對(duì)航班延誤預(yù)測(cè)問(wèn)題已展開大量研究[3-6],已有方法中多采用決策樹、貝葉斯網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法[7-10]。程華等[8]研究基于決策樹方法的到港延誤預(yù)測(cè)問(wèn)題,通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)使用C4.5決策樹進(jìn)行延誤等級(jí)預(yù)測(cè)可得到80%的正確率;曹衛(wèi)東等[9]考慮同一架飛機(jī)的連續(xù)航班情況,利用貝葉斯網(wǎng)絡(luò)進(jìn)行航班延誤波及分析,可反映連續(xù)航班延誤原因分布及波及分布;Khanmohammadi等[10]采用二進(jìn)制編碼航班特征后輸入神經(jīng)網(wǎng)絡(luò),在實(shí)現(xiàn)延誤預(yù)測(cè)的同時(shí)可獲得延誤原因。以上模型較少考慮氣象信息對(duì)航班延誤的影響,而且傳統(tǒng)機(jī)器學(xué)習(xí)算法仍是針對(duì)小數(shù)據(jù)集的信息獲取和挖掘,處理能力有限。為使正確率進(jìn)一步提高則需加入專家知識(shí)或通過(guò)聚類算法等方式擴(kuò)展信息[11],因此,有學(xué)者提出將大數(shù)據(jù)技術(shù)應(yīng)用于航班延誤預(yù)測(cè)[12-13],可使模型自動(dòng)進(jìn)行特征提取,無(wú)需人為干預(yù),并可以提升數(shù)據(jù)處理能力。

        Kim等[13]率先采用大數(shù)據(jù)方法預(yù)測(cè)機(jī)場(chǎng)延誤狀態(tài),使用長(zhǎng)短時(shí)記憶法(Long Short Term Memory, LSTM)考慮時(shí)間維度特征,并通過(guò)實(shí)驗(yàn)證明了模型的可擴(kuò)展性;但全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取最多只能訓(xùn)練五層網(wǎng)絡(luò)模型,沒(méi)有克服深度加深時(shí)模型無(wú)法收斂的缺點(diǎn)。深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)通過(guò)權(quán)值共享,可減少訓(xùn)練參數(shù),訓(xùn)練更深的模型,從而最大限度從海量數(shù)據(jù)中提取信息。近幾年,在圖像分類與識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域已取得突破性進(jìn)展[14-16]。其中,Highway網(wǎng)絡(luò)[17]和殘差網(wǎng)絡(luò)(Residual Network, ResNet)[18]通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)傳統(tǒng)結(jié)構(gòu)的改進(jìn),進(jìn)一步增加了網(wǎng)絡(luò)的深度,可取得更好的特征提取效果。

        本文分?jǐn)?shù)據(jù)預(yù)處理、特征提取和分類預(yù)測(cè)三部分構(gòu)建航班延誤預(yù)測(cè)模型。在數(shù)據(jù)預(yù)處理部分考慮到氣象因素對(duì)航班延誤的重要影響,進(jìn)行了航班數(shù)據(jù)和氣象數(shù)據(jù)的融合。在特征提取部分考慮到傳統(tǒng)機(jī)器學(xué)習(xí)算法處理大數(shù)據(jù)的困難,以及網(wǎng)絡(luò)深度對(duì)模型性能的影響,參考ResNet網(wǎng)絡(luò)結(jié)構(gòu),提出了一種雙通道卷積神經(jīng)網(wǎng)絡(luò)(Dual-Channel Convolutional Neural Network, DCNN)結(jié)構(gòu)。該網(wǎng)絡(luò)結(jié)構(gòu)可克服梯度消失的缺陷,訓(xùn)練深度網(wǎng)絡(luò),增強(qiáng)數(shù)據(jù)處理性能,從而進(jìn)一步提升模型預(yù)測(cè)能力。

        1 雙通道卷積神經(jīng)網(wǎng)絡(luò)

        1.1 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)

        傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層和池化層構(gòu)成,如要訓(xùn)練深層網(wǎng)絡(luò)則需進(jìn)行如圖1(a)所示的卷積層堆疊。每個(gè)卷積層后接激活函數(shù)進(jìn)行非線性變換,如式(1)所示:

        A=f(W?X)

        (1)

        其中:A表示輸出特征矩陣;W表示需要學(xué)習(xí)的卷積核;X表示卷積層的輸入特征矩陣;?表示Hadamard乘積運(yùn)算,即矩陣對(duì)應(yīng)元素相乘求和,是一種相關(guān)運(yùn)算;f代表使用激活函數(shù)進(jìn)行非線性變換。本文選用線性整流單元(Rectified Linear Unit,ReLU)[19]作為激活函數(shù),函數(shù)定義如下:

        f(x)=max(x,0)

        (2)

        依據(jù)式(1)~(2),圖1(a)的非線性映射函數(shù)可表示為:

        Y=f(W(L)?(…f(W(1)?X)…))

        (3)

        其中L表示卷積層堆疊層數(shù)。

        1.2 雙通道卷積神經(jīng)網(wǎng)絡(luò)

        雙通道卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1(b)所示,由多個(gè)Block堆疊而成,每個(gè)Block中包含直通通道和卷積通道。

        直通通道是對(duì)數(shù)據(jù)的簡(jiǎn)單線性映射變換,以保證數(shù)據(jù)的無(wú)損傳輸,其函數(shù)定義為:

        Y=X

        (4)

        參考ResNet網(wǎng)絡(luò),DCNN同樣進(jìn)行了特征矩陣的累加;但不同于ResNet網(wǎng)絡(luò)中的一次累加[18],DCNN每個(gè)Block進(jìn)行了兩次累加,即每個(gè)Block中包含兩個(gè)卷積模塊,且分別和直通通道進(jìn)行一次累加。其目的在于融合不同網(wǎng)絡(luò)深度提取的特征,可同時(shí)考慮底層至高層的數(shù)據(jù)特征。出于保持兩個(gè)通道輸出數(shù)據(jù)完整性的考慮,每次累加前后不接激活函數(shù)。則卷積通道的輸出Yn1、Yn2可由式(5)進(jìn)行計(jì)算:

        (5)

        其中:Yn1和Yn2分別代表兩個(gè)卷積模塊的輸出特征矩陣,W(1)、W(2)、W(3)和W(4)分別代表4個(gè)卷積層的卷積權(quán)值矩陣。更一般的情況,每個(gè)Block可包含m(m≥2)個(gè)卷積模塊,每個(gè)卷積模塊可包含l(l≥2)層卷積層,故卷積模塊的非線性映射函數(shù)可表示為:

        H(X,{W(l)})=W(l)?(…f(W(2)?f(W(1)?X))…)

        (6)

        為保證信息在網(wǎng)絡(luò)中傳輸?shù)臅惩ㄐ?,引入卷積衰減因子對(duì)卷積通道輸出的特征矩陣進(jìn)行稀疏性限制。卷積衰減因子的作用類似于Highway網(wǎng)絡(luò)中的控制門[17],但Highway網(wǎng)絡(luò)中控制門的參數(shù)需要進(jìn)行大量計(jì)算,且當(dāng)網(wǎng)絡(luò)深度加深時(shí)參數(shù)學(xué)習(xí)變得困難。本文模型直接引入卷積衰減因子,無(wú)需增加格外計(jì)算,同時(shí)也起到了控制門的作用。出于以直通通道為主、卷積通道為輔的原則,將直通通道輸出權(quán)值設(shè)置為1;同時(shí)出于以淺層特征為主、深度特征用于微調(diào)的目的,另卷積衰減因子0≤λ2≤λ1≤1,增大淺層網(wǎng)絡(luò)貢獻(xiàn)率,維持網(wǎng)絡(luò)的穩(wěn)定性。

        圖1 網(wǎng)絡(luò)結(jié)構(gòu)

        由圖1(b)可看出,第n(n≥2)個(gè)Block的映射函數(shù)可表示為:

        Yn=λ1Yn1+λ2Yn2+Yn-1

        (7)

        其中λ1和λ2分別表示兩個(gè)卷積模塊的卷積衰減因子。

        每個(gè)Block的輸出為下一個(gè)Block的輸入,若以第n個(gè)Block的輸出作為整個(gè)網(wǎng)絡(luò)的結(jié)果,則由級(jí)聯(lián)的Block構(gòu)成的DCNN的非線性映射函數(shù)可表示為:

        Y=λ1Yn1+λ2Yn2+λ1Y(n-1)1+λ2Y(n-1)2+…+

        λ1Y11+λ2Y12+X

        (8)

        由式(8)可看出,DCNN可等效于對(duì)不同深度網(wǎng)絡(luò)的“投票”,通過(guò)自身的學(xué)習(xí)選擇不同深度網(wǎng)絡(luò)的特征組合,且賦予相應(yīng)的權(quán)值,控制不同輸出特征的比例。

        1.3 誤差項(xiàng)計(jì)算

        在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí),首先進(jìn)行前向傳播計(jì)算各層輸出特征矩陣并計(jì)算損失函數(shù)J,然后依據(jù)BP(Back Propagation)鏈?zhǔn)椒▌t反向計(jì)算各層誤差項(xiàng)δ(l),并根據(jù)誤差項(xiàng)計(jì)算權(quán)值梯度,計(jì)算公式如下:

        (9)

        最后,按照式(10)和式(11)更新網(wǎng)絡(luò)權(quán)值參數(shù),反復(fù)訓(xùn)練直至更新后的權(quán)值參數(shù)使網(wǎng)絡(luò)收斂:

        (10)

        W(t+1):=W(t)+V(t+1)

        (11)

        其中:t表示迭代次數(shù);μ為動(dòng)量因子(momentum),決定了歷史權(quán)重修正量對(duì)本次權(quán)重修正的貢獻(xiàn)大??;V(t)是動(dòng)量項(xiàng)(momentum variable);η為學(xué)習(xí)率(learning rate);λ為權(quán)重衰減系數(shù)(weight decay)。

        在計(jì)算各層誤差項(xiàng)時(shí),傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)按式(12)反向計(jì)算各隱藏層誤差項(xiàng):

        (12)

        由于ReLU激活函數(shù)的導(dǎo)數(shù)值為1,權(quán)值矩陣W中元素的絕對(duì)值普遍小于1,具有較強(qiáng)的稀疏性。因而在式(12)中,δ(1)?δ(L),且L越大,傳至第一層時(shí)所乘小于1的因子越多,δ(1)越小。此時(shí),按式(9)計(jì)算權(quán)值梯度值越小。當(dāng)網(wǎng)絡(luò)不斷加深,就容易出現(xiàn)梯度消失現(xiàn)象。

        雙通道卷積神經(jīng)網(wǎng)絡(luò)由于加入直通通道,可通過(guò)對(duì)誤差項(xiàng)反向傳播時(shí)的調(diào)控,弱化梯度消失現(xiàn)象。取m=2,l=2,其誤差項(xiàng)計(jì)算過(guò)程如下:

        (13)

        其中:δ(1)、δ(2)、δ(3)和δ(4)代表各卷積層誤差項(xiàng),δ(n)和δ(n+1)代表相鄰兩個(gè)Block的誤差項(xiàng),δ(n2)和δ(n1)分別代表第n個(gè)Block中兩個(gè)卷積模塊的誤差項(xiàng)。

        若令式(12)中L=4,即CNN和DCNN具有相同的深度,對(duì)比式(12)、(13)可知:

        δn≥δn+1≥δ(L)?δ(1)

        (14)

        由此可見,相比CNN,DCNN反向傳播時(shí)誤差項(xiàng)衰減變緩,從而保證了梯度的穩(wěn)定性,使深度網(wǎng)絡(luò)的權(quán)值參數(shù)得到更加充分的訓(xùn)練和學(xué)習(xí)。

        2 模型描述

        航班延誤預(yù)測(cè)模型如圖2所示,主要由數(shù)據(jù)預(yù)處理、特征提取和分類預(yù)測(cè)三部分組成。特征提取使用深層DCNN完成,以訓(xùn)練更深層網(wǎng)絡(luò),提煉更多有效信息?,F(xiàn)對(duì)數(shù)據(jù)預(yù)處理和分類預(yù)測(cè)部分進(jìn)行描述。

        圖2 模型描述

        2.1 數(shù)據(jù)預(yù)處理

        為方便后文敘述,現(xiàn)對(duì)數(shù)據(jù)定義如下。

        定義1 航班數(shù)據(jù)F中包含〈C,Sd,Sa,Ad,Aa,tsd,tad,tsa,taa〉。其中:C代表航空器型號(hào);Sd代表起飛機(jī)場(chǎng)所在州;Sa代表目的機(jī)場(chǎng)所在州;Ad代表起飛機(jī)場(chǎng);Aa代表目的機(jī)場(chǎng);tsd代表計(jì)劃起飛時(shí)間;tad代表實(shí)際起飛時(shí)間;tsa代表計(jì)劃到達(dá)時(shí)間;taa代表實(shí)際到達(dá)時(shí)間。

        定義2 氣象數(shù)據(jù)O中包含〈As,ts,T,H,Wd,Ws,P,S,V〉。其中:As代表觀測(cè)站所在機(jī)場(chǎng);ts代表觀測(cè)時(shí)間;T代表溫度;H代表濕度;Wd代表風(fēng)向;Ws代表風(fēng)速;P代表氣壓;S代表天空狀況;V代表能見度。

        定義3 航班到港延誤時(shí)間Dt定義為實(shí)際到達(dá)時(shí)間和計(jì)劃到達(dá)時(shí)間的差值,另f為單條航班數(shù)據(jù),則:

        Dt=f.taa-f.tsa

        (15)

        數(shù)據(jù)預(yù)處理過(guò)程主要完成數(shù)據(jù)編碼、數(shù)據(jù)融合和特征矩陣的構(gòu)造。由于航班數(shù)據(jù)F和氣象數(shù)據(jù)O分別具有不同的量綱和標(biāo)識(shí)方式,因此對(duì)名義變量進(jìn)行編碼。編碼采用頻次統(tǒng)計(jì)的方式,每一變量中出現(xiàn)頻次最高的變量值編碼為0,其次為1,依此類推。這種編碼方式可保證特征矩陣的稀疏性,增強(qiáng)魯棒性。

        由于本文只關(guān)注延誤數(shù)據(jù),因此對(duì)數(shù)據(jù)集中的取消和改航數(shù)據(jù)進(jìn)行過(guò)濾處理,同時(shí)依據(jù)Sd和Sa進(jìn)行各州州時(shí)轉(zhuǎn)換,保證全部時(shí)間的時(shí)區(qū)一致性。為探討目的機(jī)場(chǎng)氣象數(shù)據(jù)對(duì)航班延誤的影響,通過(guò)Spark并行化平臺(tái)[20]實(shí)現(xiàn)航班數(shù)據(jù)和氣象數(shù)據(jù)的融合,輸出總的航班延誤數(shù)據(jù)。

        數(shù)據(jù)融合流程如下:

        步驟1 輸入航班數(shù)據(jù)F和氣象數(shù)據(jù)O,使兩份數(shù)據(jù)均以彈性數(shù)據(jù)集的形式均勻分布于集群的各個(gè)節(jié)點(diǎn)上。

        步驟2 建立Map1階段。將單條航班數(shù)據(jù)f從F中提取,設(shè)定目的機(jī)場(chǎng)Aa和計(jì)劃到達(dá)時(shí)間tsa為關(guān)聯(lián)主鍵join_key1,輸出數(shù)據(jù)〈join_key1,f〉。

        步驟3 建立Map2階段。將單條氣象數(shù)據(jù)o從O中提取,設(shè)定觀測(cè)站所在機(jī)場(chǎng)As和觀測(cè)時(shí)間ts為關(guān)聯(lián)主鍵join_key2,輸出數(shù)據(jù)〈join_key2,o〉。

        步驟4 進(jìn)行數(shù)據(jù)的重新緩存。將各個(gè)彈性分布式數(shù)據(jù)集中的〈join_key1,f〉和〈join_key2,o〉進(jìn)行重新分區(qū),具有相同關(guān)聯(lián)主鍵的數(shù)據(jù)緩存于相同節(jié)點(diǎn)的數(shù)據(jù)集中。

        步驟5 建立Reduce1階段。將緩存于同一分區(qū)的f和o進(jìn)行合并構(gòu)建〈f,o〉,即相同主鍵數(shù)據(jù)進(jìn)行銜接,輸出融合后數(shù)據(jù)w。

        步驟6 建立Reduce2階段。將輸出的w從各節(jié)點(diǎn)中獲取,構(gòu)建融合后的輸出矩陣W。

        2.2 分類預(yù)測(cè)

        將航班延誤時(shí)間Dt按表1進(jìn)行延誤等級(jí)劃分,從而將預(yù)測(cè)問(wèn)題轉(zhuǎn)化為分類問(wèn)題。根據(jù)文獻(xiàn)[21]的要求,將延誤時(shí)間為15 min以內(nèi)的航班設(shè)定為不延誤航班,其他等級(jí)參考文獻(xiàn)[8]進(jìn)行劃分。

        分類過(guò)程中使用全局平均池化進(jìn)行數(shù)據(jù)降維,使用全連接層將最后輸出的特征矩陣轉(zhuǎn)換為(1×1)×q維,q為分類類別數(shù)。最后,采用softmax進(jìn)行分類。每一個(gè)類別j的輸出概率值為p(y=j|x),則函數(shù)為:

        (16)

        (17)

        表1 航班延誤等級(jí)劃分

        3 模型優(yōu)化

        3.1 批歸一化

        批歸一化(Batch Normalization, BN)技術(shù)[22]一定程度上可提高網(wǎng)絡(luò)的訓(xùn)練速度。其基本思想是在利用每一批樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),分別對(duì)各層網(wǎng)絡(luò)的輸出數(shù)據(jù)進(jìn)行歸一化處理。

        假設(shè)某一層網(wǎng)絡(luò)輸入數(shù)據(jù)的集合為{x1,x2,…,xk},該批樣本的數(shù)量為k,則BN技術(shù)首先對(duì)該批次數(shù)據(jù)按式(18)進(jìn)行歸一化處理:

        (18)

        其中:E[x]表示該批次輸入的樣本均值;Var[x]代表該批次輸入的樣本方差;ε為一個(gè)加到方差上的數(shù)值常量,一般取一個(gè)接近于零的正數(shù),用來(lái)保證重構(gòu)變換響應(yīng)數(shù)值的穩(wěn)定性。

        歸一化后的數(shù)據(jù)符合均值為0、方差為1的分布,大部分落在激活函數(shù)的非飽和區(qū)域,防止了梯度消失,加速訓(xùn)練;但進(jìn)行歸一化后不可避免地破壞了上一層網(wǎng)絡(luò)的原始表達(dá),因此引入重構(gòu)參數(shù)γ和β對(duì)批歸一化后的數(shù)據(jù)按重構(gòu)函數(shù)(19)進(jìn)行變換,得到最終該層輸出數(shù)據(jù){y1,y2,…,yk}:

        (19)

        利用BN技術(shù)對(duì)網(wǎng)絡(luò)內(nèi)部數(shù)據(jù)進(jìn)行歸一化處理,等效于在網(wǎng)絡(luò)當(dāng)中引入一個(gè)BN網(wǎng)絡(luò)層。按文獻(xiàn)[22]的實(shí)驗(yàn)結(jié)果,BN層加在激活函數(shù)之前效果更佳,因此在本文模型中,將BN層直接加在卷積通道的每個(gè)卷積操作之后。同時(shí)為保證直通通道的暢通性,不在直通通道上加入該操作。

        3.2 Padding

        Padding技術(shù)[23]通過(guò)在特征矩陣外圍補(bǔ)零,控制卷積層輸入、輸出特征矩陣維度。Padding可增強(qiáng)對(duì)邊緣數(shù)據(jù)的特征提取,同時(shí)對(duì)航班延誤數(shù)據(jù)進(jìn)行維度控制,使特征提取部分的深層網(wǎng)絡(luò)得以訓(xùn)練。

        設(shè)輸入特征矩陣(input)、卷積核(convolution kernel)、Padding、步長(zhǎng)(stride)、輸出特征矩陣(output)在不同軸上長(zhǎng)度相等,分別為i、c、p、s、out,則在是否采用Padding時(shí),各長(zhǎng)度關(guān)系如式(20)所示:

        out=

        (20)

        由于航班延誤數(shù)據(jù)具有先驗(yàn)信息較少的特點(diǎn),經(jīng)數(shù)據(jù)預(yù)處理后維度較小,在不采用Padding技術(shù)時(shí),特征提取部分維度會(huì)迅速下降,無(wú)法訓(xùn)練深層網(wǎng)絡(luò),因此在本模型中采用p=1的Padding技術(shù),同時(shí)和c=3、s=1的卷積核相結(jié)合,可保證特征矩陣維度不變。

        4 實(shí)驗(yàn)

        實(shí)驗(yàn)運(yùn)行的軟件環(huán)境是在64位Ubuntu14.04操作系統(tǒng)下搭建的Spark開源框架[20]和Caffe[24]深度學(xué)習(xí)開源框架,本文對(duì)官方版本的Caffe進(jìn)行了部分修改,并使用GPU加速計(jì)算。實(shí)驗(yàn)計(jì)算機(jī)配置:Inter Xeon處理器,16 GB內(nèi)存,GeForce GTX TITAN X顯卡。

        本文模型所用數(shù)據(jù)為美國(guó)交通運(yùn)輸統(tǒng)計(jì)局(Bureau of Transportation Statistics, BTS)提供的航班準(zhǔn)點(diǎn)數(shù)據(jù)(Airline On-Time Performance data, AOTP)和美國(guó)國(guó)家氣象數(shù)據(jù)中心(National Climatic Data Center, NCDC)提供的本地質(zhì)量控制氣象數(shù)據(jù)(Quality Controlled Local Climatological Data, QCLCD)。其中AOTP包含從1987年至今的航班數(shù)據(jù),QCLCD包含美國(guó)1 600個(gè)氣象觀測(cè)站的氣象數(shù)據(jù),氣象數(shù)據(jù)每小時(shí)進(jìn)行一次更新。實(shí)驗(yàn)中使用兩數(shù)據(jù)源中2015—2016年數(shù)據(jù),輸入數(shù)據(jù)源包含航班數(shù)據(jù)103 405 986條,44維特征;氣象數(shù)據(jù)11 235 340條,48維特征。融合后數(shù)據(jù)為103 402 300條,編碼為217維特征。最終經(jīng)矩陣變換輸入網(wǎng)絡(luò)中的數(shù)據(jù)維度為103 405 986×15×15。按表1進(jìn)行等級(jí)劃分時(shí),類別1到5的比例為46∶6∶2∶2∶1,其中不延誤的比例很大,為偏分類問(wèn)題。為使數(shù)據(jù)盡量均衡,在網(wǎng)絡(luò)訓(xùn)練迭代時(shí)對(duì)類別1的數(shù)據(jù)進(jìn)行隨機(jī)抽樣,抽取與類別2相同個(gè)數(shù),使輸入樣本比例變?yōu)?∶6∶2∶2∶1。

        航班延誤預(yù)測(cè)模型采用文獻(xiàn)[25]提出的權(quán)值初始化策略。使用隨機(jī)梯度下降法對(duì)模型進(jìn)行訓(xùn)練,批處理數(shù)量(min-batch size)為512,動(dòng)量因子為0.9,權(quán)重衰減系數(shù)為0.000 1,訓(xùn)練時(shí)總的迭代次數(shù)為5 000,初始學(xué)習(xí)率為0.1。DCNN中選用尺寸為3×3、步長(zhǎng)為1的卷積核進(jìn)行卷積,選用尺寸為3×3、步長(zhǎng)為2的濾波器進(jìn)行池化。為探索網(wǎng)絡(luò)深度對(duì)特征提取的影響分別使用16,24,32,40,48和56層模型結(jié)構(gòu),網(wǎng)絡(luò)層數(shù)配置如表2所示。在實(shí)驗(yàn)對(duì)比時(shí),DCNN與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)均采用softmax分類方法,以保證實(shí)驗(yàn)條件的一致性。

        表2 網(wǎng)絡(luò)層數(shù)配置

        4.1 卷積衰減因子影響分析

        從式(13)可以看出卷積衰減因子的取值影響了反向傳播時(shí)梯度的大小,從而控制網(wǎng)絡(luò)收斂。若卷積衰減因子設(shè)置較大則會(huì)導(dǎo)致梯度爆炸現(xiàn)象,違背了設(shè)置雙通道卷積神經(jīng)網(wǎng)絡(luò)的初衷;若設(shè)置過(guò)小則會(huì)導(dǎo)致返回的梯度值減小,使網(wǎng)絡(luò)收斂變慢,增加了模型的訓(xùn)練時(shí)間。實(shí)驗(yàn)中,采用如表3所示的卷積衰減因子進(jìn)行訓(xùn)練,以探索設(shè)置的最佳準(zhǔn)則。其中,NAN表示網(wǎng)絡(luò)未收斂。

        表3 卷積衰減因子對(duì)正確率影響

        從表3可以看出:在淺層網(wǎng)絡(luò)時(shí),設(shè)置λ1=0.2,λ2=0.1預(yù)測(cè)效果較好;而網(wǎng)絡(luò)加深時(shí),同樣的設(shè)置正確率卻下降。原則上,越深的網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)該對(duì)應(yīng)越小的卷積衰減因子,但設(shè)置過(guò)小會(huì)使網(wǎng)絡(luò)在有限的迭代次數(shù)內(nèi)沒(méi)有收斂,實(shí)驗(yàn)結(jié)果無(wú)法達(dá)到最好。在深層網(wǎng)絡(luò)中,設(shè)置為λ1=0.1,λ2=0.05,達(dá)到最優(yōu),因此本文后續(xù)實(shí)驗(yàn)將卷積衰減因子設(shè)置為λ1=0.1,λ2=0.05。

        4.2 氣象數(shù)據(jù)影響分析

        文獻(xiàn)[21]顯示,我國(guó)上海、深圳、南京等重要城市航班延誤因素中氣象因素占比高達(dá)40%以上。從實(shí)際情況分析,風(fēng)速和風(fēng)向的變化會(huì)引起風(fēng)切變等極端氣象情況,使飛機(jī)無(wú)法起降;降雨、降雪等極端惡劣天氣也都伴隨著風(fēng)向、風(fēng)速和濕度的改變;風(fēng)暴天氣則會(huì)大幅影響能見度,因此,本文在模型的數(shù)據(jù)預(yù)處理過(guò)程進(jìn)行了航班數(shù)據(jù)和氣象數(shù)據(jù)的融合。為驗(yàn)證數(shù)據(jù)融合的重要性,首先取60 min作為判斷是否延誤的閾值,作二分類預(yù)測(cè)。以刪除某個(gè)氣象特征時(shí),延誤召回率較不刪除時(shí)的下降值表征此氣象特征對(duì)延誤預(yù)測(cè)的影響程度。分別去掉某個(gè)氣象特征后,召回率下降值如圖3所示。

        從實(shí)驗(yàn)結(jié)果可以看出,風(fēng)向、風(fēng)速和能見度對(duì)延誤預(yù)測(cè)影響較大,濕度和氣壓其次,天空狀況對(duì)預(yù)測(cè)影響最小。DCNN具有很強(qiáng)的大數(shù)據(jù)處理能力,因此本著盡可能提高正確率的思路,不對(duì)特征作降維處理。

        對(duì)航班數(shù)據(jù)和融合后數(shù)據(jù)分別進(jìn)行延誤預(yù)測(cè)。表4給出了航班數(shù)據(jù)和融合后數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確率。融合后數(shù)據(jù)預(yù)測(cè)準(zhǔn)確率在各層均增加,增加范圍基本保持在1個(gè)百分點(diǎn),由此可見氣象數(shù)據(jù)是航班延誤預(yù)測(cè)時(shí)重要的先驗(yàn)信息。

        表4 數(shù)據(jù)融合前后正確率對(duì)比

        4.3 正確率

        為驗(yàn)證直通通道對(duì)模型“暢通性”的影響,對(duì)使用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)和使用直通通道改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比。使用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)時(shí),為保證可對(duì)比性,除最后一層卷積層,其他各層也相應(yīng)增加ReLU激活函數(shù)進(jìn)行非線性變換并相應(yīng)加入BN層和Padding技術(shù)進(jìn)行優(yōu)化。

        由表5可知,傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在32層時(shí)效果達(dá)到最佳,正確率為0.912;但從40層開始,傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)正確率呈下降趨勢(shì),到56層時(shí),正確率已降至0.790。而雙通道卷積神經(jīng)網(wǎng)絡(luò)隨深度的增加預(yù)測(cè)正確率逐漸提升,當(dāng)網(wǎng)絡(luò)達(dá)到56層時(shí),其預(yù)測(cè)正確率已達(dá)到0.921。

        表5 不同網(wǎng)絡(luò)結(jié)構(gòu)正確率對(duì)比

        為進(jìn)一步探索模型可訓(xùn)練深度,對(duì)72,104和136層網(wǎng)絡(luò)進(jìn)行訓(xùn)練,訓(xùn)練結(jié)果如表6所示。由結(jié)果可知,在深層網(wǎng)絡(luò)模型中,傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)性能進(jìn)一步下降,而雙通道卷積神經(jīng)網(wǎng)絡(luò)性能一直保持穩(wěn)定。

        表6 深層網(wǎng)絡(luò)正確率對(duì)比

        4.4 損失值

        由表5可知不同網(wǎng)絡(luò)結(jié)構(gòu)的差異性在深度為40層時(shí)開始凸顯,現(xiàn)著重討論40層以后兩種網(wǎng)絡(luò)結(jié)構(gòu)的損失值變化。圖4所示為損失值隨迭代次數(shù)變化示意圖。對(duì)比可知本文模型訓(xùn)練時(shí)損失值可減小至0.3以下,而傳統(tǒng)模型一直維持在0.5以上,說(shuō)明DCNN相比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)能夠更好地對(duì)深層網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

        圖4 不同網(wǎng)絡(luò)結(jié)構(gòu)的損失值隨迭代次數(shù)變化示意圖

        4.5 梯度值

        采用DCNN結(jié)構(gòu)進(jìn)行特征提取的航班延誤預(yù)測(cè)模型之所以能夠得到更高的準(zhǔn)確率,得益于正向信息的無(wú)損傳輸和反向梯度的穩(wěn)定性,從而使式(10)和式(11)更好地進(jìn)行卷積權(quán)值更新。

        圖5所示為40、48和56層網(wǎng)絡(luò)結(jié)構(gòu)第一層對(duì)應(yīng)梯度值(簡(jiǎn)稱梯度)隨迭代次數(shù)變化示意圖。圖5(a)為傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)梯度變化,可以明顯看出隨深度的增加,梯度銳減且梯度隨迭代次數(shù)變化極不穩(wěn)定,最小時(shí)可達(dá)到10-14左右。這說(shuō)明傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型在權(quán)值更新時(shí)存在梯度消失問(wèn)題,難以進(jìn)行充分的特征提取。圖5(b)中相應(yīng)梯度基本穩(wěn)定在0.01至0.001之間,由此可見本文的DCNN模型可克服梯度消失缺陷,進(jìn)行更加完備的信息表達(dá)。

        4.6 算法對(duì)比

        文獻(xiàn)[8]和文獻(xiàn)[13]均與本文一樣采用分類預(yù)測(cè)的方式進(jìn)行延誤等級(jí)判斷。其中:文獻(xiàn)[8]采用國(guó)內(nèi)31 613條航班數(shù)據(jù)建模,使用C4.5決策樹算法預(yù)測(cè),并與樸素貝葉斯(Native Bayes)算法進(jìn)行對(duì)比;文獻(xiàn)[13]采用與本模型相同數(shù)據(jù)源的單個(gè)機(jī)場(chǎng)數(shù)據(jù)進(jìn)行預(yù)測(cè),利用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)與LSTM組合的方式構(gòu)建淺層模型。表7所示為本文深層模型與這兩種模型中所提算法的正確率對(duì)比。

        C4.5決策樹和樸素貝葉斯算法都是傳統(tǒng)機(jī)器學(xué)習(xí)算法的典型代表,兩種算法均具有較好的分類性能且計(jì)算簡(jiǎn)單,但當(dāng)數(shù)據(jù)量增長(zhǎng)時(shí)兩個(gè)算法都會(huì)遇到計(jì)算瓶頸,無(wú)法充分利用大數(shù)據(jù)優(yōu)勢(shì),因此它們做的是在小樣本情況下的航班延誤預(yù)測(cè),正確率較低。文獻(xiàn)[13]中,作者同樣采用了加深深度的方式提高正確率,這使得該文中基于LSTM算法建立的模型與基于C4.5決策樹和樸素貝葉斯算法建立的模型相比,預(yù)測(cè)正確率得到大幅提升;但是由于沒(méi)有克服深度網(wǎng)絡(luò)中梯度消失的缺點(diǎn),基于LSTM的模型在加深深度時(shí)難以收斂,最終只是采用了淺層的網(wǎng)絡(luò)結(jié)構(gòu)。

        圖5 不同網(wǎng)絡(luò)結(jié)構(gòu)的梯度值隨迭代次數(shù)變化示意圖

        Tab. 7 Correct rate comparison of different algorithms

        對(duì)比可知,與傳統(tǒng)算法相比,深度卷積神經(jīng)網(wǎng)絡(luò)可進(jìn)行基于大數(shù)據(jù)的信息挖掘,因此在處理數(shù)據(jù)量與維度上具有較強(qiáng)優(yōu)勢(shì)。同時(shí)與淺層的LSTM算法相比,深度雙通道卷積神經(jīng)網(wǎng)絡(luò)的正確率更高。實(shí)驗(yàn)表明采用本文模型進(jìn)行基于大數(shù)據(jù)的航班延誤等級(jí)預(yù)測(cè)可有效提高正確率。

        5 結(jié)語(yǔ)

        本文創(chuàng)新性地提出使用數(shù)據(jù)融合和深度雙通道卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建航班延誤預(yù)測(cè)模型。通過(guò)將延誤時(shí)間進(jìn)行等級(jí)劃分,將預(yù)測(cè)問(wèn)題轉(zhuǎn)化為分類問(wèn)題,分?jǐn)?shù)據(jù)預(yù)處理、特征提取和分類預(yù)測(cè)三步完成航班延誤等級(jí)預(yù)測(cè),并采用批歸一化和Padding技術(shù)進(jìn)行模型優(yōu)化。經(jīng)實(shí)驗(yàn)驗(yàn)證,結(jié)論如下:

        1)融合氣象數(shù)據(jù)后,CNN和DCNN進(jìn)行特征提取后的模型性能都有所提升,證明氣象數(shù)據(jù)對(duì)于航班延誤預(yù)測(cè)十分重要。

        2)當(dāng)特征提取部分的網(wǎng)絡(luò)加深時(shí),使用CNN的模型性能變差,而利用DCNN的模型仍保持穩(wěn)定,證明傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練深度模型,而改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)可以保證深度網(wǎng)絡(luò)的訓(xùn)練。

        3)深度DCNN算法與傳統(tǒng)算法相比具有更強(qiáng)的數(shù)據(jù)處理能力,使數(shù)據(jù)量和維度大幅提升,最終可得到更高的正確率。

        本文的預(yù)測(cè)結(jié)果與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)相比有較大提升,有利于進(jìn)一步改善空管、航空公司等部門的決策,提升民航綜合服務(wù)能力;但受數(shù)據(jù)來(lái)源限制,本模型在構(gòu)建時(shí)未使用國(guó)內(nèi)航班數(shù)據(jù),目前正與國(guó)內(nèi)空管部門爭(zhēng)取合作,希望下一步使用國(guó)內(nèi)數(shù)據(jù)進(jìn)行建模。后續(xù)還將結(jié)合混淆矩陣分析預(yù)測(cè)結(jié)果,使實(shí)驗(yàn)數(shù)據(jù)更加完善。

        猜你喜歡
        正確率特征提取航班
        全美航班短暫停飛
        山航紅色定制航班
        金橋(2021年10期)2021-11-05 07:23:10
        山航紅色定制航班
        金橋(2021年8期)2021-08-23 01:06:24
        山航紅色定制航班
        金橋(2021年7期)2021-07-22 01:55:10
        門診分診服務(wù)態(tài)度與正確率對(duì)護(hù)患關(guān)系的影響
        基于Daubechies(dbN)的飛行器音頻特征提取
        電子制作(2018年19期)2018-11-14 02:37:08
        Bagging RCSP腦電特征提取算法
        生意
        品管圈活動(dòng)在提高介入手術(shù)安全核查正確率中的應(yīng)用
        生意
        午夜无码一区二区三区在线| 欧美大屁股xxxx高潮喷水| 狠狠色婷婷久久综合频道日韩| 两个人看的www中文在线观看| 国产日韩三级| 成人免费播放视频影院| 国产精品久久久亚洲| 越南女子杂交内射bbwbbw| 欧美日韩国产另类在线观看| 中文字幕亚洲中文第一| 夜夜躁日日躁狠狠久久av| 免费看久久妇女高潮a| 色婷婷久久免费网站| 日本办公室三级在线观看| 在线观看免费无码专区| 亚洲av久久无码精品九九| 日韩中文字幕无码av| 国产精品日韩av一区二区三区| 国产肉体xxxx裸体137大胆| 天天天综合网| 日韩有码中文字幕av| 美女午夜福利视频网址| 欧美性受xxxx白人性爽| 白浆出来无码视频在线| 国产偷国产偷亚洲高清| 国产成人亚洲综合| 国产av无码专区亚洲av| 亚欧免费无码AⅤ在线观看 | 国产精品高潮无码毛片| 国产一区二区三区不卡在线播放| 欧美激欧美啪啪片| 精品国产乱码久久久软件下载 | 久久99国产精品久久99密桃| 久久人妻av一区二区软件| 欧洲-级毛片内射| 搡老女人老妇女老熟妇69| 一区二区三区国产在线视频| 怡红院免费的全部视频| 色婷婷狠狠97成为人免费| 国产黑丝美女办公室激情啪啪| 中文字幕av免费专区|