鄧玉婧,武志昊,林友芳

(北京交通大學 計算機與信息技術(shù)學院 交通數(shù)據(jù)分析與挖掘北京市重點實驗室,北京 100044)

0 概述

21世紀以來,我國民航客運業(yè)務(wù)得到迅速發(fā)展。中國民用航空局發(fā)布的《2017年民航行業(yè)發(fā)展統(tǒng)計公報》[1]顯示,2013年—2017年,我國民航旅客運輸量從3.54億人次增加到5.52億人次,提高了55.93%,年均增長率達到11.5%。隨著民航旅客量的迅速增長,航空客運需求預測越來越受到航空公司、機票代理商、飛機制造商等相關(guān)企業(yè)的關(guān)注。航空客運量需求預測包括航線客運量需求預測、機場客運量需求預測、航空公司市場份額預測和航班客運量需求預測等[2],其中,航班客運量需求預測是較細粒度上的需求預測,是航空座位優(yōu)化控制和差別定價的基礎(chǔ)。

對航空客運市場而言,航班客座率是衡量航班客運量需求的一個重要指標。航空公司通過航班客座率來衡量運力與運量是否匹配,并處理一系列衍生問題,包括溢出、虛耗、超售等。飛機制造商也需要關(guān)注客座率,它是判斷航空公司是否需要增加運力,是否需要引進飛機的一個重要指標[3]。

民航航班客座率預測是一項極具挑戰(zhàn)性的工作,其受諸多復雜因素的影響,例如多粒度時間相關(guān)性、航班自身屬性相關(guān)性和外部因素相關(guān)性等。多粒度時間相關(guān)性包括起飛時刻相關(guān)性和起飛日相關(guān)性。其中,起飛時刻相關(guān)性是指給定某一航線,其某一起飛日中不同起飛時刻的航班客座率之間相互影響,且起飛時刻越接近的航班,客座率也越接近,起飛日相關(guān)性是指航班自身的客座率數(shù)據(jù)在時間維度上呈現(xiàn)趨勢性和周期性。航班自身屬性相關(guān)性是指航班客座率會受到機型、航空公司、座位數(shù)等自身屬性的影響。外部因素相關(guān)性是指節(jié)假日、天氣、突發(fā)事件和高鐵的開設(shè)等因素對航班客座率產(chǎn)生的影響。航班客座率預測的關(guān)鍵是全面合理地考慮各種因素的影響。

本文通過構(gòu)建基于多粒度時間注意力機制的循環(huán)神經(jīng)網(wǎng)絡(luò)模型(Multi-Time level Attention Recurrent Neural Network,MTA-RNN),提高航班客座率預測準確性。依據(jù)時間粒度構(gòu)建多級注意力機制,利用基于航班起飛時刻的注意力機制捕獲預測航班與其所在航線上其他航班的客座率時間序列之間的相關(guān)性,同時應(yīng)用起飛日注意力機制捕獲預測航班客座率時間序列自身的趨勢性及周期性。在此基礎(chǔ)上,設(shè)計一個通用的外部因素融合模塊,對航班自身屬性和節(jié)假日等其他因素進行整合,并將其引入多粒度時間注意力機制網(wǎng)絡(luò)模型中,以提高航班客座率預測的準確性。

1 相關(guān)工作

民航航班客座率預測在本質(zhì)上是一個時間序列預測問題。在早期,交通領(lǐng)域的預測問題多采用傳統(tǒng)的時間序列預測方法,其基本模型是自回歸滑動平均(Auto-Regressive Moving Average,ARMA)模型[4]?；谠撃Ｐ偷母鞣N變體,如向量自回歸(Vector Auto-Regression,VAR)模型[5]、自回歸積分滑動平均模型(Auto-Regressive Integrated Moving Average,ARIMA)模型[6]、季節(jié)ARIMA[7]等被廣泛應(yīng)用于不同的研究領(lǐng)域。上述方法能夠較好地捕獲時間序列數(shù)據(jù)的時間相關(guān)性,但不能捕捉非線性關(guān)系以及外生時間序列對目標時間序列的影響。

為解決以上問題,各種非線性自回歸(Nonlinear Auto-Regressive exogenous,NARX)模型[8]得到快速發(fā)展,其中許多方法被應(yīng)用于交通領(lǐng)域的預測問題,如人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANNs)法[9]和基于徑向基函數(shù)(Radial Basis Function,RBF)的支持向量回歸算法[10]等。盡管這些方法在交通領(lǐng)域預測問題上已取得實質(zhì)性進展,但其大多數(shù)使用一個預定義的非線性形式導致無法適當?shù)夭蹲綕撛诘姆蔷€性關(guān)系。

近年來,由于深度神經(jīng)網(wǎng)絡(luò)強大的表示能力,基于深度學習的方法被廣泛應(yīng)用于交通預測問題中。其中,循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)[11]是一種專為序列建模而設(shè)計的深度神經(jīng)網(wǎng)絡(luò),由于其能夠靈活地捕獲非線性關(guān)系,該模型受到廣泛關(guān)注,尤其在NARX時間序列預測上表現(xiàn)出色[12]。然而,傳統(tǒng)的RNN存在梯度消失問題[13],不能很好地捕獲長時間的依賴。為解決此問題,之后又相繼提出長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)和門控循環(huán)單元(Gated Recurrent Unit,GRU)[14],這兩種方法被廣泛應(yīng)用于機器翻譯、語音識別、圖像處理等領(lǐng)域[15-17]。近兩年,RNN方法被大量應(yīng)用于時間序列的研究中,例如編解碼網(wǎng)絡(luò)[14]和基于注意力機制的編碼器網(wǎng)絡(luò)[15]等。

基于LSTM或GRU單元的編解碼網(wǎng)絡(luò)因其在機器翻譯上的成功應(yīng)用受到廣泛關(guān)注,其主要思想是通過固定長度的向量編碼原句,然后使用解碼器生成對應(yīng)翻譯。但是,隨著輸入序列長度的增加,編解碼網(wǎng)絡(luò)的性能會迅速下降[18],而時間序列預測問題通?；谀繕思跋嚓P(guān)時間序列中相對較長的部分進行預測。為解決這一問題,研究人員提出基于注意力的編解碼網(wǎng)絡(luò),通過注意力機制選擇編碼器所有時間步上的部分隱藏狀態(tài)。文獻[19]提出雙階段注意力循環(huán)神經(jīng)網(wǎng)絡(luò)模型DA-RNN,以解決具有多個外生序列的目標時間序列預測問題,且該模型的性能優(yōu)于很多傳統(tǒng)時間序列預測方法和基于深度學習的基本方法,DA-RNN模型不僅可以自適應(yīng)地選擇最相關(guān)的外生序列輸入特征,還可以適當捕獲時間序列的長期依賴性。文獻[20]基于DA-RNN的思想,結(jié)合地理傳感器數(shù)據(jù)的時空相關(guān)性,提出針對地理傳感器數(shù)據(jù)的多階段注意力網(wǎng)絡(luò)模型GeoMAN,以解決城市空氣質(zhì)量預測問題。盡管DA-RNN模型能夠有效預測具有多個外生序列的目標時間序列,但該模型并不完全適用于航班客座率預測。這是因為DA-RNN模型雖然考慮了多個外生序列對目標時間序列的影響,但這些外生序列是平鋪并列的關(guān)系,而在航班客座率預測問題中,多個外生序列(即同一航線中的所有起飛時刻的航班客座率構(gòu)成的時間序列)之間存在時序關(guān)系,DA-RNN模型不能捕獲其時序依賴性。為解決上述問題,本文利用MTA-RNN模型進行航班客座率預測。該模型通過多級注意力機制獲取航班客座率在不同時間粒度下的時序相關(guān)性,在編碼器中加入一個LSTM單元,以捕獲航班所在航線中不同航班的客座率間的時序依賴性,并通過外部因素融合模塊同時考慮航班自身屬性和節(jié)假日等其他因素對預測航班客座率的影響。

2 形式化表示與問題定義

2.1 形式化表示

2.2 問題定義

3 MTA-RNN模型

1)多粒度時間注意力機制。它由分別結(jié)合起飛時刻注意力機制和起飛日注意力機制的2個編碼器組成。在編碼器中,采用2個獨立的LSTM單元,其中,編碼器部分的第2個LSTM單元用來捕獲預測航班所在航線中不同航班客座率的時序依賴性。在此基礎(chǔ)上,引入起飛時刻的注意力機制,通過參考第1個LSTM單元先前隱藏層的狀態(tài)值和第2個LSTM單元在各起飛時刻的狀態(tài)輸出值,自適應(yīng)地捕獲每個起飛日其他起飛時刻的航班客座率對預測航班客座率的影響。在解碼器中引入起飛日注意力機制,以自適應(yīng)地選擇預測航班起飛日級別的狀態(tài)輸出值,從而捕獲預測航班客座率時間序列的自身趨勢性和周期性。

2)融合外部因素的模塊。該模塊用于處理航班自身屬性和節(jié)假日等其他因素對預測航班客座率的影響,其輸出作為部分輸入提供給解碼器。

圖1 MTA-RNN模型架構(gòu)Fig.1 Architecture of the MTA-RNN model

3.1 多粒度時間注意力機制

3.1.1 結(jié)合起飛時刻注意力機制的編碼器

由航班客座率的起飛時刻相關(guān)性可知,不同起飛時刻的航班每日的客座率構(gòu)成的時間序列存在復雜的相關(guān)性。與20:00的航班相比，起飛時刻為8:00的航班與9:00的航班客座率曲線的變化趨勢更接近 。為了能夠自適應(yīng)地捕獲目標序列和其他起飛時刻航班每日客座率構(gòu)成的時間序列相關(guān)性,針對編碼器第2個LSTM單元在t起飛時刻輸出的隱藏層狀態(tài)值ht,采用如下的起飛時刻注意力機制進行運算:

(1)

(2)

(3)

編碼器中第1個LSTM單元在起飛日d的隱藏層狀態(tài)值輸出如下:

qd=fea(qd-1,zd)

(4)

其中,fea是編碼器第1個LSTM單元的更新函數(shù)。通過本文的起飛時刻注意力機制,編碼器第1個LSTM單元可以選擇性地關(guān)注編碼器第2個LSTM單元在某些起飛時刻的隱藏層狀態(tài)值,而不是平等地處理所有起飛時刻的隱藏層狀態(tài)值。

3.1.2 結(jié)合起飛日注意力機制的解碼器

(5)

(6)

(7)

(8)

其中,fd表示解碼器中LSTM單元的更新函數(shù)。將上下文向量cd′與隱藏層狀態(tài)gd′進行向量拼接,得到的新隱藏層狀態(tài)用于最終預測,計算過程如下:

(9)

3.2 外部因素融合

航班客座率受航班自身屬性和節(jié)假日等其他因素的影響,文獻[20]針對這些外部因素的影響進行研究。本文設(shè)計了一個簡單有效的模塊對外部因素進行融合,提出MTA-RNN模型。

表1 外部因素信息Table 1 Information of external factors

3.3 模型訓練

(10)

其中,θ表示MTA-RNN模型中所有需要學習的參數(shù),即第3.1節(jié)中提到的We、Wl、Ue和Ul等。

MTA-RNN模型的訓練過程如算法1所示。其中,第1行～第11行介紹了將原始數(shù)據(jù)轉(zhuǎn)換成模型所需輸入樣本的過程,第12行初始化模型參數(shù),第13行～第16行根據(jù)訓練集迭代訓練模型,直至滿足停止條件。

算法1MTA-RNN訓練算法

輸出MTA-RNN模型合適的參數(shù)

//構(gòu)造訓練實例

1.?→S;

2.for 待預測航班起飛時刻i(1≤i≤K) do{

3.for 可預測的起飛日h(D

4.//xh表示在起飛日h航線上所有起飛時刻航班的客座率構(gòu)成的向量

5.x=[xh-D,…,xh-2,xh-1];

7.//Vi表示需要預測的目標航班未來τ天的客座率構(gòu)成的向量

9.將樣本({x,ei},yi)加入訓練集S

10.}

11.}

//模型訓練

12.初始化MTA-RNN中所有可學習的參數(shù)θ

藝術(shù)繪畫中的肌理是一種特殊的語言表達形式，是藝術(shù)家在藝術(shù)作品的創(chuàng)新中所使用的一種表達途徑。藝術(shù)家認為肌理已經(jīng)不單單只是在藝術(shù)作品中簡單浮現(xiàn)出的一種紋路，它也可以表達作者的內(nèi)心感情。因此他們將肌理效果廣泛運用到繪畫作品當中，通過繪畫作品中的肌理制作來體現(xiàn)藝術(shù)家內(nèi)心深處的思想感情。

13.repeat

14.從S中隨機選擇一批訓練實例Sbatch

15.用Sbatch尋找最優(yōu)參數(shù)θ并最小化式(10)

16.Until 滿足停止條件

4 實驗結(jié)果與分析

本文在中國航信提供的真實歷史航班客座率數(shù)據(jù)集上進行實驗,將MTA-RNN模型與其他3種基準方法進行對比,以證明該模型在航班客座率預測問題上的有效性。

4.1 數(shù)據(jù)集

本文使用的是民航2010年—2011年的歷史航班客座率數(shù)據(jù),通過對數(shù)據(jù)進行預處理,獲得實驗所需屬性,主要包括航班(即航空公司、航班號、出發(fā)地、到達地)、起飛日期、起飛時間、機型、座位數(shù)、起落地GDP、各艙位等級航班客座率,選取北京-上海航線在兩年內(nèi)起飛日達584(730×89%)天以上的航班數(shù)據(jù)作為實驗數(shù)據(jù)集,時間窗口長度D=28、預測天數(shù)τ=7,則統(tǒng)計信息如表2所示。

表2 數(shù)據(jù)集統(tǒng)計信息Table 2 Statistics of the dataset

本文按照時間順序?qū)?shù)據(jù)集劃分為非重疊的訓練集、驗證集和測試集,劃分比例為8∶1∶1,在實驗數(shù)據(jù)集中選取27個航班,將預測時段為2010-01-29—2011-08-09(共557天)的經(jīng)濟艙客座率數(shù)據(jù)作為訓練集,將預測時段為2011-08-10—2011-10-18(共70天)的數(shù)據(jù)作為驗證集,其余數(shù)據(jù)作為測試集。假定h代表需要預測的目標航班未來τ天中的第1天,則預測時段為[h,h+τ-1],該航線上所有起飛時刻航班的歷史客座率數(shù)據(jù)時段為[h-D,h-1],依據(jù)以上時段劃分構(gòu)造單個數(shù)據(jù)樣本,按照每天一次滑動構(gòu)建新的預測時段,通過上述操作,每一個航班可以構(gòu)建696個樣本,總樣本數(shù)為27×696=18 792。

4.2 數(shù)據(jù)預處理

在進行模型訓練之前,對數(shù)據(jù)進行預處理是非常必要的,由于航班客座率取值范圍為[0,1],因此無需對其進行歸一化。對于外部輸入數(shù)據(jù),本文采用One-Hot編碼方式分別對起飛日期的星期屬性,是否工作日、節(jié)假日,航空公司機型,起落機場,所在航線是否開設(shè)高鐵等離散特征進行編碼,對于起落地GDP、起飛時刻、經(jīng)濟艙座位數(shù)等連續(xù)特征本文采用min-max歸一化方法歸一到[0,1]之間,歸一化的具體過程如下:

(11)

其中,x表示原數(shù)據(jù),x′表示數(shù)據(jù)在[0,1]之間新的表示,minx、maxx分別表示原數(shù)據(jù)中的最小值和最大值。

4.3 基準模型與評價指標

本文將MTA-RNN模型與以下3種基準模型進行對比:

1)ARIMA模型:是一個著名的時間序列預測方法,常用于預測現(xiàn)實生活中的非平穩(wěn)時間序列。

2)LSTM模型:LSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò),通過改進神經(jīng)元結(jié)構(gòu),在訓練長時間序列時緩解反向傳播過程中的梯度消失問題。本文使用7個不同的LSTM單元分別預測航班未來7天的客座率。

3)Seq2seq模型:使用一個RNN將輸入序列編碼為特征表示,并通過另一個RNN迭代進行預測。

本文實驗平臺如下:GPU選用TITAN Xp,CPU選用Intel Xeon,模型框架選用TensorFlow。對于ARIMA模型,本文選取前28天的航班客座率作為輸入,模型參數(shù)調(diào)至最優(yōu),LSTM模型、Seq2seq模型與MTA-RNN模型類似,選用預測航班歷史D={7,14,28,42,56}天的經(jīng)濟艙客座率信息作為模型輸入,通過驗證不同的超參選擇每種基準模型的最優(yōu)超參。

本文采用平均絕對誤差(MAE)和均方根誤差(RMSE)作為模型預測效果的評價指標,計算公式如下:

(12)

(13)

4.4 超參選取

在模型訓練階段,批大小(Batch Size)設(shè)為256,學習率為0.000 1,訓練輪數(shù)為500,并采用早停策略防止過擬合。在MTA-RNN模型中,有4個需要調(diào)節(jié)的超參,分別是時間窗口長度D,編碼器中2個LSTM單元的隱藏層維度n、m,解碼器隱藏層維度p。本文令D={7,14,28,42,56},在其上進行網(wǎng)格搜索以得到最優(yōu)取值。為了簡便起見,本文在編解碼器LSTM單元中使用相同的隱藏層維度,在該參數(shù)上進行網(wǎng)格搜索n=m=p∈{32,64,128,256},此外,本文采用堆疊LSTM(層數(shù)記為f)作為編解碼器的單元來提高模型性能。實驗表明,D=28,n=m=p=64,f=2的超參設(shè)置會得到較好的預測效果。

4.5 MTA-RNN模型與其變體的對比

為了進一步研究每個模型組件的有效性,本文將MTA-RNN模型與以下3種變體進行比較:

1)MTA-RNN-nExternal模型:此變體不考慮外部因素對航班客座率的影響,即無外部因子融合模塊。

2)MTA-RNN-nFTAttention模型:此變體不包含起飛時刻注意力機制。

3)MTA-RNN-nFDAttention模型:此變體不包含起飛日注意力機制。

本文涉及的實驗均是預測航班未來7天的航班客座率。

4.5.1 外部因子融合模塊評估

外部因子融合模塊作為模型的一個實用組件可提供額外的信息,以提高預測性能。MTA-RNN模型與其3種變體預測未來7天航班經(jīng)濟艙客座率的結(jié)果對比如圖2所示,可以看出,MTA-RNN模型的預測效果明顯優(yōu)于去除外部因素融合模塊的MTA-RNN-nExternal模型,這是因為外部因素融合模塊能使MTA-RNN模型在未來的時間步中考慮到航班自身屬性及其他因素對預測航班經(jīng)濟艙客座率的影響。

圖2 4種模型對未來7天航班客座率的預測性能對比Fig.2 Comparison of passenger load factor prediction performance in the next 7 days between 4 models

4.5.2 起飛時刻注意力機制評估

圖3給出3種模型在預測未來7天航班客座率時每天的預測效果對比。由圖3可以看出,MTA-RNN模型優(yōu)于去除起飛時刻注意力機制的MTA-RNN-nFTAttention模型,由此可見,考慮不同起飛時刻航班客座率對預測航班客座率的影響可有效提高預測準確率。

4.5.3 起飛日注意力機制評估

本文在解碼器中結(jié)合起飛日注意力機制,選擇編碼器第1個LSTM單元中不同時間步的隱藏層狀態(tài)值來對目標航班客座率進行預測,通過嘗試不同的時間窗口D驗證起飛日注意力機制的有效性。圖4給出4種模型的預測性能隨時間窗口的變化情況。由圖4可以看出, 當D=28時,MTA-RNN模型及其3種變體都達到最小誤差值,當D很大時,4種模型的性能均會迅速下降,這是因為某起飛時刻的航班自身經(jīng)濟艙客座率時間序列沒有這么長的時序依賴性。同時,由圖4可知,MTA-RNN模型比MTA-RNN-nFDAttention模型表現(xiàn)更優(yōu),因為起飛日注意力機制增強了長期預測性能。

圖4 4種模型預測性能隨時間窗口的變化曲線Fig.4 Curve of prediction performance of 4 models varying with time window

4.6 MTA-RNN模型與其他3種基準模型的對比

將本文的MTA-RNN模型與其他3種基準模型進行對比。為公平起見,每種模型均將其參數(shù)調(diào)至最優(yōu)以便呈現(xiàn)其最佳性能,預測效果對比如表3所示。由表3可知,MTA-RNN模型在RMSE、MAE兩個評價指標上均明顯優(yōu)于其他3種方法。

表3 4種模型未來7天總體預測性能對比Table 3 Comparison of overall prediction performance in the next 7 days between 4 models

圖5 MTA-RNN模型與3種基準模型每天的預測性能對比Fig.5 Comparison of daily prediction performance between the MTA-RNN model and 3 benchmark models

5 結(jié)束語

本文構(gòu)建了一種基于多粒度時間注意力機制的循環(huán)神經(jīng)網(wǎng)絡(luò)模型MTA-RNN,用以提高民航領(lǐng)域航班客座率預測的準確性。依據(jù)時間粒度構(gòu)建起飛時刻注意力機制和起飛日注意力機制,通過兩級注意力機制的結(jié)合,獲取航班客座率在不同時間粒度下的時序相關(guān)性,并通過外部因素融合模塊考慮航班自身屬性及節(jié)假日等外部因素的影響。在中國航信提供的真實歷史航班客座率數(shù)據(jù)集上的實驗結(jié)果表明,MTA-RNN模型的預測準確率高于ARIMA模型、LSTM模型和Seq2seq模型。下一步將把該模型應(yīng)用于時間跨度更大的航班客座率預測問題中,并通過獲取更多維度的數(shù)據(jù),如天氣、機票價格等來改善模型的預測性能。