王 強(qiáng)，林友芳，2，萬懷宇，2

（1.北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，北京 100044；2.綜合交通運(yùn)輸大數(shù)據(jù)應(yīng)用技術(shù)交通運(yùn)輸行業(yè)重點(diǎn)實(shí)驗(yàn)室，北京 100044）

0 概述

近年來，我國快遞市場(chǎng)日益擴(kuò)大［1］，快遞員數(shù)量已超過300 萬人，每日快件配送量超過1 億件，市場(chǎng)的快速擴(kuò)大也給快遞公司的管理帶來了巨大挑戰(zhàn)。通過對(duì)時(shí)空軌跡數(shù)據(jù)的深入研究，預(yù)測(cè)快件送達(dá)時(shí)間一方面可以為用戶提供更加準(zhǔn)時(shí)的服務(wù)，提升用戶體驗(yàn)［2-3］，另一方面可以幫助快遞員進(jìn)行路徑規(guī)劃，提高派送效率［4-6］，從而提升公司整體業(yè)務(wù)競(jìng)爭(zhēng)力。

基于上述背景，利用深度學(xué)習(xí)技術(shù)對(duì)快遞員的時(shí)空軌跡數(shù)據(jù)進(jìn)行學(xué)習(xí)，從而準(zhǔn)確預(yù)測(cè)快件送達(dá)時(shí)間，服務(wù)現(xiàn)實(shí)應(yīng)用場(chǎng)景。雖然在時(shí)空數(shù)據(jù)挖掘領(lǐng)域，到達(dá)時(shí)間預(yù)測(cè)問題已有許多優(yōu)秀研究成果，但快件送達(dá)時(shí)間預(yù)測(cè)仍面臨許多困難與挑戰(zhàn)，主要有快件派送受到多種復(fù)雜因素影響、快件派送狀態(tài)存在動(dòng)態(tài)性和多目的地預(yù)測(cè)3 個(gè)方面。其中快件派送受多種復(fù)雜因素影響主要是快件的送達(dá)時(shí)間不僅與交通狀況、快件本身屬性、外界天氣等有關(guān)，快遞員的派送偏好、快件所在地的環(huán)境、客戶的個(gè)性化要求等因素都會(huì)對(duì)快件送達(dá)時(shí)間產(chǎn)生影響；快件派送狀態(tài)存在動(dòng)態(tài)性主要是在快遞員派送快件過程中，快遞員位置、已派送快件序列、待派送快件集合等均會(huì)發(fā)生改變，會(huì)導(dǎo)致快件的送達(dá)時(shí)間隨派送過程動(dòng)態(tài)變化；多目的地預(yù)測(cè)主要是研究需要同時(shí)預(yù)測(cè)快遞員的所有待派送快件的送達(dá)時(shí)間，不同于單目的地預(yù)測(cè)問題，快件的組合、彼此之間距離、派送順序均會(huì)對(duì)每個(gè)待派送快件產(chǎn)生影響，如何保證多目的地預(yù)測(cè)的整體準(zhǔn)確性也是一大難點(diǎn)。

本文提出一種基于多任務(wù)學(xué)習(xí)的快件送達(dá)時(shí)間預(yù)測(cè)網(wǎng)絡(luò)（Multi-Task Delivery Time prediction Network，MTDTN）模型，建模多種對(duì)快件送達(dá)時(shí)間產(chǎn)生影響的外部因素，并采用卷積神經(jīng)網(wǎng)絡(luò)［7］（Convolutional Neural Network，CNN）與長(zhǎng)短期記憶［8］（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)捕獲時(shí)空相關(guān)性，引入基于注意力機(jī)制的順序預(yù)測(cè)輔助任務(wù)提升預(yù)測(cè)效果，最終通過多任務(wù)融合方法得到快件送達(dá)時(shí)間預(yù)測(cè)結(jié)果。

1 相關(guān)工作

雖然時(shí)空數(shù)據(jù)挖掘在近年來受到廣泛關(guān)注并取得了許多優(yōu)秀的成果［9-11］，但快件派送場(chǎng)景下的多目的地送達(dá)時(shí)間預(yù)測(cè)問題比較新穎，相關(guān)研究較少。本文參考時(shí)空數(shù)據(jù)挖掘領(lǐng)域的到達(dá)時(shí)間估計(jì)問題的優(yōu)秀成果。

到達(dá)時(shí)間估計(jì)（Estimated Time of Arrival，ETA）指預(yù)估一個(gè)出發(fā)地到一個(gè)目的地之間所經(jīng)過的時(shí)間［12］，出發(fā)地到目的地往往由一系列相關(guān)聯(lián)的分路徑組合而成。目前，在工業(yè)和學(xué)術(shù)界的解決方案分成兩大類策略［12］。

第一類是基于分路徑建立物理模型的解決方案。出發(fā)地到目的地的到達(dá)時(shí)間被定義為給定路徑中沒有岔路的道路行駛時(shí)間與所有交叉路口的延誤時(shí)間之和，計(jì)算過程如式（1）所示：

其中：i表示第i段沒有岔路的道路行駛預(yù)測(cè)時(shí)間；j表示第j個(gè)交叉路口預(yù)測(cè)的延誤時(shí)間；Nroad和Ncross分別表示無岔路道路和交叉路口總數(shù)。

文獻(xiàn)［13-14］將從出發(fā)地到目的地的到達(dá)時(shí)間預(yù)測(cè)劃分為一些子問題，每個(gè)子問題預(yù)測(cè)一小段道路行駛時(shí)間或者單個(gè)岔路口的延誤時(shí)間。文獻(xiàn)［15］使用機(jī)器學(xué)習(xí)的回歸算法和張量分解算法預(yù)測(cè)局部路段或岔路口的時(shí)間。但該方案存在以下問題：1）時(shí)空數(shù)據(jù)無法覆蓋所有的分段路徑以建模整個(gè)交通路網(wǎng)實(shí)時(shí)時(shí)間分布；2）使用固定模式的模型預(yù)測(cè)未來一段時(shí)間道路交通狀態(tài)或者交叉路口延誤時(shí)間，忽略了交通動(dòng)態(tài)性以及研究對(duì)象的個(gè)性化差異和行為模式所帶來的影響；3）分段預(yù)測(cè)進(jìn)行累加帶來了預(yù)測(cè)誤差的累加，使整體預(yù)測(cè)準(zhǔn)確率下降。

第二類是基于數(shù)據(jù)構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型的解決方案。研究人員將到達(dá)時(shí)間預(yù)測(cè)問題轉(zhuǎn)換為回歸問題，通過建立端到端的深度學(xué)習(xí)模型，從海量的歷史數(shù)據(jù)中學(xué)習(xí)輸入到輸出的映射函數(shù)，從而給出到達(dá)時(shí)間預(yù)測(cè)。

文獻(xiàn)［12］提出將到達(dá)時(shí)間估計(jì)問題公式化為純粹的時(shí)空回歸預(yù)測(cè)問題，使用線性模型、深度神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)模型相結(jié)合，提高預(yù)測(cè)效果。文獻(xiàn)［16］提出輔助監(jiān)督模型DeepTravel，使用雙向長(zhǎng)短時(shí)記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）［17］神經(jīng)網(wǎng)絡(luò)捕獲長(zhǎng)期和短期的時(shí)間特征，在有效提取不同特征的同時(shí)，充分利用數(shù)據(jù)豐富的時(shí)間標(biāo)簽進(jìn)行路徑旅行時(shí)間的估算。文獻(xiàn)［18］在預(yù)測(cè)給定路徑的交通工具行駛時(shí)間問題中，考慮不同路段轉(zhuǎn)移之間的空間與時(shí)間相關(guān)性，提出DeepTTE模型，使用卷積層捕獲空間相關(guān)性，堆疊長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)捕獲時(shí)間相關(guān)性，引入多任務(wù)機(jī)制預(yù)測(cè)完整路徑與路徑各途經(jīng)點(diǎn)到達(dá)時(shí)間。以上研究不足在于均假定路徑已知，而且在捕獲時(shí)間相關(guān)性時(shí)僅考慮時(shí)間維度信息，對(duì)于其他外部信息融合不足。

隨著應(yīng)用場(chǎng)景的復(fù)雜以及深度學(xué)習(xí)技術(shù)的發(fā)展，越來越多的研究人員將目光轉(zhuǎn)向路徑未知的預(yù)測(cè)問題。文獻(xiàn)［19］提出未知具體行駛路徑下的到達(dá)時(shí)間預(yù)測(cè)研究方法，在訓(xùn)練階段使用多任務(wù)學(xué)習(xí)框架對(duì)現(xiàn)實(shí)世界行駛過程各種因素進(jìn)行學(xué)習(xí)，提高該場(chǎng)景下的預(yù)測(cè)準(zhǔn)確性。文獻(xiàn)［2］在快遞員送件的場(chǎng)景下，引入雙層注意力機(jī)制捕獲相似歷史軌跡數(shù)據(jù)特征預(yù)測(cè)多快件到達(dá)時(shí)間，取得了良好的效果。以上研究雖然在路徑未知情況下效果較好，但是對(duì)于多目的地間的相關(guān)性依然考慮不足。

本文提出基于多任務(wù)學(xué)習(xí)的快件送達(dá)時(shí)間預(yù)測(cè)模型MTDTN，該模型對(duì)影響送達(dá)時(shí)間的外部因素進(jìn)行表示學(xué)習(xí)，通過派送路徑表示模塊捕獲派送路徑的時(shí)空相關(guān)性，繼而基于注意力機(jī)制選擇最相關(guān)的未派送快件組合預(yù)測(cè)派送順序，最后融合各模塊向量，準(zhǔn)確預(yù)測(cè)快件送達(dá)時(shí)間。

本文的主要貢獻(xiàn)如下：

1）提出一種基于多任務(wù)學(xué)習(xí)的快件送達(dá)時(shí)間預(yù)測(cè)網(wǎng)絡(luò)（MTDTN）模型，該模型可以學(xué)習(xí)快遞員的行為模式并捕獲派送過程的時(shí)空動(dòng)態(tài)性，準(zhǔn)確預(yù)測(cè)快件送達(dá)時(shí)間。

2）為應(yīng)對(duì)快件派送狀態(tài)存在動(dòng)態(tài)性這一挑戰(zhàn)，提出一種基于地理信息編碼的時(shí)空組件，使用Geo-Hash編碼、卷積及長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)建模已派送快件路徑。

3）為解決多目的地同時(shí)預(yù)測(cè)問題，提出一種多任務(wù)學(xué)習(xí)機(jī)制，融合快件派送順序信息，輔助快件送達(dá)時(shí)間預(yù)測(cè)任務(wù)，提高模型性能。

2 模型框架

2.1 相關(guān)定義

本文給出以下定義：

1）快件。將快遞員派送的快件定義為ο={Llng,Llat,Ltype,Tacc}，其中：Llng表示快件地址經(jīng)度；Llat表示快件地址緯度；Ltype表示快件地址類型；Tacc表示快件簽收時(shí)刻。

2）快件派送軌跡?？爝f員派送過程會(huì)記錄每個(gè)快件的地理信息及送達(dá)時(shí)刻，形成快件派送軌跡p={ο1,ο2,…,οn}，此外每條派送軌跡會(huì)有日期、周次、區(qū)域編碼、快遞員編號(hào)等信息。

3）送達(dá)時(shí)間。將快件οj的送達(dá)時(shí)間定義為dtj=其中表示快件οj的簽收時(shí)刻；Tnow表示當(dāng)前時(shí)刻。

4）研究目標(biāo)。本文將未派送快件的送達(dá)時(shí)間預(yù)測(cè)問題定義為多目標(biāo)回歸任務(wù)，給定已派送快件Shad形成的派送軌跡phad，待派送快件集合Sto，本文的目標(biāo)是構(gòu)建模型F，預(yù)測(cè)Sto中每一個(gè)快件的送達(dá)時(shí)間：

2.2 MTDTN 模型

快件送達(dá)時(shí)間受到包含快遞員本身和外界環(huán)境在內(nèi)的復(fù)雜因素影響，因而在進(jìn)行快件送達(dá)時(shí)間預(yù)測(cè)時(shí)，首先需要對(duì)影響送達(dá)時(shí)間的復(fù)雜因素進(jìn)行建模，本文充分考慮可能的影響因素，通過組合、統(tǒng)計(jì)計(jì)算等方式得到新的特征信息，這些特征可以作為其他模塊的輸入。其次派送過程存在時(shí)空動(dòng)態(tài)性，需要學(xué)習(xí)快遞員派送的行為模式及隱含的時(shí)空相關(guān)性，本文通過設(shè)計(jì)時(shí)空組件來結(jié)合外部因素與已派送路徑信息捕獲派送過程的時(shí)空動(dòng)態(tài)性。最后不同于單目的地到達(dá)時(shí)間估計(jì)問題，本文研究需要考慮預(yù)測(cè)不同快件的多個(gè)目的地，故而引入派送順序預(yù)測(cè)這一輔助任務(wù)，基于注意力機(jī)制從歷史數(shù)據(jù)中尋找相似待派送快件集合，并結(jié)合外部因素，實(shí)現(xiàn)順序預(yù)測(cè)輔助任務(wù)。最終通過融合上述各種信息，得到快件送達(dá)時(shí)間預(yù)測(cè)結(jié)果。

具體而言，本文將快遞派送過程中已送達(dá)快件序列、復(fù)雜外部因素以及歷史相似快件序列集合作為輸入，首先建模影響送達(dá)時(shí)間的多種外部因素，并使用地理信息編碼和卷積操作、雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)捕獲已派送快件路徑的時(shí)空相關(guān)性，同時(shí)通過引入順序預(yù)測(cè)輔助任務(wù)增強(qiáng)模型學(xué)習(xí)能力，最后使用多任務(wù)融合輸出快件送達(dá)時(shí)間預(yù)測(cè)結(jié)果，提出MTDTN 模型。該模型共包含4 個(gè)模塊（如圖1 所示）：

圖1 MTDTN 模型框架Fig.1 Framework of MTDTN model

1）外部因素表示模塊。為建模整個(gè)派送過程中時(shí)間不變性特征、待預(yù)測(cè)快件的特征以及快遞員的畫像表示，本模塊對(duì)外部因素進(jìn)行信息嵌入，輸出將作為其他3 個(gè)模塊的輸入。

2）派送路徑表示模塊。已派送快件序列對(duì)剩余快件的送達(dá)時(shí)間至關(guān)重要，本模塊通過卷積神經(jīng)網(wǎng)絡(luò)及雙向LSTM 捕獲時(shí)空軌跡的空間及時(shí)間相關(guān)性，建模已派送路徑。

3）順序預(yù)測(cè)模塊。為更好地解決多目的地預(yù)測(cè)問題，本模塊選擇歷史軌跡數(shù)據(jù)中相似快件序列集合，使用注意力機(jī)制完成信息提取與組合，繼而與外部因素模塊拼接，進(jìn)行派送順序預(yù)測(cè)。

4）多任務(wù)融合模塊。本模塊作為預(yù)測(cè)任務(wù)的輸出層，融合其他模塊表示向量，結(jié)合順序預(yù)測(cè)的輔助任務(wù)與送達(dá)時(shí)間預(yù)測(cè)的主任務(wù)，輸出快件送達(dá)預(yù)測(cè)時(shí)間。

2.2.1 外部因素表示

如上文所述，快件派送場(chǎng)景復(fù)雜，影響因素繁多，模型在有限的數(shù)據(jù)條件下應(yīng)盡可能將影響快件送達(dá)時(shí)間的外部因素進(jìn)行信息提取。如圖1 所示，將影響送達(dá)時(shí)間的因素分為3 類：全局相關(guān)信息，待預(yù)測(cè)的快件οj的相關(guān)信息，快遞員的特征統(tǒng)計(jì)信息。

全局相關(guān)包括軌跡數(shù)據(jù)對(duì)應(yīng)的日期、周次、區(qū)域編碼、快遞員編號(hào)等，由于4 個(gè)特征均為離散的數(shù)值，無法直接輸入網(wǎng)絡(luò)。一種方式是使用one-hot 編碼方式，將4 個(gè)特征編碼為向量形式，但是這樣會(huì)導(dǎo)致編碼后得到高維向量（快遞員數(shù)量近千人，則該特征維度將在近千維），極大增加模型復(fù)雜度，同時(shí)每個(gè)特征向量之間的余弦相似性為0，無法表達(dá)區(qū)域之間相鄰關(guān)系。因此，本文使用嵌入層［20］表達(dá)全局信息，嵌入層通過乘以一個(gè)學(xué)習(xí)的參數(shù)矩陣W∈RF×E，將全局特征轉(zhuǎn)為RE實(shí)域的向量，其中：F表示各全局特征的類別數(shù)；E表示自定義嵌入向量的維度，E?F。本文將上述4 個(gè)特征分別經(jīng)過嵌入表示的向量進(jìn)行拼接，得到全局相關(guān)向量Vglobal。

預(yù)測(cè)快件οj相關(guān)信息包括οj相對(duì)于快遞員首個(gè)派送快件οfirst的轉(zhuǎn)移方向、實(shí)際距離與οj的地址類型。其中轉(zhuǎn)移方向使用οj與οfirst經(jīng)緯度差值歸一化后表示，實(shí)際距離使用百度地圖API 計(jì)算兩者距離后歸一化表示，地址類型則使用one-hot 編碼?？爝f員的特征統(tǒng)計(jì)信息，則使用歷史數(shù)據(jù)計(jì)算得到其過去一周派送過程平均駕駛速度，日均快件量、快件平均派送時(shí)間歸一化后表示，連同此次派送軌跡平均駕駛速度歸一化信息，輸入模型以學(xué)習(xí)其日常工作行為特征。

將Vglobal、預(yù)測(cè)快件相關(guān)信息、快遞員的特征統(tǒng)計(jì)信息拼接后得到向量Vconcat。將Vconcat輸入到兩層全連接層中，得到外部因素表示向量Vfea。計(jì)算過程如式（3）所示：

其中：權(quán)重Wfea和偏差系數(shù)bfea均是全連接層的學(xué)習(xí)參數(shù)。

2.2.2 派送路徑表示

快件派送狀態(tài)隨著時(shí)間動(dòng)態(tài)變化，已派送快件路徑對(duì)其余待派送快件的送達(dá)時(shí)間有著巨大影響。本模塊從已派送快件序列軌跡數(shù)據(jù)中捕獲時(shí)間和空間相關(guān)性，建模已派送路徑。主要由三部分組成：首先使用Geo-hash 對(duì)快件軌跡進(jìn)行地理信息編碼；然后將輸入的軌跡序列使用卷積捕獲空間轉(zhuǎn)移的局部相關(guān)性；最后輸入雙向LSTM 捕獲時(shí)間相關(guān)性，得到派送路徑的向量表示。

1）地理信息編碼。地理信息的應(yīng)用多數(shù)使用二維卷積［21］，首先將地理坐標(biāo)點(diǎn)聚類，然后劃分到矩形或者六邊形的柵格中，但是這樣會(huì)丟失空間坐標(biāo)的地理和語義信息，且在本文研究中對(duì)于快件送達(dá)問題，需要更加細(xì)小的粒度劃分，因而本文研究不使用柵格劃分方法。本文使用Geo-hash 對(duì)經(jīng)緯度地理信息進(jìn)行編碼，Geo-hash 編碼是一種地址編碼方法，將二維空間經(jīng)緯度表示為二進(jìn)制編碼，它的優(yōu)點(diǎn)一是易于神經(jīng)網(wǎng)絡(luò)輸入，二是可以表達(dá)地點(diǎn)之間的空間相近性，當(dāng)二進(jìn)制編碼相同前綴越長(zhǎng)時(shí)，表明兩者空間上越相近。首先使用Geo-hash Encoder 將已派送快件與派送路徑phad中所有快件οi的經(jīng)緯度轉(zhuǎn)為Geo-hash 編碼，命名為Gi，每個(gè)編碼長(zhǎng)度為32。

2）卷積層。已派送快件經(jīng)過地理信息編碼后，使用一維卷積神經(jīng)網(wǎng)絡(luò)［7］捕獲已派送軌跡的空間相關(guān)性。運(yùn)用l×32 的卷積核，步長(zhǎng)為1，對(duì)phad中所有快件的地理編碼序列進(jìn)行卷積操作，則輸出向量第i維如式（4）所示：

其中：W為學(xué)習(xí)的參數(shù)矩陣；bconv為學(xué)習(xí)的參數(shù)偏差系數(shù)；Gi,i+l-1表 示Gi到Gi+l-1的編碼 矩陣。

此外，時(shí)間差、距離、快件地址類型無法從地理編碼序列卷積過程直接獲得，因而本文將οi到οi+l-1之間的簽收時(shí)間差、距離以及οi+l-1的快件地址類型one-hot 編碼與卷積層輸出Vhad_conv拼接，得到卷積層最終輸出向量Vconv∈R(k+2+m)×(n-l+1)，其中m為快件地址類型種類數(shù)。

3）雙向LSTM。循環(huán)神經(jīng)網(wǎng)絡(luò)通過引入狀態(tài)變量存儲(chǔ)過去信息，與當(dāng)前信息共同決定輸出，從而可以更好地處理序列信息［7］。但隨著時(shí)間步增長(zhǎng)，出現(xiàn)梯度衰減或爆炸，無法有效利用較遠(yuǎn)的歷史信息。LSTM 通過引入輸入門、遺忘門、輸出門，自動(dòng)學(xué)習(xí)哪些信息遺忘、哪些信息保存，解決了常規(guī)循環(huán)神經(jīng)網(wǎng)絡(luò)無法捕獲長(zhǎng)距離依賴的問題。而雙向LSTM 通過引入負(fù)反饋信息，與LTSM 相比，增強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)能力。

本文使用雙向LSTM 捕獲派送路徑的時(shí)間相關(guān)性，將外部因素模塊的輸出Vfea與卷積層Vconv拼接，得到向量VLSTM∈R(k+2+m+df)×(n-l+1)，df為Vfea特征維度。VLSTM可以看作長(zhǎng)度為n-l+1 的序列數(shù)據(jù)，將其輸入到雙向LSTM 中，得到隱藏狀態(tài)，計(jì)算過程如式（5）、式（6）所示：

2.2.3 順序預(yù)測(cè)輔助任務(wù)

在派送快件的過程中，存在多個(gè)目的地快件需要同時(shí)預(yù)測(cè)。雖然派送路徑表示模塊結(jié)合外部因素模塊降低了預(yù)測(cè)的難度，但是仍有提升空間。因此，本文引入派送順序預(yù)測(cè)輔助任務(wù)應(yīng)對(duì)多目的地預(yù)測(cè)這一問題。通過對(duì)派送順序預(yù)測(cè)，可以使模型從相關(guān)任務(wù)提取特征，得到待派送快件大致派送順序，使得到達(dá)時(shí)間預(yù)測(cè)更加精準(zhǔn)。

順序預(yù)測(cè)輔助任務(wù)首先從歷史快件派送軌跡數(shù)據(jù)中選擇場(chǎng)景相似未派送快件組合提取特征向量，然后使用注意力機(jī)制基于外部因素表示向量Vfea選擇最相似歷史模式，最后與外部因素表示向量Vfea輸入全連接層，得到順序預(yù)測(cè)結(jié)果。

如果將當(dāng)前快遞員的所有歷史快件輸入模型，一方面造成模型過于復(fù)雜，計(jì)算困難，另一方面可能引入過多噪聲和無關(guān)信息，導(dǎo)致無法提取有效特征。因此，本文選擇與當(dāng)前場(chǎng)景相似未派送快件組合，具體方法如下：假定當(dāng)前快遞員已派送最后一個(gè)快件地理坐標(biāo)Geo-hash 編碼為Glast，待派送快件個(gè)數(shù)為a，此次待預(yù)測(cè)快件為οpredict，其地理編碼為Gpredict。查找該快遞員的歷史軌跡中地理編碼為Glast的快件οhis，且οhis之后派送的a個(gè)快件包含某個(gè)快件οsimilar地理編碼同樣為Gpredict，將該軌跡中N-1 個(gè)οsimilar派送相鄰的快件與οsimilar組合，并根據(jù)οsimilar在組合中的派送順序?qū)⒍喾N組合分為N類，n為οsimilar在快件組合中的派送順序，dο為快件特征數(shù)，N為超參數(shù)。將輸入全連接層，得到相關(guān)快件組合向量，計(jì)算過程如式（7）所示：

其中：權(quán)重Whis、偏差bhis均為學(xué)習(xí)參數(shù)。

注意力機(jī)制是仿照人類處理信息時(shí)大腦有意或無意地選擇更具有價(jià)值的信息所發(fā)明的一種數(shù)學(xué)機(jī)制，使用注意力機(jī)制可以從眾多信息中選擇最有價(jià)值的信息。因而，本文使用注意力機(jī)制獲取最相關(guān)的歷史快件組合。

首先使用全連接層來計(jì)算外部因素模塊的輸出Vfea與相關(guān)快件組合向量的相關(guān)性分?jǐn)?shù)，然后使用類似SoftMax 計(jì)算方式，將相關(guān)性分?jǐn)?shù)轉(zhuǎn)換為和為1 的概率分布，最后根據(jù)權(quán)重分布對(duì)相關(guān)快件組合向量進(jìn)行加權(quán)求和，得到最相關(guān)組合向量Vatten，計(jì)算過程如式（8）～式（10）所示：

其中：權(quán)重Wscore、偏差bscore均為學(xué)習(xí)參數(shù)；n為順序類別。

得到相關(guān)組合向量后，將其與外部因素表示向量Vfea連接，通過堆疊的全連接層對(duì)待派送快件順序進(jìn)行預(yù)測(cè)。計(jì)算過程如式（11）所示：

其中：權(quán)重Wseq、偏差bseq為學(xué)習(xí)參數(shù)；[]表示連接操作。損失函數(shù)使用均方根誤差損失，計(jì)算過程如式（12）所示：

2.2.4 多任務(wù)融合

本文使用全連接層對(duì)快件送達(dá)時(shí)間的預(yù)測(cè)結(jié)果進(jìn)行輸出。具體而言，將外部因素表示向量Vfea，派送路徑表示向量H，最相關(guān)組合向量Vatten進(jìn)行拼接得到最終輸入向量X=[Vfea,H,Vatten]，將其輸入堆疊的全連接層后，得到送達(dá)時(shí)間預(yù)測(cè)結(jié)果。計(jì)算過程如式（13）、式（14）所示：

其 中：權(quán)重Wfull、Warrive和偏差bfull、barrive均為學(xué)習(xí)參數(shù)。損失函數(shù)使用平均絕對(duì)誤差，計(jì)算過程如式（15）所示：

最終將多任務(wù)的損失函數(shù)與lseq、larrive結(jié)合，計(jì)算過程如式（16）所示：

其中：α、β為超參數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集描述

本文的實(shí)驗(yàn)數(shù)據(jù)集來自某快遞企業(yè)在上海市2 個(gè)運(yùn)營區(qū)域：2019 年11 月1 日—12 月31 日共計(jì)61 天的快遞員派送數(shù)據(jù)，共有931 個(gè)快遞員、45 萬條快件數(shù)據(jù)。每個(gè)快件數(shù)據(jù)均有對(duì)應(yīng)快遞員ID、簽收時(shí)間、地址類型以及經(jīng)緯度坐標(biāo)。本文選擇11 月1 日—12 月10 日共計(jì)40 天的派送數(shù)據(jù)作為訓(xùn)練集，12 月11 日—20 日共計(jì)10 天的派送數(shù)據(jù)作為驗(yàn)證集，12 月21 日—31 日共計(jì)11 天的派送數(shù)據(jù)作為測(cè)試集。

3.2 基準(zhǔn)方法與評(píng)價(jià)指標(biāo)

本文將MTDTN 模型與以下6 種現(xiàn)有的預(yù)測(cè)方法進(jìn)行對(duì)比：

1）HA（History Average）。即平均值方法，根據(jù)特定快遞員的歷史平均送達(dá)時(shí)間進(jìn)行預(yù)測(cè)。

2）LR（Linear Regression）。使用嶺回歸方法（L2正則）作為線性回歸方法。

3）DNN。使用三層全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，隱藏狀態(tài)神經(jīng)元個(gè)數(shù)分別為128、64、32。

4）LSTM。使用兩層LSTM 堆疊進(jìn)行預(yù)測(cè)，隱藏狀態(tài)神經(jīng)元分別為128 和128。

5）DeepTTE［18］。用于道路貨車行駛時(shí)間預(yù)測(cè)的深度神經(jīng)網(wǎng)絡(luò)模型。使用卷積和堆疊LSTM 表示原始GPS 軌跡，引入分段路徑時(shí)間輔助任務(wù)完成到達(dá)時(shí)間預(yù)測(cè)，將分段路徑時(shí)間輔助任務(wù)轉(zhuǎn)為每個(gè)已派送快件送達(dá)時(shí)間，其他參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)不變。

6）DeepETA［2］。用于快件送達(dá)時(shí)間預(yù)測(cè)的深度神經(jīng)網(wǎng)絡(luò)模型，將快件地址聚類為AOI后，使用地理信息嵌入和雙向LSTM 表示派送模式，并引入注意力機(jī)制建模歷史頻繁派送信息。將AOI坐標(biāo)替換為本文研究中的快件地理坐標(biāo)，其他參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)不變。

上述所有模型與MTDTN 輸入相同，本文根據(jù)不同模型所需的數(shù)據(jù)格式進(jìn)行了相應(yīng)調(diào)整。

評(píng)價(jià)指標(biāo)采用平均絕對(duì)誤差（MAE）和平均絕對(duì)百分比誤差（MAPE），計(jì)算過程如式（17）和式（18）所示：

3.3 參數(shù)設(shè)置

本文模型基于Keras深度學(xué)習(xí)網(wǎng)絡(luò)框架實(shí)現(xiàn)，批量大小為1 024，學(xué)習(xí)率為0.001。在外部因素表示模塊，將日期、周次、區(qū)域編碼、快遞員編號(hào)分別嵌入為R2、R2、R2、R10的向量；堆疊兩層全連接層隱藏單元神經(jīng)元個(gè)數(shù)分別為64、64。在派送路徑表示模塊，使用右填充方式輸入派送路徑的快件序列，長(zhǎng)度為20。在卷積層，卷積核個(gè)數(shù)為32，卷積核形狀為R3×32。雙向LSTM 隱藏單元神經(jīng)元個(gè)數(shù)為64。在順序預(yù)測(cè)模塊，相似未派送快件分類數(shù)N設(shè)置為10，全連接網(wǎng)絡(luò)隱藏單元神經(jīng)元個(gè)數(shù)為128；計(jì)算輸出Vfea與相似快件組合向量的相關(guān)性分?jǐn)?shù)的全連接網(wǎng)絡(luò)隱藏單元神經(jīng)元個(gè)數(shù)為64；順序預(yù)測(cè)子任務(wù)，最終融合向量預(yù)測(cè)順序時(shí)堆疊兩層全連接神經(jīng)網(wǎng)絡(luò)，隱藏單元神經(jīng)元個(gè)數(shù)分別為32、32。在多任務(wù)融合模塊中，α=0.7，β=0.3。

3.4 結(jié)果分析

本文模型與各基準(zhǔn)模型的實(shí)驗(yàn)結(jié)果如表1 所示?？梢钥闯?，本文提出的MTDTN 在MAE 以及MAPE 兩個(gè)指標(biāo)均優(yōu)于其他方法，相對(duì)于基準(zhǔn)方法中最優(yōu)的DeepETA 模型，本文模型MAE 降低16.11%，MAPE 降低12.88%。

表1 不同模型預(yù)測(cè)結(jié)果對(duì)比Table 1 Comparison of prediction results of different models

HA 模型依賴快遞員的歷史平均送達(dá)時(shí)間對(duì)快件送達(dá)時(shí)間進(jìn)行預(yù)測(cè)，對(duì)于派送過程中的時(shí)空相關(guān)性無法有效利用，且忽略了特定場(chǎng)景下的派送情況及相關(guān)因素，效果最差；使用嶺回歸可以對(duì)時(shí)間序列信息加以利用，但是依然無法捕獲序列數(shù)據(jù)的短期和長(zhǎng)期依賴，因而效果與HA 模型相比僅得到部分提升；DNN 模型將數(shù)據(jù)按照時(shí)間維度展開輸入，通過堆疊神經(jīng)網(wǎng)絡(luò)可以捕獲各時(shí)間步的相關(guān)性，且對(duì)于特定場(chǎng)景下的相關(guān)因素進(jìn)行表示學(xué)習(xí)，輔助預(yù)測(cè)任務(wù)，效果得到顯著提升；LSTM 模型通過引入狀態(tài)變量與門控機(jī)制，克服了DNN 模型對(duì)于長(zhǎng)序列信息學(xué)習(xí)能力的不足，可以更好地捕獲序列中的長(zhǎng)距離依賴，挖掘時(shí)空軌跡數(shù)據(jù)的時(shí)序語義信息，與DNN 相比，預(yù)測(cè)效果大幅提升。

DeepTTE 通過卷積網(wǎng)絡(luò)及堆疊LSTM 捕獲了軌跡數(shù)據(jù)中的時(shí)空相關(guān)性，并且引入了分路徑的到達(dá)時(shí)間預(yù)測(cè)，增加了網(wǎng)絡(luò)學(xué)習(xí)能力，與LSTM 模型相比，MAE 降低30%；而DeepETA 模型除了對(duì)時(shí)空軌跡數(shù)據(jù)中的時(shí)空相關(guān)性進(jìn)行學(xué)習(xí)，還通過注意力機(jī)制對(duì)歷史數(shù)據(jù)中頻繁模式進(jìn)行選取，充分考慮歷史派送模式對(duì)于預(yù)測(cè)任務(wù)的影響，效果在基準(zhǔn)實(shí)驗(yàn)中最優(yōu)。而本文提出的MTDTN 模型與DeepETA 模型相比，除了對(duì)快遞員等影響送達(dá)時(shí)間的外部因素進(jìn)行特征提取與表示學(xué)習(xí)外，還增加了對(duì)于地理信息的編碼和卷積操作，以進(jìn)一步捕獲地理空間的相關(guān)性，同時(shí)通過引入未派送快件派送順序預(yù)測(cè)輔助任務(wù)，充分建模了未派送快件之間的相互影響，從而使得模型效果有了極大提升。

3.5 消融實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證模型各部分的有效性，本文設(shè)計(jì)了原模型的3 種變體，將這3 種變體與MTDTN 進(jìn)行比較，各模型描述如下：

1）MTDTN。本文完整模型。

2）MTDTN-A。外部因素模塊中將嵌入層轉(zhuǎn)為one-hot 編碼，待預(yù)測(cè)快件特征及快遞員的特征以原始值替代額外統(tǒng)計(jì)及計(jì)算結(jié)果。

3）MTDTN-D。將原先的路徑表示模塊更替為堆疊的兩層LSTM。

4）MTDTN-M。在MTDTN 基礎(chǔ)上，去除順序預(yù)測(cè)子任務(wù)，只對(duì)快件送達(dá)時(shí)間進(jìn)行單任務(wù)預(yù)測(cè)。

消融實(shí)驗(yàn)結(jié)果如表示2 所示，實(shí)驗(yàn)結(jié)果充分說明了MTDTN 各模塊的有效性。

表2 不同模型消融實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Comparison of ablation experiment results of different models

MTDTN-A 與MTDTN 模型相比，減少了外部因素表示模塊中相關(guān)因素的特征提取與表示，MAE 上升了近28%，證明了外部因素表示作為其他模塊的輸入，對(duì)于快件送達(dá)時(shí)間預(yù)測(cè)問題是有效的。MTDTN-D 與MTDTN 模型相比，無法有效捕獲地理空間的相關(guān)性，且因?yàn)樵嫉乩硇畔⒅苯虞斎氲絃STM 中，可能引入過多噪聲，使得模型對(duì)于時(shí)間相關(guān)性的捕獲能力也受到影響，因而預(yù)測(cè)準(zhǔn)確率下降，從另一方面證明了派送路徑表示模塊對(duì)于提高模型效果的作用。MTDTN-M 與MTDTN 模型相比，由于順序預(yù)測(cè)輔助任務(wù)的缺失，在多目的地預(yù)測(cè)問題中，無法有效建模未派送快件間的相互影響，MAE 上升62%，MAPE 上升15.5%，說明了本文引入的多任務(wù)學(xué)習(xí)機(jī)制對(duì)于提升多目的地場(chǎng)景下的到達(dá)時(shí)間預(yù)測(cè)準(zhǔn)確性具有重要作用。

4 結(jié)束語

本文針對(duì)快遞員派送場(chǎng)景，提出一種基于多任務(wù)學(xué)習(xí)的快件送達(dá)時(shí)間預(yù)測(cè)模型。該模型使用多種角度和方式建模影響送達(dá)時(shí)間的外部因素，通過Geo-hash 編碼方式對(duì)地理信息編碼，使用卷積操作和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)捕獲派送路徑中的時(shí)空相關(guān)性，并且引入順序預(yù)測(cè)輔助任務(wù)，基于注意力機(jī)制選擇歷史相似快件組合完成預(yù)測(cè)子任務(wù)，最終通過多任務(wù)融合模塊輸出結(jié)果。在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的模型在MAE、MAPE 兩個(gè)指標(biāo)上明顯優(yōu)于HA、LR 等模型。由于該模型僅引入順序預(yù)測(cè)作為輔助任務(wù)，下一步將對(duì)其他相關(guān)事件與快件送達(dá)時(shí)間預(yù)測(cè)之間的內(nèi)在關(guān)系進(jìn)行研究，優(yōu)化模型結(jié)構(gòu)與計(jì)算方式，從而提高快件送達(dá)時(shí)間預(yù)測(cè)的準(zhǔn)確率。