徐凱,涂永超,徐文軒,吳仕勛
(1. 重慶交通大學(xué) 信息科學(xué)與工程學(xué)院,重慶 400074;2. 重慶大學(xué) 電氣工程學(xué)院,重慶 400044)
列車自動駕駛ATO系統(tǒng)利用車載固化信息和地面通信實現(xiàn)對列車牽引、制動的控制,可使列車處于更佳的運行狀態(tài),提供更優(yōu)的區(qū)間運行模式,提高旅客舒適度、行車密度和準(zhǔn)點率[1]。列車控制算法是列車自動駕駛ATO系統(tǒng)的核心技術(shù),將其研究分為兩方面:一方面是ATO控制曲線的生成與優(yōu)化,另一方面則是對生成速度曲線的跟蹤控制。隨著對列車多目標(biāo)速度優(yōu)化曲線研究的深入,如將粒子群優(yōu)化算法與布谷鳥搜索相結(jié)合[2],差分進(jìn)化算法和非支配排序遺傳算法相結(jié)合[3]等智能算法被廣泛應(yīng)用于列車多目標(biāo)的智能駕駛中;在速度曲線跟蹤控制方面,提出了基于分?jǐn)?shù)階PID的控制方法[1]以及列車自動駕駛非線性模型預(yù)測控制算法[4]。優(yōu)秀司機(jī)的駕駛策略在能耗和舒適度上的表現(xiàn)比ATO更為優(yōu)越[5],對此,冷勇林等[6-7]結(jié)合專家系統(tǒng),開發(fā)在線優(yōu)化算法實現(xiàn)列車智能駕駛。將列車優(yōu)秀駕駛員操縱數(shù)據(jù)稱為“專家知識”,目前,它們尚處于“只存不用”的狀態(tài)。倘若采用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的方法對“專家知識”充分利用,從海量數(shù)據(jù)中自動地發(fā)現(xiàn)隱藏于其中的規(guī)律性信息,將優(yōu)秀司機(jī)駕駛策略應(yīng)用于列車智能駕駛中,這不失為一種可行實用的方法。以上專家知識和經(jīng)驗,可從設(shè)計資料、列車運行監(jiān)控裝置LKJ、列車控制與管理系統(tǒng)TCMS設(shè)備上獲取?;跀?shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)方法是實現(xiàn)列車智能駕駛的常用手段。HUANG等[8]結(jié)合隨機(jī)森林和支持向量機(jī)2種機(jī)器學(xué)習(xí)方法實現(xiàn)列車自動駕駛。李國華等[9-10]采用集成隨機(jī)森林和CART等算法挖掘優(yōu)秀駕駛數(shù)據(jù)。朱宇清[11]則提出一種BP淺層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的貨運列車控制方法?,F(xiàn)有的優(yōu)秀駕駛員操控模式學(xué)習(xí)方式,大多采用傳統(tǒng)機(jī)器學(xué)習(xí)和淺層神經(jīng)網(wǎng)絡(luò)方法。在面對海量列車運行數(shù)據(jù)時,其特征表達(dá)不強、學(xué)習(xí)能力不足,不能全面反映列車運行狀態(tài),致使列車操控和預(yù)測精度不佳。因此,引入基于大數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò),從列車狀態(tài)和環(huán)境中挖掘出所隱含的信息,并泛化出對未知狀態(tài)的適應(yīng)能力,用以實現(xiàn)列車智能駕駛。在深度學(xué)習(xí)網(wǎng)絡(luò)中,卷積神經(jīng)網(wǎng)絡(luò)CNN的卷積運算特性決定其適用于處理具有網(wǎng)格狀結(jié)構(gòu)數(shù)據(jù),它對于局部操作有很強的抽象表征能力,已廣泛用于計算機(jī)視覺、語音和自然語言處理等各領(lǐng)域。對列車運行控制而言,其本質(zhì)是一系列具有時間屬性的檔位和速度組合,而長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM具有時序性特點,特別適用于對列車運行特征的表達(dá)。然而LSTM的結(jié)構(gòu)設(shè)計涉及到網(wǎng)絡(luò)的層數(shù)和節(jié)點數(shù),屬于超平面優(yōu)化問題。目前通常依靠領(lǐng)域?qū)<业慕?jīng)驗知識,采用人為設(shè)定網(wǎng)絡(luò)結(jié)構(gòu),具有隨機(jī)性和盲目性[12]。若層數(shù)和節(jié)點數(shù)設(shè)計過少,則網(wǎng)絡(luò)學(xué)習(xí)能力有限;若層數(shù)和節(jié)點數(shù)設(shè)計過多,則網(wǎng)絡(luò)將過擬合,泛化能力較差。此外,LSTM超參數(shù)眾多,是在一個維度極高的空間內(nèi),其優(yōu)化是個非凸優(yōu)化問題。非凸優(yōu)化的主要難點是如何選擇初始化參數(shù)和逃離局部最優(yōu)點[13]。其中,對參數(shù)初值的選取十分關(guān)鍵,直接影響網(wǎng)絡(luò)優(yōu)化效率和泛化能力。然而在深度學(xué)習(xí)中最常用的Adam算法卻難以解決上述問題,并在某些情況下可能不收斂。同時,朱海楠[14]構(gòu)建深度神經(jīng)網(wǎng)絡(luò)對列車駕駛策略進(jìn)行特征學(xué)習(xí),所使用的網(wǎng)絡(luò)僅針對單一回歸學(xué)習(xí)任務(wù),不能全面預(yù)測列車運行狀態(tài)。李國華等[9]也分別使用4個模型來實現(xiàn)4個不同的任務(wù),這僅屬于單任務(wù)學(xué)習(xí)。而此處列車輸出控制包括用于列車檔位操縱的分類任務(wù),同時還包括列車檔位運行時間和速度預(yù)測的回歸任務(wù),它涉及到多個決策任務(wù)。若采用單任務(wù)學(xué)習(xí)方式,需要多個神經(jīng)網(wǎng)絡(luò),不僅設(shè)計繁雜,信息冗余而且訓(xùn)練耗時。倘若僅用一個LSTM網(wǎng)絡(luò)實現(xiàn)多任務(wù)學(xué)習(xí),利用任務(wù)間的關(guān)聯(lián)性來相互促進(jìn)學(xué)習(xí),不僅簡化網(wǎng)絡(luò)設(shè)計,且所得到的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)比單任務(wù)具有更好的泛化效果[15]。但在多任務(wù)學(xué)習(xí)過程中,如何合理地處理不同任務(wù)之間的共性與差異,采用恰當(dāng)?shù)膶W(xué)習(xí)機(jī)制需要進(jìn)一步地探討和研究。因此,針對上述2個問題,本文做了以下兩方面的工作,通過實驗驗證了所提模型的優(yōu)越性和魯棒性。第一,LSTM結(jié)構(gòu)和超參數(shù)的初始化設(shè)計。在利用深度學(xué)習(xí)實現(xiàn)列車智能駕駛時,需要從深度網(wǎng)絡(luò)類型和結(jié)構(gòu),以及優(yōu)化算法等幾方面充分考慮。具體地,在遺傳算法GA優(yōu)化LSTM結(jié)構(gòu)基礎(chǔ)上,結(jié)合多種群協(xié)同進(jìn)化方式,提出一種新的自適應(yīng)多種群鏈?zhǔn)蕉嘀悄荏w算法(Adaptive Multi-Population Chainlike Multi-Agent,AMPCMA),用以對網(wǎng)絡(luò)權(quán)值和閾值等參數(shù)進(jìn)行初步尋優(yōu)。從而解決了LSTM結(jié)構(gòu)設(shè)計盲目和參數(shù)初始化的困難。第二,實現(xiàn)了檔位分類、檔位操縱時間和速度預(yù)測回歸的多任務(wù)學(xué)習(xí)。通過設(shè)計有效的多任務(wù)學(xué)習(xí)機(jī)制,即共享LSTM網(wǎng)絡(luò)輸入特征、網(wǎng)絡(luò)底層模塊,并采用Adam算法對各特定任務(wù)層的參數(shù)精細(xì)優(yōu)化,將任務(wù)共性與個性學(xué)習(xí)有機(jī)結(jié)合,實現(xiàn)了精準(zhǔn)、有效的列車多任務(wù)決策。
圖1所示為LSTM單元結(jié)構(gòu)。
LSTM引入了遺忘門、輸入門和輸出門,分別決定信息的遺忘、保留和輸出程度。其中各個門涉及到的計算公式如下。
式中:ft,it,ot分別為t時刻遺忘門、輸入門和輸出門的輸出;c"t,ct,ht分別為t時刻候選記憶單元,記憶單元和隱含層的狀態(tài);Wf,Wi,Wo,Wc分別為遺忘門,輸入門,輸出門及候選記憶單元的權(quán)重矩陣;bf,bi,bo,bc分別為其對應(yīng)偏置項;xt為t時刻的輸入;[ht-1,xt]為2個向量的拼接;σ表示激活函數(shù)sigmoid,⊙表示向量元素乘積。
由圖1可見,LSTM網(wǎng)絡(luò)中的權(quán)重W=[Wf,Wi,Wo,Wc]和閾值b=[bf,bi,bo,bc]等參數(shù)通常是隨機(jī)賦初值,然后利用Adam等算法進(jìn)行優(yōu)化。
1.2.1 鏈?zhǔn)蕉嘀悄荏w
智能體能夠感知環(huán)境,相互通信,具有智能思維與智能行為。一個智能體代表問題的一個解。圖2所示為鏈?zhǔn)蕉嘀悄荏w結(jié)構(gòu),每個圓圈為一個智能體,依次相聯(lián)為封閉的鏈?zhǔn)浇Y(jié)構(gòu),形成一個智能體鏈表。鏈表上每個智能體都有左右2個鄰居為其鄰域環(huán)境。所有智能體的鄰域共同構(gòu)成該鏈表的局部生存環(huán)境。每個智能體通過競爭,交叉,變異以及自學(xué)習(xí)完成進(jìn)化。鏈?zhǔn)浇Y(jié)構(gòu)的引入,縮小了智能體競爭范圍,加快算法比較速度。圖中,i=1,2,…,L為智能體在鏈表中的位置,L為鏈表規(guī)模。
1.2.2 AMPCMA進(jìn)化框架
吳亞麗等[16]提出了一種鏈?zhǔn)蕉喾N群多智能體(CMPMA)算法,它在高維問題優(yōu)化上表現(xiàn)出良好性能。然而,該算法所設(shè)計的鏈表規(guī)模是固定的,是一種靜態(tài)鏈表,從而降低了算法的靈活性和自適應(yīng)性。與其不同的是,本文所提出的AMPCMA算法能在進(jìn)化過程中根據(jù)各小種群的貢獻(xiàn)程度,自適應(yīng)地調(diào)整小種群鏈表規(guī)模,讓其成為一個可伸縮的“彈性”鏈表;此外,文獻(xiàn)[16]中僅采用測試函數(shù)驗證其性能指標(biāo),而未對深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)配置進(jìn)行尋優(yōu),更沒結(jié)合實際工程應(yīng)用,降低了問題研究的深度和實用性。
圖3所示為本文所提AMPCMA算法的進(jìn)化框架,具體思路如下:
1) 多種群協(xié)同進(jìn)化。一個多智能體鏈表形成一個小種群。多個小種群協(xié)同進(jìn)化,在全局尋優(yōu)中,以恰當(dāng)?shù)耐ㄐ胖芷冢瑢崿F(xiàn)種群間的信息交互。
2) 全局尋優(yōu)。各小種群鏈表上的多個智能體進(jìn)行競爭,交叉和變異,實現(xiàn)自我更新。根據(jù)各個智能體鏈表的優(yōu)劣,自適應(yīng)地調(diào)整鏈表的規(guī)模,即將優(yōu)質(zhì)鏈表的規(guī)模擴(kuò)大,縮小表現(xiàn)不佳的鏈表規(guī)模,讓各小種群智能體鏈表“彈性化”。此外,種群間以適當(dāng)通信周期進(jìn)行信息交互,提高了種群多樣性,避免算法陷入局部最優(yōu),提高全局收斂能力。
3) 局部尋優(yōu)。每個小種群鏈表輸出一個精英智能體,以特定方式生成局部小種群,經(jīng)自學(xué)習(xí)得到最優(yōu)智能體,此最優(yōu)智能體經(jīng)比較后輸出。
1.2.3 AMPCMA具體實現(xiàn)
1) 多種群。由圖3可見,Pi表示第i個小種群,i=1,2,…,n,n為種群個數(shù)。
2) 種群進(jìn)化的4種規(guī)則
① 競爭。在智能體鏈表中,若某智能體Ai=(a1,a2,…,ak,…,ad)優(yōu)于其鄰域內(nèi)的最好智能體Hi=(h1,h2,…,hk,…,hd),則保留Ai,否則生成新智能體取而代之。生成過程為:給 定 占 據(jù) 概 率Ps,對A′i中 每 一 維 變 量a′k,若U(0,1)<Ps,則
否則,
式中:k=1,2,…,d,d為智能體維度;U(-1,1)為(-1,1)間均勻分布的一個實數(shù);xkmax和xkmin分別為第k維變量ak取值上下限;r1和r2為[0,1)間均勻分布的隨機(jī)數(shù)。
② 交叉。每個智能體以概率Pc與鏈表中其余一個智能體隨機(jī)交叉,產(chǎn)生新智能體取代當(dāng)前智能體,采用單點交叉方式。
③ 變異。某智能體Ai=(a1,a2,…,ak,…,ad)的每一維變量ak,以概率Pm變異,得到新智能體Mi=(m1,m2,…,mk,…,md)。其變異過程為:
④ 自學(xué)習(xí)。指在精英智能體附近生成一個局部小種群,然后對其實施競爭和變異操作,經(jīng)演化后得到一個最優(yōu)智能體。這個局部小種群初始時只有一個智能體Eij=(e1,e2,…,ek,…,ed),Eij表示第i個小種群輸出的精英智能體,在鏈表中對應(yīng)的位置為j,i=1,2,…,n,n為種群個數(shù),j=1,2,…,L,L為智能體鏈表規(guī)模。在精英智能體附近按式(10)生成新智能體
式中:xkmax和xkmin分別為第k維變量ek取值上下限,mR∈[0,1]表示局部搜索半徑,U(1-mR,1+mR)為(1-mR,1+mR)間均勻分布的一個實數(shù)。
3) 小種群鏈表規(guī)模的自適應(yīng)調(diào)整方法
在全局尋優(yōu)中,針對文獻(xiàn)[16]算法中小種群鏈表規(guī)模固定不變,將造成算法性能下降的問題,這里采用自適應(yīng)、動態(tài)調(diào)整鏈表規(guī)模的方式來解決。每次進(jìn)化時,經(jīng)過競爭、交叉和變異后,將產(chǎn)生的新智能體鏈表送至小種群規(guī)模調(diào)整控制模塊。該模塊根據(jù)各小種群的貢獻(xiàn)率,在保持總智能體數(shù)量不變的條件下,動態(tài)調(diào)整各小種群鏈表規(guī)模,讓各鏈表具備“彈性”伸縮的功能。具體的調(diào)整過程如下。
首先,按式(11)計算每個智能體k的適應(yīng)度fk,其中e為網(wǎng)絡(luò)3個輸出量的誤差總和。
按式(12),計算第i個種群平均適應(yīng)度Fi。
式中:li表示小種群Pi調(diào)整前的鏈表規(guī)模。
依據(jù)式(13),計算出每個小種群的貢獻(xiàn)率τi。
式中:n是小種群的數(shù)目。
然后,將各小種群的貢獻(xiàn)率τi從大到小排序,按式(14)計算各小種群鏈表Pi調(diào)整后的規(guī)模δi。
式中:i=1,…,n,n為種群數(shù)目,N為智能體總數(shù)。
最后,完成對鏈表的伸縮調(diào)整。根據(jù)式(15),判斷各個小種群所增加或者減少智能體的數(shù)目Δi。
對鏈表的伸縮調(diào)整,可分以下3種情形:
1) 若Δi>0,則該小種群鏈表Pi需增加智能體,即拉伸。將該鏈表上的原有智能體按適應(yīng)度從大到小排序,由大到小克隆前Δi個智能體加入鏈表中。
2) Δi=0,則該小種群鏈表Pi無需改變。
3) 若Δi<0,則該小種群鏈表Pi需減少智能體,即壓縮。將該鏈表上的智能體按適應(yīng)度從大到小排序,由小到大逐一刪除后|Δi|個智能體。
另外,為避免某一種小種群鏈表強占優(yōu)于其余小種群鏈表,調(diào)整時需遵循以下2個原則:① 小種群鏈表最大規(guī)模的上限增至初始規(guī)模的80%;② 小種群最小規(guī)模的下限減至初始規(guī)模的30%。
4) 種群之間的信息交互操作
每當(dāng)算法演化一定代數(shù)時,隨機(jī)選取2個種群Pi和Pj進(jìn)行交互,即用種群Pi的歷代種群所產(chǎn)生的最優(yōu)智能體取代Pj種群中較差的智能體。
圖4所示為本文所采取的學(xué)習(xí)機(jī)制。
這里采用硬參數(shù)共享的多任務(wù)學(xué)習(xí)機(jī)制來實現(xiàn)列車操控與預(yù)測。即在所有任務(wù)的底層中共享部分參數(shù),在特定任務(wù)的頂層中使用各自任務(wù)的獨有參數(shù)。硬參數(shù)共享網(wǎng)絡(luò)通過共享輸入層和LSTM隱層來學(xué)習(xí)特征表示,在輸出端為各任務(wù)設(shè)計單獨的分類、回歸器。這種硬參數(shù)共享機(jī)制適用于各任務(wù)相關(guān)性較高的場景,提高了網(wǎng)絡(luò)的泛化能力[17],因此可將其用于列車智能駕駛。
在此多任務(wù)學(xué)習(xí)機(jī)制中,對網(wǎng)絡(luò)參數(shù)的優(yōu)化分為2個階段。第1階段是參數(shù)的初值預(yù)置,即利用AMPCMA算法對網(wǎng)絡(luò)權(quán)值和閾值等參數(shù)進(jìn)行初步尋優(yōu),將3種任務(wù)的誤差總和作為網(wǎng)絡(luò)訓(xùn)練目標(biāo),對多任務(wù)共性進(jìn)行學(xué)習(xí);第2階段是參數(shù)的精細(xì)優(yōu)化,即針對不同任務(wù)的個性,采用Adam算法對各特定任務(wù)層參數(shù)精細(xì)優(yōu)化,將各任務(wù)的誤差作為網(wǎng)絡(luò)訓(xùn)練目標(biāo),分別對單任務(wù)的個性進(jìn)行學(xué)習(xí)。通過以上方式,最終實現(xiàn)多任務(wù)共性和個性學(xué)習(xí)的有機(jī)結(jié)合,改善網(wǎng)絡(luò)預(yù)測效果。
首先,神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)決定其信息處理能力,而網(wǎng)絡(luò)結(jié)構(gòu)一直是依靠領(lǐng)域?qū)<业慕?jīng)驗設(shè)計,這種人工設(shè)定方式具有隨機(jī)性和盲目性。其次,神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化算法眾多,其中Adam優(yōu)勢明顯,在深度學(xué)習(xí)中使用較多。而本文優(yōu)化的參數(shù)有1 747個,這是一個維度極高的非凸優(yōu)化空間,若參數(shù)初值選擇不當(dāng),將影響網(wǎng)絡(luò)優(yōu)化效率和泛化能力,而常用的Adam算法卻難以解決上述問題。
因此,這里分步驟、分階段并結(jié)合多智能算法優(yōu)化LSTM網(wǎng)絡(luò)。第1步采用GA優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu);第2步利用AMPCMA和Adam算法優(yōu)化參數(shù)。圖5所示為其流程圖。
列車運行兩目標(biāo)優(yōu)化就是在滿足安全、平穩(wěn)和精確停車等條件下,做到讓列車運行時間短且能耗低。首先從列車運行監(jiān)控裝置、控制與管理系統(tǒng)獲取重慶軌道3號線鄭家院子到唐家院線路的1 440條司機(jī)駕駛曲線數(shù)據(jù)。然后將駕駛數(shù)據(jù)的能耗和時間在兩維坐標(biāo)軸上進(jìn)行Pareto支配,剔除被支配解,再經(jīng)擁擠距離裁剪得到均勻分布的147條駕駛曲線數(shù)據(jù),將其定義為優(yōu)秀駕駛員數(shù)據(jù)。接著用隨機(jī)森林算法篩選出15個優(yōu)質(zhì)輸入特征,包括線路、列車、列車運營和運行參數(shù),見表1。
表1 LSTM網(wǎng)絡(luò)輸入特征Table 1 Input features of LSTM network
1) 線路和列車參數(shù)。其參數(shù)如表2。
表2 線路和列車參數(shù)Table 2 Line and train parameters
2) 列車操縱檔位、加速度值。列車檔位共分8檔,包括+3,+2,+1這3個牽引檔,加速度分別為0.8,0.4,0.2 m/s2;0這個惰行檔,加速度為0;-1,-2,-3,-4這4個制動檔位,加速度分別為-0.2,-0.4,-0.6,-0.8 m/s2。此外,列車輸入控制序列數(shù)為7。
3) 算法參數(shù)。GA中,網(wǎng)絡(luò)隱含層及節(jié)點數(shù)量范圍分別設(shè)為[1,4]和[6,15],最大迭代次數(shù)100。AMPCMA中,有5個小種群,每個小種群有10個智能體,最大迭代次數(shù)80,信息交互周期為10代,自學(xué)習(xí)中進(jìn)化代數(shù)為10,局部進(jìn)化的鏈表規(guī)模為5,占據(jù)概率0.5,交叉概率0.48,變異概率0.08。
1) 正確率acc。
該值越大,表示檔位操縱正確率越高。
2) 交叉熵?fù)p失J。
式中:n為樣本數(shù);c為類別數(shù);是第i個樣本第k類標(biāo)簽值;表示第i個樣本預(yù)測為第k類標(biāo)簽值的概率。J越小,檔位輸出誤差越小。
3) 均方誤差MSE。
4) 平均絕對誤差MAE。
MSE和MAE 2個指標(biāo)中,n為樣本數(shù),yi和y′i分別為真實和預(yù)測值。它們均用于評價列車檔位運行時間和列車速度預(yù)測誤差,其值越小,網(wǎng)絡(luò)預(yù)測越準(zhǔn)確。
本節(jié)通過實驗確定LSTM網(wǎng)絡(luò)結(jié)構(gòu),在此基礎(chǔ)上采用不同算法優(yōu)化網(wǎng)絡(luò)參數(shù),以驗證所提模型的優(yōu)越性,并進(jìn)一步驗證該模型的魯棒性。
1) LSTM網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化
采用GA優(yōu)化LSTM結(jié)構(gòu),圖6為優(yōu)化過程。其中圖6(a)為LSTM隱含層數(shù)量優(yōu)化過程:依次淘汰的是1,4和3個隱含層,當(dāng)?shù)?5次時,穩(wěn)定在2個隱含層。究其原因,較少隱含層不能充分表達(dá)網(wǎng)絡(luò)特征;而較多隱含層則對數(shù)據(jù)特征表達(dá)過度。最終確定的結(jié)構(gòu)為2個隱含層,其節(jié)點數(shù)依次為10和8。圖6(b)為網(wǎng)絡(luò)損失值變化曲線,其中網(wǎng)絡(luò)損失值是LSTM網(wǎng)絡(luò)3個輸出的損失值總和,其值隨著迭代次數(shù)增加而不斷下降,最終穩(wěn)定于0.34。
2) AMPCMA-LSTM模型優(yōu)越性驗證
針對前言所提問題,在前述LSTM結(jié)構(gòu)基礎(chǔ)上,采用AMPCMA和Adam分階段、粗與細(xì)學(xué)習(xí)相結(jié)合的方式全面優(yōu)化網(wǎng)絡(luò)參數(shù)。AMPCMA具有良好的全局搜索能力,旨在尋找網(wǎng)絡(luò)最優(yōu)初始參數(shù),使其收斂到一個泛化能力強的全局最優(yōu)解。因此,先用AMPCMA對參數(shù)進(jìn)行預(yù)訓(xùn)練初始化,再采用Adam對參數(shù)精調(diào)。該尋優(yōu)方式取代了原有參數(shù)隨機(jī)賦初值訓(xùn)練方法,降低了網(wǎng)絡(luò)調(diào)參難度,優(yōu)質(zhì)的初始參數(shù)加快了網(wǎng)絡(luò)訓(xùn)練和收斂速度,提高了網(wǎng)絡(luò)性能。
基于上述分析,可得到用于列車精準(zhǔn)操控和預(yù)測的AMPCMA-LSTM模型。為驗證該模型的優(yōu)越性,將其分別與前饋神經(jīng)網(wǎng)絡(luò),傳統(tǒng)機(jī)器學(xué)習(xí)方法,深度LSTM網(wǎng)絡(luò)以及經(jīng)典的PSO和GA優(yōu)化的LSTM網(wǎng)絡(luò)進(jìn)行對比分析,其結(jié)果見表3。
表3 不同模型各評價指標(biāo)統(tǒng)計結(jié)果對比Table 3 Statistical results comparison of various evaluation indicators of different models
由表3明顯看出,BP與MLP的各項指標(biāo)都較差。這是因為前饋網(wǎng)絡(luò)無記憶功能,難以表達(dá)時序特征,從而預(yù)測效果不佳;傳統(tǒng)學(xué)習(xí)方法SVM和SVR則分別用于分類和回歸,由于這2種方法指向性更強,其MSE和MAE指標(biāo)比前饋網(wǎng)絡(luò)有所改善。
其次,除列車速度的MSE和MAE指標(biāo)外,LSTM,PSO-LSTM和GA-LSTM的其余指標(biāo)均優(yōu)于前饋網(wǎng)絡(luò)和傳統(tǒng)機(jī)器學(xué)習(xí)。這是因為LSTM具有深度和時序記憶特點,能全面、動態(tài)學(xué)習(xí)駕駛數(shù)據(jù),從而多項指標(biāo)均有較大改善;此外,引入PSO和GA初步搜索LSTM參數(shù),各項指標(biāo)又得到進(jìn)一步改善。
特別地,在表3所有模型中,AMPCMALSTM所獲得的各項性能指標(biāo)均為最佳。其中列車檔位操縱正確率是最為重要的指標(biāo),所提模型比性能最差的BP提高了13.184%,比性能很好的GA-LSTM也能提高1.046%。上述實驗驗證了所提模型的優(yōu)越性,能實現(xiàn)更精準(zhǔn)的列車操控和預(yù)測。
雖然所提模型比前饋網(wǎng)絡(luò)和傳統(tǒng)機(jī)器學(xué)習(xí)方法耗時長,但卻是3種不同智能算法優(yōu)化LSTM用時最少的。用較長訓(xùn)練耗時換取各項性能指標(biāo)大幅改善是合理的,這符合算法改進(jìn)的基本準(zhǔn)則[18]。并且,可通過多CPU并行處理的方式來解決訓(xùn)練時長的問題。
3) AMPCMA-LSTM模型魯棒性驗證
前述實驗是列車在操控序列數(shù)為7的情況下進(jìn)行的。實際上列車在自動駕駛中還存在多種工況序列。因城軌交通站間距離較短,列車在行駛中工況轉(zhuǎn)換點不宜過多。為驗證AMPCMA-LSTM模型的魯棒性,采用列車操控序列數(shù)分別為4,5,6和7下的數(shù)據(jù)進(jìn)行實驗。在4種操控序列下,將算法分別獨立運行30次,統(tǒng)計對比各評價指標(biāo),其結(jié)果見圖7。
由圖7(a)和7(b)可見,隨著操控序列長度的增加,交叉熵?fù)p失J逐漸變大,其檔位正確率也隨之下降,但始終穩(wěn)定在94.62%~95.51%,變化幅度在1%的微小范圍內(nèi);由圖7(c)和7(d)知,檔位運行時間、速度預(yù)測誤差的MSE和MAE 2項指標(biāo)均在小范圍變內(nèi)化,趨勢平緩。該實驗證明所提模型在不同操控序列下具有良好的適應(yīng)性和穩(wěn)定性。
圖8所示為4種操控序列下的檔位值及其速度曲線。在不同長度的操控序列下,使用所提出的模型,列車操縱檔位預(yù)測和真實值間僅有少許出入,速度預(yù)測與真實值的吻合程度較高;其次,從圖8(d)和8(d′)還可看出,隨著操控序列長度的增加,操控次數(shù)變多,操控錯誤概率也隨之增加,這是一種必然現(xiàn)象。
1) 從自動化深度學(xué)習(xí)的角度出發(fā),重點采用無梯度搜索方法,分步驟、分階段并結(jié)合多種智能算法優(yōu)化LSTM網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù),進(jìn)一步提高列車操控和預(yù)測精度。所提出的AMPCMA-LSTM模型與經(jīng)典及改進(jìn)的學(xué)習(xí)方法相比,檔位操縱精度提升至94.627%,檔位運行時間和列車速度的MSE值分別降至0.002 43和0.003 42,具有明顯的優(yōu)越性,并在不同操控序列下,對應(yīng)各指標(biāo)變化微小,表現(xiàn)出良好的適應(yīng)性和魯棒性。
2) 通過有效的多任務(wù)學(xué)習(xí)機(jī)制,即共享網(wǎng)絡(luò)輸入特征,網(wǎng)絡(luò)底層模塊以及優(yōu)化算法等知識,將任務(wù)共性與個性學(xué)習(xí)有機(jī)結(jié)合,所提出的模型能實現(xiàn)列車檔位、檔位操縱時間以及速度的多任務(wù)決策,從而更加全面地掌握列車運行狀態(tài),實現(xiàn)更為精準(zhǔn)的列車智能駕駛。