林鐘雨，吳 潼

（1.同濟大學(xué) 交通運輸工程學(xué)院，上海 201804；2.上海市軌道交通結(jié)構(gòu)耐久與系統(tǒng)安全重點實驗室，上海 201804）

0 引言

近年來，相對我國鐵路安全科技設(shè)備的不斷發(fā)展，人因安全管控的發(fā)展相對滯后，使得人因安全風(fēng)險逐漸成為制約鐵路運輸安全水平提高的主要因素。目前，鐵路機務(wù)部門對機車司機的安全行為監(jiān)督主要依賴傳統(tǒng)的乘務(wù)班組自查或線下基于音視頻數(shù)據(jù)的事后人工復(fù)查，即對于機車司機日勤作業(yè)產(chǎn)生的音視頻等監(jiān)控數(shù)據(jù)采用人工復(fù)查的方式進行分析檢查。該方法，一方面對特定事件和項點進行查找分析的人力、時間成本高，另一方面因是事后離線分析，難以及時發(fā)現(xiàn)司機的不安全行為并提醒糾正以規(guī)避可能的事故風(fēng)險，只能實現(xiàn)事后的責(zé)任追究與考核。隨著現(xiàn)代數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)和人工智能技術(shù)的不斷發(fā)展，急需研究開發(fā)更新一代的實時、智能安全監(jiān)控系統(tǒng)，以實現(xiàn)機車司機日勤作業(yè)行為的實時、智能監(jiān)控，有效保障鐵路行車安全。

從現(xiàn)有研究成果來看，鐵路機車司機行為監(jiān)控相關(guān)研究主要集中在利用傳感器信息和特征提取算法針對司機疲勞狀態(tài)進行識別檢測。近幾年，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，不少學(xué)者提出了基于機器視覺的機車司機行為識別方法。張瑞芳等、姚巍巍等將機車司機駕駛行為總結(jié)為離崗、正常工作、接聽電話、揮手、趴睡以及站立6 類，提出基于卷積神經(jīng)網(wǎng)絡(luò)進行識別的技術(shù)方法。但上述模型算法，一是缺少對機車乘務(wù)作業(yè)環(huán)節(jié)的系統(tǒng)梳理，僅將機車司機駕駛行為進行籠統(tǒng)的分類；二是其實際識別的準(zhǔn)確率并不理想，對于作業(yè)環(huán)境復(fù)雜、作業(yè)環(huán)節(jié)繁多的機車駕駛作業(yè)行為而言缺乏普適應(yīng)用價值。

本次研究首先通過梳理機車乘務(wù)作業(yè)標(biāo)準(zhǔn)流程建立相應(yīng)的司機日勤作業(yè)行為的安全監(jiān)控項點體系，其次根據(jù)實時、智能監(jiān)控等5 項要求初步設(shè)計了一套相應(yīng)的安全監(jiān)控系統(tǒng)框架，在此基礎(chǔ)上針對具體監(jiān)控項點提出了機車司機作業(yè)行為的智能監(jiān)控實施方案，包括伴隨作業(yè)過程的項點識別流程設(shè)計及具體識別內(nèi)容的確定、具體項點識別內(nèi)容的作業(yè)行為標(biāo)準(zhǔn)模板的建立、具體項點作業(yè)行為滿足標(biāo)準(zhǔn)要求與否的實時識別判斷方案等，并基于車載音視頻和機車LKJ 等多源數(shù)據(jù)、采用深度學(xué)習(xí)方法，選擇列車駕駛過程中“信號手比確認(rèn)”這一典型項點進行了實例驗證。

1 監(jiān)控項點體系梳理

機車司機日勤作業(yè)具有相對固定、規(guī)律的特點，即列車處于何種運行階段、位于特定行駛位置時所對應(yīng)的司機駕駛作業(yè)行為是確定的。因此，可利用列車運行監(jiān)控裝置（機車LKJ）數(shù)據(jù)將一次連續(xù)的出乘劃分為一組離散的作業(yè)環(huán)節(jié)與關(guān)鍵項點，對機車司機日勤作業(yè)中涵蓋的所有常態(tài)項點進行全面梳理，保證關(guān)鍵項點監(jiān)控識別的全覆蓋、不疏漏。

本文以《機車乘務(wù)員一次乘務(wù)作業(yè)標(biāo)準(zhǔn)》作為監(jiān)控要求設(shè)計的主要依據(jù)，按照機車司機日勤作業(yè)的8 大階段“出勤—接車—出段—掛車—發(fā)車—開行途中—終到入段—退勤”對項點體系進行劃分，并依次對除出勤、退勤外的各環(huán)節(jié)內(nèi)關(guān)鍵作業(yè)內(nèi)容進行梳理，分析其作業(yè)要求及機車司機對應(yīng)的標(biāo)準(zhǔn)操作，建立關(guān)鍵項點監(jiān)控體系，部分示例如表1 所示。

表1 機車司機日勤作業(yè)關(guān)鍵項點監(jiān)控體系（部分）

該日勤項點監(jiān)控體系，覆蓋機車司機日勤作業(yè)中自接車至終到入段的6 大主要作業(yè)階段16 個關(guān)鍵作業(yè)環(huán)節(jié)，最終得到共計66 個日勤監(jiān)控項點。其中，接車階段主要包括“開啟系統(tǒng)，核對信息”、“機車試驗”以及“制動機試驗”等在內(nèi)的5 大作業(yè)環(huán)節(jié)，共梳理出16 項監(jiān)控項點，涵蓋了司機接車后從錄入核對相關(guān)揭示信息到完成機車各項性能設(shè)備試驗的所有常規(guī)作業(yè)。出段階段主要包括“庫內(nèi)行走”環(huán)節(jié)中的“定標(biāo)打點”、“聯(lián)系進路”等5 項監(jiān)控項點。掛車階段主要包括機車進站后掛載車列并進行相關(guān)試驗的“連掛作業(yè)”、“貫通試驗”、“試風(fēng)試閘”及“列車制動機全部/簡略試驗”共計4 大作業(yè)環(huán)節(jié)17 項監(jiān)控項點。發(fā)車階段主要涵蓋了機車自始發(fā)站以及沿途中間站發(fā)車時的“發(fā)車準(zhǔn)備”、“司機瞭望”以及“出站定標(biāo)打點”共計3項監(jiān)控項點。途中運行階段主要包括“途中運行”、“進站”以及“常用制動”3 大作業(yè)環(huán)節(jié)共17 項監(jiān)控項點，涵蓋了列車常態(tài)下途中運行時的所有常規(guī)檢查、駕駛作業(yè)，各中間站、終到站進站時的信號、股道確認(rèn)作業(yè)以及常規(guī)制動停車作業(yè)要求。終到入段階段主要包括終到站的“車列摘解”以及最終返回機務(wù)段的“入段”2 大作業(yè)環(huán)節(jié)共8 項監(jiān)控項點，涵蓋了列車終到后對車列的摘解操作以及入段后的停車簽點、定標(biāo)打點和機車檢查等操作。

2 監(jiān)控系統(tǒng)框架設(shè)計

以上通過對監(jiān)控項點體系的梳理，明確了機車司機監(jiān)控識別的系統(tǒng)需求。以此為基礎(chǔ)，本次研究構(gòu)建了機車司機日勤作業(yè)安全監(jiān)控系統(tǒng)框架，如圖1 所示。該系統(tǒng)滿足作業(yè)行為自動分析、實時警示、多源數(shù)據(jù)融合診斷、系統(tǒng)全面、普適移植的5大功能需求，由數(shù)據(jù)采集與傳輸子系統(tǒng)和日勤作業(yè)監(jiān)控預(yù)警子系統(tǒng)組成，共同實現(xiàn)對機車司機作業(yè)的自動識別與實時警示。

圖1 機車司機日勤作業(yè)安全監(jiān)控系統(tǒng)框架

2.1 數(shù)據(jù)采集與傳輸子系統(tǒng)

數(shù)據(jù)采集與傳輸子系統(tǒng)是機車司機日勤作業(yè)安全監(jiān)控系統(tǒng)的基礎(chǔ)。該子系統(tǒng)基于機車車載安全防護系統(tǒng)（6A 系統(tǒng)）、列車運行監(jiān)控裝置（LKJ 系統(tǒng)）等數(shù)據(jù)采集設(shè)備獲取列車及機車司機相關(guān)信息，通過沿線5G 信號基站實現(xiàn)機車數(shù)據(jù)與中心處理服務(wù)器之間的車地?zé)o線高速傳輸。

其中，視頻數(shù)據(jù)采集自機車6A 系統(tǒng)，包括機車一端、二端駕駛室，一端、二端前方路況、以及機車中部兩個視角共6 個視角的視頻。音頻數(shù)據(jù)采集自機車司機出勤后全程攜帶的錄音筆。LKJ 數(shù)據(jù)來源于列車運行監(jiān)控裝置，涵蓋了包括列車時速、區(qū)段限速、列車運行位置、線路基礎(chǔ)設(shè)施信息（如：前方信號燈）以及制動風(fēng)壓等一系列列車運行信息。通過車載終端與軌旁基站實現(xiàn)5G 高速數(shù)據(jù)傳輸。

2.2 日勤作業(yè)監(jiān)控預(yù)警子系統(tǒng)

日勤作業(yè)監(jiān)控預(yù)警子系統(tǒng)實現(xiàn)對司機日勤作業(yè)全過程中所有關(guān)鍵環(huán)節(jié)駕駛行為的監(jiān)控識別。利用中心處理服務(wù)器獲取的機車音視頻及LKJ 數(shù)據(jù)，參照所建立的日勤作業(yè)關(guān)鍵項點監(jiān)控體系，將司機駕駛行為與對應(yīng)項點的標(biāo)準(zhǔn)模板進行實時識別比對，并將結(jié)果及時反饋以糾正其違規(guī)不安全行為。由于目前車地通訊主要通過機車無線通信設(shè)備（CIR）實現(xiàn)，往往會產(chǎn)生一定的時間延誤。因此系統(tǒng)將在機車駕駛室內(nèi)加裝一塊具有無線信號傳輸功能的信息提示面板。當(dāng)系統(tǒng)識別出機車司機出現(xiàn)違規(guī)行為時，實時將反饋信息通過5G 信號基站傳輸至車內(nèi)信息面板，及時提醒司機做出整改糾正。

3 安全監(jiān)控實施方案設(shè)計

在機車司機作業(yè)安全監(jiān)控系統(tǒng)中，除了在宏觀層面需要研究設(shè)計一個系統(tǒng)、全面的日勤作業(yè)項點監(jiān)控體系外，還需要在微觀層面針對每一個關(guān)鍵項點設(shè)計相應(yīng)的監(jiān)控實施方案，主要包括伴隨作業(yè)過程的項點識別流程設(shè)計及具體識別內(nèi)容的確定、具體項點識別內(nèi)容的作業(yè)行為標(biāo)準(zhǔn)模板的建立、具體項點作業(yè)行為滿足標(biāo)準(zhǔn)要求與否的實時識別判斷方案等。關(guān)于項點識別流程設(shè)計和具體識別內(nèi)容的確定參見以下典型案例部分。項點識別內(nèi)容標(biāo)準(zhǔn)模板建立和項點作業(yè)行為實時識別的主要思路與方法如下：

首先是項點識別內(nèi)容對應(yīng)的作業(yè)行為標(biāo)準(zhǔn)模板的建立。機車司機作業(yè)過程中項點識別內(nèi)容對應(yīng)的作業(yè)行為標(biāo)準(zhǔn)模板是判斷司機是否出現(xiàn)違規(guī)違章行為的依據(jù)，也是項點監(jiān)控方案的關(guān)鍵。如何建立一套科學(xué)、合理的項點識別內(nèi)容對應(yīng)的作業(yè)行為標(biāo)準(zhǔn)模板尤為重要。現(xiàn)有應(yīng)用中，大多是利用單一數(shù)據(jù)源建立標(biāo)準(zhǔn)模板，但任何單一數(shù)據(jù)都存在一定的局限性，如：視頻數(shù)據(jù)受限于攝像角度，語音數(shù)據(jù)受限于環(huán)境噪聲以及LKJ 數(shù)據(jù)無法反映信號瞭望等作業(yè)。因此，本文提出綜合使用音視頻及LKJ 多源數(shù)據(jù)，在列車運行至途中關(guān)鍵作業(yè)環(huán)節(jié)時，結(jié)合LKJ 數(shù)據(jù)中的列車位置等信息，通過多源數(shù)據(jù)融合互補和深度學(xué)習(xí)方法建立該特定時刻機車司機特定語音和動作行為的標(biāo)準(zhǔn)模板。以視頻動作為例，在采集大量機車駕駛室視頻圖像的基礎(chǔ)上，首先通過人工圖像標(biāo)定篩選出操作動作正確的樣本，然后基于深度學(xué)習(xí)框架對模型進行訓(xùn)練，最終建立起各項點的駕駛行為動作特征標(biāo)準(zhǔn)模板。

其次是司機具體項點作業(yè)行為滿足標(biāo)準(zhǔn)要求與否的實時、智能識別監(jiān)控。主要是通過特征提取和標(biāo)準(zhǔn)比對加以實現(xiàn)，具體實現(xiàn)原理和方法與標(biāo)準(zhǔn)模板建立相同。在標(biāo)準(zhǔn)行為模板建立后，實際識別時只需對樣本數(shù)據(jù)完成一次深度學(xué)習(xí)網(wǎng)絡(luò)的正向傳播過程，提取相應(yīng)特征并與標(biāo)準(zhǔn)模板對照即可實現(xiàn)自動監(jiān)控。

4 初步實例驗證

本文選取“信號手比確認(rèn)”典型項點進行監(jiān)控方案設(shè)計。該項點規(guī)定：列車運行中，機車司機必須對所有地面主體信號顯示全部進行手比確認(rèn)呼喚（應(yīng)答），自動閉塞區(qū)段分區(qū)通過信號顯示綠燈，值乘速度120km/h 及以上客運列車、特快貨物班列時，只手比不呼喚（帶有三斜杠標(biāo)志預(yù)告功能的分區(qū)通過信號機除外）。該項作業(yè)在列車運行途中高頻出現(xiàn)，且作業(yè)內(nèi)容相對重復(fù)，易使機車司機厭倦或忽視。

4.1 典型項點識別流程

首先，根據(jù)機車LKJ 數(shù)據(jù)記錄的線路基礎(chǔ)設(shè)施信息（即沿線信號機類型及具體信號）和列車的實時運行位置與運行狀態(tài)，對列車前方信號機類型、距離進行實時監(jiān)控，并在進入規(guī)定范圍時執(zhí)行對應(yīng)信號的手比確認(rèn)作業(yè)識別，如圖2 所示。

圖2 “信號手比確認(rèn)”項點識別流程與要求

其次，利用機車6A 系統(tǒng)駕駛室內(nèi)攝像頭獲取司機駕駛行為的視頻數(shù)據(jù)，依此對“信號手比確認(rèn)”作業(yè)中的手比手勢進行識別。當(dāng)LKJ 裝置反饋前方信號為雙綠燈、綠燈或綠黃燈時，乘務(wù)班組主司機應(yīng)做出“右手伸出，食指和中指并攏，拳心向左，指向確認(rèn)對象”的手勢；當(dāng)前方信號為黃燈時，乘務(wù)班組主司機應(yīng)做出“右手?jǐn)n拳伸拇指直立，拳心向左”的手勢；當(dāng)前方信號為雙黃燈或黃閃黃時，乘務(wù)班組主司機應(yīng)做出“右手?jǐn)n拳伸拇指和小指，拳心向左”的手勢；當(dāng)前方信號為紅燈時，乘務(wù)班組主司機應(yīng)做出“右手?jǐn)n拳，舉拳與眉齊，拳心向左，小臂上下?lián)u動三次”的手勢。同時利用司機隨身攜帶的錄音筆，可對不同信號的語音呼喚內(nèi)容進行識別。

4.2 數(shù)據(jù)預(yù)處理

采集2019 年11 月8 日凌晨K1555 次列車機車駕駛室監(jiān)控視頻作為樣本數(shù)據(jù)，按照1 幀/秒進行剪輯，共得到14 711 張樣本圖像。對其進行標(biāo)定分類和旋轉(zhuǎn)擴樣，各類樣本統(tǒng)計結(jié)果如表2 所示。

表2 樣本圖像分類統(tǒng)計

其中，“正常駕駛”指機車司機正常駕駛作業(yè)，無其他交互干擾動作（立崗、與調(diào)度通話匯報、吃零食等）?！笆种感盘枴敝杆緳C在信號機前規(guī)定范圍內(nèi)通過手指信號進行確認(rèn)的動作。“攏拳”指司機手指信號后需拳心向左攏拳確認(rèn)的動作。其他動作包括兩類，一是不在本項點識別范圍內(nèi)的其他駕駛交互動作，例如：立崗、CIR 無線通話、巡檢等；二是各類干擾小動作，例如撓頭、吃零食、伸懶腰等。樣本示例如圖3 所示。

圖3 樣本圖像示例

4.3 模型配置

選擇ResNet50 卷積殘差網(wǎng)絡(luò)作為預(yù)訓(xùn)練模型進行遷移學(xué)習(xí)。其優(yōu)點在于模型學(xué)習(xí)所需樣本數(shù)據(jù)量較小，無需花費大量人力、時間進行大規(guī)模標(biāo)定分類，可較高精度實現(xiàn)對“信號手比確認(rèn)”項點中“正常駕駛”、“手指信號”、“攏拳”和其他動作等多種行為標(biāo)準(zhǔn)模板的建立。

（1）網(wǎng)絡(luò)結(jié)構(gòu)

為特化該泛用預(yù)訓(xùn)練模型，在ResNet50 模型最后的softmax 函數(shù)分類FC 層前，新增3 個全連接層用于加強對司機行為圖像的特征提取，3 個新增全連接層的維度分別為1 024、1 024 和200，激活函數(shù)選擇ReLU 函數(shù)。為了避免過擬合現(xiàn)象的發(fā)生，給各參數(shù)權(quán)重添加L2 范數(shù)約束，L2 正則化參數(shù)λ=0.01。

（2）激活函數(shù)

以ReLU 函數(shù)作為每個卷積層后的激活函數(shù)，用于將輸出結(jié)果非線性轉(zhuǎn)換，見式（1）：

以softmax 函數(shù)作為最后一個全連接層的激活函數(shù)，用于對所提取的最終特征進行分類，見式（2）：

式中：P(x=j)為樣本x 屬于第j 類的概率；W為第j 類的參數(shù)權(quán)重向量；N 為分類類別總數(shù)，取N=4。

（3）損失函數(shù)

因?qū)嶒災(zāi)康臑閷λ緳C動作圖像進行識別分類，因此選擇交叉熵?fù)p失函數(shù)作為模型的損失函數(shù)，見式（3）：

式中：L為均方差損失值；N 為樣本總數(shù)；y為樣本i 的真實值；f(x)為樣本i 的函數(shù)預(yù)測值。

（4）優(yōu)化算法

選取Adadelta 算法作為模型反向傳播過程中訓(xùn)練更新參數(shù)的優(yōu)化算法，見式（4）至式（6）：

式中：E[▽θL(θ)]為第t 次迭代梯度的加權(quán)移動平均值；E[Δθ]為第t 次迭代參數(shù)θ變化量的加權(quán)移動平均值；γ 為加權(quán)移動平均的權(quán)重，通常可取γ=0.9。

4.4 結(jié)果分析

實驗將包含吃零食、撓頭、立崗等其他項點動作及干擾動作在內(nèi)的圖像作為第4 類動作—“其他動作”加入模型進行識別分類，以驗證模型的識別準(zhǔn)確率和魯棒性。經(jīng)迭代優(yōu)化，最終實現(xiàn)對幾類動作圖像的較準(zhǔn)確分類，測試集的平均識別準(zhǔn)確率達(dá)到91%。模型迭代的損失函數(shù)和識別準(zhǔn)確率如圖4、圖5 所示。

圖4 損失函數(shù)

圖5 識別準(zhǔn)確率

分析實驗結(jié)果，可看出再訓(xùn)練后的模型具備以下幾個優(yōu)良特性：

（1）收斂速度快

模型在訓(xùn)練中迅速實現(xiàn)了損失函數(shù)的收斂，主要有兩個原因：①預(yù)訓(xùn)練模型較為完善，僅需要對模型內(nèi)參數(shù)進行小幅度學(xué)習(xí)更新以及3 個新增全連接層內(nèi)參數(shù)進行學(xué)習(xí)便可實現(xiàn)損失函數(shù)的收斂；②機車司機對信號手比確認(rèn)有嚴(yán)格的動作規(guī)范，因此“手指信號”、“攏拳”等動作都較為標(biāo)準(zhǔn)，使得每類圖像內(nèi)部一致性相對較高，各類圖像之間區(qū)分度較高，高質(zhì)量的樣本使得模型的學(xué)習(xí)較為容易。

（2）一致性良好

從圖4 可見訓(xùn)練集和測試集的損失函數(shù)保持了較好的一致性，說明模型訓(xùn)練未出現(xiàn)過擬合現(xiàn)象，模型的表現(xiàn)在訓(xùn)練集和測試集上是比較一致的。

（3）準(zhǔn)確率高

模型在測試集上的平均識別準(zhǔn)確率達(dá)到90%以上，具備較為優(yōu)異的圖像識別分類表現(xiàn)，驗證了上述司機行為監(jiān)控方案實施的有效性。

5 結(jié)論

本文從系統(tǒng)工程角度，基于機車乘務(wù)一次出乘作業(yè)流程建立了系統(tǒng)、全面的項點監(jiān)控體系，初步搭建了滿足實時智能要求的安全監(jiān)控系統(tǒng)初步框架以實現(xiàn)機務(wù)作業(yè)的自動監(jiān)控分析和實時提醒糾正，對于鐵路機務(wù)部門對司機作業(yè)行為的監(jiān)督從事后診斷轉(zhuǎn)向事前防控，保障鐵路行車安全有著重要意義。

在具體項點監(jiān)控方案實施層面，本文針對典型項點案例分析給出了相應(yīng)的識別流程、明確了識別內(nèi)容和相應(yīng)的標(biāo)準(zhǔn)模板要求，并采用ResNet50 深度卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了該項點中4 類動作圖像的高準(zhǔn)確率識別，初步驗證了本次研究所設(shè)計給出的監(jiān)控方案的可行性與可靠性，為今后機車司機日勤作業(yè)安全監(jiān)控系統(tǒng)的研究開發(fā)奠定了初步的思路與技術(shù)基礎(chǔ)。