顧小山 倪建軍

（中國(guó)鐵路上海局集團(tuán)有限公司南京動(dòng)車段，江蘇 南京 210000）

高速動(dòng)車組具有運(yùn)行環(huán)境復(fù)雜、客載量大、長(zhǎng)交路持續(xù)運(yùn)行的特點(diǎn)，對(duì)整個(gè)動(dòng)車組牽引輔助系統(tǒng)、制動(dòng)系統(tǒng)、鐵路砟道性能影響非常大，給提升動(dòng)車組列車檢修效率及控制檢修成本帶來(lái)了巨大挑戰(zhàn)[1]。根據(jù)相關(guān)指導(dǎo)意見，結(jié)合南京動(dòng)車段多次實(shí)踐驗(yàn)證，該文建立動(dòng)車組質(zhì)量與安全大數(shù)據(jù)分析管理系統(tǒng)，以滿足設(shè)備檢修需要，減輕作業(yè)強(qiáng)度。

該系統(tǒng)借鑒SE模塊和深度可分離卷積[2]的優(yōu)點(diǎn)，設(shè)計(jì)了全新的神經(jīng)網(wǎng)絡(luò)模型用于對(duì)比服務(wù)。作業(yè)人員手持巡檢儀對(duì)巡檢作業(yè)關(guān)鍵點(diǎn)進(jìn)行拍照，系統(tǒng)將拍攝的圖片與模板進(jìn)行對(duì)比，分析、確認(rèn)巡檢效果，并對(duì)拍攝的作業(yè)圖片進(jìn)行評(píng)分，反饋?zhàn)鳂I(yè)質(zhì)量，實(shí)現(xiàn)對(duì)作業(yè)過(guò)程質(zhì)量的初步評(píng)價(jià)。

1 深度可分離卷積

傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)（如GoogLeNet、ResNet等）雖然能夠以高精度的檢索結(jié)果完成圖像對(duì)比分類任務(wù)，但由于越來(lái)越深的傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)大量的參數(shù)，這將需要很高的計(jì)算資源（價(jià)格昂貴的GPU）。為此，該系統(tǒng)架構(gòu)考慮數(shù)據(jù)容量龐大且需要進(jìn)行高效的運(yùn)算，因此采用深度可分離卷積[3]完成對(duì)整體模型架構(gòu)的壓縮和加速。

一張圖像是具有寬度、高度以及深度的，并不是二維的。在此該文進(jìn)行一個(gè)假設(shè)，給定一個(gè)12×12×3像素（RGB）的輸入圖像。對(duì)圖像做一個(gè)5×5的卷積，不加填充，步幅為1。如果只考慮圖像的寬度和高度，卷積過(guò)程為12×12-（5×5）→8×8。5×5內(nèi)核中，對(duì)每25個(gè)像素進(jìn)行標(biāo)量乘法，每次輸出一個(gè)數(shù)字。由于沒(méi)有填充（12-5+1=8），最終得到一個(gè)8×8像素的圖像。

因?yàn)閳D像存在3個(gè)通道，卷積核也需要有3個(gè)通道。這意味著不是做5×5=25次乘法，而是每次內(nèi)核移動(dòng)時(shí)做5×5×3=75次乘法。就像二維解釋一樣，對(duì)每25個(gè)像素做標(biāo)量矩陣乘法，輸出一個(gè)數(shù)字。在經(jīng)過(guò)5×5×3內(nèi)核之后，12×12×3圖像將變成8×8×1圖像，如圖1所示。

圖1 傳統(tǒng)卷積過(guò)程

如果想增加輸出圖像中的通道數(shù)量（比如大小為8×8×256的輸出），可以創(chuàng)建256個(gè)內(nèi)核的方式來(lái)創(chuàng)建256個(gè)8×8×1圖像，將其進(jìn)行堆疊，創(chuàng)建出8×8×256圖像輸出，如圖2所示。

圖2 傳統(tǒng)卷積過(guò)程

深度可分離卷積是一個(gè)可以替代傳統(tǒng)卷積層的架構(gòu)。卷積的過(guò)程中，不同的出入通道采取不同的卷積核，整個(gè)卷積操作可以分解為2個(gè)過(guò)程，即深度卷積和點(diǎn)向卷積。

深度卷積是在不改變深度的前提條件下對(duì)輸入圖像進(jìn)行深度方向卷積，在此使用了3個(gè)5×5×1形狀的內(nèi)核，如圖3所示。

圖3 深度卷積過(guò)程

每個(gè)5×5×1內(nèi)核迭代圖像的1個(gè)通道（注意：1個(gè)通道，而不是所有通道），得到每25個(gè)像素組的標(biāo)量積，得到一個(gè)8×8×1圖像。將這些圖像疊加在一起可創(chuàng)建8×8×3圖像。

點(diǎn)向卷積之所以如此命名，是因?yàn)樗褂昧艘粋€(gè)1×1內(nèi)核，或者說(shuō)是一個(gè)遍歷每個(gè)點(diǎn)的內(nèi)核。該內(nèi)核有一個(gè)深度，不管輸入圖像有多少通道，在此處的例子中，其為3。因此，通過(guò)8×8×3圖像迭代1×1×3內(nèi)核，得到8×8×1圖像。

以此類推，創(chuàng)建256個(gè)1×1×3內(nèi)核，每個(gè)內(nèi)核輸出一個(gè)8×8×1圖像，以得到形狀為8×8×256的最終圖像，如圖4所示。

圖4 逐點(diǎn)卷積過(guò)程

通過(guò)上述將傳統(tǒng)卷積層拆分為深度卷積和點(diǎn)向卷積。更抽象地說(shuō)，如果原始卷積函數(shù)是12×12×3-（5×5×3×256）→12×12×256，經(jīng)過(guò)分析可以將這個(gè)新的卷積表示為12×12×3-（5×5×1×1）→（1×1×3×256）→12×12×256。

原始卷積中有256個(gè)5×5×3內(nèi)核，可以移動(dòng)8×8次，代表256×3×5×5×8×8=1228800次乘法。然而，在深度卷積中，有3個(gè)5×5×1的內(nèi)核移動(dòng)了8×8次。也就是3×5×5×8×8=4800。在點(diǎn)向卷積中，有256個(gè)1×1×3的內(nèi)核移動(dòng)了8×8次，即256×1×1×3×8×8=49152。把它們相加即是53952次乘法。52，952比1，228，800小很多。計(jì)算量越少，網(wǎng)絡(luò)就能在越短的時(shí)間內(nèi)處理更多的數(shù)據(jù)。

（該節(jié)圖片來(lái)自于網(wǎng)絡(luò)，地址為https：//blog.csdn.net/makefish/article/details/88716534）。

2 Squeeze-and-Excitation（SE模塊）

為了使模型在計(jì)算效率高的情況下保持精度穩(wěn)定甚至有所提高，該文在此采用了通道注意力機(jī)制。為使模型更加輕量，可減少計(jì)算，深度可分離卷積會(huì)對(duì)通道進(jìn)行分組。借鑒SENet，采用Squeeze-and-Excitation（SE）模塊對(duì)通道之間的關(guān)系進(jìn)行關(guān)注，模型將對(duì)不同通道特征的重要程度進(jìn)行自動(dòng)學(xué)習(xí)。SE模塊先通過(guò)卷積得到特征圖，然后進(jìn)行Squeeze操作，從而得到通道級(jí)的全局特征，進(jìn)一步對(duì)全局特征進(jìn)行Excitation操作，目的是學(xué)習(xí)各個(gè)通道間的關(guān)系，得到不同通道的權(quán)重。最后將原來(lái)的特征圖乘以權(quán)重得到最終特征。本質(zhì)上來(lái)看，SE模塊是在通道維度上做注意力操作，該種機(jī)制可以讓模型抑制那些不重要的通道特征，更關(guān)注信息量最大的通道特征。SE模塊如圖5所示。

圖5 SE模塊

SE模塊的主要組成部分包括Squeeze操作和Excitation操作，適用于所有映射Ftr：X→U，X∈RH'×W'×C'，U∈RH×W×C，以卷積為例，卷積核為V=[v1，v1，...，vc]，其中vc表示第c個(gè)卷積核，那么輸出如公式（1）所示。

式中：*代表卷積操作；vsC代表一個(gè)3D卷積核。

其輸入單個(gè)通道上的空間特征，對(duì)特征空間關(guān)系進(jìn)行學(xué)習(xí)，只是由于對(duì)各個(gè)通道的卷積結(jié)果進(jìn)行了求和操作，因此導(dǎo)致卷積核學(xué)習(xí)到的空間關(guān)系和通道特征關(guān)系混合在一起。SE模塊可以解決這一問(wèn)題，通過(guò)抽離這種混雜，使模型直接學(xué)習(xí)到通道特征關(guān)系。

卷積只是在局部空間進(jìn)行操作，導(dǎo)致U難以獲取用于提取通道之間關(guān)系的足量信息。而由于感受也比較小，網(wǎng)絡(luò)中前面的層在這個(gè)問(wèn)題上更嚴(yán)重。正因?yàn)檫@樣，SENet提出了解決方案——Squeeze操作，它是將一個(gè)通道上整個(gè)空間特征編碼為一個(gè)全局特征，采用全局均值池化層來(lái)實(shí)現(xiàn)，如公式（2）所示。

Sequeeze操作只得到了全局描述特征，接下來(lái)需要另外一種運(yùn)算來(lái)抓取通道之間的關(guān)系。該操作需要滿足2個(gè)準(zhǔn)則：第一點(diǎn)是要靈活，它要可以學(xué)習(xí)到各個(gè)通道之間的非線性關(guān)系；第二點(diǎn)是學(xué)習(xí)的關(guān)系不是互斥的，因?yàn)檫@里允許多通道特征，而不是one-hot形式?；诖?，該文采用sigmoid形式的門控機(jī)制，如公式（3）所示。

式中：δ表示ReLU激活函數(shù)；σ表示sigmoid激活函數(shù)；分別是2個(gè)全連接層的權(quán)值矩陣，其中r是中間層隱藏層節(jié)點(diǎn)數(shù)。

為了達(dá)到提升泛化能力及降低模型復(fù)雜度的目的，該文采用包括2個(gè)全連接層的瓶頸結(jié)構(gòu)。其中第一個(gè)全連接層起到的作用是降維，降維系數(shù)為r，是個(gè)超參數(shù)，然后采用ReLU激活函數(shù)進(jìn)行激活。另一個(gè)全連接層的作用是見降低的維度恢復(fù)原始的維度。

最后輸出表示為s和U的向量積，即圖5中的Fscale（·,·）操作如公式（4）所示。

實(shí)際上在整個(gè)操作過(guò)程中，可以理解為通過(guò)學(xué)習(xí)各個(gè)通道的權(quán)重系數(shù)，使模型對(duì)各個(gè)通道的特征更具有辨別能力。

3 基于深度學(xué)習(xí)的對(duì)比服務(wù)模型

自動(dòng)評(píng)價(jià)系統(tǒng)中的對(duì)比服務(wù)基于深度神經(jīng)網(wǎng)絡(luò)模型，其中網(wǎng)絡(luò)模型的主要模塊是基于通道注意力的深度可分離卷積塊。該模塊既可高效完成對(duì)比任務(wù)，又能保障精度，因此結(jié)合SE模塊和深度可分離卷積的特點(diǎn)構(gòu)造了新型的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，如圖6所示。

圖6 深度神經(jīng)網(wǎng)絡(luò)模型

在深度可分離卷積塊模塊中，經(jīng)過(guò)深度可分離卷積得到的張量流U，首先經(jīng)過(guò)全局均值池化層得到每一個(gè)通道對(duì)應(yīng)的一個(gè)標(biāo)量值。其次經(jīng)過(guò)兩層全連接層的先降維、再升維的變化（增加非線性特征）。再經(jīng)過(guò)Sigmoid激活函數(shù)處理。最終把得到的向量（向量長(zhǎng)度和U的通道數(shù)相同）和U進(jìn)行點(diǎn)積操作（Scale），輸出新的張量流。

使用CADSConv模塊構(gòu)建新的網(wǎng)絡(luò)模型。通過(guò)CADSConv模塊完成特征提取工作，最后添加SoftMax層完成最終的對(duì)比服務(wù)。Softmax激活函數(shù)如公式（5）所示。

輸出計(jì)算圖如圖7所示。假設(shè)模板作業(yè)圖像庫(kù)中有3個(gè)類別，當(dāng)工作人員在現(xiàn)場(chǎng)采集的新圖片經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)提取特征后會(huì)得到3個(gè)輸出節(jié)點(diǎn)值，這3個(gè)值經(jīng)過(guò)Softmax激活函數(shù)激活后變成對(duì)應(yīng)各自的概率值，該概率值就會(huì)當(dāng)作對(duì)比服務(wù)中的相似度值，即概率值越高，相似度越大，于是可認(rèn)為該采集圖片屬于哪一個(gè)類別，至此完成對(duì)比任務(wù)。

圖7 輸出計(jì)算圖

4 結(jié)論

動(dòng)車組檢修作業(yè)質(zhì)量自動(dòng)評(píng)價(jià)系統(tǒng)能夠?qū)F(xiàn)有的視頻采集資源有效整合起來(lái)，利用自動(dòng)評(píng)鑒系統(tǒng)解決了之前需要人員進(jìn)行手工導(dǎo)入的圖像、語(yǔ)音和視頻的記錄、保存、查看系統(tǒng)問(wèn)題，通過(guò)自動(dòng)圖像識(shí)別減輕了現(xiàn)場(chǎng)工人的工作量，提高了現(xiàn)場(chǎng)使用人員的檢修質(zhì)量。將所有視頻資源經(jīng)過(guò)數(shù)據(jù)管理、資源管理、統(tǒng)計(jì)分析和終端設(shè)備配置等，自動(dòng)生成局、段、所、班組和人員等各級(jí)人員需要的統(tǒng)計(jì)分析報(bào)表，為鐵路檢修提供保障，為決策者提供有利的支撐。