趙大賀, 姚曉通

(蘭州交通大學(xué)電子與信息工程學(xué)院, 蘭州 730070)

0 引言

接觸網(wǎng)絕緣子是指部署在鐵路兩邊的電線桿上的絕緣子，該類絕緣子所連接的輸電線路是負(fù)責(zé)為鐵路所通過(guò)的列車(chē)提供必要電力的。其狀態(tài)的好壞影響著鐵路供電系統(tǒng)能否安全穩(wěn)定運(yùn)行。然而，由于接觸網(wǎng)鋪設(shè)高度相對(duì)較低，常年暴露在大氣環(huán)境中，更易受到各類因素影響，形成污垢，造成絕緣性能下降[1]。

隨著計(jì)算機(jī)視覺(jué)技術(shù)的突飛猛進(jìn)，利用其進(jìn)行絕緣子檢測(cè)成為了新的發(fā)展趨勢(shì)。何洪英等提出了使用直方圖波谷分割方法，對(duì)不同濕度下絕緣子紅外圖像進(jìn)行了分割提取[2]；吳文海等提出了基于近義詞分配的絕緣子識(shí)別與分類[3]；仝衛(wèi)國(guó)提出多特征相結(jié)合的信息融合方法對(duì)絕緣子進(jìn)行識(shí)別[4]。以上傳統(tǒng)算法在識(shí)別絕緣子時(shí)沒(méi)有考慮復(fù)雜背景，而接觸網(wǎng)絕緣子由于鋪設(shè)較低其背景往往非常復(fù)雜。姚建剛等利用神經(jīng)網(wǎng)絡(luò)與溫度特征對(duì)絕緣子進(jìn)行識(shí)別[5]；陳春玲等利用Faster R-CNN對(duì)絕緣子進(jìn)行識(shí)別[6]；朱有產(chǎn)等提出了改進(jìn)Mask R-CNN的絕緣子目標(biāo)識(shí)別方法[7]；蘇超等利用SSD算法對(duì)絕緣子進(jìn)行識(shí)別定位[8]；鄒漢凌等提出基于Residual-FPN優(yōu)化的航拍絕緣子目標(biāo)識(shí)別[9]；翟永杰等提出了改進(jìn)區(qū)域候選網(wǎng)絡(luò)對(duì)絕緣子識(shí)別進(jìn)行了研究[10]。以上深度學(xué)習(xí)方法的傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)雖然有良好的特征提取能力，但是網(wǎng)絡(luò)模型復(fù)雜、參數(shù)較多、計(jì)算量較大、檢測(cè)耗時(shí)較長(zhǎng)，無(wú)法較好地適用于性能有限小型移動(dòng)端嵌入式等平臺(tái)[11]，很難通過(guò)視覺(jué)對(duì)絕緣子清洗機(jī)器人進(jìn)行實(shí)時(shí)牽引控制。

最近幾年，關(guān)于神經(jīng)網(wǎng)絡(luò)的技術(shù)日漸成熟，大量新的技術(shù)方法被提出。GoogLeNet網(wǎng)絡(luò)通過(guò)增大網(wǎng)絡(luò)規(guī)模(包括深度和寬度)來(lái)提高網(wǎng)絡(luò)性能[12]。VGG通過(guò)使用小尺寸的卷積核應(yīng)用于計(jì)算機(jī)視覺(jué)[13]。SqueezeNet采用1×1卷積核，有效減少輸出特征圖的通道數(shù)[14]。Google 推出輕量級(jí)卷積網(wǎng)絡(luò)MobileNet[15]，大幅度減少網(wǎng)絡(luò)參數(shù)和計(jì)算量，精度幾乎不下降，可應(yīng)用在ios和Android等移動(dòng)平臺(tái)[16]。Inception v3方法將一個(gè)二維卷積拆分為兩個(gè)相對(duì)較小的卷積，從而可以有效降低參數(shù)量，提升計(jì)算速度[17]。

本研究針對(duì)當(dāng)前接觸網(wǎng)絕緣子識(shí)別面臨的難題與當(dāng)前深度學(xué)習(xí)發(fā)展的科技前沿新成果，提出了一種用SSD-MobileNet模型對(duì)復(fù)雜背景下接觸網(wǎng)絕緣子進(jìn)行識(shí)別的方法。該模型以MobileNet-v1為網(wǎng)絡(luò)主干對(duì)復(fù)雜背景下的接觸網(wǎng)絕緣子進(jìn)行特征提取，并以SSD目標(biāo)檢測(cè)器對(duì)其進(jìn)行識(shí)別。其相較于傳統(tǒng)網(wǎng)絡(luò)模型參數(shù)較少，計(jì)算量較小，在輕量化和實(shí)時(shí)性方面有較大優(yōu)勢(shì)。

1 模型的構(gòu)建

1.1 SSD模型簡(jiǎn)介

SSD(Single-Shot Multibox Detector)算法利用不同卷積層的feature map進(jìn)行綜合，SSD網(wǎng)絡(luò)主要的設(shè)計(jì)思想是對(duì)目標(biāo)特征分層提取，并依此進(jìn)行邊框回歸和分類。

SSD的網(wǎng)絡(luò)分為6個(gè)stage，每個(gè)stage都能學(xué)習(xí)到一個(gè)特征圖，然后在每個(gè)特征圖上進(jìn)行邊框回歸和分類。SSD使用VGG-16[18]作為基礎(chǔ)主干網(wǎng)絡(luò)(conv4_3, fc_7)，并在VGG-16基礎(chǔ)網(wǎng)絡(luò)上添加了特征提取層。

傳統(tǒng)的很多目標(biāo)識(shí)別算法對(duì)小目標(biāo)的檢測(cè)能力差，為了保證神經(jīng)網(wǎng)絡(luò)對(duì)小目標(biāo)有很好檢測(cè)效果，SSD模型除了在最終的特征圖上做目標(biāo)檢測(cè)之外，還在之前選取的5個(gè)特征圖上進(jìn)行預(yù)測(cè)。SSD網(wǎng)絡(luò)結(jié)構(gòu)的第一個(gè)stage是VGG16的前5層網(wǎng)絡(luò)，再將VGG16中兩個(gè)全連接層fc6和fc7轉(zhuǎn)化成兩個(gè)卷積層并且將fc_7作為第2個(gè)stage，在以VGG16為主干網(wǎng)絡(luò)的基礎(chǔ)上，SSD網(wǎng)絡(luò)繼續(xù)增加了Conv8、Conv9、Conv10和Conv11 4個(gè)網(wǎng)絡(luò)層，用它們來(lái)提取更高層次的語(yǔ)義信息同時(shí)作為第3、4、5、6個(gè)stage。

default box數(shù)量是SSD算法計(jì)算復(fù)雜度的關(guān)鍵。具體來(lái)說(shuō)conv4_3、conv8_2、conv9_2卷積層每個(gè)feature map cell產(chǎn)生4個(gè)default box, 而fc7、conv6_2、conv7_2卷積層產(chǎn)生6個(gè),一共產(chǎn)生38×38×4+19×19×6+10×10×6+5×5×6+3×3×4+1×1×4=8 732個(gè)default box。default box是目標(biāo)檢測(cè)的候選區(qū)域, default box的數(shù)量越多，計(jì)算所需要的時(shí)間越長(zhǎng)，即計(jì)算時(shí)間與default box的數(shù)量近似成正比。

1.2 MobileNet網(wǎng)絡(luò)模型簡(jiǎn)介

MobileNet為Google推出的一款高效的移動(dòng)端輕量化神經(jīng)網(wǎng)絡(luò)模型，其核心是深度可分離卷積(Depthwise Separable Convolution, DSC)[19]。DSC是將傳統(tǒng)的標(biāo)準(zhǔn)卷積分解為一個(gè)深度卷積(depthwise convolution)和一個(gè)1×1的卷積(pointwise convolution)。圖1中，(a)表示傳統(tǒng)的標(biāo)準(zhǔn)卷積，(b)表示DSC的深度卷積部分，(c)表示DSC的1×1的卷積部分。

圖1 標(biāo)準(zhǔn)卷積與深度可分離卷積原理圖Fig.1 Schematic diagram of standard convolution and depth separable convolution

假設(shè)輸入特征圖大小為DF×DF×M，輸出特征圖大小為DF×DF×N，卷積核大小為DK×DK。傳統(tǒng)卷積操作過(guò)程如公式(1)所示：

(1)

傳統(tǒng)卷積的計(jì)算量：DK×DK×M×N×DF×DF。

DSC的深度卷積操作過(guò)程見(jiàn)公式(2)：

(2)

其中深度卷積計(jì)算量為：DK×DK×M×DF×DF，1×1逐點(diǎn)卷積的計(jì)算量為：M×N×DF×DF，DSC的計(jì)算量為二者之和：DK×DK×M×DF×DF+M×N×DF×DF。

DSC的計(jì)算量與標(biāo)準(zhǔn)卷積的比為

(3)

MobileNet主要使用的卷積核尺寸為3×3，即DK等于3，通過(guò)公式(3)的結(jié)果可以看出采用深度可分離卷積可以將計(jì)算量減少8到9倍，大幅度提高了計(jì)算的效率。

由于大量使用1×1的卷積，用這些少數(shù)的乘加運(yùn)算來(lái)定義簡(jiǎn)單的網(wǎng)絡(luò)是不夠的，確保這些操作有效是非常重要的。實(shí)例化非結(jié)構(gòu)稀疏矩陣操作除非有一個(gè)非常高的稀疏度，否則不一定比稠密矩陣操作更加快速。該模型將計(jì)算量集中在1×1卷積中。通常卷積由GEMM來(lái)實(shí)現(xiàn)，但是要求一個(gè)im2col即在內(nèi)存中初始化重新排序來(lái)映射到GEMM。而1×1卷積則不需要內(nèi)存的重新排序，并且能直接用GEMM方法實(shí)現(xiàn)，大幅度提升了計(jì)算效率，因此是最優(yōu)化的數(shù)值線性代數(shù)算法之一。MobileNet中有大約95%的乘加運(yùn)算來(lái)自于1×1的逐點(diǎn)卷積上，并且同時(shí)也占總參數(shù)量的75%左右，見(jiàn)表1。

表1 每種層的計(jì)算量和參數(shù)占比Table 1 The amount of calculation and the proportion of parameters for each layer

圖2是傳統(tǒng)卷積(a)與MobileNet中DSC(b)的結(jié)構(gòu)對(duì)比。Depth-wise卷積和1×1卷積后都增加了BN層和ReLU的激活層。

圖2 傳統(tǒng)卷積(a)與深度可分離卷積(b)結(jié)構(gòu)圖Fig.2 Traditional convolution (a) and depth separable convolution (b) structure diagram

MobileNet整體見(jiàn)表2，將深度卷積、逐點(diǎn)卷積各算一層，一共含有28層。

表2 MobileNet的整體結(jié)構(gòu)Table 2 MobileNet body architecture

MobileNet提出了寬度因子α(控制通道數(shù))和分辨率因子ρ(控制分辨率)兩個(gè)超參數(shù)。加入這兩個(gè)超參數(shù)后的DSC的計(jì)算量為

DK×DK×αM×ρDF×ρDF+αM×αN×ρDF×ρDF

(4)

表3 寬度因子對(duì)模型的影響圖Table 3 The influence graph of the width factor on the model

如表4所示，在imageNet數(shù)據(jù)集上使用DSC相較于標(biāo)準(zhǔn)卷積準(zhǔn)確率僅下降1%，但在計(jì)算量和參數(shù)量上大幅度減少。

表4 深度可分離與完全標(biāo)準(zhǔn)卷積對(duì)比Table 4 Depthwise separable vs full convolution mobileNet

1.3 網(wǎng)絡(luò)模型改進(jìn)

SSD算法中將VGG16作為神經(jīng)網(wǎng)絡(luò)的主干，VGG16為常規(guī)卷積網(wǎng)絡(luò)。為了使模型輕量化高效率，本研究采用MobileNet-v1網(wǎng)絡(luò)結(jié)構(gòu)的conv1～conv13來(lái)替換VGG16成為主干網(wǎng)絡(luò)，其余部分仍采用SSD的結(jié)構(gòu)。將兩個(gè)部分各自的優(yōu)勢(shì)整合到一起，構(gòu)成SSD-MobileNet-v1模型，見(jiàn)圖3。

圖3 SSD-MobileNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 SSD-MobileNet network structure diagram

SSD損失函數(shù)分為兩個(gè)部分，整體損失函數(shù)公式如下：

(5)

其中，Lconf(x,c)為類別置信度損失函數(shù)，Lloc(x,l,g)為位置損失函數(shù)。

絕緣子的對(duì)應(yīng)搜索框的位置損失函數(shù)為

(6)

絕緣子的類別置信度損失函數(shù)為

(7)

1.4 系統(tǒng)設(shè)計(jì)改進(jìn)

SSD-MobileNet識(shí)別精度優(yōu)異，參數(shù)較少，計(jì)算量相對(duì)少了很多，為輕量級(jí)模型。因此其計(jì)算對(duì)硬件要求很低。有了以上方面的技術(shù)支撐，我們可以將SSD-MobileNet安裝到樹(shù)莓派等移動(dòng)端嵌入式平臺(tái)，這些平臺(tái)體積小功耗低。然后采集數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理，將數(shù)據(jù)加載到SSD-MobileNet模型中訓(xùn)練出性能達(dá)到要求的權(quán)重模型。進(jìn)而將訓(xùn)練好的權(quán)重模型移植到樹(shù)莓派等移動(dòng)端嵌入式平臺(tái)，使其具備相應(yīng)的識(shí)別功能。其過(guò)程見(jiàn)圖4。其中模型訓(xùn)練模塊在性能較好的PC端完成。

圖4 程序設(shè)計(jì)流程圖Fig.4 Programming flowchart

小型無(wú)人機(jī)價(jià)格低廉，但其體積、電量都有限，很難安裝體積較大或功耗較高的計(jì)算機(jī)設(shè)備。我們可以將安裝有SSD-MobileNet的移動(dòng)端嵌入式平臺(tái)應(yīng)用在小型無(wú)人機(jī)上，通過(guò)無(wú)人機(jī)對(duì)復(fù)雜背景下的接觸網(wǎng)絕緣子進(jìn)行高效識(shí)別。

由于該模型具有很快的計(jì)算速度，具有實(shí)時(shí)性，因此可以將其應(yīng)用在工業(yè)接觸網(wǎng)絕緣子清洗機(jī)器人中，進(jìn)行實(shí)時(shí)視覺(jué)引導(dǎo)，引導(dǎo)具有清洗功能機(jī)械臂對(duì)接觸網(wǎng)絕緣子進(jìn)行清理。在一定程度上提升了工作效率。

相較于傳統(tǒng)模型計(jì)算速度慢，難以進(jìn)行實(shí)時(shí)性的操作，將SSD-MobileNet模型應(yīng)用到接觸網(wǎng)絕緣子識(shí)別使這一問(wèn)題得到一定程度的解決。同時(shí)在一定程度上解決了接觸網(wǎng)絕緣子處理工程上效率和成本的部分難題。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境及搭建

本設(shè)計(jì)的實(shí)驗(yàn)環(huán)境采用Windows10操作系統(tǒng)，Python3.6開(kāi)發(fā)語(yǔ)言，CPU為core i7 6820HK，GPU顯卡為NVIDIA GTX 980m，內(nèi)存為16GB，并且進(jìn)行了對(duì)CUDA 10和CUDNN進(jìn)行了成功配置，即可用GPU加速運(yùn)算該算法。本研究采用Facebook推出的PyTorch深度學(xué)習(xí)框架、MobileNet-v1深度可分離卷積的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及SSD目標(biāo)檢測(cè)器。

2.2 數(shù)據(jù)預(yù)處理

在復(fù)雜背景下對(duì)接觸網(wǎng)絕緣子的圖片采集了2 000張左右，本文考慮到像素會(huì)影響訓(xùn)練，因此對(duì)采集到的像素為1 400×2 100的圖片進(jìn)行像素縮減，縮減至原來(lái)的1/2。本實(shí)驗(yàn)采用labelImg工具對(duì)圖片進(jìn)行標(biāo)注制成數(shù)據(jù)集。通過(guò)數(shù)據(jù)集擴(kuò)充程序?qū)в袠?biāo)簽的數(shù)據(jù)集進(jìn)行小樣本數(shù)據(jù)集增廣處理得到6 000張左右復(fù)雜背景下的接觸網(wǎng)絕緣子圖片。本實(shí)驗(yàn)將數(shù)據(jù)集的約80%作為訓(xùn)練集，剩余部分作為測(cè)試集。

2.3 實(shí)驗(yàn)設(shè)置

深度學(xué)習(xí)依賴于高效率的計(jì)算能力和大規(guī)模的數(shù)據(jù)集，由于實(shí)驗(yàn)數(shù)據(jù)集是有限的，為了提高網(wǎng)絡(luò)識(shí)別性能需要對(duì)MobileNet-v1進(jìn)行特征提取訓(xùn)練。所以本實(shí)驗(yàn)在官方給出的預(yù)訓(xùn)練模型的基礎(chǔ)上訓(xùn)練自己的數(shù)據(jù)集，大幅縮短訓(xùn)練時(shí)間。

實(shí)驗(yàn)采用分段訓(xùn)練，在整個(gè)模型訓(xùn)練過(guò)程中，在多個(gè)訓(xùn)練節(jié)點(diǎn)調(diào)整學(xué)習(xí)率的大小，減少模型訓(xùn)練過(guò)程中的損失。學(xué)習(xí)率的設(shè)置采用了warm up預(yù)熱學(xué)習(xí)率的方法[20]，因?yàn)樵谟?xùn)練剛開(kāi)始的時(shí)候，模型的權(quán)重是隨機(jī)進(jìn)行初始化的，此時(shí)若使用一個(gè)較大的學(xué)習(xí)率，有可能會(huì)帶來(lái)模型的不穩(wěn)定，使用warm up的方式，使開(kāi)始訓(xùn)練的幾個(gè)批次內(nèi)學(xué)習(xí)率較小(如0.001)。模型在較小學(xué)習(xí)率的預(yù)熱訓(xùn)練下，可以趨于穩(wěn)定，等模型相對(duì)穩(wěn)定之后，再選擇預(yù)先要使用的學(xué)習(xí)率(如，0.005)進(jìn)行訓(xùn)練，加快其收斂速度，讓訓(xùn)練效果更好。其中動(dòng)量參數(shù)momentum設(shè)置為0.9,整體訓(xùn)練過(guò)程采用隨機(jī)梯度下降算法(SGD)優(yōu)化整個(gè)網(wǎng)絡(luò)模型。

2.4 實(shí)驗(yàn)結(jié)果

經(jīng)過(guò)大約50 000步的訓(xùn)練，損失函數(shù)已經(jīng)收斂，見(jiàn)圖5。當(dāng)訓(xùn)練進(jìn)行到40 000步左右時(shí)，損失函數(shù)值已經(jīng)趨于平穩(wěn)，此時(shí)模型的性能趨于穩(wěn)定。使用測(cè)試集對(duì)訓(xùn)練好的模型進(jìn)行測(cè)試，其在測(cè)試集上的精度達(dá)到了90.59%，并且其在測(cè)試集上的平均耗時(shí)僅為0.039 9 s，見(jiàn)圖6。

圖5 損失函數(shù)圖Fig.5 Loss function graph

圖6 測(cè)試集測(cè)試結(jié)果圖Fig.6 Test results of the test set

2.5 模型對(duì)比

本實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)采用平均精確度AP(Average Precision)和平均檢測(cè)耗時(shí)Mean Time。其中檢測(cè)時(shí)間即為圖像加載到模型后經(jīng)卷積神經(jīng)網(wǎng)絡(luò)和檢測(cè)器到輸出結(jié)果所消耗的時(shí)間。平均精確率可以反映出一個(gè)模型的基本性能，而檢測(cè)耗時(shí)能反映出其實(shí)時(shí)性，也可側(cè)面反映其計(jì)算量。

將常規(guī)卷積的SSD模型與SSD-MobileNet模型的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，SSD模型與SSD-MobileNet模型均有較高的精確度，但檢測(cè)耗時(shí)方面，后者具有明顯優(yōu)勢(shì)，見(jiàn)表5。

表5 模型對(duì)比圖Table 5 Model comparison chart

其中，SSD-MobileNet模型相較于SSD模型精確度僅下降了1.6%左右，但其識(shí)別耗時(shí)為SSD模型的約4/5，速度顯著提升。檢測(cè)耗時(shí)僅為40 ms左右，對(duì)于絕緣子識(shí)別設(shè)備能夠較好地對(duì)其他設(shè)備進(jìn)行實(shí)時(shí)牽引控制。SSD-MobileNet模型相對(duì)于傳統(tǒng)模型其模型更輕量，速度更快，能更好地用于硬件有限的小型設(shè)備，因此其在復(fù)雜背景下接觸網(wǎng)絕緣子識(shí)別技術(shù)中降低成本，解決實(shí)時(shí)性視覺(jué)引導(dǎo)問(wèn)題有著重要的意義。

2.6 測(cè)試效果

本研究根據(jù)工程作業(yè)的實(shí)際情況，除復(fù)雜背景外光線和遮擋也會(huì)對(duì)識(shí)別絕緣子產(chǎn)生一定的影響。所以研究對(duì)3種常見(jiàn)情況下的接觸網(wǎng)絕緣子進(jìn)行效果測(cè)試，這3種情況下的絕緣子均在錯(cuò)綜復(fù)雜的背景中，測(cè)試效果見(jiàn)圖7。其中圖(a)和(b)為在較暗光線下的測(cè)試效果，圖(c)和(d)為在較強(qiáng)的陽(yáng)光下的測(cè)試效果，圖(e)和(f)為絕緣子在障礙物部分遮擋下的測(cè)試效果。

圖7 測(cè)試效果圖Fig.7 Test effect chart

根據(jù)本實(shí)驗(yàn)的測(cè)試效果來(lái)看，在不同難度的條件下絕緣子均能在復(fù)雜背景中被識(shí)別出來(lái)。反映了SSD-MobileNet模型應(yīng)用于復(fù)雜背景下接觸網(wǎng)絕緣子識(shí)別具有可行性。

3 結(jié)語(yǔ)

針對(duì)傳接觸網(wǎng)絕緣子識(shí)別算法識(shí)別效率低，使設(shè)備難以在工程中進(jìn)行實(shí)時(shí)性視覺(jué)引導(dǎo)，致使工程效率難以提升。本研究結(jié)合當(dāng)前接觸網(wǎng)絕緣子識(shí)別效率面臨的難題與當(dāng)前深度學(xué)習(xí)發(fā)展的科技前沿新成果，提出了將SSD-MobileNet輕量級(jí)模型應(yīng)用于復(fù)雜背景下接觸網(wǎng)絕緣子識(shí)別。相對(duì)于傳統(tǒng)卷積模型，在精度幾乎不變的情況下，大大地提升了系統(tǒng)處理數(shù)據(jù)速度，進(jìn)而大幅度降低了識(shí)別時(shí)間，使之能廣泛應(yīng)用在計(jì)算能力有限的嵌入式系統(tǒng)中，這非常順應(yīng)現(xiàn)如今的工程和工業(yè)的實(shí)際情況。該模型使設(shè)備的使用能夠靈活多變，以應(yīng)對(duì)各種復(fù)雜多變的使用環(huán)境。初步解決了當(dāng)前識(shí)別效率的難題。但是根據(jù)實(shí)驗(yàn)結(jié)果，其精度相較于SSD模型略有下降，網(wǎng)絡(luò)結(jié)構(gòu)部分仍有較大的提升空間，因此在今后的實(shí)驗(yàn)會(huì)對(duì)該部分進(jìn)行進(jìn)一步的研究。