彭志遠(yuǎn)，谷湘煜，楊利萍，周仁彬，鄒 娟，劉曉熠

(深圳市朗馳欣創(chuàng)科技股份有限公司 技術(shù)研發(fā)部，四川 成都 610000)

0 引 言

隨著我國(guó)智能電網(wǎng)的推進(jìn)[1]，變電站設(shè)備巡視逐漸由人工巡檢向機(jī)器人巡檢過(guò)渡，并取得了良好的效果[2,3]。目前，變電站巡檢機(jī)器人主要采用定點(diǎn)檢測(cè)方法，即行駛至固定點(diǎn)后再檢測(cè)，但受限于機(jī)器人平臺(tái)性能，大多數(shù)巡檢機(jī)器人導(dǎo)航避障仍采用磁導(dǎo)航和激光雷達(dá)導(dǎo)航等方式，該方法精度相對(duì)較高，但對(duì)機(jī)器人所處環(huán)境理解程度較低[4]。而基于視覺(jué)的導(dǎo)航方法雖然可以獲取稠密的場(chǎng)景信息，但由于其檢測(cè)精度較低和資源消耗較大，限制了該方法在巡檢機(jī)器人中的應(yīng)用[5]。對(duì)于變電站儀表的識(shí)別檢測(cè)，盡管傳統(tǒng)機(jī)器學(xué)習(xí)方法可以基本實(shí)現(xiàn)自動(dòng)檢測(cè)，但受目標(biāo)特征選擇以及環(huán)境因素的影響，該方式檢測(cè)效果并不佳[6]。而基于深度學(xué)習(xí)的檢測(cè)方法有效避免了人工特征選擇的局限性，但需要占用大量的計(jì)算資源[7]。因此，為有效解決上述問(wèn)題，研究一種場(chǎng)景理解和儀表檢測(cè)交替實(shí)現(xiàn)的方法不僅可以輔助機(jī)器人導(dǎo)航避障的同時(shí)有效完成巡檢任務(wù)，而且充分利用了變電站巡檢機(jī)器人的平臺(tái)資源，對(duì)機(jī)器人智能化以及無(wú)人值守變電站的發(fā)展都有較大的推動(dòng)作用。

目前對(duì)于變電站巡檢機(jī)器人儀表檢測(cè)和場(chǎng)景理解的研究主要是針對(duì)單個(gè)任務(wù)提出對(duì)應(yīng)的解決方法。劉明春等[8]針對(duì)變電站場(chǎng)景理解提出了一種端到端的輕量級(jí)神經(jīng)網(wǎng)絡(luò)，提升了巡檢機(jī)器人對(duì)自身環(huán)境的理解能力。湯亮等[9]針對(duì)變電站儀表檢測(cè)，利用邊緣提取與距離法相結(jié)合，提出了一種基于特征空間變換的儀表檢測(cè)識(shí)別方法。賀嘉琪[10]采用深度神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜環(huán)境下的儀表信息進(jìn)行識(shí)別提取，并通過(guò)訓(xùn)練實(shí)現(xiàn)對(duì)不同傾斜程度的儀表進(jìn)行檢測(cè)。盡管目前也有部分研究者提出了多任務(wù)同時(shí)實(shí)現(xiàn)的方法，但更多應(yīng)用于自動(dòng)駕駛領(lǐng)域。He等[11]提出了Mask R-CNN實(shí)例分割算法，可同時(shí)實(shí)現(xiàn)對(duì)目標(biāo)的分類(lèi)、檢測(cè)以及實(shí)例分割等任務(wù)。Sistu等[12]將檢測(cè)跟蹤一體化，利用輕量級(jí)網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)義分割和目標(biāo)檢測(cè)。由此可見(jiàn)，單任務(wù)方法完成任務(wù)量有限，而多任務(wù)方法需要大量計(jì)算資源。因此，如何充分利用機(jī)器人資源，盡可能多地完成機(jī)器人巡檢任務(wù)具有較大的實(shí)用價(jià)值。

針對(duì)以上問(wèn)題，本文在前人研究成果的基礎(chǔ)上，提出了一種適用于變電站巡檢機(jī)器人的多任務(wù)交替實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)以改進(jìn)的Inception結(jié)構(gòu)結(jié)合注意力機(jī)制構(gòu)建特征提取結(jié)構(gòu)，兼顧特征提取的有效性以及網(wǎng)絡(luò)計(jì)算效率，并利用特征逐層融合、特征金字塔等多種策略設(shè)計(jì)儀表檢測(cè)以及場(chǎng)景理解任務(wù)支路，保證網(wǎng)絡(luò)檢測(cè)與分割精度。同時(shí)，為充分利用機(jī)器人平臺(tái)資源，將特征提取結(jié)構(gòu)提取的信息進(jìn)行圖像分類(lèi)后自動(dòng)選擇相應(yīng)的任務(wù)支路，實(shí)現(xiàn)多任務(wù)交替運(yùn)行。

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 整體框架

本文所搭建的變電站巡檢機(jī)器人儀表檢測(cè)與場(chǎng)景理解網(wǎng)絡(luò)基本框架如圖1所示。網(wǎng)絡(luò)主要分為3個(gè)部分：特征提取、控制模塊以及任務(wù)分支。特征提取結(jié)構(gòu)以深度可分離卷積、多層卷積等方式改進(jìn)Inception結(jié)構(gòu)，并結(jié)合注意力機(jī)制策略提升特征有效性；任務(wù)控制模塊利用特征提取結(jié)構(gòu)獲取的深層抽象特征對(duì)圖像進(jìn)行二分類(lèi)，并結(jié)合dro-pout層控制執(zhí)行對(duì)應(yīng)的任務(wù)支路，以交替運(yùn)行的方式降低對(duì)機(jī)器人平臺(tái)計(jì)算資源的需求；任務(wù)分支結(jié)構(gòu)主要分為目標(biāo)檢測(cè)和語(yǔ)義分割，采用跳層上采樣、多層預(yù)測(cè)、空間金字塔池化等多個(gè)策略，分別實(shí)現(xiàn)儀表檢測(cè)和場(chǎng)景理解兩個(gè)任務(wù)。該網(wǎng)絡(luò)針對(duì)變電站機(jī)器人實(shí)際應(yīng)用場(chǎng)景，并通過(guò)借鑒目前經(jīng)典網(wǎng)絡(luò)設(shè)計(jì)方法，充分利用了巡檢機(jī)器人平臺(tái)計(jì)算資源，使機(jī)器人高效完成巡檢任務(wù)。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)框架

1.2 特征提取結(jié)構(gòu)

特征提取結(jié)構(gòu)其核心思想是通過(guò)一系列卷積操作，逐步從淺層邊緣信息到深層抽象類(lèi)別信息提取的過(guò)程，而特征提取的好壞往往決定著后續(xù)任務(wù)支路的預(yù)測(cè)精度。通常，網(wǎng)絡(luò)的深度決定了網(wǎng)絡(luò)的學(xué)習(xí)能力，即網(wǎng)絡(luò)越深，其表達(dá)能力越強(qiáng)；網(wǎng)絡(luò)寬度決定網(wǎng)絡(luò)在該層所獲取的特征信息量，越寬其獲取的信息維度越大；網(wǎng)絡(luò)感受野決定網(wǎng)絡(luò)在該層能檢測(cè)到的范圍，不同的感受野可有效獲取目標(biāo)多尺度信息。因此，基于網(wǎng)絡(luò)基本特點(diǎn)，本文借鑒前人所設(shè)計(jì)的網(wǎng)絡(luò)模型[13-20]，搭建了適用于變電站巡檢機(jī)器人的特征提取結(jié)構(gòu)。

本文所搭建的特征提取結(jié)構(gòu)主要由兩個(gè)基本模塊：改進(jìn)的Inception結(jié)構(gòu)和注意力Attention模塊串聯(lián)堆疊構(gòu)成，如圖2所示。圖2(a)為改進(jìn)的Inception結(jié)構(gòu)，該結(jié)構(gòu)采用多卷積核并列的方式來(lái)提取特征，使網(wǎng)絡(luò)能充分提取多尺度目標(biāo)特征信息，有效提升了對(duì)不同大小目標(biāo)的適應(yīng)度。但由于多個(gè)并列卷積不可避免使效率降低，為了能更好應(yīng)用于變電站巡檢機(jī)器人平臺(tái)，將每條支路通過(guò)點(diǎn)卷積降低通道數(shù)后再以深度可分離卷積提取特征，并采用串聯(lián)3×3小卷積核來(lái)替代5×5大卷積核，不僅降低了網(wǎng)絡(luò)參數(shù)，也增加了網(wǎng)絡(luò)深度，進(jìn)而提高網(wǎng)絡(luò)效率以及表達(dá)能力。圖2(b)為注意力模塊結(jié)構(gòu)，主要對(duì)Inception結(jié)構(gòu)提取的特征信息進(jìn)行重調(diào)，使網(wǎng)絡(luò)提高有效特征權(quán)重并壓縮噪聲和無(wú)用信息。該模塊采用平均池化將特征圖變?yōu)橐痪S向量，再通過(guò)先降維再升維的兩個(gè)全連接操作配合激活函數(shù)來(lái)自主學(xué)習(xí)權(quán)重。兩層不同維度的FC層可以在引入較少計(jì)算量的同時(shí)使網(wǎng)絡(luò)具有更多非線(xiàn)性，更好擬合特征通道間復(fù)雜的相關(guān)性。最后，為避免整個(gè)網(wǎng)絡(luò)因過(guò)層數(shù)深而造成梯度消失，網(wǎng)絡(luò)也引入了ResNet結(jié)構(gòu)中的殘差連接來(lái)緩解。特征提取結(jié)構(gòu)細(xì)節(jié)見(jiàn)表1。

圖2 特征提取模塊

表1 特征提取結(jié)構(gòu)

1.3 控制模塊

由于巡檢機(jī)器人平臺(tái)性能較低，而基于深度神經(jīng)網(wǎng)絡(luò)的方法需要大量的計(jì)算。因此，為了能充分利用機(jī)器人平臺(tái)計(jì)算資源，使網(wǎng)絡(luò)能更好的實(shí)際應(yīng)用，本文提出了多任務(wù)交替運(yùn)行的控制結(jié)構(gòu)。該結(jié)構(gòu)根據(jù)不同的輸入控制網(wǎng)絡(luò)選擇相應(yīng)的任務(wù)支路進(jìn)行處理，使網(wǎng)絡(luò)能在有限的平臺(tái)資源上，盡可能完成更多的任務(wù)，模塊基本如圖3所示。

圖3 任務(wù)控制模塊

控制模塊首先利用注意力模塊對(duì)特征提取結(jié)構(gòu)最后一層的特征進(jìn)行權(quán)重重調(diào)，降低特征中的噪聲干擾，提升有效信息權(quán)重；然后，采用全局平均池化將特征抽象化為一維特征向量，并利用全連接來(lái)融合學(xué)習(xí)到的深度特征；最后，通過(guò)Softmax函數(shù)對(duì)圖像進(jìn)行二分類(lèi)，將分類(lèi)結(jié)果轉(zhuǎn)化為0-1形式，分別輸入至兩任務(wù)支路dropout層作為神經(jīng)元激活率，當(dāng)激活率為0時(shí)，表示所有神經(jīng)元不激活(即該支路斷開(kāi))，反之為1時(shí)，所有神經(jīng)元激活(即該支路連通)，從而實(shí)現(xiàn)控制不同任務(wù)支路的目的。該模塊通過(guò)控制神經(jīng)元激活，可有效減少網(wǎng)絡(luò)對(duì)無(wú)效信息的處理，使網(wǎng)絡(luò)的效率得到了較大的提升。同時(shí)，在實(shí)際訓(xùn)練過(guò)程中，分類(lèi)部分的損失可作為輔助損失函數(shù)，通過(guò)不同權(quán)重來(lái)平衡輔助損失，與任務(wù)支路的損失共同優(yōu)化網(wǎng)絡(luò)參數(shù)，可加速網(wǎng)絡(luò)收斂過(guò)程。

1.4 任務(wù)結(jié)構(gòu)

任務(wù)結(jié)構(gòu)分為儀表檢測(cè)和場(chǎng)景理解兩條支路，分別實(shí)現(xiàn)機(jī)器人對(duì)變電站儀表的檢測(cè)定位以及對(duì)道路場(chǎng)景識(shí)別理解。兩條支路均通過(guò)控制模塊與淺層特征結(jié)合，利用多種網(wǎng)絡(luò)構(gòu)建策略，實(shí)現(xiàn)儀表檢測(cè)與場(chǎng)景理解任務(wù)。

儀表檢測(cè)支路如圖4所示，為保證網(wǎng)絡(luò)對(duì)不同尺度儀表的檢測(cè)精度，將特征提取結(jié)構(gòu)Stage3～Stage6的最后一層作為儀表檢測(cè)輸入，根據(jù)特征圖大小從小到大依次卷積上采樣并逐層融合，而每個(gè)尺度都分別對(duì)目標(biāo)進(jìn)行預(yù)測(cè)，最后融合所有的預(yù)測(cè)，通過(guò)非極大值抑制算法篩選最終的檢測(cè)結(jié)果。通過(guò)多個(gè)尺度預(yù)測(cè)，有效保證了對(duì)不同大小目標(biāo)的檢測(cè)，而不同尺度特征通過(guò)逐層融合豐富特征信息也進(jìn)一步提升了網(wǎng)絡(luò)精度儀表檢測(cè)精度。同時(shí)，訓(xùn)練儀表檢測(cè)網(wǎng)絡(luò)時(shí)，對(duì)先驗(yàn)框的選擇借鑒文獻(xiàn)[14]的方法，通過(guò)K-means算法將訓(xùn)練樣本的目標(biāo)框進(jìn)行聚類(lèi)，利用式(1)計(jì)算方式來(lái)為每個(gè)尺度(Stage3～Stage6)聚類(lèi)出3個(gè)先驗(yàn)框，其中IOU為先驗(yàn)框與目標(biāo)框面積交集除以并集，IOU越大越好

d=1-IOU

(1)

圖4 儀表檢測(cè)模塊

場(chǎng)景理解支路如圖5所示，相對(duì)于目標(biāo)檢測(cè)，場(chǎng)景識(shí)別需要更多目標(biāo)邊緣細(xì)節(jié)信息。通常，網(wǎng)絡(luò)層越深，包含的全局信息越多；網(wǎng)絡(luò)層越淺，局部信息越多，但同時(shí)也含更多噪聲。因此，本文通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，特征提取結(jié)構(gòu)中，Stage3層包含的信息相對(duì)其它層更為豐富。因此，場(chǎng)景識(shí)別支路除了利用Stage4～Stage6最后一層的特征信息外，對(duì)Stage3最后一層的特征進(jìn)行了充分的挖掘。網(wǎng)絡(luò)利用點(diǎn)卷積、空洞卷積和平均池化對(duì)Stage3進(jìn)行深入挖掘，將空洞卷積后的特征信息與Stage4～Stage6對(duì)應(yīng)尺度一一融合(Eltwise操作)；然后，將多個(gè)尺度特征上采樣至Stage3大小(Upsample操作)；最后拼接所有特征再卷積上采樣至原圖尺寸輸出。該支路采用空間金字塔結(jié)構(gòu)將淺層特征與深層特征相互結(jié)合，充分獲取圖像中各個(gè)目標(biāo)邊緣信息以及全局信息，有效保證了網(wǎng)絡(luò)對(duì)場(chǎng)景的識(shí)別精度。

圖5 場(chǎng)景理解模塊

2 實(shí)驗(yàn)與結(jié)果分析

為有效驗(yàn)證所提網(wǎng)絡(luò)的可行性和實(shí)用性，本文采用Caffe深度學(xué)習(xí)框架對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練測(cè)試。實(shí)驗(yàn)主要利用公開(kāi)標(biāo)準(zhǔn)數(shù)據(jù)集以及實(shí)際變電站場(chǎng)景對(duì)網(wǎng)絡(luò)的性能和實(shí)用性進(jìn)行了測(cè)試。為了更好的將實(shí)驗(yàn)結(jié)果與同類(lèi)型網(wǎng)絡(luò)進(jìn)行對(duì)比，網(wǎng)絡(luò)訓(xùn)練時(shí)超參數(shù)主要借鑒文獻(xiàn)[13-20]的參數(shù)設(shè)置。網(wǎng)絡(luò)訓(xùn)練時(shí)以Adam優(yōu)化方法更新網(wǎng)絡(luò)參數(shù)；學(xué)習(xí)率的設(shè)置采用step模式，設(shè)置初始學(xué)習(xí)率為0.01，迭代30 000次之后每迭代10 000次學(xué)習(xí)率下降一次；優(yōu)化方案采用動(dòng)量法，參數(shù)設(shè)為0.9；同時(shí)權(quán)值衰減系數(shù)設(shè)為0.0005。網(wǎng)絡(luò)訓(xùn)練基本流程如下：

(1)選擇訓(xùn)練數(shù)據(jù)集中的一個(gè)樣本及其對(duì)應(yīng)的標(biāo)簽；

(2)將樣本輸入網(wǎng)絡(luò)，通過(guò)前向傳播計(jì)算網(wǎng)絡(luò)的輸出；

(3)計(jì)算網(wǎng)絡(luò)輸出與實(shí)際值(標(biāo)簽)之間的誤差；

(4)利用誤差反向傳播算法，調(diào)整網(wǎng)絡(luò)的權(quán)值；

(5)對(duì)每個(gè)樣本重復(fù)上述過(guò)程，直到網(wǎng)絡(luò)收斂。

網(wǎng)絡(luò)性能的評(píng)價(jià)主要分為分類(lèi)、檢測(cè)和分割3部分來(lái)衡量。分類(lèi)性能采用平均精度(AP)來(lái)評(píng)價(jià)，如式(2)、式(3)所示

(2)

(3)

其中，N(TP)i表示類(lèi)別i被正確分類(lèi)數(shù)量，N(Total)i表示類(lèi)別i的圖像總數(shù)，Pi表示類(lèi)別i的精度；Ncls表示總的分類(lèi)類(lèi)別數(shù)。

儀表檢測(cè)性能采用均值平均精度(mAP)來(lái)評(píng)價(jià)，如式(4)～式(6)所示

(4)

(5)

(6)

其中，儀表檢測(cè)評(píng)價(jià)公式為了與分類(lèi)區(qū)分，取C表示類(lèi)別；N(TruePositives)C表示一張圖像中C類(lèi)目標(biāo)正確預(yù)測(cè)的數(shù)量；N(TotalObject)C表示該圖像中C類(lèi)目標(biāo)總數(shù)；PrecisionC表示該圖像中C類(lèi)目標(biāo)檢測(cè)精度；N(TotalImage)C表示包含C類(lèi)目標(biāo)的圖像數(shù)量；APC表示所有圖像中C類(lèi)目標(biāo)的平均精度；N(Classes)表示樣本中類(lèi)別數(shù)。

語(yǔ)義分割性能采用全局精度(G)、平均精度(C)以及交除并均值(IoU)來(lái)評(píng)價(jià)，如式(7)～式(9)所示

(7)

(8)

(9)

其中，i，j分別表示類(lèi)別i和類(lèi)別j；nii表示屬于類(lèi)別i被正確預(yù)測(cè)的像素個(gè)數(shù)；nji表示屬于類(lèi)別j卻被預(yù)測(cè)為類(lèi)別i的像素個(gè)數(shù)；ncl表示分割總的類(lèi)數(shù)；ti表示類(lèi)別i的總像素。

2.1 標(biāo)準(zhǔn)數(shù)據(jù)集

對(duì)于網(wǎng)絡(luò)的分類(lèi)性能，實(shí)驗(yàn)首先對(duì)改進(jìn)的Inception分類(lèi)網(wǎng)絡(luò)進(jìn)行測(cè)試，將COCO和CamVid數(shù)據(jù)集作為兩類(lèi)，設(shè)置batchsize為4，在Titan X GPU上迭代訓(xùn)練約10萬(wàn)次收斂后測(cè)試結(jié)果見(jiàn)表2。同時(shí)，將改進(jìn)后的網(wǎng)絡(luò)與文獻(xiàn)[14]、文獻(xiàn)[15]的同類(lèi)型分類(lèi)網(wǎng)絡(luò)對(duì)比見(jiàn)表3，其中FPS表示每秒執(zhí)行圖像幀數(shù)，COCO和CamVid表示每類(lèi)圖像正確分類(lèi)概率。

表2 改進(jìn)結(jié)構(gòu)測(cè)試

表3 分類(lèi)網(wǎng)絡(luò)對(duì)比

由表中可以看出，改進(jìn)的Inception結(jié)構(gòu)對(duì)網(wǎng)絡(luò)效率有較大提升，而結(jié)合Attention進(jìn)一步保障了網(wǎng)絡(luò)精度。同時(shí)，該分類(lèi)網(wǎng)絡(luò)與同類(lèi)網(wǎng)絡(luò)相比在效率與精度上都達(dá)到了較高的水平，可以有效保障后續(xù)控制模塊以及任務(wù)支路的正常運(yùn)行。對(duì)于任務(wù)支路的驗(yàn)證，本文先將整個(gè)網(wǎng)絡(luò)分為儀表檢測(cè)和場(chǎng)景理解兩個(gè)網(wǎng)絡(luò)進(jìn)行單獨(dú)測(cè)試。儀表檢測(cè)網(wǎng)絡(luò)主要利用COCO數(shù)據(jù)集進(jìn)行測(cè)試，通過(guò)統(tǒng)計(jì)標(biāo)注框尺寸分布，將目標(biāo)框分為大中小3類(lèi)(以面積為362和922區(qū)分)。實(shí)驗(yàn)首先對(duì)不同融合層進(jìn)行了測(cè)試，然后選擇最優(yōu)的融合方式與同類(lèi)型網(wǎng)絡(luò)進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果見(jiàn)表4和表5，其中mAPs、mAPm、mAPl分別表示網(wǎng)絡(luò)對(duì)小中大目標(biāo)的檢測(cè)精度。

表4 多層融合測(cè)試結(jié)果

表5 儀表檢測(cè)網(wǎng)絡(luò)對(duì)比

場(chǎng)景識(shí)別網(wǎng)絡(luò)測(cè)試主要利用CamVid數(shù)據(jù)集，實(shí)驗(yàn)首先對(duì)特征提取結(jié)構(gòu)Stage3～Stage6最后一層包含的圖像信息量進(jìn)行了測(cè)試；然后，分別對(duì)Stage4～Stage6層、空洞卷積Stage3層以及兩者結(jié)合構(gòu)成的空間金字塔結(jié)構(gòu)進(jìn)行了測(cè)試；最后將所提場(chǎng)景識(shí)別網(wǎng)絡(luò)與當(dāng)前同類(lèi)型主流網(wǎng)絡(luò)進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果見(jiàn)表6～表8。

表6 特征層信息量測(cè)試

表7 特征金字塔結(jié)構(gòu)測(cè)試

表8 場(chǎng)景理解網(wǎng)絡(luò)測(cè)試

對(duì)于整個(gè)網(wǎng)絡(luò)的測(cè)試驗(yàn)證，本文將分類(lèi)誤差作為輔助損失并賦予相應(yīng)的權(quán)重，與儀表檢測(cè)誤差和場(chǎng)景理解誤差相結(jié)合，共同優(yōu)化網(wǎng)絡(luò)參數(shù)。網(wǎng)絡(luò)訓(xùn)練時(shí)，控制模塊dro-pout層激活率由輸入圖像類(lèi)別標(biāo)簽決定，即當(dāng)輸入圖像屬于COCO數(shù)據(jù)集時(shí)，控制模塊選擇儀表檢測(cè)支路，場(chǎng)景識(shí)別支路dropout激活率為0，不參與該輪訓(xùn)練；反之，當(dāng)輸入圖像屬于CamVid數(shù)據(jù)集時(shí)，儀表檢測(cè)支路不參與訓(xùn)練。網(wǎng)絡(luò)測(cè)試時(shí)，控制模塊dropout層激活率則根據(jù)圖像分類(lèi)結(jié)果控制。實(shí)驗(yàn)首先測(cè)試不同分類(lèi)損失權(quán)重對(duì)網(wǎng)絡(luò)精度的影響，然后將最優(yōu)的網(wǎng)絡(luò)與目前典型的多任務(wù)網(wǎng)絡(luò)進(jìn)行了對(duì)比，測(cè)試結(jié)果見(jiàn)表9和表10。

表9 輔助損失權(quán)重測(cè)試

表10 多任務(wù)網(wǎng)絡(luò)對(duì)比

為進(jìn)一步驗(yàn)證所提控制模塊的可行性，本文將控制模塊移植于傳統(tǒng)的目標(biāo)檢測(cè)和語(yǔ)義分割網(wǎng)絡(luò)中，對(duì)于單任務(wù)網(wǎng)絡(luò)，引入控制模塊后新增一條任務(wù)支路(如目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLO新增本文的場(chǎng)景理解支路，語(yǔ)義分割網(wǎng)絡(luò)SegNet新增儀表檢測(cè)支路，其它網(wǎng)絡(luò)同理)；多任務(wù)網(wǎng)絡(luò)(如MRCNN, MultiNet)則直接移植控制模塊。通過(guò)實(shí)驗(yàn)測(cè)試移植后的網(wǎng)絡(luò)與本文網(wǎng)絡(luò)對(duì)比，實(shí)驗(yàn)結(jié)果見(jiàn)表11。

表11 控制模塊移植測(cè)試對(duì)比

根據(jù)上述實(shí)驗(yàn)結(jié)果可以看出，對(duì)于儀表檢測(cè)支路，深層網(wǎng)絡(luò)對(duì)大尺度目標(biāo)檢測(cè)較好，對(duì)小目標(biāo)檢測(cè)較差，而通過(guò)逐層融合檢測(cè)的方式可有效提升小目標(biāo)檢測(cè)精度并保證對(duì)大目標(biāo)的檢測(cè)；場(chǎng)景識(shí)別支路中，特征提取結(jié)構(gòu)網(wǎng)絡(luò)層所含信息量呈高斯分布，通過(guò)對(duì)stage3網(wǎng)絡(luò)進(jìn)一步信息挖掘后與深層特征結(jié)合可更好獲取圖像整體以及細(xì)節(jié)信息。同時(shí)，與同類(lèi)型網(wǎng)絡(luò)相比，兩支路網(wǎng)絡(luò)也體現(xiàn)出更高的性能優(yōu)勢(shì)。對(duì)于整體網(wǎng)絡(luò)而言，不同權(quán)重的分類(lèi)輔助損失對(duì)網(wǎng)絡(luò)精度有一定影響，但影響較小，而合并支路后的網(wǎng)絡(luò)由于任務(wù)增加,使各支路精度略微下降，但相對(duì)于其它多任務(wù)網(wǎng)絡(luò)，所提網(wǎng)絡(luò)有效平衡了精度與效率。最后，通過(guò)在多個(gè)傳統(tǒng)網(wǎng)絡(luò)中引入控制模塊的測(cè)試結(jié)果也進(jìn)一步驗(yàn)證了本文所提方法的可行性，對(duì)網(wǎng)絡(luò)精度與效率的平衡提供了一種解決思路。

2.2 變電站數(shù)據(jù)集

標(biāo)準(zhǔn)數(shù)據(jù)集主要對(duì)網(wǎng)絡(luò)性能進(jìn)行驗(yàn)證，為進(jìn)一步驗(yàn)證網(wǎng)絡(luò)對(duì)實(shí)際變電站場(chǎng)景中的適應(yīng)性，本文利用搭載NVIDIA Jetson TX2嵌入式平臺(tái)的變電站巡檢機(jī)器人對(duì)網(wǎng)絡(luò)進(jìn)行了測(cè)試。實(shí)驗(yàn)首先利用巡檢機(jī)器人對(duì)變電站儀表以及道路場(chǎng)景進(jìn)行數(shù)據(jù)采集，從兩類(lèi)圖像中篩選出重復(fù)率低的圖像各10 000張，利用labelme軟件分別標(biāo)注儀表目標(biāo)和語(yǔ)義分割目標(biāo)后，再通過(guò)數(shù)據(jù)增強(qiáng)方法將兩類(lèi)數(shù)據(jù)擴(kuò)增至50 000張。其中，儀表圖像中根據(jù)儀表種類(lèi)將其分為4類(lèi)(如指針式、數(shù)字式、液位式等)，道路場(chǎng)景根據(jù)標(biāo)注目標(biāo)分為6類(lèi)(如道路、雜草、石頭、路坑等)。通過(guò)訓(xùn)練收斂后，與引入控制模塊后的傳統(tǒng)網(wǎng)絡(luò)在NVIDIA TX2平臺(tái)上進(jìn)行測(cè)試對(duì)比，對(duì)比結(jié)果見(jiàn)表12。最后，將網(wǎng)絡(luò)應(yīng)用于機(jī)器人巡檢中，測(cè)試機(jī)器人正常巡檢時(shí)完成整套視覺(jué)任務(wù)的時(shí)間消耗以及網(wǎng)絡(luò)檢測(cè)識(shí)別效果，實(shí)驗(yàn)測(cè)試結(jié)果如表13和圖6所示。

表12 變電站數(shù)據(jù)測(cè)試對(duì)比

表13 機(jī)器人網(wǎng)絡(luò)應(yīng)用效率測(cè)試

根據(jù)實(shí)驗(yàn)結(jié)果可以看出，通過(guò)在傳統(tǒng)網(wǎng)絡(luò)中引入控制模塊的方法可以使單任務(wù)網(wǎng)絡(luò)實(shí)現(xiàn)了多個(gè)任務(wù)，避免了對(duì)資源的過(guò)度占用；而多任務(wù)網(wǎng)絡(luò)轉(zhuǎn)化為了單任務(wù)的處理，保證網(wǎng)絡(luò)的計(jì)算效率。同時(shí)，本文所提網(wǎng)絡(luò)在優(yōu)化后的傳統(tǒng)網(wǎng)絡(luò)中進(jìn)一步平衡了網(wǎng)絡(luò)的檢測(cè)分割精度與效率，使網(wǎng)絡(luò)在實(shí)際變電站巡檢機(jī)器人應(yīng)用中的效率達(dá)到每秒16幀左 右。盡管效率不算太高，但對(duì)于速度相對(duì)較慢的變電站巡檢機(jī)器人而言，該網(wǎng)絡(luò)基本滿(mǎn)足其巡檢需求，并能準(zhǔn)確有效的為機(jī)器人提供道路場(chǎng)景以及儀表位置信息。

圖6 儀表檢測(cè)和場(chǎng)景識(shí)別效果

3 結(jié)束語(yǔ)

本文以變電站巡檢機(jī)器人為應(yīng)用平臺(tái)，針對(duì)實(shí)際變電站儀表檢測(cè)以及機(jī)器人場(chǎng)景理解等問(wèn)題，搭建了一個(gè)兼顧精度以及效率的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)以深度可分離卷積結(jié)合注意力機(jī)制平衡特征有效性以及提取的效率，以基于dropout層的控制結(jié)構(gòu)自主選擇任務(wù)支路，充分利用機(jī)器人平臺(tái)計(jì)算資源，并采用基于金字塔機(jī)制的多尺度解碼結(jié)構(gòu)有效獲取目標(biāo)多尺度信息，實(shí)現(xiàn)儀表檢測(cè)和場(chǎng)景理解任務(wù)。通過(guò)在公開(kāi)數(shù)據(jù)集和變電站數(shù)據(jù)集上的測(cè)試結(jié)果表明，本文所提方法有效兼顧了網(wǎng)絡(luò)效率與多任務(wù)實(shí)現(xiàn)，其檢測(cè)分割性能都較優(yōu)于同類(lèi)型網(wǎng)絡(luò)；同時(shí)，在實(shí)際變電站巡檢機(jī)器人應(yīng)用中，該網(wǎng)絡(luò)也表現(xiàn)出高效的檢測(cè)分割性能，對(duì)機(jī)器人的巡檢效率有較大提升。在后續(xù)工作中，將針對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)一步對(duì)網(wǎng)絡(luò)性能進(jìn)行改進(jìn)優(yōu)化；同時(shí)，結(jié)合機(jī)器人其它傳感器信息，進(jìn)一步完善機(jī)器人巡檢系統(tǒng)，提升機(jī)器人智能化水平。