趙振兵 ， 丁潔濤

(1.華北電力大學(xué)電子與通信工程系， 保定 071003； 2.華北電力大學(xué)河北省電力物聯(lián)網(wǎng)技術(shù)重點(diǎn)實(shí)驗(yàn)室， 保定 071003； 3.華北電力大學(xué)復(fù)雜能源系統(tǒng)智能計(jì)算教育部工程研究中心， 保定 071003)

輸電線路是中國(guó)新一代電力系統(tǒng)中最重要的部分之一，保障輸電線路的可靠性是能源互聯(lián)網(wǎng)和智能電網(wǎng)建設(shè)的重要內(nèi)容[1]。在輸電線路中，螺栓用于連接各個(gè)部件，維持結(jié)構(gòu)穩(wěn)定。螺栓長(zhǎng)期暴露于風(fēng)吹、雨淋等環(huán)境中，會(huì)受到外力的拉扯產(chǎn)生晃動(dòng)，從而導(dǎo)致螺栓銷釘脫落[2]。因此，定期進(jìn)行輸電線路的巡檢，排查出缺銷螺栓，對(duì)電網(wǎng)系統(tǒng)的安全運(yùn)行起到了至關(guān)重要的作用。

近些年，由于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)[3]能學(xué)習(xí)真實(shí)世界對(duì)象抽象視覺(jué)特征，這種特征具有泛化性,已被證明在許多視覺(jué)領(lǐng)域取得成功?；谏疃壬窠?jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法主要分為兩類：一類是以Faster R-CNN[4]為代表的基于區(qū)域建議的二階段檢測(cè)模型；另一類是以SSD(single shot detector)[5]和YOLO(you only look once)[6]為代表的基于回歸的一階段檢測(cè)模型。隨著深度神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)領(lǐng)域的成功，基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型也逐漸應(yīng)用到輸電線路航拍圖像的檢測(cè)任務(wù)中。文獻(xiàn)[7]提出了一種螺栓視覺(jué)形狀的無(wú)監(jiān)督聚類方法，并應(yīng)用該方法建立了一個(gè)能夠?qū)W習(xí)視覺(jué)形狀差異的缺陷檢測(cè)模型。然后，在模型中采用了三種深度卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法：特征增強(qiáng)、特征融合和區(qū)域特征提取，對(duì)區(qū)域特征進(jìn)行回歸計(jì)算和分類，得到缺陷檢測(cè)結(jié)果。文獻(xiàn)[8]提出一種基于改進(jìn)Mask R-CNN模型的電力場(chǎng)景目標(biāo)檢測(cè)方法，利用遷移學(xué)習(xí)策略初始化主網(wǎng)絡(luò)參數(shù)，結(jié)合特征金字塔算法進(jìn)行自上而下的特征提取，解決目標(biāo)多尺度問(wèn)題，引入拉普拉斯卷積層增強(qiáng)目標(biāo)邊緣提取能力，提高低質(zhì)量視頻檢測(cè)性能。文獻(xiàn)[9]提出一種基于YOLOv4的輸電線路關(guān)鍵部件實(shí)時(shí)檢測(cè)方法，利用自適應(yīng)路徑融合網(wǎng)絡(luò)增強(qiáng)網(wǎng)絡(luò)的位置信息和語(yǔ)義信息的提取能力。文獻(xiàn)[10]提出一種將傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法進(jìn)行輸電線路故障識(shí)別。首先利用經(jīng)驗(yàn)小波變換提取輸電線路的故障特征，再使用改進(jìn)的學(xué)習(xí)矢量量化神經(jīng)網(wǎng)絡(luò)識(shí)別故障類型。文獻(xiàn)[11]提出一種MobileNet-SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)，并將模型部署到了嵌入式設(shè)備上，測(cè)試結(jié)果顯示，在保持高精度檢測(cè)結(jié)果的前提下，檢測(cè)速度快了28倍。文獻(xiàn)[12]提出了一種將多尺度注意力和空間注意力相結(jié)合的輸電線路螺栓缺陷檢測(cè)方法，達(dá)到了增強(qiáng)螺栓特征和突出螺栓位置的效果。文獻(xiàn)[13]提出了一種基于DBSCAN(density-based spatial clustering of applications with noise)算法與FPN(feature pyramid network)相結(jié)合的螺栓缺陷檢測(cè)方法。DBSCAN算法充分地利用了螺栓目標(biāo)結(jié)構(gòu)的相似性，在FPN網(wǎng)絡(luò)中引入了先驗(yàn)知識(shí)指導(dǎo)模型訓(xùn)練，同時(shí)利用雙線性插值和卷積濾波方法進(jìn)行螺栓特征的融合。

螺栓圖像具有目標(biāo)小的特點(diǎn)，標(biāo)注人員需要具備一定的專業(yè)知識(shí)。將全監(jiān)督檢測(cè)模型應(yīng)用于螺栓缺陷檢測(cè)，圖像的目標(biāo)級(jí)標(biāo)注是一個(gè)巨大的挑戰(zhàn)，會(huì)消耗大量的人力物力財(cái)力。

弱監(jiān)督目標(biāo)檢測(cè)的網(wǎng)絡(luò)基礎(chǔ)為多實(shí)例學(xué)習(xí)(multiple instance learning, MIL)[14]，隨著深度神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域取得顯著成果，將CNN與MIL 結(jié)合可以得更好地弱監(jiān)督檢測(cè)性能。弱監(jiān)督深度檢測(cè)網(wǎng)絡(luò)(weakly supervised deep detection networks, WSDDN)[15]于2017年提出，它是一種端到端的深度檢測(cè)架構(gòu)，首先把在ImageNet[16]上預(yù)訓(xùn)練好的深度卷積網(wǎng)絡(luò)作為特征提取器，特征圖和候選框輸入到空間金字塔池化(spatial pyramid pooling, SPP)[17]層得到候選框特征圖，經(jīng)全連接層(fully connected layers, FC)得到的特征向量送入分類數(shù)據(jù)流和檢測(cè)數(shù)據(jù)流，兩個(gè)數(shù)據(jù)流進(jìn)行內(nèi)積合并與區(qū)域求和，得到類別分?jǐn)?shù)，最后通過(guò)交叉熵?fù)p失函數(shù)指導(dǎo)模型的訓(xùn)練。WSDDN為此后的深度弱監(jiān)督模型提供了良好的基礎(chǔ)，在線實(shí)例分類提純(online instance classifier refinement, OICR)[18]弱監(jiān)督深度檢測(cè)網(wǎng)絡(luò)提出了一種新穎的在線實(shí)例分類器細(xì)化算法，將 MIL和實(shí)例分類器細(xì)化過(guò)程集成到單個(gè)深度網(wǎng)絡(luò)中，在僅利用圖像級(jí)監(jiān)督的情況下端到端地訓(xùn)練網(wǎng)絡(luò)。區(qū)域聚類學(xué)習(xí)(proposal cluster learning, PCL)[19]弱監(jiān)督檢測(cè)網(wǎng)絡(luò)在OICR的基礎(chǔ)上融合了聚類的思想，該方法認(rèn)為空間上具有高重疊度的候選框被分組到一個(gè)集合中，同一集合中的不同候選框更有可能覆蓋同一實(shí)例的不同部分，可以將多個(gè)候選框的信息進(jìn)行組合，找到最合適的候選框。文獻(xiàn)[20]針對(duì)弱監(jiān)督目標(biāo)檢測(cè)中在具有相同類別的對(duì)象簇中進(jìn)行部分對(duì)象檢測(cè)和錯(cuò)誤檢測(cè)的問(wèn)題，提出了一種三重優(yōu)化策略。首先，利用融合類激活圖生成某一類別的定位圖，這些定位圖用于修改從實(shí)例分類分支學(xué)習(xí)到的候選框，然后，利用了深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)以進(jìn)一步細(xì)化建議，最后，將細(xì)化的邊界框反饋到實(shí)例分類網(wǎng)絡(luò)。細(xì)化操作使模型能學(xué)習(xí)對(duì)象的完整性并大大提高檢測(cè)性能。文獻(xiàn)[21]將弱監(jiān)督檢測(cè)問(wèn)題看作是缺少邊界框的目標(biāo)檢測(cè)問(wèn)題，提出一種偽Ground Truth挖掘算法，以在訓(xùn)練數(shù)據(jù)中自動(dòng)找到未標(biāo)記實(shí)例的缺失邊界框，然后結(jié)合挖掘的偽Ground Truth和標(biāo)記的注釋，以增量學(xué)習(xí)的方式來(lái)訓(xùn)練一個(gè)完全監(jiān)督的目標(biāo)檢測(cè)器。文獻(xiàn)[22]提出了一種實(shí)例感知和上下文聚焦的端到端檢測(cè)框架，設(shè)計(jì)了一種實(shí)例感知自訓(xùn)練算法和內(nèi)存高效的順序批量反向傳播方法。

針對(duì)螺栓圖像和弱監(jiān)督模型的特點(diǎn)，提出一種基于改進(jìn)PCL(proposal cluster learning)模型的輸電線路缺銷螺栓弱監(jiān)督檢測(cè)方法。首先，引入通道注意力機(jī)制，提取螺栓精細(xì)特征，充分挖掘特征圖中的螺栓位置信息；然后，對(duì)傳統(tǒng)分類損失函數(shù)進(jìn)行加權(quán)和，平衡正負(fù)樣本，挖掘出困難螺栓目標(biāo)；最后，融合全監(jiān)督的多任務(wù)學(xué)習(xí)思想，修正預(yù)先得到的邊界框，提高定位準(zhǔn)確度。僅利用圖像級(jí)標(biāo)注的情況下，實(shí)現(xiàn)了缺銷螺栓檢測(cè)，并且改進(jìn)后的PCL模型比基礎(chǔ)模型檢測(cè)性能有顯著提升。

1 改進(jìn)PCL模型整體框架

本文方法的整體架構(gòu)如圖1所示。輸入一個(gè)螺栓圖像，首先利用Selective Search[23]或Edge Box[24]算法生成大約2 000個(gè)候選框。然后將螺栓圖像輸入到主網(wǎng)絡(luò)得到特征圖，再經(jīng)過(guò)通道注意力模塊輸出加權(quán)特征圖，突出螺栓目標(biāo)特征。再把加權(quán)特征圖和預(yù)先得到的候選框輸入到一些帶有感興趣域池化(region of interest pooling, RoI pooling)[25]層的卷積層中，以針對(duì)每個(gè)候選框生成一個(gè)固定大小的卷積特征圖。之后，候選框特征圖被送入兩個(gè)全連接層以生成候選框特征向量集合。這些特征向量輸入不同的支路：第一個(gè)是 MIL 網(wǎng)絡(luò)，第二個(gè)是實(shí)例分類提純網(wǎng)絡(luò)，第三個(gè)是多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)。MIL網(wǎng)絡(luò)又分為兩個(gè)支流，支流一為分類流，對(duì)候選框進(jìn)行歸一化操作，輸出每個(gè)區(qū)域中各個(gè)類別的概率；支流二為檢測(cè)流，對(duì)類別進(jìn)行歸一化操作，輸出每個(gè)類別在所有候選框中的概率，采用內(nèi)積的方式將支流結(jié)果進(jìn)行合并，再對(duì)區(qū)域求和，轉(zhuǎn)換為圖像級(jí)別的類別預(yù)測(cè)分?jǐn)?shù)，利用加權(quán)交叉熵?fù)p失函數(shù)Lw指導(dǎo)多實(shí)例分類器的訓(xùn)練，得到初步檢測(cè)結(jié)果；實(shí)例分類提純網(wǎng)絡(luò)包含具有相同結(jié)構(gòu)的多級(jí)實(shí)例分類器求精網(wǎng)絡(luò)，前一級(jí)的輸出作為偽標(biāo)簽來(lái)訓(xùn)練下一級(jí)，并且第一級(jí)實(shí)例分類器將MIL網(wǎng)絡(luò)的輸出作為偽標(biāo)簽。經(jīng)過(guò)多級(jí)分類器細(xì)化，分類器傾向于選擇貼合度較好的框作為正實(shí)例，可以用作多任務(wù)學(xué)習(xí)的偽標(biāo)注數(shù)據(jù)回歸量，多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)就可以像全監(jiān)督模型一樣進(jìn)行分類和回歸。

2 研究方法

2.1 通道注意力

本文中對(duì)數(shù)據(jù)集中螺栓目標(biāo)尺寸進(jìn)行了統(tǒng)計(jì)，螺栓目標(biāo)平均與原圖的寬比例為0.14，與原圖的高比例為0.15，面積占比為0.025，螺栓樣張如圖2所示。螺栓圖像具有目標(biāo)小、視覺(jué)表示不明顯的特點(diǎn)，深度神經(jīng)網(wǎng)絡(luò)提取螺栓特征過(guò)程中容易出現(xiàn)信息丟失、難以提取精細(xì)特征和螺栓位置檢測(cè)精度低的弊端。

為了解決這種問(wèn)題，把主網(wǎng)絡(luò)生成的特征圖當(dāng)作通道注意力網(wǎng)絡(luò)的輸入，生成加權(quán)特征圖。使模型抑制背景這種無(wú)關(guān)特征，突出螺栓特征，增強(qiáng)網(wǎng)絡(luò)提取位置信息的能力，從而提升模型的缺銷螺栓檢測(cè)精度。通道注意力機(jī)制如圖3所示，首先，利用全局平均池化將輸入的特征圖進(jìn)行通道維度上的特征壓縮，每個(gè)二維特征H×W被壓縮為一個(gè)標(biāo)量，得到1×1×C的向量。這個(gè)標(biāo)量可以表征通道特征上的全局信息。

接下來(lái)一步是整個(gè)通道注意力機(jī)制的關(guān)鍵。為了建立特征通道間的依賴關(guān)系，生成每個(gè)通道的權(quán)重值，兩個(gè)全連接層可以隨著損失函數(shù)的優(yōu)化去自動(dòng)學(xué)習(xí)，學(xué)習(xí)到的參數(shù)即為每個(gè)特征通道的權(quán)重值，輸出和輸入特征同樣數(shù)目的權(quán)重值。第一個(gè)全連接層輸出1×1×C/r，r是一個(gè)縮放參數(shù)，本方法取值16，目的是為了減少通道個(gè)數(shù)從而降低計(jì)算量，再經(jīng)過(guò)一個(gè)Relu層，輸出維度不變；第二個(gè)全連接層還原出維度為C的向量，再經(jīng)過(guò)Sigmoid函數(shù)得到1×1×C的權(quán)重向量。如圖3中的第二個(gè)1×1×C向量，顏色深的區(qū)域表示需要突出的通道特征，顏色淺的區(qū)域表示需要抑制的通道特征。

圖1 改進(jìn)PCL模型整體網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The overall network structure of improved PCL model

圖2 螺栓圖樣Fig.2 Bolt image samples

圖3 通道注意力機(jī)制Fig.3 Channel attention mechanism

最后，將前面得到的歸一化權(quán)重通過(guò)廣播相乘的方式作用到物征圖對(duì)應(yīng)通道上，完成在通道維度上的加權(quán)操作，形成加權(quán)特征圖。

2.2 加權(quán)損失函數(shù)

弱監(jiān)督模型為了定位目標(biāo)會(huì)利用Selective Search算法在每張圖像上產(chǎn)生大約2 000個(gè)候選框，一幅螺栓圖像中正樣本數(shù)量很少，剩余大量的候選框處于背景區(qū)域，這就導(dǎo)致了正負(fù)樣本極不平衡。此時(shí)，大量的易分類背景框會(huì)主導(dǎo)損失函數(shù)，使網(wǎng)絡(luò)把大量的迭代訓(xùn)練花在簡(jiǎn)單背景負(fù)樣本上，減少了對(duì)真正應(yīng)該學(xué)習(xí)的螺栓目標(biāo)的關(guān)注程度，導(dǎo)致模型不能充分學(xué)習(xí)螺栓特征，螺栓目標(biāo)檢測(cè)效果差；同時(shí)，螺栓數(shù)據(jù)集中存在大量污漬、遮擋、陰影等困難樣本，大大增加了缺銷螺栓檢測(cè)任務(wù)的難度，數(shù)據(jù)集中困難樣本如圖4所示。

針對(duì)以上兩個(gè)問(wèn)題，對(duì)傳統(tǒng)的交叉熵?fù)p失函數(shù)進(jìn)行加權(quán)和，為正負(fù)樣本賦予不同的權(quán)值，控制正負(fù)樣本在損失值的占比，避免了模型把大量的迭代訓(xùn)練在簡(jiǎn)單負(fù)樣本上；同時(shí)大大降低易識(shí)別螺栓的損失值，保持難識(shí)別螺栓的損失值幾乎不變，以達(dá)到增大困難樣本總損失值比重的目的，使模型提高對(duì)困難樣本的關(guān)注程度，從而提高對(duì)螺栓的檢測(cè)能力。

圖4 困難樣本Fig.4 Hard examples

本方法定義參數(shù)pt為

(1)

式(1)中：pt為某一類的得分，值為0～1；y表示標(biāo)注數(shù)據(jù)的真實(shí)類別；p表示經(jīng)過(guò)激活函數(shù)后的輸出，值為0～1。

傳統(tǒng)的交叉熵?fù)p失函數(shù)為

L(p,y)=L(pt)=-lnpt

(2)

對(duì)于正樣本而言，輸出的概率值越大損失值就越小，對(duì)于負(fù)樣本而言，輸出的概率值越小損失值就越小。此時(shí)，模型的訓(xùn)練消耗在大量的背景負(fù)樣本的迭代過(guò)程中，對(duì)于少數(shù)真正感興趣的螺栓目標(biāo)卻難以學(xué)習(xí)。

加權(quán)交叉熵?fù)p失函數(shù)為

Lw=-α(1-pt)γlnpt

(3)

式(3)中：α表示正負(fù)樣本平衡系數(shù)，值為0～1；(1-pt)γ表示難易樣本調(diào)制系數(shù)。通過(guò)控制α的取值，控制正負(fù)樣本對(duì)總損失值的權(quán)重。當(dāng)pt越大時(shí)，樣本越容易被分類，1-pt越小，再經(jīng)過(guò)γ次立方后，此時(shí)就會(huì)大大降低易分類樣本的損失值；當(dāng)pt越小時(shí)，樣本越不容易被分類，1-pt越大，再經(jīng)過(guò)γ次立方后，此時(shí)難分類樣本的損失值也會(huì)降低，但是降低的幅度遠(yuǎn)遠(yuǎn)小于易分類樣本，增大了困難樣本損失值比重，挖掘出困難樣本。

2.3 多任務(wù)學(xué)習(xí)

邊框回歸是典型的全監(jiān)督目標(biāo)檢測(cè)器的必要組成部分，能夠減少定位誤差。適用于弱監(jiān)督檢測(cè)模型的數(shù)據(jù)集沒(méi)有標(biāo)注框以及框的類別，無(wú)法像全監(jiān)督模型一樣對(duì)候選框進(jìn)行回歸。

經(jīng)過(guò)實(shí)例分類提純網(wǎng)絡(luò)后，分類器傾向于選擇精確度較高的候選框作為正實(shí)例，這可以作為多任務(wù)學(xué)習(xí)的偽Ground Truth的標(biāo)注信息，多任務(wù)分支就可以像全監(jiān)督模型一樣進(jìn)行分類和回歸。

Lmtl=Lcls+Lreg

(4)

式(4)中：Lcls為分類損失函數(shù)；Lreg為邊框回歸損失函數(shù)。

對(duì)于Lcls，使用了ln損失函數(shù)，即

(5)

邊框回歸過(guò)程如圖5所示。

圖5 邊框回歸Fig.5 Bounding box regression

給定候選框P，找到一種映射關(guān)系f，得到回歸框G′，使G′無(wú)限接近偽Ground Truth，使用smoothL1損失函數(shù)進(jìn)行優(yōu)化得到映射關(guān)系f，邊框回歸損失函數(shù)表示為

(6)

式(6)中：參數(shù)ti表示回歸框的位置信息，參數(shù)vi表示偽標(biāo)注數(shù)據(jù)里含有的位置信息，函數(shù)smoothL1(x)為平滑最小絕對(duì)值偏差損失函數(shù)，表示為

(7)

整個(gè)網(wǎng)絡(luò)的復(fù)合損失函數(shù)如式(8)所示，然后通過(guò)隨機(jī)梯度下降法對(duì)復(fù)合損失函數(shù)進(jìn)行優(yōu)化，以尋求到最優(yōu)的參數(shù)，使得損失值最小。

(8)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

本文使用的實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境Table 1 Experiment operating environment

3.2 數(shù)據(jù)與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)部分使用的輸電線路缺銷螺栓數(shù)據(jù)集中包含1 984張圖片，其中含有2 186個(gè)缺銷螺栓(pmb)和1 363個(gè)正常螺栓(nb)。以8∶2的比例將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集1587張，測(cè)試集397張。因?yàn)楸疚氖翘骄咳变N螺栓的弱監(jiān)督檢測(cè)，所以在訓(xùn)練時(shí)只提取了圖像類別信息作為訓(xùn)練的輸入監(jiān)督數(shù)據(jù)，以向量的形式表示每張圖片的圖像級(jí)標(biāo)簽，如{1,1}表示這張圖像中有正常螺栓和缺銷螺栓兩類目標(biāo)。以每個(gè)類別平均精確率(average precision,AP)和所有類別平均精確率(mean average precision,mAP)作為評(píng)價(jià)指標(biāo)，在測(cè)試集上對(duì)模型進(jìn)行檢驗(yàn)。同時(shí)，平均定位準(zhǔn)確率(CorLoc)作為定位準(zhǔn)確度的評(píng)價(jià)指標(biāo)，在訓(xùn)練集上對(duì)模型進(jìn)行檢驗(yàn)。這是目前在弱監(jiān)督目標(biāo)檢測(cè)領(lǐng)域最常用的兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)。

3.3 模型訓(xùn)練

實(shí)驗(yàn)中采用隨機(jī)梯度下降(stochastic gradient descent, SGD)的優(yōu)化方法對(duì)模型進(jìn)行訓(xùn)練，使用Selective Search算法生成候選框，并采用預(yù)先在ImageNet數(shù)據(jù)集上訓(xùn)練好的VGG16作為本文提取特征主網(wǎng)絡(luò)。在訓(xùn)練過(guò)程中，采用了4幅圖像的小批量大小，總的迭代次數(shù)為75 000，并在最初的55 000迭代中將學(xué)習(xí)率設(shè)置為0.001，然后在接下來(lái)的20 000迭代中將學(xué)習(xí)率降低到0.000 1。動(dòng)量和權(quán)重衰減系數(shù)分別設(shè)置為0.9和0.000 5。對(duì)于數(shù)據(jù)增強(qiáng)，使用五種圖像比例，即{480，576，688，864，1 200}，將最短的一側(cè)調(diào)成成為其中一個(gè)比例，以及水平翻轉(zhuǎn)來(lái)增強(qiáng)訓(xùn)練和測(cè)試數(shù)據(jù)。

3.4 不同NMS閾值實(shí)驗(yàn)分析

非極大值抑制(non-maximum suppression，NMS)[26]是目標(biāo)檢測(cè)領(lǐng)域中重要的一步，用來(lái)去除冗余的檢測(cè)框，保留得分最高的檢測(cè)框。對(duì)不同NMS取值下檢測(cè)精度進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

當(dāng)NMS取值為0.2、0.5和0.6時(shí)，正常螺栓和缺銷螺栓的AP和mAP均明顯小于NMS為0.3和0.4時(shí)的AP和mAP。雖然NMS為0.3時(shí)的缺銷螺栓AP比NMS為0.4時(shí)低0.1，但是正常螺栓的AP和mAP分別高出0.4和0.1。綜合以上，選取NMS取值為0.3，后續(xù)的實(shí)驗(yàn)均以0.3為基礎(chǔ)進(jìn)行研究。

表2 NMS對(duì)檢測(cè)精度的影響Table 2 Influence of NMS on detection accuracy

3.5 通道注意力實(shí)驗(yàn)分析

引入通道注意力機(jī)制后模型的檢測(cè)精度和定位精度的對(duì)比如表3和表4所示，mAP提升了2.8%，缺銷螺栓的AP提升了1.1%，CorLoc提升了3.1%，缺銷螺栓的定位精度提升明顯，提升了5.3%。說(shuō)明了通道注意力能增強(qiáng)螺栓目標(biāo)特征，充分挖掘出螺栓的位置信息，彌補(bǔ)了因目標(biāo)過(guò)小而導(dǎo)致的螺栓深度特征提取過(guò)程中容易出現(xiàn)信息丟失的不足。

通道注意力對(duì)可視化特征圖的影響如圖6所示，左側(cè)列為原圖，中間列為微調(diào)后模型可視化特征圖，右側(cè)列為用通道注意力訓(xùn)練后得到可視化特征圖。通過(guò)對(duì)比得到，微調(diào)后模型的噪聲較多，引入通道注意力后得到的加權(quán)特征圖能抑制背景特征，突出目標(biāo)區(qū)域特征。因此，噪聲較少，且定位更準(zhǔn)確。

表3 引入通道注意力前后檢測(cè)精度比較Table 3 Comparison of detection accuracy before and after introducing channel attention

表4 引入通道注意力前后定位精度比較Table 4 Comparison of location accuracy before and after introducing channel attention

圖6 引入通道注意力前后可視化特征圖對(duì)比Fig.6 Comparison of visualized feature maps before and after introducing channel attention

3.6 加權(quán)損失函數(shù)實(shí)驗(yàn)分析

加權(quán)損失函數(shù)中的α和γ的取值會(huì)對(duì)模型訓(xùn)練過(guò)程產(chǎn)生影響，從而導(dǎo)致檢測(cè)性能的差異。α和γ聯(lián)調(diào)下模型檢測(cè)的mAP如表5所示，可以看出當(dāng)α=0.25、γ=2時(shí)模型的mAP最高，比微調(diào)后的模型提升了13.1%。因此，合理地設(shè)置α和γ的取值對(duì)模型的檢測(cè)效果有一定提升。

損失函數(shù)改進(jìn)前后分類損失值隨迭代次數(shù)增加的變化曲線如圖7所示。通過(guò)對(duì)比可見(jiàn)，在迭代次數(shù)為0～10 000時(shí)，加權(quán)損失函數(shù)曲線變化圖比改進(jìn)前更陡，說(shuō)明了改進(jìn)后的損失函數(shù)，減少了大量背景負(fù)樣本對(duì)損失值的貢獻(xiàn)，增加了正樣本在損失值中的占比，挖掘出困難螺栓樣本，提高了模型對(duì)真正需要學(xué)習(xí)的螺栓目標(biāo)的關(guān)注程度，增強(qiáng)了識(shí)別螺栓的能力。另外，損失函數(shù)改進(jìn)前分類器在迭代次數(shù)33 000時(shí)達(dá)到收斂，損失函數(shù)改進(jìn)后分類器在迭代次數(shù)28 000時(shí)達(dá)到收斂,說(shuō)明損失函數(shù)改進(jìn)后不僅收斂速度更快而且檢測(cè)性能有了顯著提高。

在通道注意力的基礎(chǔ)上聯(lián)合加權(quán)損失函數(shù)進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)在α=0.25和γ=2條件下進(jìn)行。模型改進(jìn)前后檢測(cè)精度和定位精度的對(duì)比如表6和表7所示。通過(guò)對(duì)比，檢測(cè)精度和定位精度都有顯著提升。缺銷螺栓的檢測(cè)效果提升最明顯，AP值提升21.2%，定位精度提升27.6%。可以驗(yàn)證，兩種方法不論單獨(dú)使用還是聯(lián)合使用均能提升模型的檢測(cè)性能。

表5 不同α和γ取值對(duì)檢測(cè)精度的影響Table 5 Influence of different α and γ values on detection accuracy

圖7 損失函數(shù)改進(jìn)前后分類損失曲線對(duì)比Fig.7 Comparison of classification loss curve before and after improvement of loss function

表6 loss改進(jìn)前后檢測(cè)精度比較Table 6 Comparison of detection accuracy before and after loss improvement

表7 loss改進(jìn)前后定位精度比較Table 7 Comparison of detection accuracy before and after loss improvement

3.7 多任務(wù)學(xué)習(xí)實(shí)驗(yàn)分析

改進(jìn)后的PCL模型(注意力+加權(quán)損失函數(shù)+多任務(wù)學(xué)習(xí))、微調(diào)后的PCL模型、OICR(online instance classifier refinement)、OICR+多任務(wù)學(xué)習(xí)和文獻(xiàn)[16]在測(cè)試集上的檢測(cè)結(jié)果對(duì)比如表8所示。從表8可以看出，使用通道注意力、加權(quán)損失函數(shù)和多任務(wù)學(xué)習(xí)訓(xùn)練模型后，PCL模型對(duì)測(cè)試集的檢測(cè)mAP達(dá)到了45.0%，并且正常螺栓、缺銷螺栓的檢測(cè)AP也都遠(yuǎn)高于其他弱監(jiān)督檢測(cè)模型。相比于進(jìn)行參數(shù)微調(diào)后的PCL模型，正常螺栓的檢測(cè)AP提升了25.0%，缺銷螺栓檢測(cè)的AP提升了25.6%，mAP提升了25.4%。這是由于通道注意力機(jī)制的引入使模型能增強(qiáng)小目標(biāo)深度特征，挖掘出特征圖中隱含的位置信息；對(duì)交叉熵?fù)p失函數(shù)進(jìn)行加權(quán)和，減少了大量背景負(fù)樣本和易分類樣本的損失占比，提高了模型對(duì)真正需要學(xué)習(xí)的螺栓目標(biāo)的關(guān)注程度；多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)利用學(xué)習(xí)到候選框到偽Ground Truth之間的映射關(guān)系，修正預(yù)先得到的邊界框，進(jìn)一步提高模型的定位能力。同時(shí)從OICR和OICR+多任務(wù)學(xué)習(xí)的檢測(cè)結(jié)果對(duì)比，也可以驗(yàn)證多任務(wù)學(xué)習(xí)對(duì)提升缺銷螺栓弱監(jiān)督檢測(cè)能力的有效性。

表8 不同模型的檢測(cè)性能對(duì)比Table 8 Comparison of detection performance among different models

3.8 實(shí)際檢測(cè)效果對(duì)比

對(duì)模型改進(jìn)前后在測(cè)試集上的實(shí)際檢測(cè)效果進(jìn)行了對(duì)比，測(cè)試時(shí)改進(jìn)后模型IoU(intersection over union)閾值為0.8，改進(jìn)前模型IoU閾值為0.4。模型改進(jìn)前后對(duì)小目標(biāo)樣本檢測(cè)結(jié)果對(duì)比如圖8所示，模型改進(jìn)前后對(duì)困難樣本的檢測(cè)效果對(duì)比如圖9所示，改進(jìn)后模型部分檢測(cè)結(jié)果如圖10所示。

通過(guò)圖8中的對(duì)比可見(jiàn)，微調(diào)后的模型得到的檢測(cè)框非常粗糙，只能檢測(cè)出目標(biāo)的大概位置，圖像中存在多個(gè)目標(biāo)時(shí)，容易出現(xiàn)漏檢的情況。改進(jìn)后的模型得到的檢測(cè)結(jié)果要明顯好于微調(diào)后的模型。檢測(cè)框與螺栓的貼合度好，而且漏檢的情況改善明顯。

通過(guò)圖9中的對(duì)比可見(jiàn)，微調(diào)后的模型在污漬樣本上的檢測(cè)框精確度低，在遮擋和陰影樣本上均出現(xiàn)了漏檢的情況。改進(jìn)后的模型在污漬樣本上得到的檢測(cè)框貼合度好，能精確地檢測(cè)出被遮擋目標(biāo)，雖然在陰影樣本上的檢測(cè)框不夠精準(zhǔn)，但是減少了漏檢的現(xiàn)象。

圖8 小目標(biāo)樣本檢測(cè)效果對(duì)比Fig.8 Comparison of detection effect on small target examples

圖9 困難樣本檢測(cè)效果對(duì)比Fig.9 Comparison of detection effect on hard examples

圖10 測(cè)試集上部分檢測(cè)結(jié)果展示Fig.10 Display of some test results on the test set

4 結(jié)論

為了減少目標(biāo)級(jí)標(biāo)注成本，針對(duì)螺栓圖像和弱監(jiān)督模型本身的特點(diǎn)，提出一種基于改進(jìn)PCL模型的輸電線路缺銷螺栓弱監(jiān)督檢測(cè)方法，得出以下結(jié)論。

(1)通道注意力的引入能突出螺栓特征，增強(qiáng)模型提取位置信息的能力，解決了螺栓特征表達(dá)不明顯的問(wèn)題，提升了小目標(biāo)檢測(cè)的檢測(cè)性能。

(2)通過(guò)對(duì)交叉熵?fù)p失函數(shù)進(jìn)行加權(quán)和，提高了正樣本在損失值中的比重，挖掘出困難螺栓樣本，使模型在訓(xùn)練過(guò)程中把更多的關(guān)注度放在螺栓上，提高模型對(duì)螺栓的學(xué)習(xí)能力。

(3)多任務(wù)學(xué)習(xí)思想使模型能學(xué)習(xí)到候選框與偽Ground Truth之間的映射關(guān)系，修正預(yù)先得到的邊界框的位置和大小，進(jìn)一步提升定位準(zhǔn)確度。

通過(guò)對(duì)比實(shí)驗(yàn)，不論與微調(diào)后的模型相比，還是與其他模型相比，改進(jìn)后PCL模型都表現(xiàn)出更優(yōu)異的檢測(cè)性能。