王凱, 王健, 劉剛, 周文青, 何卓陽(yáng)

(1. 華南理工大學(xué) 電力學(xué)院，廣東 廣州 510640；2. 廣東省輸變電工程有限公司，廣東 廣州 510160)

電力金具作為架空輸電線路不可缺少的一部分，在電力系統(tǒng)中負(fù)責(zé)地線與桿塔、輸電導(dǎo)線與絕緣子、桿塔與絕緣子等電力部件的連接，對(duì)系統(tǒng)的安全穩(wěn)定運(yùn)行起著重要作用[1-2]。然而由于多數(shù)電力金具除了要在環(huán)境惡劣的戶外工作，還要長(zhǎng)期承受外部機(jī)械負(fù)荷張力和電力系統(tǒng)內(nèi)部的電力負(fù)荷的作用，使得金具上的銷釘容易出現(xiàn)缺失或者松動(dòng)等缺陷，影響電網(wǎng)的穩(wěn)定運(yùn)行。

近些年，為了提高對(duì)架空輸電線路的巡檢效率，無(wú)人機(jī)巡檢技術(shù)得到了廣泛的應(yīng)用。針對(duì)電網(wǎng)設(shè)備的外在缺陷，無(wú)人機(jī)攜帶數(shù)據(jù)采集裝置沿著線路走廊飛行獲取大量可見光圖片，人工尋找相應(yīng)缺陷[3-4]。在此過(guò)程中，人工標(biāo)注缺陷存在以下局限性：首先，在大數(shù)據(jù)環(huán)境下，即使是富有專業(yè)經(jīng)驗(yàn)的人員進(jìn)行標(biāo)注，效率也是十分低下的；其次，銷釘在圖片中所占比例是十分微小的并且單張圖片中可能存在多個(gè)銷釘，致使人工標(biāo)注經(jīng)常出現(xiàn)漏檢的情況；最后，由于無(wú)人機(jī)拍攝角度的原因，松動(dòng)的銷釘和正常情況下的銷釘是十分相似的，這使得容易出現(xiàn)錯(cuò)標(biāo)的情形。因此，針對(duì)該類缺陷，有必要研究一種準(zhǔn)確而又高效的缺陷智能識(shí)別方法。

傳統(tǒng)的電力元件以及缺陷識(shí)別方法主要集中于手工特征的設(shè)計(jì)，如借助圖像增強(qiáng)、去噪等方法對(duì)圖像預(yù)處理后，采用Harr特征、不變矩、彩色空間等特征并結(jié)合支持向量機(jī)、級(jí)聯(lián)Adaboost等算法實(shí)現(xiàn)防振錘、絕緣子等電力元件以及相應(yīng)缺陷的識(shí)別[5-7]。這類方法除了需要豐富的專業(yè)知識(shí)支撐外，往往只能針對(duì)某一特定類別起作用且可擴(kuò)展性差。近幾年，隨著深度學(xué)習(xí)的迅速發(fā)展，有人提出了采用深度學(xué)習(xí)算法實(shí)現(xiàn)對(duì)電力部件以及相應(yīng)的缺陷進(jìn)行識(shí)別[8-10]，然而這類研究多是集中于絕緣子、防振錘等元件的識(shí)別以及與之相關(guān)的絕緣子缺失、自爆等缺陷的識(shí)別，對(duì)于銷釘級(jí)別缺陷的研究卻是少之又少，甚至空白。另外，考慮到深度學(xué)習(xí)中的“單階”檢測(cè)算法RetinaNet在識(shí)別精度和實(shí)時(shí)性均要優(yōu)于Faster R-CNN[11]，本文提出一種基于RetinaNet的銷釘缺陷智能識(shí)別方法；同時(shí)，考慮到銷釘松動(dòng)類樣本的嚴(yán)重不足以及無(wú)人機(jī)收集該類樣本代價(jià)高昂，本文采用人工采集的相關(guān)輔助數(shù)據(jù)對(duì)少數(shù)樣本進(jìn)行補(bǔ)充訓(xùn)練，并討論了相關(guān)輔助數(shù)據(jù)量對(duì)閉口銷松動(dòng)類的平均準(zhǔn)確率(average precision，AP)的影響，結(jié)果表明添加適宜的相關(guān)輔助數(shù)據(jù)量能夠明顯增加檢測(cè)模型對(duì)少數(shù)類的重視程度。

1 用于銷釘缺陷智能識(shí)別的RetinaNet算法

缺陷識(shí)別中最為棘手的問(wèn)題是如何從大量的候選窗口中挑選出包含缺陷的候選區(qū)，迄今為止的目標(biāo)識(shí)別算法可以分為兩大類[12]：一類是以Faster R-CNN為代表的“雙階”檢測(cè)器；另一類是所謂的“單階”檢測(cè)器，如YOLOv1、YOLOv2等。后者在實(shí)時(shí)性上優(yōu)于前者，但是精度卻沒(méi)有“雙階”檢測(cè)器那么高。為了提高“單階”檢測(cè)器的精度，以損失函數(shù)Focal Loss為核心、特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)為主要框架的RetinaNet檢測(cè)器應(yīng)運(yùn)而生。

1.1 特征金字塔結(jié)構(gòu)

RetinaNet檢測(cè)器由主網(wǎng)絡(luò)和2個(gè)具有特定功能的子網(wǎng)絡(luò)復(fù)合而成。其中，主網(wǎng)絡(luò)借助卷積神經(jīng)網(wǎng)絡(luò)計(jì)算輸入圖像的特征圖，并且采用FPN結(jié)構(gòu)將頂層特征和低層特征相融合，而與之相連接的2個(gè)子網(wǎng)絡(luò)分別對(duì)FPN的輸出進(jìn)行分類和回歸。在FPN出現(xiàn)之前的多數(shù)目標(biāo)識(shí)別算法通常使用頂層特征進(jìn)行預(yù)測(cè)，原因在于頂層特征蘊(yùn)含豐富的語(yǔ)義信息，而低層特征的語(yǔ)義信息遠(yuǎn)沒(méi)有高層的豐富。然而低層特征的高分辨率能夠較為精確地反映待測(cè)目標(biāo)的位置，因此FPN在不同的特征層采用融合后的特征進(jìn)行獨(dú)立地預(yù)測(cè)，其結(jié)構(gòu)如圖1所示[13]。

FPN綜合考慮了低分辨率但語(yǔ)義信息豐富的高層特征和語(yǔ)義信息不足但分辨率高的低層特征，采用圖1所示的結(jié)構(gòu)使得各尺度下的特征都有豐富的語(yǔ)義信息。自下而上表示卷積神經(jīng)網(wǎng)絡(luò)的前向過(guò)程，在此過(guò)程中，部分層不會(huì)改變輸入特征圖的大小，于是將這些連續(xù)的不改變特征圖大小的層視為一個(gè)階段，每次抽取的特征正是每個(gè)階段的最后輸出，從而構(gòu)成了特征金字塔結(jié)構(gòu)；自頂向下的過(guò)程將分辨率較低的高層特征圖進(jìn)行2倍的上采樣。上采樣采用的是內(nèi)插值方法，在像素點(diǎn)之間使用合適的插值算法插入新的元素，從而擴(kuò)大特征圖，確保上采樣的特征圖和下一層的特征圖大小一致；隨后對(duì)卷積神經(jīng)網(wǎng)絡(luò)前向過(guò)程生成的對(duì)應(yīng)層的特征圖進(jìn)行1×1的卷積操作，將之與經(jīng)過(guò)上采樣的特征圖融合，得到具有更加豐富信息的特征圖。

圖1 特征金字塔網(wǎng)絡(luò)架構(gòu) Fig.1 Feature pyramid network architecture

1.2 分類損失函數(shù)

“單階”檢測(cè)器的精度偏低歸因于候選區(qū)域的類別不平衡，即圖片中待識(shí)別目標(biāo)通常只占整張圖片的小部分，使得早期生成的候選窗口中絕大多數(shù)都屬于負(fù)類(背景)，只有極少部分包含前景物。背景類占優(yōu)掩蓋了包含識(shí)別對(duì)象的候選框的作用，使得訓(xùn)練過(guò)程無(wú)法充分學(xué)習(xí)到所需要的信息。對(duì)于Faster R-CNN，其包含的區(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)事先對(duì)候選區(qū)域進(jìn)行簡(jiǎn)單的二分類，從而屬于背景的候選窗口將會(huì)大幅減少，這樣在某種程度上降低了候選區(qū)域的類別不平衡所帶來(lái)的影響，但其操作的復(fù)雜性卻放慢了識(shí)別速度。

以二分類為例，常用的交叉熵?fù)p失函數(shù)

fCE(pt)=-log(pt).

(1)

其中pt定義為：

(2)

式中：p∈[0,1]，表示模型將類別預(yù)測(cè)為y=1的概率；y為類別參變量。

為了能夠從包含目標(biāo)的候選區(qū)域?qū)W到更多的信息，文獻(xiàn)[11]提出一種新的損失函數(shù)Focal Loss，在原有的交叉熵?fù)p失函數(shù)的基礎(chǔ)上增加一個(gè)權(quán)重控制系數(shù)αt;另外，為了保證檢測(cè)器能夠有效區(qū)分難分樣本和易分樣本，增大難分樣本的比重，在實(shí)際中，F(xiàn)ocal Loss損失函數(shù)

fFL(pt)=-αt(1-pt)γlog(pt).

(3)

式中γ為調(diào)節(jié)因子。

2 銷釘缺陷智能識(shí)別的難點(diǎn)分析及輔助數(shù)據(jù)集的構(gòu)建

銷釘作為電力金具不可或缺的部分，使得金具之間的連接更加穩(wěn)固，銷釘?shù)乃蓜?dòng)甚至缺失往往會(huì)增加電力系統(tǒng)運(yùn)行風(fēng)險(xiǎn)。圖2給出了不同狀態(tài)銷釘?shù)氖纠龍D。在外部因素(如環(huán)境因素)和內(nèi)部因素(如負(fù)荷長(zhǎng)期運(yùn)行)綜合作用下，有少數(shù)的正常狀態(tài)下的銷釘會(huì)蛻變?yōu)閳D2中所示的松動(dòng)狀態(tài)，甚至缺失狀態(tài)。在沒(méi)有了銷釘保護(hù)的情況下，螺栓會(huì)進(jìn)一步出現(xiàn)松動(dòng)﹝如圖2(b)所示﹞，這一連鎖反應(yīng)嚴(yán)重影響電力系統(tǒng)運(yùn)行的可靠性。

2.1 無(wú)人機(jī)巡檢數(shù)據(jù)的特征分析

電力系統(tǒng)絕大部分時(shí)間處于正常穩(wěn)定運(yùn)行狀態(tài)，致使無(wú)人機(jī)巡檢時(shí)采集到的絕大多數(shù)的數(shù)據(jù)樣本都是正常樣本，只有小部分樣本存在缺陷；另外，銷釘?shù)乃蓜?dòng)以及缺失是外部機(jī)械張力和系統(tǒng)內(nèi)部負(fù)荷長(zhǎng)期作用的結(jié)果，短時(shí)間內(nèi)很難獲取到大量缺陷樣本，從而進(jìn)一步體現(xiàn)出銷釘缺陷數(shù)據(jù)的稀缺性。實(shí)際情況中，無(wú)人機(jī)巡檢采集到的數(shù)據(jù)正常樣本偏多，銷釘缺失類樣本次之，而松動(dòng)類數(shù)據(jù)量是非常少的。缺陷數(shù)據(jù)的不足使得各類別數(shù)據(jù)量失衡，而機(jī)器學(xué)習(xí)相關(guān)算法通常假定訓(xùn)練用的數(shù)據(jù)中各類包含樣本數(shù)都是均衡的，訓(xùn)練數(shù)據(jù)本身的失衡導(dǎo)致訓(xùn)練出來(lái)的模型更加傾向于數(shù)據(jù)量居多的正常類，而“忽視”樣本中數(shù)據(jù)量偏少的銷釘松動(dòng)類，這樣訓(xùn)練出的模型在測(cè)試數(shù)據(jù)上的表現(xiàn)是欠佳的。

圖2 無(wú)人機(jī)巡檢采集到的銷釘狀態(tài)示例Fig.2 Examples of the status of pin collected by UAV inspection

另外，無(wú)人機(jī)本身的特性也增加了缺陷識(shí)別的難度：如無(wú)人機(jī)采集數(shù)據(jù)雖然具有較高的分辨率，但銷釘在整張圖片占據(jù)很小的比例[14-17]；無(wú)人機(jī)航拍角度的隨機(jī)性使得圖片中的銷釘形態(tài)發(fā)生變化；無(wú)人機(jī)本身飛行的不穩(wěn)定性影響圖片的清晰度等等。

2.2 輔助數(shù)據(jù)集的構(gòu)建

針對(duì)銷釘缺陷識(shí)別問(wèn)題，提高缺陷類AP的意義遠(yuǎn)高于提高整體類的，然而缺陷數(shù)據(jù)較少出現(xiàn)、收集代價(jià)高昂給該類缺陷的識(shí)別帶來(lái)了極大困難。倘若采用部分相關(guān)輔助數(shù)據(jù)樣本彌補(bǔ)這一不足，對(duì)原有不平衡的數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)，能夠在某種程度上解決缺陷數(shù)據(jù)稀缺問(wèn)題。但是，其他領(lǐng)域的數(shù)據(jù)與電力系統(tǒng)領(lǐng)域數(shù)據(jù)之間的差異較大，共享因素偏少，如果直接使用不相關(guān)輔助數(shù)據(jù)極易出現(xiàn)“負(fù)遷移”現(xiàn)象[18-19]，并產(chǎn)生副作用。

針對(duì)銷釘松動(dòng)缺陷，參考架空輸電線路實(shí)物模型的金具連接方式，在確保主要前景物(金具)一致的前提下，構(gòu)建簡(jiǎn)易實(shí)物模型；隨后將構(gòu)建的實(shí)物模型放置在室外的任意環(huán)境中，人工模擬缺陷并采集相應(yīng)缺陷樣本；最后挑選出符合要求的數(shù)據(jù)構(gòu)建輔助數(shù)據(jù)集，圖3給出了部分試驗(yàn)用的相關(guān)輔助數(shù)據(jù)樣本。由圖3可知：前景物僅使用了瓷質(zhì)絕緣子、玻璃絕緣子、U型掛環(huán)等金具，構(gòu)造簡(jiǎn)單且易于實(shí)現(xiàn)；另外，由于可以實(shí)時(shí)模擬出銷釘?shù)母鞣N狀態(tài)，并且能保證背景的多樣性，故完成了在短時(shí)間內(nèi)獲取大量銷釘缺陷樣本。

圖3 人工采集的輔助數(shù)據(jù)樣本Fig.3 Manually collected auxiliary data

3 缺陷智能識(shí)別的評(píng)價(jià)指標(biāo)

對(duì)于一般的數(shù)據(jù)集，準(zhǔn)確率、錯(cuò)誤率等傳統(tǒng)評(píng)價(jià)指標(biāo)就能夠?qū)?shù)據(jù)處理方法的性能進(jìn)行衡量。然而，當(dāng)面對(duì)數(shù)據(jù)不平衡的銷釘缺陷識(shí)別問(wèn)題時(shí)，以上評(píng)價(jià)指標(biāo)可能會(huì)失效。在正常類別樣本數(shù)占優(yōu)的情況下，倘若將所有樣本預(yù)測(cè)為正常類，這樣準(zhǔn)確率就會(huì)很高，顯然訓(xùn)練出來(lái)的模型毫無(wú)用處。相關(guān)研究表明，查準(zhǔn)率P與查全率R曲線(P-R曲線)可以明顯地體現(xiàn)出不平衡數(shù)據(jù)的識(shí)別效果[20-21]，針對(duì)每一類，都會(huì)有一條對(duì)應(yīng)的P-R曲線，為此，本文采用對(duì)數(shù)據(jù)傾斜度十分敏感的P-R曲線作為評(píng)價(jià)指標(biāo)，相關(guān)指標(biāo)可根據(jù)表1數(shù)據(jù)進(jìn)行定義。

表1 銷釘缺陷識(shí)別的三類別混淆矩陣參變量Tab.1 Parameters of three-category confusion matrix for defect identification of pins

以松動(dòng)類為例，查準(zhǔn)率P和查全率R分別定義如下：

(4)

(5)

P-R曲線即是以R為橫坐標(biāo)、P為縱坐標(biāo)繪制而成的曲線。對(duì)于每一條P-R曲線，其與坐標(biāo)軸圍成的面積即為該類別對(duì)應(yīng)的AP。同時(shí)，采用AP的整體的平均準(zhǔn)確率(mean average precision，MAP)對(duì)整體識(shí)別效果進(jìn)行衡量。

4 實(shí)驗(yàn)與分析

實(shí)驗(yàn)在64位Windows操作系統(tǒng)上進(jìn)行，所用的處理器型號(hào)為Intel(R)Xeon(R) CPU E5-2660 v4 @2.00GHz，運(yùn)行內(nèi)存為128 GB；顯卡型號(hào)為NVIDIA Quadro M4000，顯存為8GB；算法均在Keras框架中開展。

針對(duì)銷釘缺陷識(shí)別問(wèn)題，數(shù)據(jù)標(biāo)簽包括3類，分別為正常(標(biāo)記為“normal”)、缺失(標(biāo)記為“l(fā)ost”)和松動(dòng)(標(biāo)記為“l(fā)oose”)。實(shí)驗(yàn)用的數(shù)據(jù)可以劃分為目標(biāo)數(shù)據(jù)集和輔助數(shù)據(jù)集：前者是無(wú)人機(jī)現(xiàn)場(chǎng)巡檢采集而得，具有較高的分辨率，并且單張圖片可能包括多類標(biāo)簽，另外，待測(cè)目標(biāo)在整張圖片中占據(jù)很小的比例；輔助數(shù)據(jù)樣本由人工采集而得。考慮到現(xiàn)實(shí)情況中銷釘松動(dòng)類樣本較少出現(xiàn)、采集代價(jià)偏高，為了分析少數(shù)類輔助數(shù)據(jù)的量對(duì)測(cè)試結(jié)果的影響，本文分多次向訓(xùn)練集添加相同數(shù)量(137張)的松動(dòng)類輔助數(shù)據(jù)。表2列出了實(shí)驗(yàn)用的數(shù)據(jù)分布狀況，其中，測(cè)試集是從目標(biāo)數(shù)據(jù)集中隨機(jī)抽取而得，后續(xù)模型性能測(cè)試均采用這一測(cè)試集。

表2 銷釘缺陷識(shí)別試驗(yàn)用的數(shù)據(jù)分布表Tab.2 Data distribution table for defect identification of pins

4.1 學(xué)習(xí)率對(duì)實(shí)驗(yàn)結(jié)果的影響以及分析

為了避免主網(wǎng)絡(luò)初始化的權(quán)重給實(shí)驗(yàn)結(jié)果造成不確定性影響，F(xiàn)PN的主網(wǎng)絡(luò)均采用在ImageNet預(yù)先訓(xùn)練過(guò)的ResNet-50，且采用隨機(jī)梯度下降算法實(shí)現(xiàn)模型參數(shù)的更新。鑒于少數(shù)類(松動(dòng)類)的正確識(shí)別的意義遠(yuǎn)超過(guò)數(shù)據(jù)占優(yōu)的類別，通過(guò)觀測(cè)少數(shù)類AP以及MAP完成銷釘缺陷檢測(cè)模型參數(shù)的優(yōu)化。為了選取合適的學(xué)習(xí)率，本文以目標(biāo)數(shù)據(jù)集為訓(xùn)練對(duì)象，采用學(xué)習(xí)率分別為1×10-2、1×10-3、1×10-4、1×10-5、1×10-6等5個(gè)不同的訓(xùn)練模型。其他參數(shù)設(shè)置如下：最大訓(xùn)練輪數(shù)為50，每一輪包含10 000次迭代，且αt=0.25、γ=2。圖4為AP變化曲線。

圖4 不同學(xué)習(xí)率下的AP與訓(xùn)練次數(shù)的關(guān)系曲線Fig.4 Relationship between AP and training times under different learning rates

根據(jù)圖4可知，在銷釘松動(dòng)類數(shù)據(jù)樣本嚴(yán)重缺乏的情況下，當(dāng)學(xué)習(xí)率設(shè)置為合適的數(shù)值時(shí)，適當(dāng)?shù)挠?xùn)練次數(shù)不僅可以提高少數(shù)類的識(shí)別率，還可以有效提高總體AP。當(dāng)學(xué)習(xí)率過(guò)高或者過(guò)低時(shí)，即設(shè)置為1×10-2、1×10-6時(shí)，模型在訓(xùn)練時(shí)越過(guò)局部最優(yōu)值以及全局最優(yōu)，使得測(cè)試精度趨于0；當(dāng)學(xué)習(xí)率為1×10-4時(shí)，由圖4可以直觀地看到無(wú)論是少數(shù)類AP還是MAP，相對(duì)于學(xué)習(xí)率為1×10-3、1×10-5來(lái)說(shuō)總體偏低；而當(dāng)學(xué)習(xí)率設(shè)置為1×10-3時(shí)，經(jīng)過(guò)前15輪訓(xùn)練的模型，測(cè)試精度均要高于1×10-5時(shí)的情況，但隨著訓(xùn)練次數(shù)增加，會(huì)出現(xiàn)較大的波動(dòng)，最終無(wú)論是少數(shù)類的AP穩(wěn)定值，還是MAP穩(wěn)定值均要低于1×10-5的情況。

損失函數(shù)值作為缺陷識(shí)別算法的重要部分，能夠直觀地反映出模型在訓(xùn)練過(guò)程中的收斂狀況。如圖5(a)所示，當(dāng)學(xué)習(xí)率為1×10-2時(shí)，過(guò)大的學(xué)習(xí)率使得損失值趨于無(wú)窮大，已無(wú)法達(dá)到收斂；從圖5(b)可知，當(dāng)學(xué)習(xí)率設(shè)置為1×10-6時(shí)，損失函數(shù)值出現(xiàn)異常，經(jīng)過(guò)50萬(wàn)次的迭代，模型仍無(wú)法收斂。學(xué)習(xí)率為1×10-3、1×10-4、1×10-5時(shí)，損失值隨著模型訓(xùn)練的進(jìn)行最終穩(wěn)定在較低的值域范圍內(nèi)，并且在學(xué)習(xí)率為1×10-3與1×10-5這2種情況下的收斂情況十分接近，在前15輪訓(xùn)練中，收斂速率明顯快于學(xué)習(xí)率為1×10-4的速度。

圖5 不同學(xué)習(xí)率下?lián)p失值的變化曲線Fig.5 Variation curves of loss value under different learning rates

4.2 單倍輔助數(shù)據(jù)對(duì)實(shí)驗(yàn)結(jié)果的影響以及分析

為了驗(yàn)證本文的相關(guān)輔助數(shù)據(jù)樣本對(duì)檢測(cè)模型性能的影響，分別使用目標(biāo)數(shù)據(jù)集和混合數(shù)據(jù)集訓(xùn)練模型，隨后使用同一批測(cè)試集對(duì)經(jīng)過(guò)訓(xùn)練的模型進(jìn)行測(cè)試，得到如圖6所示的P-R曲線。

根據(jù)圖6可知：在添加相關(guān)輔助數(shù)據(jù)之前，正常類別數(shù)據(jù)樣本占據(jù)極大優(yōu)勢(shì)，而缺陷類別，尤其是銷釘松動(dòng)類樣本不足，導(dǎo)致檢測(cè)模型在訓(xùn)練過(guò)程中側(cè)重于學(xué)習(xí)正常類別樣本特征，松動(dòng)類的特征并沒(méi)有得到有效的提取，最終松動(dòng)類的AP值僅為0.64，而正常類別以及缺失類別的AP分別達(dá)到0.80、0.71。圖7給出了類別失衡情況下缺陷類別的部分典型錯(cuò)分樣本，在類別失衡的情況下，錯(cuò)分樣本大多集中于少數(shù)類中，它們被錯(cuò)誤地識(shí)別為數(shù)據(jù)占優(yōu)的正常類別。在添加適量的人工采集的相關(guān)輔助數(shù)據(jù)后，盡管輔助數(shù)據(jù)樣本與目標(biāo)數(shù)據(jù)集之間存在一定程度的差異，但其在某種程度上緩解了類別不平衡所造成的“偏移”現(xiàn)象，即在保證正常類別AP變化不大的前提下，大幅度增加了缺陷類AP，其中松動(dòng)類AP由原先的0.64上升為0.70，缺失類別AP也上升了0.3。

圖6 對(duì)經(jīng)過(guò)50輪訓(xùn)練的模型進(jìn)行測(cè)試得到的各類別的P-R曲線Fig.6 Various P-R curves of the model tested by 50 rounds of training

圖7 類別失衡情況下識(shí)別錯(cuò)誤的缺陷樣本Fig.7 Misidentified defect samples under category imbalance

4.3 輔助數(shù)據(jù)的量化實(shí)驗(yàn)及分析

為了進(jìn)一步分析少數(shù)類的相關(guān)輔助數(shù)據(jù)的量對(duì)測(cè)試結(jié)果的影響，在原先的參數(shù)設(shè)置下，分別向原始目標(biāo)數(shù)據(jù)集添加不同數(shù)量的輔助數(shù)據(jù)樣本進(jìn)行模型訓(xùn)練，最后使用同一批測(cè)試機(jī)對(duì)每一輪訓(xùn)練后的模型進(jìn)行測(cè)試，得到圖8所示的結(jié)果。

圖8 AP與輔助數(shù)據(jù)樣本數(shù)量的關(guān)系Fig.8 Relationship between AP and numbers of auxiliary data samples

根據(jù)圖8測(cè)試結(jié)果可知：添加輔助數(shù)據(jù)后，模型在訓(xùn)練過(guò)程中可以學(xué)習(xí)到更多的松動(dòng)類的特征，對(duì)松動(dòng)類的重視程度有所提高，無(wú)論是MAP，還是少數(shù)類的AP，都有明顯的提高。因此，當(dāng)銷釘缺陷數(shù)據(jù)樣本數(shù)量不足以支持深度學(xué)習(xí)缺陷識(shí)別訓(xùn)練的情況下，可以通過(guò)添加相關(guān)輔助數(shù)據(jù)樣本來(lái)提高模型的泛化能力。然而，當(dāng)輔助數(shù)據(jù)樣本數(shù)量達(dá)到原先少數(shù)類的5倍時(shí)，松動(dòng)類的AP達(dá)到峰值0.80，MAP達(dá)到了最大值0.82;如果進(jìn)一步增加輔助數(shù)據(jù)樣本，鑒于目標(biāo)數(shù)據(jù)集與輔助數(shù)據(jù)集之間存在某種程度的差異，當(dāng)輔助數(shù)據(jù)樣本的數(shù)量達(dá)到6倍，甚至6倍以上時(shí)，松動(dòng)類的AP或MAP均有所下降。

為了分析目標(biāo)數(shù)據(jù)集與輔助數(shù)據(jù)樣本之間的差異性，以包含5倍輔助數(shù)據(jù)的訓(xùn)練集(記為A5)和不包含輔助數(shù)據(jù)集的訓(xùn)練集(記為A0)為研究對(duì)象，分別對(duì)前12輪訓(xùn)練輸出的模型進(jìn)行測(cè)試。對(duì)于前者，分別采用A5中只包含少數(shù)類(松動(dòng)類)的輔助數(shù)據(jù)的測(cè)試集(記為T5)以及A5中只包含少數(shù)類的目標(biāo)數(shù)據(jù)集(記為T6)進(jìn)行測(cè)試，后者使用A0中銷釘松動(dòng)類作為測(cè)試集(記為T0)進(jìn)行測(cè)試，輸出圖9所示的AP值變化曲線。

根據(jù)圖9可以看出：由于輔助數(shù)據(jù)集無(wú)論是前景物還是背景，其復(fù)雜度均要低于無(wú)人機(jī)采集到的數(shù)據(jù)樣本。因此，使用訓(xùn)練集A5經(jīng)過(guò)1輪的訓(xùn)練后，在T5上就能夠達(dá)到0.99的AP；但在T0和T6上AP要到達(dá)0.99，卻需要經(jīng)過(guò)多輪的訓(xùn)練才行。另外，通過(guò)圖9中的曲線走勢(shì)可以直觀地發(fā)現(xiàn)模型在T0上的測(cè)試結(jié)果與在T5測(cè)試輸出的曲線走勢(shì)大致相同，并且后者曲線位于前者曲線上方，表明了輔助數(shù)據(jù)可以在某種程度上增強(qiáng)模型的泛化能力，但輔助數(shù)據(jù)樣本與目標(biāo)數(shù)據(jù)集之間的差異性對(duì)模型測(cè)試精度的影響也是不容忽視的。

圖9 不同測(cè)試集下的AP值變化曲線Fig.9 AP value curves under different test sets

5 結(jié)束語(yǔ)

考慮到人工標(biāo)注電力金具上銷釘?shù)某Ｒ娙毕輹r(shí)耗時(shí)耗力，并且經(jīng)常出現(xiàn)漏檢的情況，本文首先采用深度學(xué)習(xí)RetinaNet算法實(shí)現(xiàn)銷釘缺陷的智能識(shí)別，并分析了學(xué)習(xí)率對(duì)實(shí)驗(yàn)結(jié)果的影響，為今后缺陷智能識(shí)別技術(shù)提供了理論依據(jù)；其次，針對(duì)銷釘缺陷識(shí)別中缺陷樣本不足導(dǎo)致的類別失衡問(wèn)題，分析了類別不平衡給缺陷識(shí)別造成的影響，并得出結(jié)論：類別失衡致使大量松動(dòng)類銷釘被錯(cuò)分為數(shù)據(jù)量占優(yōu)的正常類，設(shè)置合適的學(xué)習(xí)率以及迭代次數(shù)，不僅可以加快模型訓(xùn)練時(shí)的收斂速度，還可以在某種程度上緩解數(shù)據(jù)樣本不足帶來(lái)的不利影響，提高少數(shù)類的AP。另外，考慮到現(xiàn)實(shí)情況中銷釘缺陷樣本出現(xiàn)較少和采集代價(jià)高，本文提出了一種簡(jiǎn)單易行的相關(guān)輔助數(shù)據(jù)樣本的采集方法，形成輔助數(shù)據(jù)樣本庫(kù)，為后續(xù)研究打下堅(jiān)實(shí)基礎(chǔ)；最后，考慮到人工采集到的輔助數(shù)據(jù)樣本與無(wú)人機(jī)采集到的目標(biāo)數(shù)據(jù)之間的差異，對(duì)相關(guān)輔助數(shù)據(jù)以及目標(biāo)數(shù)據(jù)和輔助數(shù)據(jù)之間的差異進(jìn)行了量化分析，結(jié)果表明對(duì)于少數(shù)類樣本數(shù)量，添加適量的輔助數(shù)據(jù)有利于提高檢測(cè)模型的泛化能力，但當(dāng)輔助數(shù)據(jù)遠(yuǎn)遠(yuǎn)超過(guò)目標(biāo)數(shù)據(jù)數(shù)量時(shí)，輔助數(shù)據(jù)中的冗余數(shù)據(jù)使得兩者間的差異明顯放大，致使檢測(cè)模型的精度反而有所下降，不利于模型訓(xùn)練的開展。

本文雖然得出了AP與輔助數(shù)據(jù)樣本數(shù)量之間的數(shù)據(jù)關(guān)系，但對(duì)造成這種結(jié)果的原因仍缺乏深入分析；同時(shí)，本文只是在數(shù)據(jù)層面展開研究，而在算法層面并未提出相應(yīng)改進(jìn)策略。因此，這些問(wèn)題均可以作為后續(xù)的研究?jī)?nèi)容。