陳大兵,魏寒來,胡軼寧,舒華忠,王 征
(1.國網江蘇省電力有限公司電力科學研究院,南京,211103;2.東南大學網絡空間安全學院,南京,210096;3.東南大學計算機科學與工程學院,南京,210096)
中國電力系統(tǒng)發(fā)展十分迅速,提高電網輸電能力、節(jié)省投資、保護環(huán)境、提高電網的經濟效益和安全可靠性成為電網發(fā)展亟待解決的問題。如今部分應用于高壓電網的碳纖維復合芯導線(Aluminum conductor composite core, ACCC)因具有重量輕、載流量大、線損低及弧垂小等技術優(yōu)勢,成為最具發(fā)展?jié)摿Φ男滦蛯Ь€品種[1]。但是,ACCC 抗彎曲性是推廣和應用的主要障礙,因此碳纖維復合材料芯損傷的檢測必不可少[2]。然而通過諸如應力檢測[3-4]、電磁感應檢測[5-6]及聲波檢測[7-8]等均無法穿透ACCC外層導電層并有效探測到其中碳纖維芯棒存在的缺陷。X 射線近年來被廣泛應用于工業(yè)無損探傷領域[9-10],但一方面由于ACCC 導線X 射線所成圖像中缺陷部位的對比度嚴重不足,另一方面由于輸電線路很長,導致導線在線檢測需要對大量圖片進行識別,極易因人員疲勞造成漏檢,因此限制了該項技術在ACCC 導線無損檢測產業(yè)中的應用。隨著人工智能的發(fā)展,以Faster RCNN 方法為代表的目標分類檢測算法[11-12]在無損檢測領域得到了廣泛的應用[13-14]。然而Faster RCNN 算法直接應用于ACCC 導線缺陷檢測時,限于在線拍攝環(huán)境,存在導線區(qū)域彎曲、不同區(qū)域亮度差異大以及不同圖像間亮度一致性較差等問題,難以獲得高精度的檢測結果。
針對這一難題,本文提出了一套結合圖像標準化增強與深度神經網絡的快速ACCC 導線缺陷自動檢測方案。該方案對導線的區(qū)域彎曲進行補償,不同區(qū)域亮度進行一致化,并通過直方圖規(guī)定算法將圖像亮度映射為標準亮度,以降低訓練/檢測難度,提高檢測精度。在此基礎上結合Faster RCNN 網絡進行自動缺陷檢測。以雙層鋁股線類型的碳纖維復合芯導線X 射線圖像作為研究對象進行實驗,結果表明:通過該標準化方案,能夠有效提高利用卷積神經網絡對ACCC 導線進行自動缺陷檢測的效率,大幅提高檢測精度和穩(wěn)定性。
為了實現ACCC 導線的在線成像以及缺陷檢測,本文設計開發(fā)了一套爬線機器人。機器人自重25 kg,運行速率為0.2 m/s,載有額定電壓80 kV,額定電流0.7 mA 的X 射線源;X 射線探測板型號為PerkinElmer XRpad2,分辨率為100 μm。機器人搭配ARK1123H 小型工控系統(tǒng),CPU 為Intel Celeron J1900,作為下位機,負責圖像采集與部分前處理。上位機為Dell G7 筆記本電腦,顯卡為NVIDIA 2070-Q,負責圖像亮度標準化、圖像增強和實時檢測運算。
系統(tǒng)采集所得圖像如圖1 所示,導線影像為長條狀,僅占據了探測板有效靶面的小部分,受重力等因素影響,導線的形態(tài)呈輕微垂?。▓D1(a)),且圖像間成像亮度存在不一致(圖1(b))。在通過機器學習進行缺陷自動識別之前,需要通過圖像剪裁、彎曲補償及灰度標準化等預處理,以降低學習成本,提升學習效率。
經過裁剪后的導線區(qū)域,為了保證圖像位置一致性,需進行彎曲補償。在補償過程中僅考慮垂直方向形變,因此本文通過邊界檢測獲得導線的上下邊界,取其中點生成偏移曲線,并以列為單位完成補償。利用偏移曲線對導線圖像進行彎曲補償時由于邊界檢測采用了閾值分割,相鄰列偏移量不連續(xù),將產生豎條狀偽影(圖2(a)),為解決這一問題本文采用高斯濾波對偏移曲線進行濾波,濾波公式為
圖1 碳纖維復合芯導線X 射線圖像Fig.1 X-ray image of carbon fiber composite core wire
圖2 導線彎曲補償效果對比Fig.2 Comparison of wire bending compensation
式中:σ為方差;x為橫坐標。設離散化濾波核長度為17,根據濾波結果進行線性插值,其結果如圖2(b)所示。對比可發(fā)現,濾波消除了矯正圖像中的豎條狀偽影,提升了補償效果。
在ACCC 導線X 射線圖像的采集過程中,導致圖像亮度不一致的因素有兩種:(1)平板探測器中心和四周區(qū)域的射線響應不同,導致單幅圖像中目標亮度不一致;(2)采集過程中,為爬線機器人供電的電池電量下降引起X 射線強度下降,與成像板做亮度場校正時的射線場存在差異。針對這兩種不同的亮度不一致現象,本文分別采用單幅圖像亮度一致化和多幅圖像亮度標準化技術進行解決。
(1)單幅圖像亮度一致化
考慮到ACCC 導線的整體均勻性,同一張圖像不同位置的ACCC 導線局部亮度應趨于一致。由于絞線空隙紋理的存在,本文在導線的每一個水平中心位置附近選取一定寬度的區(qū)域,進行局部亮度統(tǒng)計,之后根據局部亮度信息對ACCC 導線進行整體亮度一致性補償。
給定一致化目標亮度Bm,然后逐列統(tǒng)計局部亮度Barea(i)為
式中:H為圖像高度;W為區(qū)域寬度。
根據統(tǒng)計亮度和與規(guī)定亮度的比值,對該窗口中間一列各點像素值進行映射,統(tǒng)一映射到一致化目標亮度Bm。
式中B′(i,j)與B(i,j)分別表示映射前后像素(i,j)的亮度。
(2)多幅圖像亮度標準化
直方圖規(guī)定[15]是一種尋找直方圖之間單調映射的方法,通過將原始圖像各灰度級映射到目標圖像各灰度級來實現不同圖像的亮度標準化,本文通過直方圖規(guī)定算法實現了多幅圖像亮度標準化。圖3 中左側為3 幅不同亮度分布的導線圖像及其灰度直方圖;中間為標準圖像及灰度直方圖,該標準圖像下缺陷與背景對比較為明顯且接近標準成像條件下的成像效果;右側為直方圖規(guī)定轉換后圖像,轉換后圖像與標準圖像具有完全相同的灰度分布。
圖3 直方圖規(guī)定化效果圖Fig.3 Effect diagram of histogram normalization
本文采用了經典的Faster RCNN(Region convolutional neural network)模型[12]對 ACCC 導線 X 射線圖像中的缺陷進行自動檢測。樣本分為有/無缺陷二分類,缺陷包括鋸口、折口、空隙及劈裂等,訓練參數樣本1 250 張,測試樣本638 張,測試樣本中包含缺陷樣本320 張。
Faster RCNN 依次由卷積層(Convolution layers)、區(qū)域選取網絡(Region proposal network,RPN)、感興趣區(qū)域(Region of interests,ROI)池化層、分類和回歸(Classifier)4 個部分組成。
卷積層用于提取圖片的特征,輸入為2 475 像素×225 像素大小經過預處理的圖片,輸出為提取出的特征(Feature maps)。本文使用了 5 種不同特征提取網絡,包括 VGG,GoogleNet,Inception v2,Resnet 和WideResnet 進行實驗,并對比最終結果,以尋找較為合適的特征提取網絡。
RPN 網絡對提取的卷積特征圖進行處理,用于尋找可能包含缺陷目標的區(qū)域(目標建議)。本文用所有以Mini Batch 梯度下降法篩選出來的Anchor Box 先驗框和二進制交叉熵來計算分類損失,用IoU(Intersection of union)值大于0.5 的前景Mini Batch 錨點來計算回歸損失。RPN 在自身訓練的同時,還會提供ROI 給Fast RCNN(RoIHead)作為訓練樣本。為解決多個目標建議在同一目標上重疊的問題,本文采用了非極大抑制算法(Non-maximum suppression, NMS)。NMS 保留評分最高的N個建議,由于電纜圖像數據中缺陷尺寸較小,故可以適當降低N的大小,本文實驗設置N大小為1 000。
通過RPN 獲得目標建議后,將目標建議與由卷積層獲得的特征圖一起輸入到ROI 池化層,為每個目標建議提取固定長度的特征,分類和回歸層使用這些特征進行分類,并進一步進行邊框調整,計算得到候選區(qū)域所屬的類,以及候選區(qū)域在圖像中的精確位置。
Faster RCNN 訓練方法采用端到端的聯合訓練方法,同時本文用隨機梯度下降的動量算法訓練,將動量值設置為0.9。學習率從0.001 開始,50 000 步后下降為0.000 1。
為驗證前面提出的導線圖像標準化方法對深度學習自動檢測準確率起到的提升作用,以雙層鋁股線類型的碳纖維復合芯導線X 射線圖像作為研究對象。本文分別采用原始圖像和標準化后圖像進行對比實驗,其中標準化部分包含單張亮度一致化和多圖亮度標準化。圖4 為含各種不同類型缺陷的樣本圖標準化處理前后對比效果,圖4(a)為處理前圖像,圖像間存在較大亮度差異,圖4(b)為處理后圖像,具有較高的亮度一致性。
標準化處理后圖像大小為2 475 像素× 225 像素,將其輸入神經網絡模型進行檢測。未經標準化處理的部分樣本在檢測中出現了較高的誤檢率和漏檢率,如圖5 所示。圖中1 號樣例右側區(qū)域的誤檢原因是整體亮度的偏低,導致網絡將過暗的斜紋錯誤認作了缺陷;2 號樣例右側區(qū)域的誤檢原因是整體亮度的偏高且背景與碳纖維芯棒對比度不高,導致了誤檢;3 號樣例右側區(qū)域是由于邊界的彎曲不平,導致神經網絡出現了誤判;4,5 號樣例中標注區(qū)域為漏檢缺陷區(qū)域,圖像整體亮度過大,而缺陷較為不明顯,對比度較低,使得網絡未能將原有的缺陷識別出來。而這些漏檢和誤檢在進行前端標準化后可以正確識別。
圖4 標準化處理前后對比Fig.4 Comparison before and after standardization
圖5 未經標準化處理發(fā)生漏檢/誤檢樣例Fig.5 Examples of missed / falsely detected cases without standardization
本文采用了多種不同的前處理方案,包括未進行標準化前處理、僅進行懸垂補償、進行了懸垂補償及單張圖像亮度一致化、進行了全部標準化前處理共4 種。采用Resnet 作為特征處理網絡,進行了Faster RCNN 缺陷檢測試驗,結果統(tǒng)計情況如圖6 所示。通過對比可以發(fā)現,不論是正確識別率、漏檢率還是誤檢率,隨著圖像依次進行懸垂補償、單張亮度標準化以及多張亮度標準化,其檢測精度逐步提升。由此可得出結論,本文提出的碳纖維導線X 射線圖像標準化方法,能夠有效地提高神經網絡對碳纖維導線X 射線圖像缺陷的識別率。
圖6 同網絡下有無標準化處理的圖像缺陷二分類識別率對比Fig.6 Comparison of classification rate of image defects with and without standardized processing in the same network
本文實現了 VGG,GoogleNet,Resnet,Inception v2 和 WideResnet 特征提取網絡結構,各特征提取網絡的檢測結果如圖7 所示。經對比可發(fā)現,無論采用何種特征提取網絡,標準化前處理均可以一定程度上提高檢測精度,而其中Resnet 特征網絡具有最高的檢測精度。
圖7 不同特征提取網絡下有無標準化處理的圖像缺陷二分類識別率對比Fig.7 Comparison of classification rate of image defects with or without standardized processing under different feature extraction networks
針對碳纖維復合芯導線中碳纖維芯棒抗彎折強度低,容易發(fā)生診斷而無法有效檢測的難題,本文提出了一種基于X 射線成像,結合了前端圖像標準化處理以及Faster RCNN 深度學習網絡的自動檢測方案。經實驗對比,所提出的懸垂補償、亮度標準化等前端圖像標準化處理可以有效提高檢測精度,而使用Faster RCNN 和Resnet 特征提取網絡,可以取得最佳的檢測精度。