曹錦綱，楊國(guó)田，楊錫運(yùn)

基于RPCA和視覺(jué)顯著性的風(fēng)機(jī)葉片表面缺陷檢測(cè)

曹錦綱1，楊國(guó)田2，楊錫運(yùn)2

(1. 華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071003；2. 華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，北京 102206)

針對(duì)風(fēng)機(jī)葉片表面缺陷檢測(cè)問(wèn)題，提出了一種基于魯棒主成分分析(RPCA)和視覺(jué)顯著性的表面缺陷檢測(cè)方法。在RPCA的基礎(chǔ)上，通過(guò)增加噪聲項(xiàng)和考慮像素的空間關(guān)系，以利于缺陷的分割，即通過(guò)F范數(shù)正則項(xiàng)抑制高斯噪聲和光照不均，利用Laplacian正則項(xiàng)約束像素的空間關(guān)系，以保持顯著圖中具有相似顯著值且空間相鄰超像素的局部一致性和不變性。首先，對(duì)輸入的風(fēng)機(jī)葉片表面圖像進(jìn)行超像素分割和特征提取，得到圖像的特征矩陣；然后，利用改進(jìn)的RPCA法得到稀疏矩陣，根據(jù)稀疏矩陣和視覺(jué)顯著性方法計(jì)算出缺陷區(qū)域的顯著圖；最后，優(yōu)化顯著圖并采用自適應(yīng)閾值分割實(shí)現(xiàn)缺陷的檢測(cè)。通過(guò)實(shí)驗(yàn)仿真和對(duì)實(shí)驗(yàn)結(jié)果定性定量分析，表明該方法具有較高的準(zhǔn)確率。

RPCA；視覺(jué)顯著性；缺陷檢測(cè)；風(fēng)機(jī)葉片

風(fēng)機(jī)葉片是風(fēng)力發(fā)電機(jī)組的力源和主要承載部件，也是最昂貴和最易受損的部件，暴風(fēng)雨、風(fēng)沙和雷擊等都有可能損傷葉片。隨著國(guó)內(nèi)風(fēng)電場(chǎng)運(yùn)行時(shí)間的增加，風(fēng)機(jī)葉片表面缺陷的快速、高效檢測(cè)變得越來(lái)越重要。傳統(tǒng)的人工巡檢已難以滿足要求，隨著圖像處理技術(shù)的發(fā)展，無(wú)人機(jī)巡檢等基于機(jī)器視覺(jué)的缺陷檢測(cè)得到了快速發(fā)展?；跈C(jī)器視覺(jué)的缺陷檢測(cè)的關(guān)鍵是將缺陷區(qū)域從圖像中分割出來(lái)，生成缺陷的二值圖像。常見(jiàn)的圖像分割方法主要包括基于統(tǒng)計(jì)、濾波和模型3種[1]。當(dāng)前，深度學(xué)習(xí)發(fā)展迅速，具有較好的性能且多用于分類，但實(shí)際應(yīng)用于檢測(cè)的較少，原因有2點(diǎn)：一是缺陷數(shù)據(jù)庫(kù)太小，無(wú)法滿足深度網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)的要求而易導(dǎo)致過(guò)擬合；二是大規(guī)模缺陷圖像收集費(fèi)時(shí)且人工標(biāo)記開(kāi)銷大。

近年來(lái)，魯棒主成分分析(robust principal component analysis, RPCA)[2]被應(yīng)用于圖像重建、目標(biāo)識(shí)別和缺陷檢測(cè)等。在進(jìn)行缺陷檢測(cè)時(shí)，可將有缺陷的圖像分為無(wú)缺陷背景紋理區(qū)和缺陷前景區(qū)2部分，分別用低秩矩陣和稀疏矩陣表示。文獻(xiàn)[3]用RPCA批量檢測(cè)同一場(chǎng)景、同一光源下的多幅圖像，將一幅圖像變成矩陣的一列，為了能將圖像以低秩和稀疏矩陣表示，待檢圖像必須有多幅；文獻(xiàn)[4-5]利用RPCA，通過(guò)低秩分解得到織物疵點(diǎn)顯著圖，并對(duì)顯著圖優(yōu)化和閾值分割完成疵點(diǎn)檢測(cè)。文獻(xiàn)[6]用低秩分解得到缺陷特征矩陣，獲得缺陷區(qū)域的初始顯著圖，再利用超像素分割和視覺(jué)顯著性精確定位太陽(yáng)能電池片表面缺陷區(qū)域；文獻(xiàn)[7]將RPCA應(yīng)用于紙病圖像的分割，但紙病圖像背景情況單一；文獻(xiàn)[8]用RPCA對(duì)鋁箔圖像進(jìn)行低秩分解，實(shí)現(xiàn)背景圖像和缺陷圖像的分離，達(dá)到鋁箔表面缺陷檢測(cè)的目的。但當(dāng)表面存在較大低對(duì)比度缺陷區(qū)域時(shí)，缺陷檢測(cè)的連續(xù)性不能令人滿意。文獻(xiàn)[9]將低秩分解應(yīng)用于LCD表面缺陷檢測(cè)，但主要針對(duì)背景紋理簡(jiǎn)單的LCD圖像，擴(kuò)展性不強(qiáng)；文獻(xiàn)[10]提出了帶有噪聲項(xiàng)的RPCA模型—(NRPCA)，用于織物缺陷的檢測(cè)，該模型忽視了稀疏像素間的連接性，無(wú)法檢測(cè)連續(xù)的缺陷區(qū)域；文獻(xiàn)[11]用F范數(shù)代替RPCA模型中的核范數(shù)和2范數(shù)，而F范數(shù)并不與核范數(shù)和2范數(shù)相同，因此有些情況，檢測(cè)效果并不好，檢測(cè)的缺陷區(qū)域邊界很模糊。

以上采用RPCA進(jìn)行缺陷檢測(cè)時(shí)，均未考慮圖像的光照問(wèn)題，而通過(guò)無(wú)人機(jī)巡檢采集的風(fēng)機(jī)葉片圖像，由于圖像的拍攝角度不同，光照不均不可避免。同時(shí)，為了更好地檢測(cè)出連續(xù)的缺陷區(qū)域，本文提出了一種考慮像素空間關(guān)系和帶有噪聲項(xiàng)的RPCA風(fēng)機(jī)葉片表面缺陷檢測(cè)方法，以抑制高斯噪聲和光照不均的影響。

1 本文方法

圖1是本文風(fēng)機(jī)葉片表面缺陷檢測(cè)流程圖。

圖1 風(fēng)機(jī)葉片表面缺陷檢測(cè)流程圖

1.1 超像素分割

超像素分割將具有相似特征的像素聚集在一起，形成一個(gè)超像素。以超像素作為圖像處理的基本單位可以大大降低維度和剔除一些異常像素點(diǎn)。而風(fēng)機(jī)葉片的表面缺陷部分和無(wú)缺陷部分，具有不同的特征(顏色和紋理等)，通過(guò)超像素分割可將缺陷部分有效的聚集起來(lái)。本文采用SLIC算法[12]實(shí)現(xiàn)超像素分割。

1.2 特征提取

本文提取圖像的顏色特征、Gabor特征和方向可控金字塔特征。

(1) 顏色特征。采用圖像的RGB 3顏色通道以及HSV顏色空間的H和V2通道共5個(gè)特征表示葉片圖像的顏色特征。每個(gè)超像素所包含像素的平均顏色特征，即為超像素的顏色特征，則圖像的顏色特征矩陣5×K，其中為超像素的個(gè)數(shù)，以下同。

(2) Gabor特征。Gabor濾波器的頻率和方向與人類的視覺(jué)系統(tǒng)類似，特別適合于紋理表示與判別。用Gabor特征能夠描述圖像紋理信息，而且其具有良好的空間局部性和方向選擇性，對(duì)光照等具有一定的魯棒性。本文對(duì)圖像采用3尺度8方向進(jìn)行Gabor濾波，其Gabor特征矩陣24×K。

(3) 方向可控金字塔特征。方向可控金字塔具有尺度和方向子帶的圖像表示，且不會(huì)混疊。本文對(duì)缺陷圖像采用2尺度6方向?yàn)V波，其方向可控金字塔特征矩陣12×K。

將上述圖像的3種特征組合在一起，便構(gòu)成圖像的特征矩陣41×K。

1.3 改進(jìn)的RPCA方法

RPCA的基本思想是將受到干擾的矩陣分解成低秩矩陣和稀疏矩陣兩部分，即

=+(1)

其中，為特征矩陣；為低秩矩陣；為稀疏矩陣。將式(1)轉(zhuǎn)化為式(2)的最優(yōu)化問(wèn)題，即

為實(shí)現(xiàn)對(duì)光照不均的抑制和能夠檢測(cè)連續(xù)的缺陷區(qū)域，在RPCA的基礎(chǔ)上，增加F范數(shù)正則項(xiàng)抑制光照不均的問(wèn)題，利用Laplacian正則項(xiàng)約束像素的空間關(guān)系，則式(3)可變形為

其中，,,,×K分別為特征矩陣、低秩矩陣、稀疏矩陣和噪聲矩陣，為超像素?cái)?shù)目，為特征數(shù)(本文取值為41)；(,)為L(zhǎng)aplacian正則項(xiàng)；為矩陣的F范數(shù)；，和為罰參數(shù)。Laplacian正則項(xiàng)可以保持顯著圖中具有相似顯著值并在空間相鄰的超像素的局部一致性和不變性，從而有利于缺陷的分割，而噪聲項(xiàng)則可以抑制高斯噪聲和光照不均。

其中，w，×K為超像素間的連接權(quán)值矩陣；為CIE-Lab顏色空間中超像素和在、和顏色通道的歐氏距離，×K為L(zhǎng)aplacian矩陣，即

式(4)經(jīng)過(guò)松弛后，變?yōu)?/p>

令=，則

其增廣拉格朗日函數(shù)為

因此，式(10)可轉(zhuǎn)換為優(yōu)化問(wèn)題，即

利用ADM算法[13]求解，，和。

(1) 更新

對(duì)求導(dǎo)，并令其值為0，得到

(2) 更新

則

(3) 更新

整理得

則，

更新

對(duì)求導(dǎo)，并令其等于零，則

算法描述：

輸入：特征矩陣。

輸出：低秩矩陣，稀疏矩陣和噪聲矩陣。

步驟2. 按照式(13)，(15)，(19)和式(21)更新，，和；

步驟4. 更新迭代次數(shù)；

步驟5. 判斷是否達(dá)到最大迭代次數(shù)max。是，則結(jié)束，輸出，和，否則轉(zhuǎn)步驟2。

1.4 圖像缺陷區(qū)域顯著圖及其優(yōu)化

由所得稀疏矩陣，可計(jì)算超像素的顯著值，即

通過(guò)對(duì)求導(dǎo)，并令其為零，得

通過(guò)該優(yōu)化，缺陷區(qū)域的顯著值增大，非缺陷區(qū)域的顯著值減小，從而使缺陷的顯著圖更加突出，如圖2所示。最后對(duì)顯著圖使用大津法進(jìn)行自動(dòng)閾值分割，二值圖像中的白色部分即為表面缺陷。

2 實(shí)驗(yàn)結(jié)果與分析

(1)定性比較。圖3為本文算法和相關(guān)算法檢測(cè)的顯著圖。其中，圖3(1)和(2)分別是原始圖像和人工標(biāo)注圖；圖3(4)和(5)分別為RPCA和NRPCA算法，其檢測(cè)連續(xù)的缺陷區(qū)域效果較差，對(duì)光照不均圖像的缺陷檢測(cè)基本失效，雖然NRPCA通過(guò)增加F范數(shù)正則項(xiàng)，在一定程度上抑制了噪點(diǎn)，但是檢測(cè)效果并不理想。PNRPCA在NRPCA的基礎(chǔ)上，考慮了稀疏像素間的權(quán)值，從圖3(6)可以看出，在圖像光照均勻時(shí)，檢測(cè)效果較好，但是圖像光照不均時(shí)，則出現(xiàn)很大的誤檢?；谝曈X(jué)顯著性的SR和FF算法，缺陷的顯著性圖較為模糊、難以分辨，檢測(cè)效果很差，如圖3(7)和(8)所示；圖3(9)是FT歸一化后的顯著圖，其能夠檢測(cè)出缺陷區(qū)域，但是也存在大量的干擾，總體檢測(cè)效果較差；從圖3(10)可見(jiàn)，CA算法的顯著圖能夠突出缺陷區(qū)域，但是邊界較為模糊，不利于區(qū)域的準(zhǔn)確定位。如圖3(3)所示，對(duì)于連續(xù)缺陷區(qū)域和光照不均圖像，均能夠較準(zhǔn)確的檢測(cè)缺陷區(qū)域，從而說(shuō)明了本文算法的可行性和有效性。

(1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (a) 圖像1(b) 圖像2(c) 圖像3(d) 圖像4(e) 圖像5(f) 圖像6(g) 圖像7(h) 圖像8

(2) 定量比較。本文采用了PR曲線、F-measure曲線、ROC曲線和AUC圖對(duì)缺陷區(qū)域檢測(cè)的精確性進(jìn)行評(píng)價(jià)。查準(zhǔn)率()、查全率()、假陽(yáng)率()和真陽(yáng)率()定義為

其中，、、和分別為顯著圖中的真陽(yáng)數(shù)、真陰數(shù)、假陽(yáng)數(shù)和假陰數(shù)。

PR曲線以“P(Precision)”為縱坐標(biāo)，“R(Recall)”為橫坐標(biāo)。PR 曲線越靠近右上角性能越好。圖4為各算法的PR曲線圖，從圖中看出，本文算法相較其他算法，曲線更加靠右上角，說(shuō)明本文算法在相同情況下，具有更高的“查準(zhǔn)率”和“查全率”。

由于查準(zhǔn)率和查全率無(wú)法全面地對(duì)顯著性圖進(jìn)行評(píng)估，又采用了F-measure評(píng)價(jià)指標(biāo)，即查全率和查準(zhǔn)率在非負(fù)權(quán)重下的加權(quán)調(diào)和平均值。其綜合了和的結(jié)果，當(dāng)measure較高時(shí)，說(shuō)明方法比較有效

根據(jù)經(jīng)驗(yàn)，一般取值為0.3。圖5是各算法的F-measure曲線，從圖中可以看到，本文算法具有更高的Fmeasure值。

圖5 各算法F-measure曲線比較

以FPR為橫軸，TPR為縱軸，即可得到ROC曲線，ROC曲線的面積值即為AUC (area under curve)，AUC越大，準(zhǔn)確率越高。圖6和圖7是各算法的ROC曲線和AUC圖。從圖7可以看到，只有本文算法的AUC大于0.9，說(shuō)明本文算法具有較高的準(zhǔn)確率。

圖6 各算法ROC曲線比較

圖7 各算法AUC圖比較

3 結(jié)束語(yǔ)

本文結(jié)合視覺(jué)顯著性檢測(cè)和RPCA，提出了一種風(fēng)機(jī)葉片表面缺陷的檢測(cè)方法，通過(guò)在RPCA模型中增加F范數(shù)和Laplacian正則項(xiàng)，抑制光照不均和利用像素間的空間關(guān)系，實(shí)現(xiàn)風(fēng)機(jī)葉片表面缺陷的檢測(cè)。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)于風(fēng)機(jī)葉片表面缺陷圖像的檢測(cè)具有較高的準(zhǔn)確性。然而，由于本文算法在檢測(cè)過(guò)程中，以超像素為基本的檢測(cè)單元，而超像素分割對(duì)于微小缺陷的分割并不夠理想，因此本算法在檢測(cè)表面微小缺陷時(shí)，效果欠佳，這也是需要進(jìn)一步研究的。

[1] Kumar A. Computer-vision-based fabric defect detection: A survey [J]. IEEE Transactions on Industrial Electronics, 2008, 55(1): 348-363.

[2] Candès E J, Li X D, Ma Y, et al. Robust principal component analysis? [J]. Journal of the ACM, 2011, 58(3): 1-37.

[3] 姚明海, 李潔, 王憲保. 基于RPCA的太陽(yáng)能電池片表面缺陷檢測(cè)[J]. 計(jì)算機(jī)學(xué)報(bào), 2013, 36(9): 1943-1952.

[4] 李春雷, 高廣帥, 劉洲峰, 等. 應(yīng)用方向梯度直方圖和低秩分解的織物疵點(diǎn)檢測(cè)算法[J]. 紡織學(xué)報(bào), 2017, 38(3): 149-154.

[5] Li C L, Liu C D, Gao G S, et al. Robust low-rank decomposition of multi-channel feature matrices for fabric defect detection [EB/OL]. Multimedia Tools and Applications. (2018-08-09) [2018-12-26]. https://doi.org/ 10.1007/s11042-018-6483-6.

[6] 錢曉亮, 張鶴慶, 張煥龍, 等. 基于視覺(jué)顯著性的太陽(yáng)能電池片表面缺陷檢測(cè)[J]. 儀器儀表學(xué)報(bào), 2017, 38(7): 1570-1578.

[7] 亢潔, 潘思璐, 王曉東. 基于RPCA的紙病圖像分割算法[J]. 中國(guó)造紙學(xué)報(bào), 2017, 32(2): 39-44.

[8] 王輝, 孫洪. 魯棒主成分分析的鋁箔表面缺陷檢測(cè)方法[J]. 信號(hào)處理, 2017, 33(4): 577-582.

[9] Cen Y G, Zhao R Z, Cen L H, et al. Defect inspection for TFT-LCD images based on the low-rank matrix reconstruction [J]. Neurocomputing, 2015, 149: 1206-1215.

[10] Cao J J, Wang N N, Zhang J, et al. Detection of varied defects in diverse fabric images via modified RPCA with noise term and defect prior [J]. International Journal of Clothing Science and Technology, 2016, 28(4): 516-529.

[11] Cao J J, Zhang J, Wen Z J, et al. Fabric defect inspection using prior knowledge guided least squares regression [J]. Multimedia Tools and Applications, 2017, 76(3): 4141-4157.

[12] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[13] LinZ C, Chen M M, Ma Y. The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices [R]. Champaign: University of Illinois-Urbana-Champaign, 2009.

[14] Zhu W J, Liang S, Wei Y C, et al. Saliency optimization from robust background detection [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 2814-2821.

[15] Hou X D, Zhang L Q. Saliency detection: A spectral residual approach [C]//2007 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-8.

[16] 李富生, 李霞, 陳宇. 基于改進(jìn)四元傅里葉變換的顯著性檢測(cè)及其視頻編碼應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用研究, 2015, 32(5): 1540-1545.

[17] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection [C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 1597-1604.

[18] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926.

Surface Defect Detection of Wind Turbine Blades Based on RPCA and Visual Saliency

CAO Jin-gang1, YANG Guo-tian2, YANG Xi-yun2

(1. School of Control and Computer Engineering, North China Electric Power University, Baoding Hebei 071003, China; 2. School of Control and Computer Engineering, North China Electric Power University, Beijing 102206, China)

Aiming at the problem of surface defect detection of wind turbine blades, a method based on robust principal component analysis (RPCA) and visual saliency is proposed. Based on RPCA, the method adds the noise term and Laplacian regularization term to facilitate the segmentation of defect images, that is, suppressing Gaussian noise and uneven illumination by F-norm regularization term, and constraining the spatial relationship of pixels with Laplacian regularization term which can preserve invariance and the local consistency among the spatially adjacent sub-regions with similar saliency values in a saliency map. Firstly, superpixel segmentation and feature extraction are performed on the surface image of input wind turbine blades to obtain the feature matrix of the image. Then, the sparse matrix is obtained by the improved PRCA, and the saliency map of the defect region is calculated according to the sparse matrix and visual saliency method. Finally, the saliency map is optimized and the adaptive threshold segmentation algorithm is used to detect defects. Through experimental simulation, the experimental results are qualitatively and quantitatively analyzed, which indicates that the proposed method has high detection accuracy.

RPCA; visual saliency; defect detection; wind turbine blades

TP 391

10.11996/JG.j.2095-302X.2019040704

A

2095-302X(2019)04-0704-07

2018-12-29；

定稿日期：2019-01-17

中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(2018MS072)

曹錦綱(1981-)，男，湖北宜昌人，講師，博士研究生。主要研究方向?yàn)橹悄芟到y(tǒng)與模式識(shí)別、計(jì)算機(jī)視覺(jué)等。E-mail：caojg168@126.com

楊國(guó)田(1962-)，男，遼寧義縣人，教授，博士，博士生導(dǎo)師。主要研究方向?yàn)槿斯ぶ悄芘c模式識(shí)別等。E-mail：ygt@ncepu.edu.cn