馬寶琰 湯磊 趙晶 何勇軍

摘 要：風(fēng)電機組運行過程中需要定期巡檢葉片表面。人工巡檢方式工作量大、成本高且檢出率低，迫切需要引入智能巡檢系統(tǒng)。風(fēng)電葉片圖像的拼接是智能巡檢系統(tǒng)的關(guān)鍵環(huán)節(jié)，直接決定著系統(tǒng)性能。目前的拼接方法在面對風(fēng)電葉片這樣結(jié)構(gòu)與顏色單一的條形對象時無法提取出足夠的特征點，拼接成功率低。針對這一問題提出了基于直線特征的拼接方法。該方法首先檢測風(fēng)電葉片圖像中的直線，然后篩選去重作為特征進行圖像配準，最后根據(jù)平移旋轉(zhuǎn)矩陣拼接葉片圖像。實驗結(jié)果表明，所提出的方法能適應(yīng)拼接結(jié)構(gòu)單一、重合度小和背景多樣等復(fù)雜的情況，具有較強的魯棒性和穩(wěn)定性。

關(guān)鍵詞：圖像拼接;直線特征;差異度

DOI：10.15938/j.jhust.2020.05.012

中圖分類號： TP399

文獻標志碼： A

文章編號： 1007-2683（2020）05-0083-10

Abstract：It is necessary to periodically inspect the blade surface of the wind turbines operation. The widely used manual inspection method brings a heavy workload， high cost and low detection rate， so it is urgent to need anautomatic inspection system.Image mosaic of wind power blades is a key part of the intelligent inspection system， which directly determines the system performance. Current splicing methods cannot extract enough feature points when facing a strip object with a single structure and color such as wind power blade， causing failure in splicing success. A splicing method based on line features is proposed to solve this problem. This method first detects straight lines in the images of the wind power blade， then selects the de-duplication as the feature for image registration， and finally splices the blade image according to translation rotation matrix.Experimental results show that the proposed method shows strong robustness and stability in complex situations such as single structure， small coincidence degree and diverse backgroundstability.

Keywords：image mosaic; straight line features; degree of difference

0 引 言

目前我國風(fēng)力發(fā)電機組裝機容量高達6000萬千瓦，已經(jīng)超過美國，穩(wěn)居世界第一。風(fēng)電葉片是風(fēng)力發(fā)電機組的核心部件之一，容易受到雷擊、腐蝕等影響而損壞。定期巡檢風(fēng)電葉片，及時發(fā)現(xiàn)其表面缺陷并檢修或更換，保證機組正常運行，以節(jié)約成本、降低損失。以往主要采用蜘蛛人、吊車、望遠鏡等形式檢測，檢出率低，迫切需要研發(fā)一種智能巡檢系統(tǒng)。為了能夠檢測出毫米級的缺陷，巡檢系統(tǒng)需要采集高分辨率的葉片圖像。而風(fēng)力發(fā)電機葉片長達40米，在拍攝同一葉片圖像時，相機鏡頭需要連續(xù)移動、多次拍攝才能覆蓋葉片所有區(qū)域。為了準確測量缺陷的大小、長度與面積，并準確定位缺陷，需要拼接拍攝到的多張圖片。因此，圖像拼接是自動風(fēng)電葉片檢測的關(guān)鍵技術(shù)。

圖像拼接首先檢測特征，然后配準圖像[1]?，F(xiàn)有的圖像拼接方法有SIFT、SURF、BRISK、ORB、KAZE或AKAZE等算法。其中SIFT（scale invariant feature transform，SIFT）[2-3]首先通過不同尺度的高斯函數(shù)以及圖像卷積構(gòu)建圖像尺度空間，再檢測尺度空間的極值點，并篩選這些極值點，確定這些極值點的位置與方向，最后對這些點進行描述，得到具有128維的特征描述子[4]。與SIFT不同的是SURF（speeded up robust reatures， SURF）[5-6]首選引入了Hessian矩陣來構(gòu)建尺度空間，再采用harr描述特征點，最后生成64維的特征描述子，特征數(shù)目比SIFT減少了一半[7]。BRISK（binary robust invariant scalable keypoints， BRISK）[8-9]是一種二進制的特征描述算子，首選使用FAST檢測不同尺度空間圖像的特征點，再用高斯濾波描述特征點。與BRISK一樣，ORB（oriented FAST and rotated BRIEF， ORB）[10-11]也是用FAST檢測不同尺度空間圖像的特征點，但其描述特征點使用的是BRIEF（binary robust independent elementary features， BRIEF）方法。KAZE[12-13]是一種非線性尺度空間的特征檢測和描述方法，利用非線性濾波改進了高斯尺度空間不能自然的順應(yīng)物體邊界和平滑細節(jié)以及噪聲的問題，相比SIFT和SURF具有更好的性能。AKAZE（accelerated KAZE， AKAZE）[14-15]對KAZE在構(gòu)建非線性尺度空間與特征描述上進行了改進，即采用FED（fast explicit diffusion， FED）快速構(gòu)建非線性尺度空間，并采用M-LDB（modified local difference binary， M-LDB）改進了特征描述，從整體上減少了內(nèi)存與計算時間[16-17]。這些算法在背景復(fù)雜的情況下可以檢測到足夠合適的特征點，具有較高的拼接成功率。但是風(fēng)電葉片結(jié)構(gòu)、顏色簡單，且明暗程度對比的不顯著。現(xiàn)有拼接方法很難在風(fēng)電葉片上檢測出足夠且有效的特征點，其拼接成功率很低。

對葉片進行深入研究我們發(fā)現(xiàn)，葉片邊緣的直線特征比較明顯，而且相鄰的兩幅圖像邊緣上直線的斜率基本一致，而非邊緣直線的斜率一致的可能性很小。根據(jù)這些特征本文提出了一種基于直線特征的葉片圖像拼接方法。該方法要解決兩個問題：一是如何檢測并去掉圖像上重合的直線特征，二是如何配準直線特征。對于直線去重，首先根據(jù)霍夫變換直線檢測原理檢測葉片圖像上邊的直線，選擇其中一條直線，尋找其它直線與該條直線差異度較小的直線，再分別求出這些直線的斜率與截距的均值，計算出一條去重后的直線，最后重復(fù)以上操作確定用于配準的直線集。對于直線匹配，首先分別計算兩個直線集中兩兩直線的交點，生成兩個交點集，再根據(jù)交點計算坐標系的平移轉(zhuǎn)換矩陣，從而減少直線所在坐標系的轉(zhuǎn)換次數(shù)，然后采用直線差異度配準直線特征，計算出最大匹配數(shù)，最后計算出葉片圖像的平移旋轉(zhuǎn)矩陣。在直線特征配準完成之后，根據(jù)平移旋轉(zhuǎn)矩陣實現(xiàn)圖像拼接。

1 直線特征檢測

風(fēng)電葉片圖像在采集時，會暫停風(fēng)機，使葉片懸停在豎直方向，采集時相機沿著葉片從上到下拍攝葉片一個面的所有圖像。因此，葉片圖像上直線特征的方向大致豎直，采用圖像微分可以使單方向的圖像紋理表現(xiàn)的更為明顯。由于拍攝角度不同，直線特征也會有一定的傾斜。為了能更好的檢測出直線特征，本文采用加權(quán)的圖像微分提出直線，即先分別求出橫向與縱向的圖像微分然后加權(quán)。輪廓提取公式如下：

在直線檢測前需要計算出二值圖像，即對濾波后的圖像閾值分割，以便擬合出直線特征。不同的葉片圖像的葉片邊緣灰度值差別比較大。如果固定閾值很難適應(yīng)各種光照強度與背景下的圖像分割，分割效果比較差。對于這個問題本文采用加權(quán)灰度均值作為閾值來分割葉片圖像，即對濾波后的圖像計算灰度均值，再使用圖像灰度值均值的ω倍作為圖像分割的閾值。I1加權(quán)閾值分割可得I2：

本文檢測直線所采用的方法為霍夫變換[18-19]，其檢測原理如下：在極坐標系中，采用（φ，α）表示一條直線區(qū)域，其中φ（0≤φ≤n）為直線到原點的距離，n為圖像對角線長度，α（0°≤α≤360°）限定直線斜率，α步長為1°。采用H（φ，α）記錄經(jīng)過直線（φ，α）的像素點次數(shù)。依次遍歷圖像中所有的像素，如果當前像素經(jīng)過（φ，α），那么H（φ，α）的數(shù)值加1，最后根據(jù)經(jīng)過直線（φ，α）像素點個數(shù)的閾值來確定所檢測到的直線。

2 直線特征去重

葉片圖像直線特征以豎直方向為主。但是檢測出的直線特征也會有水平方向的，這些直線特征屬于無效特征，會降低匹配效率?？梢杂蒶i>ε0去掉直線集Li中水平方向的直線生成直線集Lj：y=kjx+bj，（j=1，2，3…n2）。由于葉片圖像的邊緣輪廓寬度較大，且檢測是存在偏差，不可避免地會在同一條輪廓上檢測出有微小偏差的重復(fù)直線。重復(fù)直線只需要保留一條。為了進去掉直線集Lj中的重復(fù)直線，減少不必要的運算，把這些直線擬合成一條直線。為此，我們定義直線差異度：

3 直線配準與拼接

在采集葉片圖像的時候，相機距離風(fēng)柱100m。風(fēng)柱高為80m，葉片長為40m。采集圖像的時候保持風(fēng)機停機，葉片向下垂直于地面，相機從輪轂處開始向葉片尖端依次拍攝。為了保證葉片圖像有足夠的重疊部分，采集完一個葉片需要拍攝20張左右的圖像。每張圖像的對應(yīng)的葉片實際高度為2m左右，仰角變化約為1°，圖像寬為4000像素。若以其中一張圖像為基準，則投影后的圖像寬約為3999.39（4000·cos1）像素。相鄰兩張圖像的相對誤差在1像素之內(nèi)，所以本文在計算的時候忽略了仿射變換。

3.1 配準與拼接

對于一組葉片圖像取連續(xù)的兩張A、B，通過上述過程分別檢測得到A與B上的直線集。定義圖像A上的直線集：

其中j=1，2，3…n1，k為斜率b為截距。為了配準一組葉片圖像上的直線特征，把第一張圖像的坐標系作為基準坐標系，其它圖像的坐標系進行平移旋轉(zhuǎn)變換，變換到第一張圖像上的坐標系，以方便直線特征的配準。如果直接用滑動窗口的形式配準直線特征，配準效率會大幅度下降。針對這個問題，本文引入了直線交點特征。每幅圖像所檢測出的直線集，經(jīng)過去重后的元素個數(shù)在10以內(nèi)。根據(jù)直線計算出的交點個數(shù)在50以內(nèi)。由葉片特征可知，每幅葉片圖像至少有兩條直線可以配準成功。那么配準成功的兩對直線的交點在誤差范圍內(nèi)也會重合。如圖1所示在直線特征配準的過程中，可以使用直線交點計算坐標系的平移旋轉(zhuǎn)變換來代替滑動窗口以提高直線特征的配準效率。通過A上直線集中直線交點計算公式：

根據(jù)LAi與LBj中的直線交點計算從LBj所在坐標系到LAi所在坐標系的平移旋轉(zhuǎn)變換。計算方法如下，首先分別任取點集PAr、PBs中一點（xr，yr）與（us，vs），通過式（16）把LBj所在坐標系平移旋轉(zhuǎn)變換到LAi所在坐標系：

3.2 拼接圖像修正

風(fēng)電場提供的風(fēng)電葉片具有相同的規(guī)格，每個葉片的兩個邊緣不是平行的，他們具有一定角度。相鄰的兩張圖像中的葉片，其重合部分的邊緣直線方向經(jīng)過旋轉(zhuǎn)后基本一致。如圖2所示，我們根據(jù)風(fēng)電場提供的葉片尺寸信息，利用葉片邊緣建立一個標準的模型M。一組葉片圖像通過上述方法拼接完后得到完整的葉片圖像長度，該長度與標準模型長度的比值γ作為整組圖像的縮放比例。最后采用葉片圖像的邊緣信息與縮放比例γ把葉片圖像投影到標準模型上。這樣可以在一定程度上較少累積誤差。

圖2 修正拼接圖像

Fig.2 Revisingmosaic image

4 實驗與分析

實驗中選擇了SIFT、SURF、BRISK、ORB、KAZE與AKAZE特征點的檢測與本文方法對比，以驗證本文提出的基于直線特征的拼接方法。用于實驗的計算機CPU為Intel（R） Core（TM） i5-6500 3.20GHz，內(nèi)存為8GB，操作系統(tǒng)為64位Win10。編程環(huán)境為Visual Studio 2013，編程語言為C++語言。

算法的實現(xiàn)[20]以及所有實驗的驗證使用的是OpenCV-3.4.1。葉片圖像使用佳能EOS800D相機拍攝。風(fēng)力發(fā)電機輪轂距離地面80米，葉片長40米，相機距離風(fēng)柱100米。所采集的葉片圖像分辨率均為6000×4000。

4.1 對比方法特征點提取情況

對于現(xiàn)有方法檢測出的特征點和特征點匹配，文獻[20]使用了OpenCV來檢測圖像特征點與拼接圖像。葉片圖像采用采用OpenCV庫函數(shù)檢測出的特征點有限甚至檢測不出特征點，成功匹配個數(shù)也較少，導(dǎo)致大部分圖像無法拼接成功，并不適合葉片圖像拼接任務(wù)。為此我們來以成功匹配個數(shù)為大于等于2的時候表示正確匹配成功，這樣來確定相鄰兩幅圖像的拼接位置。SIFT、SURF、BRISK、ORB、與AKAZE所檢測出的特征點位置如圖2所示，KAZE圖像所檢測出的特征點與AKAZE算法檢測出的結(jié)果相同。圖3（a）為原始圖像Image1與Image2。圖3（b）為采用SIFT方法檢測出的特征點圖像，其中Image1圖像沒有檢測出特征點。圖3（c）為采用SURF方法檢測出的特征點圖像，檢測出的特征點數(shù)目較多。圖3（d）與圖3（e）為分別采用BRISK與ORB方法檢測出的特征點圖像。圖3（f）為采用AKAZE方法檢測出的特征點圖像，其中Image1圖像沒有檢測出特征點。

圖3 現(xiàn)有方法檢測出的特征點

Fig.3 Feature points detected by existing methods

由圖3可以看出現(xiàn)有圖像拼接算法，對于葉片這種結(jié)構(gòu)單一的圖像所檢測出的特征點較少，甚至檢測不到特征點，并且兩幅相鄰的圖像所檢測出的有效特征點較少。這些問題會導(dǎo)致葉片圖像拼接失敗。

采用SURF方法對圖像Image1與Image2檢測特征點并采用Flann匹配特征點的效果圖像，結(jié)果如圖4所示?？梢钥闯鲈贗mage1與Image2上，SURF特征點沒有匹配成功。

4.2 葉片圖像直線檢測

圖5圖6是分別對Image1與Image2檢測直線特征的分步效果圖，圖5（b）與圖6（b）分別是對原始圖像在x方向求微分的效果圖，可以看出x方向微分圖像邊緣比較明顯。圖5（b）與圖6（b）分別是對原始圖像在y方向求微分的效果圖，可以看出y方向微分圖像邊緣不太明顯，所以x方向微分圖像所占的比重要大于y方向微分圖像。根據(jù)實驗，本文加權(quán)邊緣檢測參數(shù)θ取0.9。根據(jù)x方向微分圖像與y方向微分圖像可以分別計算得到圖5（d）與圖6（d）的邊緣圖像。圖5（e）與圖6（e）是對邊緣圖像進行銳化后的圖像。圖5（f）與圖6（f）是對銳化后的圖像進行加權(quán)閾值分割所得到，其中閾值為ωT，T為銳化后圖像的均值，本文實驗ω為5。圖5（g）與圖6（g）是對閾值分割后的圖像進行直線檢測的結(jié)果圖。圖5（h）與圖6（h）是對直線去重后的結(jié)果圖，其中直線差異度ρ為0.08。通過本文方法在實驗過程中準確的檢測出了葉片邊緣直線，經(jīng)過去重之后得到了有效的邊緣直線特征。

4.3 葉片圖像直線配準與拼接

直線配準與拼接是葉片圖像拼接的關(guān)鍵步驟，由圖7可以看出在葉片圖像重合較多的時候，直線特征配準與拼接效果較好。由圖8（c）可以看出，Image3與Image4圖像幾乎沒有重合，但是直線特征并不受圖像重合度的影響，仍然可以拼接成功。

4.4 實驗統(tǒng)計與分析

圖9為實驗所采用的不同情況下葉片圖像數(shù)據(jù)，其中圖9（a）為帶輪轂的葉片圖像，圖9（b）為沒有重合的葉片圖像，圖9（c）為背景云層較薄的葉片圖像，圖9（d）為背景云層較厚的葉片圖像。本次實驗共采用50組各種情況的葉片圖像，每組葉片圖像為2張。

其中：（△u，△v）為拼接結(jié)果的坐標平移向量;（u0，v0）為圖像重合的坐標平移向量。在不同誤差情況下的拼接成功率也有所不同，那么計算拼接成功率（MSR）為：

表1為每種方法對于不同誤差容忍度拼接成功率的實驗統(tǒng)計數(shù)據(jù)。表1顯示采用直線特征在誤差容忍度為0像素的時候拼接成功率為38%，誤差容忍度為5像素的時候拼接成功率為60%，誤差容忍度為10像素的時候拼接成功率為74%，誤差容忍度為20像素的時候拼接成功率為86%;采用SURF方法，當誤差大于10像素的時候，拼接成功率穩(wěn)定在33%;采用SIFT方法，當誤差大于5像素的時候，拼接成功率穩(wěn)定在10%;采用KAZE方法，拼接成功率不超過10%;采用AKAZE、BRISK與ORB方法進行拼接則拼接成功率為0%。

風(fēng)電場的檢測任務(wù)要求定位缺陷的精度為0.2～0.5m。拼接葉片圖像是為了定位缺陷位置，在實現(xiàn)系統(tǒng)的時候定位會出現(xiàn)一些誤差，但是不會出現(xiàn)漏檢或丟失的情況，故障點重合也會在拼接結(jié)果的圖像上分別定位出來。實驗表明，在誤差允許的情況下，本文提出的葉片圖像拼接方法具有較高的拼接成功率，而現(xiàn)有的圖像拼接方法拼接成功率較低，說明使用直線特征拼接葉片圖像是一種有效的方法。

5 結(jié) 論

針對風(fēng)電葉片圖像現(xiàn)有圖像拼接方法拼接成功率低的問題，本文提出了直線特征風(fēng)電葉片圖像拼接方法，該方法不但提高了拼接成功率而且具有較強的魯棒性。在直線特征的檢測過程中，使用加權(quán)的圖像微分，可以有效的提取風(fēng)電葉片圖像的邊緣紋理。加權(quán)閾值分割，使葉片圖像分割實現(xiàn)了自動的閾值設(shè)定，而不是固定閾值。直線特征去重后得到有效的直線特征，并且提高了直線特征的配準速率。采用直線特征配準與拼接，在葉片圖像重合度較小的情況下仍然有較好的效果，使本算法具有較強的魯棒性。因此在風(fēng)電葉片圖像拼接的時候可以采用本文算法完成圖像拼接。

參 考 文 獻：

[1] WANG Z， CHEN Y， ZHU Z， et al. An Automatic Panoramic Image Mosaic Method Based on Graph Model[J]. Multimedia Tools and Applications， 2016， 75（5）： 2725.

[2] ZHANG J， CHEN G， JIA Z. An Image Stitching Algorithm Based on Histogram Matching and SIFT Algorithm[J]. International Journal of Pattern Recognition and Artificial Intelligence， 2017， 31（4）： 1754006.

[3] 文偉東， 張明. 基于 SIFT 算法的全景圖像拼接技術(shù)研究[J]. 計算機系統(tǒng)應(yīng)用， 2017， 26（7）： 227.

WEN Weidong， ZHANG Ming. Research on Panoramic Image Mosaic Technology Based on SIFT Algorithm[J]. Computer Systems & Applications， 2017， 26（7）： 227.

[4] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision，2004， 60：91.

[5] HERBERT Bay， ANDREAS Ess， TINNE Tuytelaars， et al. Speeded-Up Robust FeaturesSURF）[J]. Comput. Vis. Image Underst. ，2008，110（3） ： 346.

[6] TAREEN S A K， SALEEM Z. A Comparative Analysis of Sift， Surf， Kaze， Akaze， Orb， and Brisk[C]//2018 International Conference on Computing， Mathematics and Engineering TechnologiesiCoMET）. IEEE， 2018： 1.

[7] YANG Z， SHEN D， YAP P T. Image Mosaicking Using SURF Features of Line Segments[J]. PloS One， 2017， 12（3）： e0173627.

[8] LEUTENEGGER S， CHLI M， SIEGWART R. BRISK： Binary Robust Invariant Scalable Keypoints[C]//2011 IEEE International Conference on Computer VisionICCV）. Ieee， 2011： 2548.

[9] 樊佩琦， 吳誠， 楊瑞宇， 等. 一種基于 BRISK 改進的 SURF 紅外圖像拼接方法[J]. 紅外技術(shù)， 2018， 40（1）： 27.

FAN Peiqi， WU Cheng， YANG Ruiyu， et al. An Improved SURF Infrared Image Mosaic Method Based on BRISK[J]. Infrared Technology， 2018， 40（1）： 27.

[10]RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An Efficient Alternative to SIFT or SURF[C]//ICCV. 2011， 11（1）： 2.

[11]劉婷婷， 張驚雷. 基于 ORB 特征的無人機遙感圖像拼接改進算法[J]. 計算機工程與應(yīng)用， 2018， 54（2）： 193.

LIU Tingting， ZHANG Jinglei. Improved Image Stitching Algorithm Based on ORB Features by UAV Remote Sensing[J]. Computer Engineering and Applications， 2018， 54（2）： 193.

[12]ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE Features[C]//European Conference on Computer Vision. Springer， Berlin， Heidelberg， 2012： 214.

[13]韓敏， 閆闊， 秦國帥. 基于改進 KAZE 的無人機航拍圖像拼接算法[J]. 自動化學(xué)報， 2019， 45（2）： 305.

HAN Min， YAN Kuo， QIN Guo-Shuai[J]. A Mosaic Algorithm for UAV Aerial Image with Improved KAZE. ActaAutomatica Sinica， 2019， 45（2）： 305.

[14]ALCANTARILLA P F， SOLUTIONS T. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[J]. IEEE Trans. Patt. Anal. Mach. Intell， 2011， 34（7）： 1281.

[15]梁煥青， 范永弘， 萬惠瓊， 等. 一種運用 AKAZE 特征的無人機遙感影像拼接方法[J]. 測繪科學(xué)技術(shù)學(xué)報， 2016， 33（1）： 71.

LIANG Huanqing， FAN Yonghong， WAN Huiqiong， et al. Mosaic Algorithm of UAV Images Based on AKAZE Features [J]. Journal of Geomatics Science and Technology， 2016， 33（1）： 71.

[16]QU Z， BU W， LIU L. The Algorithm of Seamless Image Mosaic Based on A-KAZE Features Extraction and Reducing the Inclination of Image[J]. IEEJ Transactions on Electrical and Electronic Engineering， 2018， 13（1）： 134.

[17]YANG X， CHENG K T T. Local Difference Binary for Ultrafast and Distinctive Feature Description[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 36（1）： 188.

[18]DUDA R O， HART P E. Use of the Hough Transformation to Detect Lines and Curves in Pictures[R]. Sri International Menlo Park Ca Artificial Intelligence Center， 1971.

[19]董梁. 基于哈夫變換的圖像邊緣連接[J]. 現(xiàn)代電子技術(shù)， 2008， 31（18）： 149.

DONG Liang. Image Edge Linking Based on Hough Transform [J]. Modern Electronics Technique 2008， 31（18）： 149.

[20]NOBLE F K. Comparison of OpenCV′s Feature Detectors and Feature Matchers[C]//2016 23rd International Conference on Mechatronics and Machine Vision in PracticeM2VIP）， IEEE， 2016： 1.

（編輯：王 萍）