周登科，郭星辰，史凱特，湯 鵬，鄭開元，馬鵬閣

風(fēng)電場(chǎng)無(wú)人機(jī)巡檢紅外葉片圖像拼接算法

周登科1，郭星辰2，史凱特1，湯 鵬1，鄭開元1，馬鵬閣2

（1. 中國(guó)長(zhǎng)江三峽集團(tuán)有限公司 科學(xué)技術(shù)研究院，北京 100038；2. 鄭州航空工業(yè)管理學(xué)院 智能工程學(xué)院，河南 鄭州 450015）

針對(duì)無(wú)人機(jī)拍攝葉片紅外圖像背景冗余信息較多、拼接精度不高等問題，本文提出一種基于形態(tài)學(xué)改進(jìn)Chan-Vese分割與局部特征匹配的紅外風(fēng)機(jī)葉片圖像拼接算法，首先，對(duì)圖像進(jìn)行中值濾波降噪，使用形態(tài)學(xué)運(yùn)算改進(jìn)基于Chan-Vese模型的水平集算法，生成表達(dá)主體的掩膜?；谘谀とコ哂啾尘疤崛【植縃arris特征點(diǎn)；對(duì)掩膜進(jìn)行二次形態(tài)學(xué)腐蝕處理，抑制邊界鋸齒像素上的偽特征點(diǎn)；最后，使用暴力匹配及隨機(jī)抽樣一致（Random Sample Consensus, RANSAC）算法篩選出有效匹配點(diǎn)對(duì)，計(jì)算單應(yīng)性矩陣實(shí)現(xiàn)匹配拼接。與傳統(tǒng)圖像分割下Harris拼接算法相比，本文改進(jìn)后的算法拼接精度有明顯提高，在不同的測(cè)試場(chǎng)景下顯示出較強(qiáng)魯棒性。

風(fēng)力發(fā)電機(jī)葉片；紅外圖像拼接；水平集；形態(tài)學(xué)運(yùn)算；Harris特征點(diǎn)

0 引言

在國(guó)家碳中和目標(biāo)的指引下，風(fēng)力發(fā)電機(jī)應(yīng)用日益增多從而針對(duì)風(fēng)力發(fā)電機(jī)設(shè)備的運(yùn)營(yíng)與維保需求日趨強(qiáng)烈[1]。風(fēng)力發(fā)電設(shè)備易遭受濕熱、紫外線老化等常見的環(huán)境影響，位于海上的風(fēng)力發(fā)電設(shè)備所處環(huán)境更加惡劣，長(zhǎng)期遭受鹽霧等化學(xué)介質(zhì)腐蝕[2]。傳統(tǒng)的人工檢修方法，會(huì)使得風(fēng)電機(jī)組停機(jī)時(shí)間長(zhǎng)，發(fā)電量損失嚴(yán)重，同時(shí)工人作業(yè)環(huán)境也十分危險(xiǎn)[3]。自2016年起，以無(wú)人機(jī)為代表的無(wú)人巡檢系統(tǒng)，在風(fēng)電機(jī)組葉片、電樁基巡檢等方面的應(yīng)用逐年增加，由于無(wú)人機(jī)巡檢重點(diǎn)為圖像采集，而無(wú)人機(jī)高空拍攝時(shí)受視角及分辨率影響，圖像內(nèi)容有限，大量相似的局部圖像不利于后期檢測(cè)定位。因此，深入研究風(fēng)機(jī)葉片圖像拼接技術(shù)具有重要工程應(yīng)用意義[4]。

較為成熟的圖像拼接方法有基于模板匹配的方法、基于邊緣匹配的方法以及基于特征點(diǎn)匹配的方法[5]。基于模板匹配指選擇參考圖像的一塊區(qū)域作為配準(zhǔn)時(shí)的模板，在目標(biāo)圖像中尋找與模板圖片最相似的區(qū)域進(jìn)行比對(duì)[6]。模板匹配法操作簡(jiǎn)單，但對(duì)圖像的灰度信息非常依賴，要求圖像不能含有較大噪聲、旋轉(zhuǎn)、尺度縮放等問題，使用范圍很窄。

具體的圖像拼接研究中，馬寶琰等[7]提出了一種基于直線特征的風(fēng)電葉片圖像拼接方法，通過Hough變換檢測(cè)葉片邊緣直線特征，基于斜率相似性篩選直線集，并采用直線差異度配準(zhǔn)直線，從而實(shí)現(xiàn)拼接。該方法特征容易獲取，但不適用與背景復(fù)雜或具有尺度透視變換的圖像。盧泉等[8]針對(duì)變電站場(chǎng)景紅外圖像，提出一種改進(jìn)最佳縫合線的紅外圖像拼接方法，在圖像拼接后的重合區(qū)域引入局部權(quán)重系數(shù)，使用形態(tài)學(xué)操作抑制顏色差異強(qiáng)度，減少紅外圖像的噪聲干擾。傅子秋[9]等人提出一種多場(chǎng)景下基于快速相機(jī)標(biāo)定的柱面圖像拼接方法，利用標(biāo)定參數(shù)代替圖像配準(zhǔn)過程，采用柱面投影變換，將圖像投影在圓柱面上進(jìn)行拼接，具有較好的成像效果，但方法過于依賴標(biāo)定參數(shù)，不易推廣到現(xiàn)實(shí)場(chǎng)景中去。針對(duì)載荷移動(dòng)場(chǎng)景下的圖像拼接研究中，何赟澤等[10]提出了一種基于無(wú)人機(jī)速度信息的風(fēng)機(jī)葉片紅外圖像拼接方法，利用U-net網(wǎng)絡(luò)預(yù)測(cè)獲得葉片掩膜圖像，去除冗余的背景信息，同時(shí)，基于無(wú)人機(jī)速度信息，計(jì)算平移、旋轉(zhuǎn)、縮放參數(shù)，進(jìn)行拼接配準(zhǔn)。方喜波[11]針對(duì)直升機(jī)對(duì)海搜索，提出了基于光電吊艙的廣域搜索方法，為移動(dòng)狀態(tài)下載荷搜索決策及區(qū)域圖像拼接提供了參考。

本研究前期在各地風(fēng)電場(chǎng)深入開展調(diào)研及數(shù)據(jù)采集實(shí)驗(yàn)，海上風(fēng)機(jī)目標(biāo)如圖1所示。所用無(wú)人機(jī)型號(hào)為大疆M300。

圖1 海上風(fēng)機(jī)

由于紅外載荷分辨率較低，風(fēng)機(jī)葉片較長(zhǎng)，一根完整葉片需要多組圖像數(shù)據(jù)才能完全表示。過于碎片化的圖像不利于檢測(cè)及缺陷定位，因此需要對(duì)所拍攝圖像進(jìn)行拼接。

通過研究發(fā)現(xiàn)，無(wú)人機(jī)葉片拼接存在兩大難點(diǎn)；第一，復(fù)雜的葉片背景帶來(lái)大量的冗余信息，不利于特征提取或比較；第二，無(wú)人機(jī)拍攝時(shí)包含一定的非剛性移動(dòng)，圖像間變換矩陣估計(jì)比較困難。針對(duì)上述問題，本文提出了基于形態(tài)學(xué)改進(jìn)Chan-Vese（CV）算法分割與局部特征匹配的紅外風(fēng)機(jī)葉片圖像拼接方法；其關(guān)鍵在于：1）研究風(fēng)機(jī)主體與背景的差異性，通過形態(tài)學(xué)改進(jìn)水平集分離主體與背景，去除冗余背景信息；2）基于分離掩膜，結(jié)合Harris算法對(duì)灰度的敏感性實(shí)現(xiàn)局部特征匹配，估計(jì)圖像變換矩陣，最終實(shí)現(xiàn)圖像順滑的拼接。方法整體流程如圖2所示。

圖2 無(wú)人機(jī)紅外圖像采集及葉片拼接系統(tǒng)流程

1 基于形態(tài)學(xué)改進(jìn)CV模型分割與局部特征匹配的紅外風(fēng)機(jī)葉片圖像拼接

1.1 形態(tài)學(xué)改進(jìn)CV模型水平集的前景分割

為了去除冗余的背景信息干擾，首先基于水平集方法進(jìn)行風(fēng)機(jī)葉片輪廓粗提取。水平集方法是一種使用高維超曲面等值點(diǎn)的集合表示閉合輪廓的方法，常用于圖像分割[12]。其重點(diǎn)在于構(gòu)建能量函數(shù)()。再通過求解能量泛函對(duì)應(yīng)的Euler-Lagrange方程獲得曲線演化方程。能量函數(shù)表示為：

公式分為三項(xiàng)；第一項(xiàng)用來(lái)約束輪廓線長(zhǎng)度，旨在保證輪廓線當(dāng)前條件下最短；第二項(xiàng)、第三項(xiàng)為輪廓線條件項(xiàng)，負(fù)責(zé)控制當(dāng)前輪廓線演變趨勢(shì)。式中為輪廓線長(zhǎng)度權(quán)值；表示所求演化分割對(duì)象的輪廓邊界線；表示目標(biāo)分割圖像；1為輪廓內(nèi)部對(duì)象面積權(quán)值，2為輪廓外部對(duì)象面積權(quán)值；與1、2為正值常數(shù)，一般令1＝2＝1。1和2分別是演化曲線內(nèi)部和外部的圖像灰度均值。本文用CV模型代替演化曲線，CV模型是基于區(qū)域的水平集方法，該方法對(duì)于主體與背景平均像素差異較大圖像效果顯著，適用于風(fēng)機(jī)葉片紅外圖像。令水平集函數(shù)為(,)，表示為：

代入能量函數(shù)，表示為：

式中：代表圖像整體區(qū)域；為狄拉克函數(shù)正則化形式，表示為公式(4)：

為海氏函數(shù)正則化形式，表示為：

由圖3可以看出，基于CV模型的水平集分割能夠提取前景即葉片信息，但由于紅外圖像背景存在DN值和葉片主體較為接近的區(qū)域，在迭代中被演化曲線包圍，此時(shí)提取的目標(biāo)帶有冗余背景信息，如圖4所示。

圖4 CV模型下目標(biāo)分割

對(duì)分割結(jié)果進(jìn)行形態(tài)學(xué)改進(jìn)?？紤]到初步分割結(jié)果包含許多不連續(xù)的孤點(diǎn)和斑塊，首選使用連通域估計(jì)濾波進(jìn)行去除。連通域指像素值相同且鄰近的像素位置集合。通常有8領(lǐng)域與4鄰域判別法[13]，如圖5所示。

圖5 連通域標(biāo)識(shí)方式

本文使用4鄰域判別法去除連接較弱的區(qū)域，對(duì)連通域標(biāo)記示意如圖6所示。

顯然目標(biāo)主體通常為連通域中面積最大區(qū)域，因此基于面積優(yōu)選，保留最大連通域區(qū)域，結(jié)果如圖7所示。

圖6 連通域標(biāo)記

圖7 基于連通域估計(jì)濾波結(jié)果

連通域估計(jì)濾波后圖像邊界仍黏連部分毛刺及細(xì)橋，基于形態(tài)學(xué)開運(yùn)算進(jìn)行處理。圖像開運(yùn)算常用于圖像邊界修復(fù)。開運(yùn)算即對(duì)圖像先腐蝕操作，后進(jìn)行膨脹。圖像腐蝕能夠除去孤立的小點(diǎn)、毛刺和小橋，但是對(duì)整體形狀有一定壓縮，進(jìn)一步通過膨脹運(yùn)算保證總的位置和形狀不變。腐蝕運(yùn)算以符號(hào)Θ表示，膨脹操作以符號(hào)⊕表示，公式為：

式中：表示原圖像；表示結(jié)構(gòu)元素，本文采用半徑為15pixel圓形作為結(jié)構(gòu)元素；(,)表示像素坐標(biāo)位置。通過CV模型分割與形態(tài)學(xué)處理，完成對(duì)紅外風(fēng)機(jī)葉片目標(biāo)與背景的分類，生成描述目標(biāo)主體的掩膜，如圖8所示。

圖8 形態(tài)學(xué)處理后效果

1.2 基于局部Harris特征點(diǎn)匹配的圖像拼接

Harris特征點(diǎn)對(duì)圖像中灰度變化明顯的區(qū)域較為敏感，其關(guān)鍵在于描述像素鄰域梯度分布的二階矩[14]，如公式(8)所示：

式中：和分別代表圖像在和方向的偏導(dǎo)數(shù)。二階矩陣有兩個(gè)特征值1和2，一般來(lái)說(shuō)，當(dāng)1>>2時(shí)，自相關(guān)函數(shù)僅在某一方向上變化較大，表現(xiàn)為圖上的直線部分；當(dāng)1≈2且二者較小時(shí)，自相關(guān)函數(shù)在各個(gè)方向上變化較小，表現(xiàn)為圖像的平面部分；而當(dāng)1≈2且二者較大時(shí)，自相關(guān)函數(shù)在各個(gè)方向均增大，對(duì)應(yīng)為圖上的角點(diǎn)部分。

由于圖像由像素塊構(gòu)成，因此背景去除后，葉片邊緣不可避免地出現(xiàn)部分鋸齒狀像素點(diǎn)，而Harris算法對(duì)角點(diǎn)信息較為敏感，因此會(huì)在邊緣處檢測(cè)到較多偽特征點(diǎn)，如圖9所示。使用RANSAC算法剔除誤匹配特征點(diǎn)，但難以剔除干凈，如圖10所示。

圖9 背景去除后特征點(diǎn)顯示結(jié)果

圖10 RANSAC算法篩選結(jié)果

因此，進(jìn)一步在特征點(diǎn)匹配上加入非邊界約束條件剔除邊界誤匹配特征點(diǎn)。在所生成的掩膜基礎(chǔ)上進(jìn)行一步腐蝕操作，生成新的約束掩膜，該掩膜處于葉片內(nèi)部。通過該掩膜剔除邊緣誤匹配點(diǎn)對(duì)，效果如圖11所示。

圖11 形態(tài)學(xué)掩膜約束后匹配結(jié)果

圖像間的平移、旋轉(zhuǎn)、拉伸變化可以通過變換矩陣描述。具體計(jì)算方法如式(9)：

式中：(,)和(￠,￠)分別表示參考圖像與待配準(zhǔn)圖像￠的匹配特征點(diǎn)坐標(biāo)。通過匹配的特征點(diǎn)對(duì)計(jì)算變換矩陣，最終實(shí)現(xiàn)仿射變換的圖像配準(zhǔn)拼接。

2 實(shí)驗(yàn)與分析

為驗(yàn)證本文的紅外風(fēng)機(jī)葉片拼接方法的有效性，設(shè)置多組實(shí)驗(yàn)進(jìn)行比較。分別使用最大類間方差（Ostu）閾值分割法、迭代閾值分割法（Iterative Thresholding，IT）、傳統(tǒng)CV分割算法進(jìn)行背景去除，結(jié)合Harris算法通過暴力匹配與RANSAC算法篩選出有效匹配點(diǎn)對(duì)，最后通過單應(yīng)性矩陣求出拼接圖像的映射關(guān)系，與本文算法進(jìn)行比較。

算法仿真運(yùn)行設(shè)備為筆記本電腦，CPU為AMD Ryzen 7，頻率為2.90GHz，內(nèi)存16GB，操作系統(tǒng)為64位Win11系統(tǒng)，使用的MATLAB版本為R2018b。實(shí)驗(yàn)數(shù)據(jù)為實(shí)驗(yàn)室在靈寶等地風(fēng)電場(chǎng)，通過大疆M300掛載禪思光學(xué)載荷拍攝。圖像分辨率為640×512像素，部分樣本圖像如圖12所示。

圖12 拼接使用的部分樣本數(shù)據(jù)

為進(jìn)一步量化拼接效果，使用均方根誤差考察接縫處順滑程度。均方根誤差定義如下：

式中：(,)表示接縫處左側(cè)圖像灰度值；(＋1,)為接縫右側(cè)圖像灰度值；為圖像高度位置信息；為葉片上接縫總高度。當(dāng)RMSE值越小，說(shuō)明接縫左右兩側(cè)梯度差異越小，拼接效果越理想。表1展示各算法的RMSE值，其中，加粗的數(shù)值為各組RMSE最優(yōu)值。

表1 4種算法RMSE值

結(jié)合圖13與表1結(jié)果，整體上，后三組圖像背景較為干凈，對(duì)比的算法中RMSE值明顯小于前三組。表明傳統(tǒng)分割算法更適用于背景較為純凈的數(shù)據(jù)樣本；具體來(lái)看，第1、2、3組圖片背景包含一部分復(fù)雜的地面背景，Ostu與IT未能準(zhǔn)確分割出葉片部分，特征匹配過度參考了冗余的背景信息，導(dǎo)致拼接失??；傳統(tǒng)的基于CV模型的分割方法更好地估計(jì)了葉片掩膜，但葉片與背景DN值接近的地方，如中下部分的道路，小部分受到干擾，影響了單應(yīng)性矩陣精度，僅第1組完成了拼接，但接縫處出現(xiàn)錯(cuò)位；第4、5、6組圖片背景較為純凈但不均勻，由于下半部分更多接收地物反射的紅外波段光線，因此從上到下DN值呈現(xiàn)由暗到亮的變化；此時(shí)，Ostu與IT算法部分地將天空錯(cuò)誤分割出來(lái)，但特征點(diǎn)主要集中于葉片上，因此基本完成拼接；傳統(tǒng)的CV算法同樣在葉片與背景DN值相近的地方錯(cuò)誤地將天空分割出來(lái)，產(chǎn)生了一定誤差；對(duì)比前三組與后三組，本文算法基本不受背景影響，均表現(xiàn)出較好的拼接效果，RMSE值最小。

結(jié)合表2與圖13來(lái)看，首先Ostu與IT算法的時(shí)間消耗明顯較低，耗時(shí)在3s左右。但由于其穩(wěn)定性過差，無(wú)法完成對(duì)整根葉片的拼接，因此耗時(shí)不具有較大意義。CV與本文改進(jìn)算法時(shí)間消耗均在10s左右，差距十分接近；雖然本文引入了形態(tài)學(xué)運(yùn)算在分割階段增加了一定的計(jì)算量，但獲得分離更干凈的目標(biāo)與背景后，局部特征點(diǎn)的提取、匹配與篩選減少了時(shí)間消耗，因此整體上耗時(shí)相近，同時(shí)拼接效果上有了顯著提高。

Group 1 Group 2 Group 3 Group 4 Group 5 Group 6 (a) Ostu-Harris(b) IT-Harris(c) CV-Harris(d) Ours

結(jié)合圖14的整體拼接圖像，由于葉片表面比較干凈，特征點(diǎn)較少，理論上拼接圖像幀間差越小，圖像重合度越大，特征點(diǎn)重合越高，拼接精度也越高。我們通過實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)于長(zhǎng)度為65m的葉片，當(dāng)無(wú)人機(jī)距葉片15m時(shí)，需要均勻采樣至少30張紅外圖像，才能保證前后兩張圖像具有足夠重合度實(shí)現(xiàn)拼接。因此，對(duì)巡檢時(shí)無(wú)人機(jī)飛行速率可以給出具體指標(biāo)參考：

式中：max為保證拼接效果下無(wú)人機(jī)最高飛行速度，為葉片長(zhǎng)度，本文中對(duì)應(yīng)為65m；為最小采樣時(shí)間間隔，即兩張圖像間拼接算法耗時(shí)，本文中最小采樣間隔為11s；為完整葉片拼接所需的最小圖像數(shù)目，需要通過實(shí)驗(yàn)仿真得到，本文為30張；將上述指標(biāo)代入式(11)，得出本文無(wú)人機(jī)巡檢飛行速率最大為0.2m/s；由于本算法在筆記本上運(yùn)行，效率較低，可以通過移植至嵌入式平臺(tái)或計(jì)算效率更高的設(shè)備端來(lái)降低算法時(shí)間消耗，提高無(wú)人機(jī)巡檢效率。

表2 4種算法時(shí)間消耗

圖14 風(fēng)力發(fā)電機(jī)葉片圖像拼接整體效果

3 結(jié)論

本文針對(duì)無(wú)人機(jī)風(fēng)力巡檢系統(tǒng)中，紅外圖像過于局部與碎片化的現(xiàn)狀，提出一種基于形態(tài)學(xué)改進(jìn)CV分割與局部特征匹配的紅外風(fēng)機(jī)葉片圖像拼接算法，通過形態(tài)學(xué)改進(jìn)了CV分割的形狀，將誤分離出來(lái)的像素毛刺、小橋、孤島有效去除掉，形成較為精確的掩膜，同時(shí)防止邊緣鋸齒對(duì)特征點(diǎn)檢測(cè)匹配的影響，通過形態(tài)學(xué)腐蝕生成了新的掩膜對(duì)特征點(diǎn)進(jìn)行非邊界約束，使得特征匹配更加精確，從而得到更為準(zhǔn)確的單應(yīng)性矩陣估計(jì)，完成拼接。通過多組實(shí)驗(yàn)表明，本文的算法對(duì)紅外圖像的拼接精度有明顯提高，在不同的測(cè)試場(chǎng)景下顯示出較強(qiáng)魯棒性，同時(shí)本文對(duì)無(wú)人機(jī)巡檢時(shí)飛行速率進(jìn)行了討論，給出了飛行速率計(jì)算方式，論述了影響巡檢飛行速率的關(guān)鍵因素，未來(lái)在提高算法運(yùn)行效率及算法移植方向仍需進(jìn)一步的研究。

[1] 李禹橋. 基于旋翼無(wú)人機(jī)的風(fēng)電葉片自主巡檢系統(tǒng)研究[D]. 徐州: 中國(guó)礦業(yè)大學(xué), 2021.

LI Yuqiao. Research on Wind Turbine Blade Autonomous Inspection System based on Rotorcraft UAV[D]. Xuzhou: China University of Mining and Technology, 2021.

[2] 張明輝. 風(fēng)力發(fā)電機(jī)故障檢修與處理[J]. 科技創(chuàng)新導(dǎo)報(bào), 2019, 16(10): 132-133.

ZHANG Minghui. Wind turbine fault repair and treatment[J]., 2019, 16(10): 132-133.

[3] 王蔚, 劉丹. 我國(guó)風(fēng)電市場(chǎng)：前景一路看好[N]. 經(jīng)濟(jì)參考報(bào), [2006-06-15].

WANG Wei, LIU Dan. China's wind power market: prospects all the way bright[N]., [2006-06-15].

[4] 王浩, 閆號(hào), 葉海瑞, 等. 基于無(wú)人機(jī)的光伏電站智能巡檢[J]. 紅外技術(shù), 2022, 44(5): 537-542.

WANG Hao, YAN Hao, YE Hairui, et al. Intelligent patrol inspection of photovoltaic power station based on UAVs[J]., 2022, 44(5): 537-542.

[5] 宮妍, 位沖沖. 圖像拼接關(guān)鍵技術(shù)研究綜述[J]. 電腦知識(shí)與技術(shù), 2021, 17(30): 106-108. Doi:10.14004/j.cnki.ckt.2021.2895.

GONG Yan, WEI Chongchong. Review on key techniques of image stitching[J]., 2021, 17(30): 106-108. Doi:10.14004/j.cnki.ckt.2021.2895.

[6] CUI Z, QI W, LIU Y. A fast image template matching algo-rithm based on normalized cross correlation[J]., 2020, 1693: 012163.

[7] 馬寶琰, 湯磊, 趙晶, 等. 風(fēng)電葉片圖像直線特征檢測(cè)與拼接方法[J]. 哈爾濱理工大學(xué)學(xué)報(bào), 2020, 25(5): 83-92. Doi: 10.15938/j.jhust. 2020.05.012.

MA Baoyan, TANG Lei, ZHAO Jing, et al. Straight line features detection and mosaic of wind power blades image[J]., 2020, 25(5): 83-92. Doi: 10.15938/ j.jhust.2020.05.012.

[8] 盧泉, 楊振華, 黃粒峰. 改進(jìn)最佳縫合線的紅外圖像拼接方法[J]. 紅外技術(shù), 2022, 44(6): 580-586.

LU Quan, YANG Zhenhua, HUANG Lifeng. Infrared image mosaic method for improving the best seam-line[J]., 2022, 44(6): 580-586.

[9] 傅子秋, 張曉龍, 余成, 等. 多場(chǎng)景下基于快速相機(jī)標(biāo)定的柱面圖像拼接方法[J]. 光電工程, 2020, 47(4): 74-86.

FU Ziqiu, ZHANG Xiaolong, YU Cheng, et al. Cylindrical image mosaic method based on fast camera calibration in multi-scene[J]., 2020, 47(4): 74-86.

[10] 何赟澤, 張帆, 劉昊, 等.風(fēng)機(jī)葉片無(wú)人機(jī)紅外熱圖像拼接方法[J]. 電子測(cè)量與儀器學(xué)報(bào), 2022, 36(7): 44-53. Doi: 10.13382/j.jemi. B2105058.

HE Yunze, ZHANG Fan, LIU Hao, et al. Infrared image stitch method of wind turbine blade based on UAV[J]., 2022, 36(7): 44-53. Doi: 10.13382/j.jemi.B2105058.

[11] 方喜波. 光電偵察吊艙對(duì)海廣域搜索方法[J]. 紅外技術(shù), 2021, 43(11): 1055-1060.

FANG Xibo. Searching method of the wide area of optical recon pod for sea targets[J]., 2021, 43(11): 1055-1060.

[12] Osher S, Sethian J A. Fronts propagating with curvature-dependent speed: algorithms based on Hamilton-Jacobi formulations[J]., 1988, 79(1): 12-49.

[13] Ghaili A M, Mashohor S, Ramli A R. Vertical-edge-based car-license-plate detection method[J]., 2013, 62(1): 26-38.

[14] 張見雙, 張紅民, 羅永濤, 等. 一種改進(jìn)的Harris角點(diǎn)檢測(cè)的圖像配準(zhǔn)方法[J]. 激光與紅外, 2017, 47(2): 230-233.

ZHANG Jianshuang, ZHANG Hongmin, LUO Yongtao, et al. Image registration method based on improved Harris corner detection algorithm[J]., 2017, 47(2): 230-233.

Infrared Blade Image Stitching Algorithm for Wind Farm UAV Inspection

ZHOU Dengke1，GUOXingchen2，SHIKaite1，TANGPeng3，ZHENG Kaiyuan1，MA Pengge2

(1. China Three Gorges Corporation Research Institute, Beijing 100038, China; 2. Zhengzhou University of Aeronautics, Zhengzhou 450015, China)

Aiming at more redundant background information and low stitching accuracy of the infrared images of the blades taken by UAV (Unmanned Aerial Vehicle), In this study, we proposed a stitching algorithm for infrared wind turbine blade images combining the Chan-Vese model and morphology. First, we subjected the image to median filtering and noise reduction, and a morphological operation improved a level-set algorithm based on the Chan-Vese model to generate the mask of the expression subject. We extracted Harris feature points by removing redundant backgrounds based on the mask. We performed morphological etching on the mask to suppress the pseudo-feature points on the boundary-jagged pixels. We used violent matching and the RANSAC algorithm to screen out effective matching point pairs and calculate the homography matrix to realize matching and splicing. Compared with the Harris stitching algorithm under traditional image segmentation, the stitching accuracy of the improved algorithm significantly improved, and it showed strong robustness in different test scenarios.

wind turbine blades, infrared image stitching, level set, morphological operation, Harris feature point

TP391

A

1001-8891(2023)11-1161-08

2022-09-26；

2022-12-13.

周登科（1995-），男，四川人，初級(jí)工程師，碩士研究生，從事圖像處理工作。E-mail：zhou_dengke@ctg.com.cn。

郭星辰（1997-），男，河南鄭州人，碩士研究生，從事圖像處理研究。E-mail：478973623@qq.com。

國(guó)家自然科學(xué)基金民航聯(lián)合基金重點(diǎn)項(xiàng)目（U1833203）；中國(guó)長(zhǎng)江三峽集團(tuán)有限公司企業(yè)科研項(xiàng)目“海上風(fēng)電無(wú)人機(jī)光電巡檢系統(tǒng)技術(shù)研究及應(yīng)用示范”（202003035）；河南省科技攻關(guān)（202102210330）；河南省科技攻關(guān)（222102210136）；鄭州航空工業(yè)管理學(xué)院研究生教育創(chuàng)新計(jì)劃基金（2021CX48）。