沈海洋，陳 瑞，焦良葆

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京工程學(xué)院 通信工程學(xué)院，江蘇 南京 211167；3.南京工程學(xué)院 康尼研究院，江蘇 南京 211167)

一種基于圖像配準(zhǔn)的鋼繩芯抽動識別技術(shù)

沈海洋1，陳 瑞2，焦良葆3

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京工程學(xué)院 通信工程學(xué)院，江蘇 南京 211167；3.南京工程學(xué)院 康尼研究院，江蘇 南京 211167)

針對鋼絲繩芯輸送帶X光成像的圖像特征，提出了一種基于圖像配準(zhǔn)的鋼絲繩芯抽動識別方法。該方法在研究圖像配準(zhǔn)和SURF特征的原理及其一般實(shí)現(xiàn)方法的基礎(chǔ)上，提取參考圖像和待配準(zhǔn)圖像的SURF特征點(diǎn)對，并利用隨機(jī)采樣一致算法(RANSAC算法)對特征點(diǎn)對進(jìn)行過濾，以去除誤匹配點(diǎn)對；再以獲得的匹配點(diǎn)對作為源數(shù)據(jù)計(jì)算圖像的變換參數(shù)，并對參考圖像進(jìn)行幾何變換；將已變換的基準(zhǔn)圖像和待識別圖像進(jìn)行作差處理，提取差值較大的區(qū)域并進(jìn)行區(qū)域識別，即可最終確定鋼繩芯抽動狀況。為驗(yàn)證所提出方法的有效性和可行性，進(jìn)行了對比驗(yàn)證實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，相對于通過檢測接頭來識別鋼絲繩芯抽動的常規(guī)方法，所提出的方法更具有普適性，同時還能夠避免接頭檢測引入的額外誤差，可較好地識別鋼芯的抽動情況。

X光圖像;圖像配準(zhǔn);SURF特征點(diǎn);RANSAC算法;抽動檢測

0 引 言

鋼繩夾芯輸送帶以縱向定間距、等張力排列的鍍鋅鋼絲繩為骨架，外覆不同性能的芯膠、覆蓋膠經(jīng)成型、硫化而成,具有抗拉強(qiáng)度高、承載能力強(qiáng)、工作平穩(wěn)可靠等優(yōu)點(diǎn)，在煤礦、碼頭、冶金、建筑行業(yè)的運(yùn)輸、牽引等過程中得到了廣泛應(yīng)用[1]。但接頭內(nèi)鋼繩芯的抽動、斷裂易導(dǎo)致輸送帶斷裂事故，因此在輸送帶運(yùn)行過程中，動態(tài)檢測輸送帶鋼繩芯的接頭狀況可以有效預(yù)防事故發(fā)生，意義重大[2]。

目前，對輸送帶進(jìn)行X射線投影成像，并利用數(shù)字圖像處理技術(shù)進(jìn)行鋼芯抽動分析是常用的抽動檢測方法[3]。但在對接頭圖像作鋼繩分析時，從采集的單幅圖像往往難以識別接頭是否抽動，需與初始狀態(tài)的接頭圖像進(jìn)行比對判斷。由于不同時期、不同環(huán)境下采集的同一接頭圖像會有一定的平移、伸縮等偏差，故需先進(jìn)行圖像配準(zhǔn)工作，即將庫圖像作為參考圖像進(jìn)行幾何變換，使匹配的位置轉(zhuǎn)換到與待識別圖像在同一坐標(biāo)下，再進(jìn)行差異識別。為此，提出一種基于圖像配準(zhǔn)的鋼繩抽動檢測算法。該算法對當(dāng)前圖像和參考圖像提取SURF特征點(diǎn)，并進(jìn)行特征點(diǎn)匹配，根據(jù)匹配點(diǎn)對計(jì)算圖像變換參數(shù)，并進(jìn)行參考圖像的幾何變換，再根據(jù)變換圖像與當(dāng)前圖像的差值大小鑒別抽動區(qū)域，以達(dá)到鋼繩芯抽動識別的目的。

1 圖像配準(zhǔn)的定義

通常，數(shù)字圖像用二維矩陣表示，圖像配準(zhǔn)定義為兩個圖像矩陣在空間和灰度上的映射。設(shè)IA(x,y)、IB(x,y)為圖像矩陣IA、IB在位置(x,y)上的灰度值，f表示一個二維空間坐標(biāo)變換(即(x',y')=f(x,y))，g為一維灰度或輻射變換，則圖像間的映射可表示為:

IA(x,y)=g(IB(f(x,y)))

(1)

配準(zhǔn)的主要任務(wù)就是找尋最佳的空間變換f和灰度變換g，使待配準(zhǔn)圖像相對于標(biāo)準(zhǔn)圖像得到最佳匹配[4]?？臻g變換是灰度變換的基礎(chǔ)，且在通常情況下，相同的傳感器圖像之間的配準(zhǔn)是不需要灰度變換的，因此，尋找空間/幾何變換便是解決配準(zhǔn)問題的關(guān)鍵[5]?？臻g變換f可參數(shù)化為兩個單值函數(shù)fx,fy:

IA(x,y)=IB(fx(x,y),fy(x,y))

(2)

2 圖像配準(zhǔn)的步驟

圖像配準(zhǔn)的步驟如圖1所示。第一步是特征提取,特征提取指從浮動圖像和參考圖像中提取用于匹配的特征。提取的特征對后續(xù)的圖像配準(zhǔn)意義重大，表現(xiàn)在：特征決定了該方法適合的圖像類型，對該算法敏感的特征類型及配準(zhǔn)算法的即時性和魯棒性。根據(jù)所提取的特征類型的不同，圖像配準(zhǔn)可以分為兩類：

(1)基于灰度統(tǒng)計(jì)的圖像配準(zhǔn)。該方法直接利用圖像的灰度值來測度待配準(zhǔn)圖像的相似度，即以圖像的灰度信息為基礎(chǔ)，在搜索空間內(nèi)按搜索策略找尋使相似性最大的變換，從而確定配準(zhǔn)圖像之間的變換參數(shù)[6]?；诨叶鹊呐錅?zhǔn)方法主要包括相關(guān)法、互信息法、傅里葉方法等。該配準(zhǔn)方法具有實(shí)現(xiàn)簡單、無需預(yù)處理、可避免額外誤差、能實(shí)現(xiàn)自動配準(zhǔn)等優(yōu)點(diǎn)，因此在圖像配準(zhǔn)領(lǐng)域應(yīng)用廣泛。另一方面，基于灰度的配準(zhǔn)方法也存在諸如計(jì)算量大、配準(zhǔn)時間長、對圖像變形敏感、忽略圖像空間信息等不足。

圖1 圖像配準(zhǔn)

(2)基于特征的圖像配準(zhǔn)。該配準(zhǔn)方法首先對待配準(zhǔn)的圖像進(jìn)行特征提取以獲得特征空間，然后通過相似性度量進(jìn)行特征匹配(包括對匹配結(jié)果的過濾)，最后根據(jù)相應(yīng)的特征對求解變換參數(shù)，實(shí)現(xiàn)圖像的配準(zhǔn)[7-8]。常用的圖像特征包括：邊緣輪廓[9]、區(qū)域特征結(jié)構(gòu)、特征點(diǎn)等。相較于基于灰度的配準(zhǔn)方法，該方法具有計(jì)算量小、穩(wěn)定性高、適用性廣等優(yōu)點(diǎn)，已成為圖像配準(zhǔn)中最常用的方法。該方法也存在需人為干預(yù)、特征提取不易、誤特征對對配準(zhǔn)影響較大等缺點(diǎn)。

第二步是相似性度量。相似性度量是指按照一定的方法測度所提取的特征相似度，是對每次圖像變換好壞的判斷依據(jù)。相似性度量與特征集緊密相關(guān)，特征集往往決定了采用的相似性度量準(zhǔn)則。常用的相似性度量包括互相關(guān)方法、互信息方法、絕對差方法、傅里葉方法和描述子匹配方法等。

第三步是搜索空間和搜索策略。搜索空間是指圖像配準(zhǔn)過程中一系列的圖像的變換公式及變換范圍，其中的主要變換為幾何變換。搜索策略用于在搜索空間中快速找尋最優(yōu)的變換模型參數(shù)，可有效減少配準(zhǔn)過程中的計(jì)算量，加快配準(zhǔn)速度。

第四步是根據(jù)選定的相似性度量準(zhǔn)則在搜索空間內(nèi)尋求最優(yōu)的配準(zhǔn)參數(shù)，并將該參數(shù)用于原始圖像的變換，即可得配準(zhǔn)圖像。

3 基于SURF特征點(diǎn)的圖像配準(zhǔn)

基于SURF特征的圖像配準(zhǔn)屬于基于圖像特征的配準(zhǔn)類型，是在檢測出圖像的精確SURF特征點(diǎn)對后，利用特征點(diǎn)對間的幾何對應(yīng)關(guān)系，計(jì)算兩幅圖像間的映射參數(shù)，并確定變換模型的配準(zhǔn)方法。

3.1SURF特征點(diǎn)的提取

SURF即Speeded Up Robust Features(加速魯棒特性)是SIFT(Scale-Invariant Feature Transform，尺度不變特征轉(zhuǎn)換)[10-11]的加速增強(qiáng)版，是一種用來偵測與描述圖像中局部性特征的電腦視覺算法。它利用Hessian行列式和圖像金字塔在圖像的二維空間域和尺度域中尋找極值點(diǎn)，并提取其位置、尺度、方向參數(shù)，以此為基礎(chǔ)建立用于特征點(diǎn)匹配的描述子[12]。由于所提取的特征具有尺度和旋轉(zhuǎn)不變性，較強(qiáng)的抗光線變化能力和較好的實(shí)時性，因而廣泛應(yīng)用于物體識別、影像拼接、地圖感知與導(dǎo)航、3D建模、影像追蹤和動作比對等領(lǐng)域[13]。通常，SURF特征點(diǎn)及其描述子的提取包括如下步驟：

(1)二維空間和尺度空間極值檢測：搜索所有尺度上的圖像位置。通過Hessian矩陣識別潛在的對于尺度和旋轉(zhuǎn)不變的興趣點(diǎn)。

(2)關(guān)鍵點(diǎn)定位：在每個候選位置上，通過一個擬合精細(xì)的模型來確定位置和尺度。關(guān)鍵點(diǎn)的選擇依據(jù)它們的穩(wěn)定程度。

(3)方向確定：基于圖像特征點(diǎn)附近的像素分布，統(tǒng)計(jì)一定鄰域范圍內(nèi)的Harr特征，并基于Harr特征給出該特征點(diǎn)的方向參數(shù)。所有后面的對圖像數(shù)據(jù)的操作都相對于關(guān)鍵點(diǎn)的方向、尺度和位置進(jìn)行變換，從而提供對于這些變換的不變性。

(4)關(guān)鍵點(diǎn)描述：在每個關(guān)鍵點(diǎn)周圍的鄰域內(nèi)，在選定的尺度上測量圖像局部的Harr小波特征，并以向量的形式表示，這些向量表征了關(guān)鍵點(diǎn)的局部特征。

以一組接頭圖像為例，提取的匹配特征點(diǎn)對如圖2所示。其中，左側(cè)為圖IA，右側(cè)為圖IB。

圖2 一對接頭圖像對應(yīng)的SURF特征點(diǎn)

設(shè)圖IA中提取特征點(diǎn)位置為：(xAi,yAi),i=0,1,…,N-1；圖IB中對應(yīng)特征點(diǎn)位置為：(xBi,yBi)，i=0,1,…,N-1。其中，N為匹配到的特征點(diǎn)對的數(shù)量。提取的兩組特征點(diǎn)可用于計(jì)算之后的圖像變換參數(shù)。

3.2SURF特征點(diǎn)的過濾

3.2.1 誤匹配點(diǎn)的檢測方法

在特征點(diǎn)的匹配過程中，很難確保所有的匹配點(diǎn)對都是完全正確的。事實(shí)上，誤匹配的特征點(diǎn)對與精確值往往存在較大誤差，這些偏差對后期模型參數(shù)的確定會產(chǎn)生較大的影響，因此有必要對已匹配的點(diǎn)對進(jìn)行濾波處理，即剔除錯誤的匹配點(diǎn)對。

按照檢測原理的不同，可將誤匹配點(diǎn)檢測分為三種類型：基于函數(shù)擬合的方法、基于統(tǒng)計(jì)模型的方法和基于圖的方法。其中，基于函數(shù)擬合的方法是先設(shè)定所有正確的點(diǎn)均滿足某一函數(shù)模型(通常為函數(shù)多項(xiàng)式)，利用現(xiàn)有數(shù)據(jù)通過最小二乘法求出該模型的參數(shù)，然后判斷各數(shù)據(jù)到該模型的“距離”，相差較大者即為誤差數(shù)據(jù)。該方法簡單、快速，但也有顯著的弊端：當(dāng)誤差點(diǎn)較多或偏差較大時，求得的參數(shù)模型往往不準(zhǔn)確，影響誤匹配點(diǎn)的檢測?？煽紤]使用迭代最小二乘法來克服大誤差數(shù)據(jù)對模型參數(shù)的影響?；诮y(tǒng)計(jì)模型的方法找出能滿足最多數(shù)匹配點(diǎn)的某一模型，并以該模型來判斷不滿足的匹配點(diǎn)為誤匹配點(diǎn)。常用的統(tǒng)計(jì)模型方法包括RANSAC(RANdom SAmpling Consensus,隨機(jī)采樣一致)算法和基于剛性圖像的距離比方法。RANSAC算法的魯棒性較好，能從含有大量誤匹配點(diǎn)中估計(jì)出模型參數(shù)，從而準(zhǔn)確地識別誤匹配點(diǎn)。但該算法難以計(jì)算迭代次數(shù)，且迭代次數(shù)過多比較耗時，另外，該算法只適于估算一個模型。距離比方法只能用于剛性圖像的配準(zhǔn)?；趫D的方法在局部區(qū)域內(nèi)使用特征點(diǎn)的分布和鄰域關(guān)系來進(jìn)行誤匹配點(diǎn)檢測，對彈性圖像的配準(zhǔn)具有良好的魯棒性。

利用SURF特征所得的誤匹配點(diǎn)往往誤差較大，另外，采集的鋼繩接頭圖像是由X光線掃描拼接而成，受皮帶縱向運(yùn)動的影響，拼接成的圖像在水平方向具有不同的伸縮比例Sx、Sy，故不宜使用函數(shù)擬合及距離比方法進(jìn)行誤匹配點(diǎn)檢測。這里采用RANSAC算法檢測誤匹配點(diǎn)。

3.2.2 誤匹配點(diǎn)的RANSAC檢測

對于已經(jīng)匹配的點(diǎn)(xAi,yAi)、(xBi,yBi)，i=0,1,…,N-1，設(shè)矢量p1=(xAi,yAi,1)、p2=(xBi,yBi,1)，由投影幾何學(xué)可知，p1、p2滿足下述極線方程：

(3)

其中，F(xiàn)為兩幅圖像之間視角關(guān)系的基礎(chǔ)矩陣，該矩陣用作誤匹配點(diǎn)檢測的統(tǒng)計(jì)模型[14]。

該算法首先從匹配點(diǎn)集中隨機(jī)挑選8對匹配點(diǎn)，且將這8對匹配點(diǎn)作為準(zhǔn)確的配準(zhǔn)點(diǎn)帶入式(3)求得F，然后用該矩陣對其他的配準(zhǔn)點(diǎn)進(jìn)行準(zhǔn)確與否的檢測，并記錄下符合該方程式的點(diǎn)集，以符合的點(diǎn)數(shù)作為判斷該模型優(yōu)劣的依據(jù)。上述過程被重復(fù)若干次，直到取得最優(yōu)模型(基礎(chǔ)矩陣)，并以該基礎(chǔ)矩陣來識別和剔除誤匹配點(diǎn)，最終可得匹配點(diǎn)對:(xAi,yAi)、(xBi,yBi)，i=0,1,…,M-1。

3.3變換參數(shù)的求取

對于基準(zhǔn)圖像A和參考圖像B中的任一對匹配點(diǎn)(xAi,yAi)、(xBi,yBi)，當(dāng)配準(zhǔn)圖像為剛體時，通常的映射關(guān)系可表示為：

(4)

其中，s為縮放比例；φ為旋轉(zhuǎn)角；Δx、Δy為x、y方向上的平移量。

但考慮實(shí)際采集到的接頭圖像受皮帶縱向運(yùn)動及圖像成型過程的影響，并不完全符合剛體的變換類型，主要表現(xiàn)在：(1)水平方向伸縮比例Sx與豎直方向伸縮比例Sy不一致；(2)旋轉(zhuǎn)角度φ較小，可以忽略不計(jì)。

綜合上述情況，圖像對應(yīng)點(diǎn)的映射關(guān)系為：

(5)

其中，sx、sy為x、y方向的縮放比例；Δx、Δy為x、y方向的平移量。這四個變換參數(shù)可以通過最小均方誤差算法求得，計(jì)算式為：

(6)

(7)

(8)

獲得參考圖像B的變換參數(shù)后，對其做相應(yīng)的幾何變換得B'，即將B圖的對應(yīng)位置轉(zhuǎn)換到了與A圖相同的坐標(biāo)位置下，實(shí)現(xiàn)了圖像的配準(zhǔn)。

4 抽動位置識別

圖3 抽動區(qū)域顯示圖(1)

圖4 抽動區(qū)域顯示圖(2)

將上述識別到的抽動部分的位置和大小標(biāo)注于待識別的圖像IB上，如圖3(b)、圖4(b)所示。具體的抽動區(qū)域的識別信息如表1所示(處理工具為OpenCV庫2.4.10)：

表1 接頭抽動檢測結(jié)果

5 結(jié)束語

鋼絲繩芯抽動識別在生產(chǎn)傳輸中對于檢測傳送帶狀況、預(yù)防事故發(fā)生具有重大意義。為此，提出利用SURF特征點(diǎn)的圖像匹配技術(shù)來實(shí)現(xiàn)鋼繩芯接頭圖像的抽動檢測方法。實(shí)驗(yàn)結(jié)果表明，該方法具有很高的適用性和可靠性，同時克服了常規(guī)方法接頭定位困難的問題。由于SURF特征點(diǎn)的提取耗時較長，在一定程度上影響了圖像處理的實(shí)時性，因此，在保證現(xiàn)有精度的基礎(chǔ)上，還需要進(jìn)一步研究提高配準(zhǔn)速度的方法。

[1] 焦晉杰,牛昱光.X光成像的鋼繩芯輸送帶接頭距離檢測方法[J].機(jī)械工程與自動化,2012(5):133-134.

[2] 葉春青,苗長云,李現(xiàn)國,等.基于X光檢測的強(qiáng)力輸送帶故障定位方法[J].計(jì)算機(jī)測量與控制,2009,17(2):302-303．

[3] 殷勇輝,范忠明,梁 驍,等.鋼繩芯輸送帶接頭實(shí)時監(jiān)測系統(tǒng)設(shè)計(jì)[J].煤炭科學(xué)技術(shù),2009,37(7):90-92.

[4] 洪 貝,孫繼銀.圖像配準(zhǔn)技術(shù)研究[J].戰(zhàn)術(shù)導(dǎo)彈控制技術(shù),2006(3):109-112.

[5] 張衛(wèi)國,李景妹.改進(jìn)的基于紋理特征的圖像配準(zhǔn)算法[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(6):214-218.

[6] 趙毅力,徐 丹,潘志庚.基于SURF特征點(diǎn)的圖像配準(zhǔn)系統(tǒng)[J].計(jì)算機(jī)應(yīng)用,2011,31:73-75.

[7] 高素青,譚勛軍,黃承夏.一種基于SURF的圖像配準(zhǔn)改進(jìn)算法[J].解放軍理工大學(xué)學(xué)報：自然科學(xué)版,2013,14(4):372-376.

[8] 曾新貴,陶 衛(wèi),顏發(fā)才,等.基于Harris算子和方向場的圖像配準(zhǔn)算法[J].計(jì)算機(jī)應(yīng)用,2016,36:146-148.

[9] Canny J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[10] Lowe D G.Object recognition from local scale-invariant features[C]//Proceedings of the seventh IEEE international conference on computer vision.[s.l.]:IEEE,1999:1150-1157.

[11] Lowe D G.Distinctive image features from scale invariant features[J].International Journal of Computer Vision,2004,60(2):91-110.

[12] Bay H,Ess A.SURF:speeded up robust features[J].Computer Vision and Image Understanding,2008,110(3):346-359.

[13] Brown M,Lowe D G.Invariant features from interest point groups[C]//British machine vision conference.[s.l.]:[s.n.],2002:656-665.

[14] Hartley R,Zisserman A.Multiple view geometry in computer vision[M].Cambridge:Cambridge University Press,2003.

ATechniqueofRecognitiononTwitchofSteelCordBasedonImageRegistration

SHEN Hai-yang1，CHEN Rui2，JIAO Liang-bao3

(1.College of Telecommunications and Information Engineering，Nanjing University of Posts and Telecommunications，Nanjing 210003,China；2.College of Communication Engineering,Nanjing Institute of Technology,Nanjing 211167,China; 3.Kangni Institute,Nanjing Institute of Technology,Nanjing 211167,China)

Regarding the characteristics of the X-ray image of the steel cord conveyor belt,a method of detecting the twitch of the steel cord based on image registration is proposed,in which the SURF feature points of the current image and reference image are extracted based on principles and general means of image registration and SURF feature,and then the error matched points are removed with random sample consensus algorithm (RANSAC).The image transforming parameters could be gained according to the matched points as the source data,and the reference image is in a geographical transform.The difference matrix between the reference image and current image is gained,and the twitching corresponding to the larger-value area in the difference matrix could be detected and the shifting situation be ascertained.The contrast experiment has been conducted for verification on its feasibility and effectiveness.Experimental results show that compared with the normal detection approach,it has more applicability and has decreased the additional errors and detected more effectively.

X-ray image;image registration;SURF point;RANSAC algorithm;shift detection

TP301

A

1673-629X(2017)10-0201-04

2016-10-25

2017-02-21 < class="emphasis_bold">網(wǎng)絡(luò)出版時間

時間：2017-07-11

江蘇省自然科學(xué)基金(BK20141389)；南京工程學(xué)院博士基金項(xiàng)目(ZKJ201305)

沈海洋(1990-)，男，碩士研究生，研究方向?yàn)閳D像處理；陳 瑞，教授，博士，通訊作者，研究方向?yàn)闊o線網(wǎng)絡(luò)通信和多媒體信息處理；焦良葆，教授，研究方向?yàn)槎嗝襟w信息處理與通信。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170711.1456.066.html

10.3969/j.issn.1673-629X.2017.10.043