馬如豹，申小敏，李翔，熊建斌

（1.湘南學(xué)院電子信息與電氣工程學(xué)院，郴州423000；2.廣東技術(shù)師范大學(xué)自動(dòng)化學(xué)院，廣州510000)

0 引言

利用Yamaguchi和Peters等人[1-2]提出的數(shù)字圖像相關(guān)（Digital Image Correlation，DIC）分析技術(shù)計(jì)算散斑物體的表面形變，具有非接觸和全場(chǎng)測(cè)量的優(yōu)勢(shì)。其理論基礎(chǔ)是在未發(fā)生形變前的參考圖像中選取以特定點(diǎn)為中心的矩形子塊，然后在形變發(fā)生后的目標(biāo)圖像中找到最相似的一個(gè)區(qū)域作為對(duì)應(yīng)子塊。據(jù)此，即可進(jìn)一步完成具體的形變分析[3]。

數(shù)字圖像作為一種信息載體，在獲取和傳輸過程中經(jīng)常會(huì)受到噪聲的污染。如成像設(shè)備的電子熱震動(dòng)引起的熱噪聲，光電傳感器內(nèi)部參數(shù)引起固有模式噪聲，載體密度引起的散粒噪聲和量子噪聲引起的胡椒噪聲等[4]。為了緩解這些噪聲帶來的問題，相關(guān)領(lǐng)域的學(xué)者進(jìn)行了很多的探索。主要有以下幾類處理方法被相繼提出：一是圖像平滑處理，如高斯濾波[5]、SG（Sav?itzky-Golay）[6]、GCV（Generalized Cross Validation）和有限元相結(jié)合等的算法[7]，其主要思路是希望通過把噪聲分?jǐn)偟洁徑膮^(qū)域，減少噪聲造成的直接影響，但容易使得散斑圖像變得模糊；二是子塊增大法，如計(jì)算子塊的熵[8]和SSSIG（Sum of Square of Subset Intensity Gradi?ents）[9]等指標(biāo)的一類算法；小波分析也被嘗試應(yīng)用于去噪[10]，但精度欠佳。

總體上來說，一般的熱噪聲和固定模式的噪聲相對(duì)容易處理，但椒鹽噪聲這一類產(chǎn)生極端數(shù)值導(dǎo)致圖像匹配錯(cuò)誤的問題難以用一般的數(shù)據(jù)平滑方法來解決。黃旺華等人提出，利用斯皮爾曼秩次相關(guān)系數(shù)（Spearman’s Rho，SR）作為評(píng)價(jià)指標(biāo)，在一定的椒鹽噪聲密度范圍內(nèi)，可以較好地在目標(biāo)圖像中搜索與原圖像子塊匹配的區(qū)域[11]。該方法，本質(zhì)上是只提取了數(shù)字圖像的秩次信息，然后進(jìn)行匹配，一定程度上減少了極端數(shù)據(jù)帶來的影響，但其僅使用圖像數(shù)據(jù)的一維信息，難以表達(dá)圖像的整體特征。

在發(fā)生了形變或者噪聲污染后的目標(biāo)圖像中找到與原圖像特定子塊匹配度最高的區(qū)域，這一任務(wù)與近年受備受關(guān)注的目標(biāo)跟蹤任務(wù)類似[12-13]。目標(biāo)跟蹤是計(jì)算機(jī)視覺的一個(gè)研究領(lǐng)域，近年隨著圖像處理和人工智能技術(shù)的快速發(fā)展，其影響力迅速擴(kuò)大[14-17]。學(xué)者們針對(duì)目標(biāo)跟蹤的各種應(yīng)用場(chǎng)景提出了多種解決方案，其中，相關(guān)濾波（Correlation Filter，CF）一類算法由于具備實(shí)時(shí)性強(qiáng)，資源占用少，易于實(shí)現(xiàn)等的優(yōu)勢(shì)，在工業(yè)界有著重要地位。MOSSE作為相關(guān)濾波比較早期的版本，通過濾波模板與目標(biāo)圖像的響應(yīng)圖作為評(píng)價(jià)指標(biāo)，初步展示了相關(guān)濾波較好的性能和運(yùn)算效率[18]。在此基礎(chǔ)上，CSK作為其改進(jìn)版本被提出，其主要改進(jìn)點(diǎn)在于引入循環(huán)矩陣和核方法，有效的增加訓(xùn)練樣本并加快了運(yùn)算速度，性能得到進(jìn)一步的提升[19]。在2014年，Joao等人正式提出了用于目標(biāo)跟蹤的核相關(guān)濾波算法（Kernel Correlation Filter，KCF），這一算法引入了多通道特征，不論是在跟蹤效果還是跟蹤速度上都有十分優(yōu)異的表現(xiàn)，所以引起了一大批的學(xué)者對(duì)這個(gè)算法進(jìn)行深入研究，而且工業(yè)界也陸續(xù)地把這一算法應(yīng)用到實(shí)際場(chǎng)景當(dāng)中，奠定了相關(guān)濾波算法在目標(biāo)跟蹤領(lǐng)域的地位[20]。隨后提出的各類改進(jìn)型算法在各個(gè)方面提升了相關(guān)濾波算法的性能，但其主要基礎(chǔ)仍然是利用核方法與相關(guān)濾波完成圖像的匹配[21-22]。

1 核相關(guān)濾波

1.1 相關(guān)濾波器

在信號(hào)處理領(lǐng)域，經(jīng)常使用互相關(guān)（Cross-correla?tion）來分析兩個(gè)信號(hào)之間的相關(guān)性，其離散形式的定義為：

其中f和g表示兩路信號(hào)，f*是f的復(fù)共軛?？梢灾庇^的看到，當(dāng)兩路信號(hào)完全對(duì)齊的時(shí)候，互相關(guān)得到最大值。也可以表述為當(dāng)兩組數(shù)據(jù)非常相似的時(shí)候，對(duì)應(yīng)的輸出值也很大。

更一般的描述，f作為待分析的目標(biāo)數(shù)據(jù)，h是濾波模板，g表示響應(yīng)輸出，可得：

我們希望，通過濾波模板，可以對(duì)特定的目標(biāo)數(shù)據(jù)產(chǎn)生很強(qiáng)的輸出響應(yīng)，而過濾掉其它數(shù)據(jù)。當(dāng)圖像作為輸入源的時(shí)候，如果可以得到一個(gè)濾波模板，針對(duì)目標(biāo)圖像各個(gè)區(qū)域進(jìn)行相關(guān)濾波分析后，得到響應(yīng)圖，其中只有特定區(qū)域?qū)?yīng)的輸出響應(yīng)很強(qiáng)，而其他區(qū)域的輸出響應(yīng)很弱，我們就可以據(jù)此定位感興趣的區(qū)域。

由卷積定理可知，函數(shù)互相關(guān)的傅里葉變換等于函數(shù)傅里葉變換的乘積，即（2）式可以改寫為：

其中，F(xiàn)表示傅里葉變換，⊙表示點(diǎn)乘。式中，圖像的相關(guān)濾波分析可以通過快速傅里葉變換之后以點(diǎn)積運(yùn)算完成，而快速傅里葉變換的計(jì)算復(fù)雜度僅為O（nlogn），這就使得相關(guān)濾波分析有很好的實(shí)時(shí)性。

當(dāng)理想的輸出響應(yīng)已知時(shí)，求解濾波模板，設(shè)F=F（f），H*=F*（h），G=F（g），可得目標(biāo)函數(shù)：

m對(duì)應(yīng)的是訓(xùn)練樣本的數(shù)量。解之可得[18]：

至此，基于相關(guān)濾波，以最小化響應(yīng)輸出誤差為基礎(chǔ)，可以得到提取目標(biāo)圖像中感興趣區(qū)域的濾波模板。而且整體的計(jì)算開銷較低，效率很高。

1.2 核方法

在獲取濾波模板的過程其實(shí)可以看成是一個(gè)分類器的訓(xùn)練過程，該分類器要完成的是把目標(biāo)區(qū)域和背景有效的區(qū)分開來。而分類器的訓(xùn)練通常會(huì)面臨兩個(gè)問題，其一是過擬合，表現(xiàn)為泛化能力不足，不能很好適應(yīng)訓(xùn)練集以外的使用環(huán)境；其二是欠擬合，表現(xiàn)為無法有效捕捉到感興趣的目標(biāo)。為了緩解第一個(gè)問題帶來的影響，通常會(huì)引入正則化約束。而應(yīng)對(duì)第二個(gè)問題，則要求獲取表征能力足夠強(qiáng)的特征，并配備合適的分類器[24]。

首先是引入正則項(xiàng)，可以把（4）式改寫為正則化最小二程法的形式：

其中，X=(x1,x2,x3,…)為樣本矩陣，Y=(y1,y2,y3,…)為理想響應(yīng)集合。然而，該分類器本質(zhì)上是線性分類器，再加上直接使用原始數(shù)據(jù)的線性組合作為表征數(shù)據(jù)的特征，其泛化能力將會(huì)很弱，將難以獲得良好的性能。為了提升對(duì)原始數(shù)據(jù)的表征能力，用φ(xi)表示把xi映射到高維空間的函數(shù)，而核函數(shù)則可以作為橋梁，用于計(jì)算數(shù)據(jù)數(shù)據(jù)進(jìn)行映射后的內(nèi)積，即：

（7）式可以改寫為：

對(duì)xi進(jìn)行高維映射，忽略b的影響，有：

利用傅里葉變換加速計(jì)算過程，整個(gè)算法流程為：

第一步：確定理想響應(yīng)值Y=(y1,y2,y3,…)；

第三步：計(jì)算響應(yīng)輸出響應(yīng)f(X)=F-1[F(K)ΘF(α)]。

其中，F(xiàn)為傅里葉變換，F(xiàn)-1為傅里葉反變換，Θ表示按位相乘。

2 壓縮散斑形變仿真實(shí)

為了驗(yàn)證上述算法在散斑匹配應(yīng)用中的有效性，本文采用形變和噪聲密度可控的散斑仿真圖像作為測(cè)試對(duì)象。在實(shí)驗(yàn)中，先在圖像中生成隨機(jī)散斑顆粒，作為參考圖像。然后對(duì)圖像增加多種密度的椒鹽噪聲，并對(duì)圖像進(jìn)行單方向的壓縮，模擬實(shí)際生產(chǎn)中連續(xù)成像可能出現(xiàn)圖像壓縮的情況。

本文實(shí)驗(yàn)中采用大小為1024pixel×1024pixel的原始散斑圖像；散斑個(gè)數(shù)為1500個(gè)；散斑大小為4；散斑峰值強(qiáng)度為1，如圖1所示。椒鹽噪聲密度從0%到25%分為6組，對(duì)比斯皮爾曼秩次相關(guān)法（SR）與核相關(guān)分析方法在椒鹽噪聲和形變下的性能。

在原始散斑圖像中選取一個(gè)64pixel×64pixel的子塊作為參考圖像，其中心坐標(biāo)為(xi,yi)。在添加椒鹽噪聲的圖像當(dāng)中，以(xi,yi)為中心，選取128pixel×141pixel的子塊，然后壓縮為128pixel×128pixel，作為目標(biāo)子塊的搜索區(qū)域。因?yàn)樵趯?shí)際的應(yīng)用中，連續(xù)成像時(shí)，參考圖像與目標(biāo)圖像之間一般位置和尺度的偏移不會(huì)太大，128pixel×128pixel的子塊構(gòu)成了添加椒鹽噪聲污染和約10%的縱向壓縮之后的參考圖像搜索區(qū)域。在1024pixel×1024pixel的原始圖像中選取110個(gè)互不重疊的參考圖像進(jìn)行對(duì)比實(shí)驗(yàn)。

核相關(guān)濾波測(cè)試中設(shè)定正則化參數(shù)λ=1×10-4，使用高斯函數(shù)生成理想輸出響應(yīng)，高斯核函數(shù)參數(shù)σ=0.2，利用圖像的HOG特征進(jìn)行相關(guān)分析。

兩種方法的測(cè)試中，在選取搜索區(qū)中選取與參考圖像大小相等的子塊進(jìn)行相關(guān)度運(yùn)算，生成65×65的相關(guān)值數(shù)據(jù)矩陣，可以繪制成響應(yīng)圖，如圖3所示，響應(yīng)值最大的位置對(duì)應(yīng)的是搜索區(qū)中與參考圖像最相似的子塊圖像。提取到目標(biāo)區(qū)域后，則可以為進(jìn)一步的散斑圖分析提供基礎(chǔ)。

圖1 原始散斑圖像

圖2 添加椒鹽噪 聲后的散斑圖

圖3 匹配響應(yīng)圖

3 實(shí)驗(yàn)數(shù)據(jù)及分析

圖4 核相關(guān)濾波定位誤差箱型圖

圖5 SR方法定位誤差箱型圖

表1 兩種方法的定位準(zhǔn)確率

從圖4的箱型圖中可以看到，核相關(guān)濾波方法的誤差分布很集中，在各種條件下沒有出現(xiàn)箱體。在只有單方向壓縮，且噪聲在5%及以下時(shí)，X軸和Y軸的定位都沒有出現(xiàn)誤差。但在噪聲水平達(dá)到10%及以上的時(shí)候，開始出現(xiàn)少量的離群值。

從圖5中可以看到，SR方法即使在沒有噪聲干擾下也出現(xiàn)了離群點(diǎn)，而且添加噪聲后，Y軸的箱型圖就出現(xiàn)了箱體，數(shù)據(jù)波動(dòng)范圍相比X軸更大。這說明了SR方法對(duì)形變帶來的影響比較敏感。

表1 展示了兩種方法的定位的準(zhǔn)確率，可以看到核相關(guān)濾波方法在定位準(zhǔn)確率上更有優(yōu)勢(shì)。在椒鹽噪聲水平不高于5%，單向壓縮10%以內(nèi)的條件下，定位準(zhǔn)確率為100%；即使噪聲水平提高到15%，定位準(zhǔn)確率也不低于90%。

4 結(jié)語

在實(shí)際的散斑圖像定位匹配時(shí)，相對(duì)于原散斑圖像，目標(biāo)圖像經(jīng)常會(huì)被噪聲污染并伴隨著一定的形變。過往的研究表明，利用SR方法進(jìn)行相關(guān)度評(píng)估具有更好地抵抗椒鹽噪聲的性能。但SR本質(zhì)上是利用了數(shù)據(jù)的排序信息，僅為一維數(shù)據(jù)，并不能充分利用圖像整體的二維信息。

利用相關(guān)濾波作為基礎(chǔ)，結(jié)合核方法更進(jìn)一步的利用圖像的深層次信息，以核相關(guān)濾波的輸出響應(yīng)來衡量參考圖像和目標(biāo)圖像的相關(guān)性。實(shí)驗(yàn)數(shù)據(jù)表明，在椒鹽噪聲水平不高于5%，單向壓縮10%以內(nèi)的條件下，該方法的匹配性能優(yōu)異，一致性也非常好。而且在實(shí)驗(yàn)中發(fā)現(xiàn)，該方法由于整體使用快速傅里葉變換與反變換，運(yùn)算效率遠(yuǎn)高于SR方法。

在實(shí)際的應(yīng)用中，椒鹽噪聲的密度一般較低，原始圖像與目標(biāo)圖像之間的形變也比較小，在這種情況下，核相關(guān)濾波方法在散斑圖像分析的匹配定位過程中具有定位準(zhǔn)確率高，運(yùn)算速度快的優(yōu)勢(shì)。在實(shí)際使用中，進(jìn)一步進(jìn)行核函數(shù)的優(yōu)選和參數(shù)調(diào)優(yōu)，以及提取更好的特征進(jìn)行相關(guān)匹配，將可以更好地挖掘核相關(guān)濾波方法的應(yīng)用潛力。