梁珺超 李 杰

1(山西財(cái)經(jīng)大學(xué)資源型經(jīng)濟(jì)轉(zhuǎn)型發(fā)展研究院 山西 太原 030006)2(山西財(cái)經(jīng)大學(xué)信息學(xué)院 山西 太原 030006)

0 引 言

立體像對(duì)間的運(yùn)動(dòng)估計(jì)是任何立體視覺系統(tǒng)有效處理視覺信息的核心。立體像對(duì)間的運(yùn)動(dòng)信息通常是由立體視角下不同視點(diǎn)對(duì)物體觀測(cè)而引起的。因此，運(yùn)動(dòng)估計(jì)是視覺感知領(lǐng)域重要研究課題之一。

相位相關(guān)是基于傅里葉變換的一種經(jīng)典的運(yùn)動(dòng)估計(jì)方法。文獻(xiàn)[1]的研究表明，與傳統(tǒng)互相關(guān)以及其他高精度圖像配準(zhǔn)方法相比，相位相關(guān)具有良好的精度和可靠性等優(yōu)勢(shì)。因此，相位相關(guān)方法引起了很多學(xué)者的關(guān)注，并提出了很多更為巧妙的改進(jìn)方法應(yīng)用在圖像匹配、視覺感知等領(lǐng)域。文獻(xiàn)[2]提出了一種可直接在頻率域進(jìn)行圖像運(yùn)動(dòng)估計(jì)的相位相關(guān)方法。文獻(xiàn)[3]提出了一種基于奇異值分解(Singular Value Decomposition， SVD)的相位相關(guān)矩陣秩1子空間的運(yùn)動(dòng)估計(jì)方法。文獻(xiàn)[4]介紹了一種快速相位相關(guān)算法，它利用主頻信息擬合配準(zhǔn)參數(shù)。文獻(xiàn)[5]將二維圖像投影到一維信號(hào)中，利用一維相位相關(guān)方法估計(jì)兩個(gè)方向的位移，從而將原始相位相關(guān)的時(shí)間復(fù)雜度降低到了O(nlogn)。文獻(xiàn)[6]基于幾何約束特性，提出了一種基于固有幾何關(guān)系估計(jì)峰值位置的峰值計(jì)算方法。為了提高配準(zhǔn)精度，文獻(xiàn)[7]結(jié)合SVD和Unified RANSAC 算法優(yōu)異的抗噪能力構(gòu)建了一種頻率域圖像配準(zhǔn)方法；文獻(xiàn)[8]基于圖像梯度域特征構(gòu)建了一種尺度不變性圖像配準(zhǔn)方法；文獻(xiàn)[9]針對(duì)無人機(jī)航拍影像特性構(gòu)建一種層次化相位相關(guān)高精度視差估計(jì)方法；文獻(xiàn)[10]構(gòu)建了融入旋轉(zhuǎn)矢量的相位相關(guān)模型從而保證了穩(wěn)像系統(tǒng)的穩(wěn)像精度；在相位相關(guān)研究基礎(chǔ)上文獻(xiàn)[11]對(duì)相關(guān)算法的精度改進(jìn)進(jìn)行了綜述性研究。隨著匹配精度的提高，許多學(xué)者試圖提高相位相關(guān)的計(jì)算效率，與文獻(xiàn)[5]相似，文獻(xiàn)[12]將二維配準(zhǔn)矩陣壓縮到一維以減少圖像匹配的運(yùn)算時(shí)間；文獻(xiàn)[13]構(gòu)建了基于GPU的并行相位相關(guān)的快速三維重建方法。與此同時(shí)，相位相關(guān)方法也被應(yīng)用到了許多領(lǐng)域；文獻(xiàn)[14]基于相位相關(guān)算法構(gòu)建了一種無須矯正的高精度窄基線三維重建方法；文獻(xiàn)[15]基于對(duì)大氣湍流相位相關(guān)互功率譜研究提出光學(xué)影像機(jī)械防抖方法；文獻(xiàn)[16]將文獻(xiàn)[6]方法應(yīng)用于衛(wèi)星顫震探測(cè)；文獻(xiàn)[17]針對(duì)飛秒時(shí)間測(cè)量中峰值寬度影響通過基于閾值相位相關(guān)降低峰值寬度提高超聲測(cè)距精度。然而，受立體匹配計(jì)算量、視差差異的影響，許多工作，如文獻(xiàn)[9，13-14]等，希望通過改進(jìn)運(yùn)動(dòng)估計(jì)算法來保證立體圖像視差估計(jì)的時(shí)效性、穩(wěn)定性及準(zhǔn)確性。受這些問題的啟發(fā)，本文提出了一種基于權(quán)重的相位相關(guān)峰擬合算法。

1 方法設(shè)計(jì)

1.1 相位相關(guān)

存在兩幅圖像fi(X),X=[x,y]T∈R2,i=1,2，用Fi(U),U= [u,v]T∈R2表示fi的傅里葉變換。如果我們?cè)O(shè)f2作為f1平移d=[δx,δy]T∈R2后的結(jié)果。因此，f1、f2之間的關(guān)系為：

f2(X)=f1(X+d)

(1)

其傅里葉變換關(guān)系為：

(2)

最后，為提取相位差，計(jì)算圖像fi(X),i= 1,2的歸一化互功率譜C(U)：

(3)

式中：U表示頻率域坐標(biāo)，i表示復(fù)數(shù)，W表示圖像尺寸。

對(duì)歸一化互功率譜C(U)進(jìn)行傅里葉反變換求解：

(4)

式中：F-1表示傅里葉反變換，*表示復(fù)共軛。

將歸一化互功率譜C(U)的傅里葉反變換看作Kronecker delta函數(shù)：

I(X)≈δ(X+d)

(5)

式中：X是圖像的坐標(biāo)，d是方向向量。

根據(jù)Kronecker delta函數(shù)的多維性質(zhì)，可將式(5)表示為：

δ(X+d)=δ(x+δx)δ(y+δy)

(6)

式中：X=[x,y]T表示圖像的坐標(biāo),d=[δx,δy]表示x、y方向的運(yùn)動(dòng)向量。

因此，二維Kronecker delta函數(shù)可以被分成兩個(gè)方向, 即x、y方向，根據(jù)一維Kronecker delta函數(shù)定義(以x方向?yàn)槔?。在數(shù)學(xué)中Kronecker delta函數(shù)是兩個(gè)變量的函數(shù)，通常是正整數(shù)。如果變量相等則函數(shù)為1，否則為0：

(7)

式中：函數(shù)δ()表示變量為x、δx的分段函數(shù)。

1.2 反比例函數(shù)

構(gòu)造反比例函數(shù)以近似一維Kronecker delta函數(shù)的分段函數(shù)性質(zhì)，反比例函數(shù)定義如下：

(8)

在a→0的條件下，根據(jù)洛必達(dá)法則得：

(9)

其曲線圖如圖1所示。在a→0條件下，通過積分公式可證所構(gòu)造的反比函數(shù)滿足一維Kronecker delta函數(shù)平移性質(zhì)。積分公式定義如下：

(10)

圖1 式(9)曲線圖

基于式(9)式(10)，我們可以假設(shè)：

(11)

式(11)可直接被用于的圖像平移參數(shù)估計(jì)。但從式(11)可看出，估計(jì)I(X)(X= [x,y]T∈R2)的高精度峰值位置，至少需要兩個(gè)點(diǎn)。需要注意的是，峰值位置不僅可能出現(xiàn)在圖像的邊界處，而且也會(huì)出現(xiàn)在圖像中心位置附近。因此，當(dāng)峰值點(diǎn)處于圖像的中心位置附近時(shí)，只用兩個(gè)點(diǎn)來估計(jì)峰值位置會(huì)導(dǎo)致結(jié)果的不確定性。為避免不確定性，構(gòu)建基于權(quán)重的反比例函數(shù)峰值擬合方法。

1.3 基于權(quán)重的反比例函數(shù)峰值擬合方法

據(jù)峰值點(diǎn)(x,y)=argmaxx,yI(X)及其在x軸方向上兩個(gè)鄰域點(diǎn)作為擬合點(diǎn)，可定義擬合方程如下：

(12)

式中：(x2,P(x2)) 表示x方向上的峰值點(diǎn)，(x1,P(x1))和(x3,P(x3))表示x方向上峰值點(diǎn)的左右鄰域點(diǎn)。

通過P(x1)除以P(x2)，及P(x2)除以P(x3)得：

(13)

為簡(jiǎn)化運(yùn)算，令a=0，得：

(14)

由式(14)可知，如果采用三點(diǎn)擬合峰值位置，會(huì)求得兩個(gè)不確定性解。為解決該問題，考慮式(14)存在三種情況：第一，如果峰值位置近似于匹配圖像的左邊緣，則表示x1不存在；第二，假設(shè)峰值位置出現(xiàn)在匹配圖像的右邊緣，將導(dǎo)致x3消失；第三，峰值點(diǎn)位于圖像中心附近，則待估計(jì)峰值點(diǎn)可能出現(xiàn)在x2兩側(cè)。

第一，只采用點(diǎn)x2、x3及其峰值P(x2)、P(x3)擬合亞像素級(jí)峰值點(diǎn)位置。因此，由式(14)可得：

(15)

第二，根據(jù)假設(shè)，僅采用點(diǎn)x1和x2擬合亞像素級(jí)峰值點(diǎn)位置，可得：

(16)

與第一種情況的區(qū)間約束策略相同，式(16)選擇區(qū)間[x1,x2]作為最佳峰值點(diǎn)區(qū)間。

第三，基于峰值點(diǎn)x2整數(shù)性質(zhì)，可在其兩側(cè)求得兩個(gè)亞像素級(jí)準(zhǔn)峰位置。在此種情況下，第一種情況和第二種情況均可求得一個(gè)較好的亞像素級(jí)峰值位置，但直接使用區(qū)間約束選擇其中之一，并將其作為最終峰值位置，可能導(dǎo)致算法精度存在不穩(wěn)定性。因此，有效整合這兩個(gè)準(zhǔn)峰位置，并使其最終能更準(zhǔn)確地逼近真實(shí)峰值位置是一個(gè)挑戰(zhàn)性問題。眾所周知，delta函數(shù)具有對(duì)稱性，距峰值位置越近，函數(shù)值越大。因此，據(jù)峰值大小，可賦予兩個(gè)準(zhǔn)峰值位置不同的權(quán)重，來替代區(qū)間約束來選擇最終的峰值位置。這樣避免了簡(jiǎn)單采用區(qū)間約束所帶來的不穩(wěn)定性。因此，在第一種情況和第二種情況基礎(chǔ)上，通過構(gòu)建基于權(quán)重的反比函數(shù)擬合算法，可改進(jìn)采用區(qū)間約束的不穩(wěn)定性，其定義如下：

(17)

式中：w1和w2表示權(quán)重函數(shù)，定義為：

式中：k取一個(gè)經(jīng)驗(yàn)值(在實(shí)驗(yàn)中k=4)，P(x3)、P(x1) 表示點(diǎn)x1、x3的函數(shù)值。

2 實(shí)驗(yàn)結(jié)果與分析

本節(jié)通過實(shí)驗(yàn)驗(yàn)證構(gòu)建方法的有效性。實(shí)驗(yàn)環(huán)境為：硬件環(huán)境基于Intel Core i3-4130 CPU 3.40 GHz和4 GB隨機(jī)存取存儲(chǔ)器(RAM)；軟件環(huán)境基于MATLAB 2017a。為了探索該方法的有效性，選擇7幅圖像對(duì)提出方法進(jìn)行測(cè)試：第一，基于兩幅人工合成的亞像素運(yùn)動(dòng)噪聲圖像(如圖2“Noise”430×351)；第二，基于兩個(gè)人工合成的大范圍運(yùn)動(dòng)噪聲圖像(如圖2“Motion”430×351)；第三，基于人工合成運(yùn)動(dòng)圖像(如圖2 “SPOT”256×256)；第四，基于兩個(gè)真實(shí)圖像(如圖2中“Cloth”1 252×1 110和“ST”1 600×1 200)。為了對(duì)比我們方法的性能，將其與現(xiàn)時(shí)主流方法，如文獻(xiàn)[3]、文獻(xiàn)[8]、文獻(xiàn)[11]、文獻(xiàn)[14]、文獻(xiàn)[5]及文獻(xiàn)[6]等，進(jìn)行對(duì)比測(cè)試。

圖2 測(cè)試圖像

“Noise”包括兩個(gè)在x方向上存在亞像素級(jí)平移的圖像對(duì)：一個(gè)平移參數(shù)為1.25像素，另一個(gè)平移參數(shù)為0.833像素；“Motion”包括兩個(gè)在x方向上較大平移參數(shù)的圖像對(duì)：一個(gè)平移參數(shù)為64像素，另一個(gè)平移參數(shù)為128像素；“SPOT”在x方向上的平移參數(shù)為2像素；“Cloth”是在middlebury數(shù)據(jù)集下載的立體圖像之一，其x方向上平移參數(shù)為22像素；“ST”是真實(shí)立體圖像之一，由實(shí)驗(yàn)室雙目立體相機(jī)拍攝，其x方向上平移參數(shù)為163像素。

表1顯示了現(xiàn)時(shí)主流方法與本文方法的時(shí)耗、精度及誤差比較。“Result”表示估計(jì)的平移參數(shù)；“Time”表示時(shí)間消耗；“MSE”表示均方誤差；“RMSE” 均方根誤差。

表1 實(shí)驗(yàn)對(duì)比結(jié)果

ImageTruth文獻(xiàn)[5]文獻(xiàn)[6]本文ResultTimeResultTimeResultTimeNoise1(1.25,0)(0.0183,0.03)0.004(4.23,3.25)0.03(1.2523,0)0.02Noise2(0.833,0)(0.00,0.03)0.002(1.57,0.64)0.04(0.8131,0)0.02Motion1(64.0)(0.004,0.021)0.003(67.72,3.66)0.06(63.99,0)0.03Motion2(128,0)(0.03,0.03)0.003(129.5,0.49)0.03(128.01,0.02)0.02SPOT(2,0)(1.88,0)0.003(13.45,7.6)0.02(2.0,0)0.01Cloth(22,0)(0.11,0.04)0.03(21.9,0.03)0.35(21.82,0.07)0.32ST(163,7)(293.9,0.04)0.06(162.94,6.94)0.33(162.97,6.99)0.33ErrorMSE(73.7720,2.6308)(4.73,3.43)(0.0696,0.0278)ErrorRMSE(5.4e+03,6.921)(22.735,11.768)(0.005,7.7e-04)

從文獻(xiàn)[3]方法結(jié)果中的黑體字?jǐn)?shù)量可以看出，它對(duì)于小位移圖像具有較高的精度，并且具有較低的時(shí)間消耗。由于文獻(xiàn)[8]方法在我們的實(shí)驗(yàn)中使用了與文獻(xiàn)[3]方法相似的核函數(shù)，所以文獻(xiàn)[8]方法的精度與文獻(xiàn)[3]方法基本一致。但由于我們?cè)趯?shí)驗(yàn)中加入了梯度計(jì)算步驟，文獻(xiàn)[8]方法的時(shí)耗比文獻(xiàn)[3]方法要大一個(gè)數(shù)量級(jí)。文獻(xiàn)[11]綜述了多種相位相關(guān)方法，局部質(zhì)心擬合算法是其中之一，它利用10個(gè)點(diǎn)擬合亞像素級(jí)峰值位置，取得了較好擬合精度。它本身是一種較高效的算法，但為了改進(jìn)其精度，在實(shí)驗(yàn)過程中，我們?cè)黾恿薙VD和cutoff-frequency算法步驟，這使其時(shí)間成本增大。文獻(xiàn)[14]采用三點(diǎn)法，采用高斯算法擬合峰值位置，且從其“Time”中可以看出，具有很高的效率，但它的精度不是很穩(wěn)定。文獻(xiàn)[5]方法的主要思想是構(gòu)造一種高效、高精度的擬合算法，表1中的數(shù)據(jù)也顯示其確實(shí)具有最高的效率。但在本文實(shí)驗(yàn)中，它并沒有取得較好的相對(duì)誤差。從表1可以看出，文獻(xiàn)[6]方法對(duì)真實(shí)像對(duì)平移參數(shù)估計(jì)精度非常高，且具有很好的時(shí)間效率。但是從圖3的淺色星號(hào)折線可以看出，其穩(wěn)定性有待改進(jìn)。從表1中的加黑字體及圖3的菱形黑色折線顯示，本文方法具有很高的精度、第二低的時(shí)間消耗。

圖3 相對(duì)誤差比較

從表1的實(shí)驗(yàn)結(jié)果可以看出，本文方法在x方向上的MSE僅為0.005，這清楚地表明，與目前主流相位相關(guān)方法相比，本文方法在精度上具有一定的優(yōu)勢(shì)。從表1的最后一列和圖4的黑線可以看出，本文方法在時(shí)間消耗上也存在一定的優(yōu)勢(shì)。然而，從圖3菱形黑色折線和表1的RMSE可知，無論對(duì)合成圖像還是真實(shí)圖像，無論是大偏移還是亞像素級(jí)偏移，本文方法在準(zhǔn)確度上都具有很強(qiáng)的穩(wěn)定性。注意，本文選擇了一種非?？焖俚南辔幌嚓P(guān)算法(文獻(xiàn)[5]方法)作為比較方法，能夠快速估計(jì)匹配參數(shù)。但從圖3的正方形折線可以看出，文獻(xiàn)[5]方法在高精度視差估計(jì)方面的穩(wěn)定性存在欠缺。同時(shí)，我們嘗試通過主成分分析(Principal Component Analysis，PCA)算法代替均值法來減少維數(shù)，以提高其精度，但在實(shí)驗(yàn)中，仍然沒有得到很好的結(jié)果。

圖4 時(shí)間消耗對(duì)比

綜上，為給高精度三維重構(gòu)計(jì)算系統(tǒng)提供一套更穩(wěn)定高效的算法實(shí)現(xiàn)，構(gòu)建更穩(wěn)定、高效的平移參數(shù)估計(jì)方法、高能效計(jì)算架構(gòu)、微分曲面約束超分辨計(jì)算模型等方向的研究是我們正在進(jìn)行的工作。

3 結(jié) 語

通過反比函數(shù)及權(quán)重函數(shù)的設(shè)計(jì)，本文構(gòu)建了一種基于權(quán)重的相位相關(guān)峰擬合算法，與目前主流方法相比，該方法具有以下三個(gè)優(yōu)點(diǎn)：第一，與多點(diǎn)擬合方法相比，該方法只需要三個(gè)點(diǎn)即可估算出一個(gè)亞像素級(jí)峰值位置，相對(duì)減少了計(jì)算量；第二，基于delta函數(shù)能量對(duì)稱分布特性，權(quán)重算法能夠幫助反比函數(shù)更穩(wěn)定地定位峰值位置；第三，相位相關(guān)相位差信號(hào)能量主要集中在峰值點(diǎn)，如果采用太多峰值點(diǎn)以外的點(diǎn)作為擬合陣列，則峰值擬合算法的精度將會(huì)受到旁瓣噪聲的影響。實(shí)驗(yàn)結(jié)果表明該算法存在一定的現(xiàn)實(shí)意義。