常奇志，王志瓊，蘭 華，翁小輝

(吉林大學(xué)，吉林 長春 130025)

1 引言

動(dòng)態(tài)圖像虛擬拼接技術(shù)即把多幅存在重疊區(qū)域的動(dòng)態(tài)圖像融合為一幅圖像。該技術(shù)最初被應(yīng)用在衛(wèi)星照片的后期處理上，當(dāng)前在醫(yī)學(xué)圖像分析、虛擬場景漫游、數(shù)字化風(fēng)景展示等方面都得到了廣泛應(yīng)用[1]。

動(dòng)態(tài)圖像虛擬拼接是圖像后期處理中較為關(guān)鍵的一個(gè)環(huán)節(jié)[2]。目前技術(shù)較為成熟的動(dòng)態(tài)圖像拼接方法分別是基于特征與基于區(qū)域的動(dòng)態(tài)圖像虛擬拼接方法?；趨^(qū)域的圖像拼接方法是對比區(qū)域中所有的像素點(diǎn)，構(gòu)建兩幅圖像的最佳轉(zhuǎn)換矩陣，進(jìn)而完成圖像拼接。但是這種拼接方法是對兩幅圖像內(nèi)的所有像素點(diǎn)進(jìn)行操作，導(dǎo)致其運(yùn)算量較大，同時(shí)圖像收集條件存在一定的局限，圖像的旋轉(zhuǎn)、光照差異都會(huì)對基礎(chǔ)配準(zhǔn)造成干擾。而基于特征的動(dòng)態(tài)圖像拼接方法主要是搜索圖像之間的相應(yīng)特征點(diǎn)，通過融合特征點(diǎn)來完成圖像拼接，雖然這種方法計(jì)算量較小，但很容易被圖像內(nèi)含有的噪聲所干擾，導(dǎo)致拼接后的圖像較為模糊。

街景動(dòng)態(tài)圖像虛擬拼接受噪聲影響，特征點(diǎn)向量提取不準(zhǔn)確，此次研究以解決上述問題為研究目標(biāo)，采用鄰域平均法增加圖像的平滑效果，運(yùn)用SIFT算法準(zhǔn)確提取圖像特征點(diǎn)向量，最后利用特征點(diǎn)向量與基準(zhǔn)圖像的匹配完成街景動(dòng)態(tài)圖像的虛擬拼接。

2 街景動(dòng)態(tài)圖像虛擬拼接

2.1 預(yù)處理與平滑去噪

街景動(dòng)態(tài)圖像虛擬拼接預(yù)處理的主要目的是為了提高后續(xù)圖像配準(zhǔn)的精準(zhǔn)度，對初始圖像進(jìn)行坐標(biāo)轉(zhuǎn)換與折疊變化，搜索大致的重疊區(qū)域，減少匹配的范圍，提高后期的拼接速度。

擬定動(dòng)態(tài)圖像受到高斯噪聲的干擾，設(shè)x(i，j)代表受到噪聲干擾的動(dòng)態(tài)圖像，g(i，j)代表初始無噪聲動(dòng)態(tài)圖像，n(i，j)代表高斯白噪聲，其與g(i，j)互相獨(dú)立。因此得到如下關(guān)系式

x(i，j)=g(i，j)+n(i，j)

(1)

設(shè)y(i，j)代表對噪聲干擾x(i，j)進(jìn)行平滑之后輸出的動(dòng)態(tài)圖像，Vi代表以點(diǎn)(i，j)為中心的鄰域，這個(gè)鄰域內(nèi)存在N種像點(diǎn)。平滑前鄰域?yàn)閂，則動(dòng)態(tài)圖像內(nèi)N種像點(diǎn)的灰度平均值m為

(2)

鄰域平均法對噪聲具有較強(qiáng)的平滑處理效果，但是會(huì)使圖像的邊緣出現(xiàn)模糊。為了改變該方法對圖像邊緣的影響，在鄰域灰度均值m的計(jì)算中添加一個(gè)修正項(xiàng)。修正項(xiàng)的尺寸會(huì)隨著動(dòng)態(tài)圖像局部細(xì)節(jié)的變化而改變。如果沒有邊緣通過鄰域Vi，其值應(yīng)趨近于0，進(jìn)而提高鄰域平均法的平滑效果。

在鄰域Vi內(nèi)，還可以通過上偏差與下偏差來獲取動(dòng)態(tài)圖像的局部信息。上偏差表示為mup，其定義是灰度級超過鄰域灰度平均值m的每種像點(diǎn)的灰度平均值與m的差值。假如分別以Ni，Nj，Nl表示鄰域中灰度級大于、等于或小于灰度平均值m的像點(diǎn)數(shù)，那么灰度的上偏差就可以表示為

(3)

灰度的下偏差以mdown來表示，其定義是鄰域灰度平均值m與灰度級小于m的各像點(diǎn)的灰度平均值的差，計(jì)算公式為

(4)

并有

Ni+Nj+Nl=N1

(5)

設(shè)αmup與αmdown代表修正項(xiàng)，其中α代表修正系數(shù)，取值的范圍是(0，1)之間。擬定影響動(dòng)態(tài)圖像拼接的噪聲服從高斯分布[3]，因此在灰度平均值的區(qū)域中N近似等于Ni。假如存在一邊緣通過鄰域Vi，那么N和Ni之間的差值就會(huì)較大。因此，N與Ni的取值可以直接映射出Vi，則修正系數(shù)α的計(jì)算公式為

(6)

式中，y≥0代表指數(shù)。所以，修正的鄰域平均法可以通過下式計(jì)算出

(7)

把式(6)代入式(7)，可以得到

(8)

通過上述公式可以看出，在灰度平均值的區(qū)域中[4]，因?yàn)镹和Ni之間相差較小，因此y(i，j)近似等于m。假如存在邊緣通過鄰域V[5]，那么式(8)就會(huì)表示為加權(quán)平均，因此就會(huì)存在mup-mdown

指數(shù)y可以評定修正值的尺寸。通過上式能夠看出，假如y=0，那么修正值是零，上式就簡化成簡單的鄰域平均法。假如y趨近于正無窮大，那么修正值是mup或是mdown。憑借像點(diǎn)的灰度級等于、大于或小于鄰域均值，把它們分為三部分。利用像點(diǎn)最多的那一部分的灰度平均值當(dāng)做點(diǎn)(i，j)的灰度估計(jì)值。通過分析結(jié)果能夠看出：

1)無論y是何值，式(8)都不會(huì)讓動(dòng)態(tài)圖像的平均灰度出現(xiàn)偏移。

2)y越小那么其對噪聲的平滑效果就越高。

3)式(8)可以銳化模糊的圖像邊緣，同時(shí)y越大，銳化的效果就越明顯[6]。

y=σs/σn

(9)

通過式(9)就可以根據(jù)不同的動(dòng)態(tài)圖像與噪聲自行調(diào)整式(8)的銳化與平滑作用。把式(9)融入式(8)就能夠獲得修正的鄰域平均法的估算公式。

(10)

2.2 對數(shù)極坐標(biāo)映射

根據(jù)上述完成平滑去噪處理后的動(dòng)態(tài)圖像y(i，j)，通過極坐標(biāo)(r，θ)來進(jìn)行代替，完成圖像的對數(shù)極坐標(biāo)映射。在圖像y(i，j)中選定坐標(biāo)原點(diǎn)(x0，y0)，它們之間滿足下列關(guān)聯(lián)

r=(x1-x0)2+(y1-y0)2

(11)

這里取坐標(biāo)原點(diǎn)(x0，y0)為(0，0)，其通過復(fù)數(shù)z可以表示為

z=r(cosθ+isinθ)reiθ

(12)

令ω=1nz=p(z)+iq(z)=1nr+iθ，那么笛卡爾坐標(biāo)轉(zhuǎn)換成對數(shù)極坐標(biāo)的映射方程為

p(r，θ)=1nr，q(r，θ)

(13)

通過上式可以看出，在笛卡爾空間內(nèi)動(dòng)態(tài)圖像相對于坐標(biāo)原點(diǎn)發(fā)生了旋轉(zhuǎn)與縮放的變化：動(dòng)態(tài)圖像放大r0倍，旋轉(zhuǎn)θ0角度，即變化之后新的對應(yīng)極坐標(biāo)是(r0r，θ+θ0)，因此取對數(shù)極坐標(biāo)映射之后存在

ω=1nz=1nr0rei(θ+θ0)

(14)

即：p(r，θ)=1nr+1nr0，q(r，θ)=θ+θ0。

2.3 特征點(diǎn)向量提取

在完成對數(shù)極坐標(biāo)映射處理后，使用SIFT算法提取動(dòng)態(tài)圖像特征點(diǎn)向量。SIFT算法是一種基于尺度空間的算法[9]，該方法使用廣泛，在動(dòng)態(tài)圖像旋轉(zhuǎn)、平移、縮放等狀況下仍然能夠保持不變性。特征點(diǎn)向量的提取的流程如下所示：

1)構(gòu)建動(dòng)態(tài)圖像金字塔

多種尺度空間代表動(dòng)態(tài)圖像存在多尺度特征，已有事實(shí)證明，高斯核即完成尺度轉(zhuǎn)換的唯一線性核[10]?；诖?，動(dòng)態(tài)圖像的金字塔尺寸空間為

L(x1，y1，σ)=G(x1，y1，σ)*q(r，θ)

(15)

式中，G(x1，y1，σ)代表尺寸可變的高斯函數(shù)，σ代表尺寸。所以σ能夠評定動(dòng)態(tài)圖像的細(xì)節(jié)清晰度，在其較大時(shí)，動(dòng)態(tài)圖像的細(xì)節(jié)會(huì)出現(xiàn)模糊；反之，動(dòng)態(tài)圖像的細(xì)節(jié)較為清晰。

2)檢測尺寸空間極值點(diǎn)

如果想獲取尺寸空間的極值點(diǎn)[11]，在DOG尺寸空間內(nèi)使用以下步驟：1種采樣點(diǎn)需要與27種點(diǎn)進(jìn)行對比，隨后才可以獲得極值點(diǎn)。這28種點(diǎn)在同尺寸動(dòng)態(tài)圖像中臨近點(diǎn)有9種，還有臨近尺寸上的臨近點(diǎn)19種。

3)確定極值點(diǎn)

這一步驟的重點(diǎn)在于通過三維二次函數(shù)的擬合方法，剔除低對比度點(diǎn)與不穩(wěn)定的邊緣點(diǎn)，同時(shí)確定關(guān)鍵點(diǎn)的尺寸與坐標(biāo)。首先對空間尺寸函數(shù)進(jìn)行求導(dǎo)，同時(shí)使其為零，計(jì)算出精準(zhǔn)的坐標(biāo)，隨后剔除不滿足要求的點(diǎn)。

4)確定關(guān)鍵點(diǎn)和方向

憑借與關(guān)鍵點(diǎn)(x1，y1)臨近的四種點(diǎn)尺寸L來確準(zhǔn)梯度的方向，其能夠通過公式表示為

(16)

通過式(16)能夠得到關(guān)鍵點(diǎn)方向信息。

5)特征點(diǎn)向量提取

以關(guān)鍵點(diǎn)代表中心，分布4*4窗口，在窗口中估算9種方向的梯度信息，最后獲得129維的特征點(diǎn)向量。

2.4 圖像虛擬拼接

街景動(dòng)態(tài)圖像的拼接流程如圖1所示。

圖1 動(dòng)態(tài)圖像拼接流程

想要完成動(dòng)態(tài)圖像拼接需要把預(yù)拼接的動(dòng)態(tài)圖像轉(zhuǎn)換至與基準(zhǔn)圖像相同的平面上，利用預(yù)拼接圖像在基準(zhǔn)圖像平面上的映射圖像進(jìn)行匹配[12]，使用映射轉(zhuǎn)換模型來完成動(dòng)態(tài)圖像的空間轉(zhuǎn)換。

在進(jìn)行空間轉(zhuǎn)換的過程中，使用對齊坐標(biāo)以矩陣的形式對配準(zhǔn)圖像和基準(zhǔn)圖像之間的關(guān)聯(lián)進(jìn)行表達(dá)，能夠用公式表示為

(17)

在矩陣轉(zhuǎn)換的過程內(nèi)，n2代表動(dòng)態(tài)圖像的水平方向位移，n5代表垂直方向的位移，n0，n1，n3與n4代表水平與豎直方向的旋轉(zhuǎn)量與尺寸，n6與n7分別代表垂直方向與水平方向的變形量。

在完成動(dòng)態(tài)圖像的空間轉(zhuǎn)換后，使用權(quán)重函數(shù)完成對動(dòng)態(tài)圖像的融合。

擬定ω(x1，y1，k)代表權(quán)重分布函數(shù)，則有

(18)

式中，widthk與heightk分別代表第k種局部圖像的長與寬，通過權(quán)重分布函數(shù)采用加權(quán)平均算法，計(jì)算動(dòng)態(tài)圖像拼接函數(shù)。擬定d(x1，y1)代表融合算法內(nèi)估算的尺寸映射，以塊尺寸與歐式距離作為依據(jù)，對到最近尺寸的映射點(diǎn)與邊進(jìn)行估算，則得到圖像拼接函數(shù)為

(19)

其中，Ik(x1，y1)代表單調(diào)函數(shù)，代表第k幅動(dòng)態(tài)圖像的光強(qiáng)函數(shù)。通過此函數(shù)完成動(dòng)態(tài)街景圖像的拼接。

3 仿真研究

仿真環(huán)境為Intel Celeron Tulatin1GHz CPU和384MB SD內(nèi)存的硬件環(huán)境，MATLAB6.1的軟件環(huán)境。

3.1 修正效果

對分辨率是900*700的街景動(dòng)態(tài)圖像進(jìn)行拼接實(shí)驗(yàn)，選取之前匹配點(diǎn)對的總量是241對，選取之后是201對。使用所提出的拼接方法，以圖像修正前后的效果進(jìn)行對比，其結(jié)果如圖2所示。

圖2 街景動(dòng)態(tài)圖像的拼接效果

通過圖2可以看出，在沒有進(jìn)行修正之前，雖然特征點(diǎn)鄰近的區(qū)域拼接效果較好，但遠(yuǎn)離重疊區(qū)域的誤差就會(huì)較大，而使用所提方法進(jìn)行修正之后，整體的拼接效果較為理想，不會(huì)出現(xiàn)重疊區(qū)域細(xì)節(jié)信息丟失的現(xiàn)象。

3.2 拼接效果對比

為了能夠更進(jìn)一步證明所提方法的拼接效果，隨機(jī)選取一幅街景圖像對其整體進(jìn)行均分的分割，然后使用所提方法、基于特征的方法與基于區(qū)域的方法對分割后的圖像進(jìn)行拼接，拼接的結(jié)果如圖3所示。

圖3 三種方法拼接圖像的效果

觀察圖3可以得出，使用所提方法對街景的圖像進(jìn)行拼接后，街景動(dòng)態(tài)圖像不會(huì)出現(xiàn)圖像陰影重疊和原圖像細(xì)節(jié)丟失的問題，而兩種對比方法存在明顯的拼接重疊現(xiàn)象。這就表明，提出拼接方法精準(zhǔn)度較高，紋理細(xì)節(jié)處理較好。

3.3 拼接效率對比

為了驗(yàn)證所提方法的拼接效率，選取30張動(dòng)態(tài)街景圖片，對比三種拼接方法的時(shí)間消耗情況，對比結(jié)果如圖4所示。

圖4 拼接效率對比結(jié)果

分析圖4可知，所提方法的拼接耗時(shí)最低，在5次拼接時(shí)，所提方法出現(xiàn)最高用時(shí)為5.9s，而9次拼接后，所提方法的拼接用時(shí)一直穩(wěn)定在4s左右。所提方法的最高耗時(shí)與基于區(qū)域方法、基于特征方法相比，分別下降了46.36%、62.89%。因此，充分說明所提方法具有較高的拼接效率。

4 結(jié)束語

為了提高街景動(dòng)態(tài)圖像的拼接精準(zhǔn)度，提出一種新的街景動(dòng)態(tài)圖像虛擬拼接方法，預(yù)處理街景動(dòng)態(tài)圖像，保證圖像配準(zhǔn)的精準(zhǔn)度，同時(shí)提升后期拼接的效率。利用SIFT算法提取街景動(dòng)態(tài)圖像的特征點(diǎn)向量，進(jìn)而完成對街景動(dòng)態(tài)圖像的虛擬拼接。仿真結(jié)果表明：

1)采用所提方法完成街景動(dòng)態(tài)圖像拼接后，圖像清晰度較高。

2)所提方法的拼接圖像不存在拼接裂縫，具有較高的應(yīng)用價(jià)值。

3)所提方法的拼接耗時(shí)基本保持在4s左右，具有較高的拼接效率。

上述實(shí)驗(yàn)結(jié)果驗(yàn)證了與傳統(tǒng)方法相比，所提方法的拼接圖像清晰度更高、拼接用時(shí)更短，可以實(shí)現(xiàn)街景動(dòng)態(tài)圖像的精準(zhǔn)拼接。