張金玲

（中國(guó)人民大學(xué) 信息學(xué)院，北京100872）

圖像拼接是將多幅相關(guān)圖像經(jīng)過配準(zhǔn)后轉(zhuǎn)換到相同坐標(biāo)系并拼接為一幅完整圖像的技術(shù)，是一種經(jīng)濟(jì)有效的利用普通相機(jī)獲得寬視場(chǎng)角圖像的技術(shù)[1]，被廣泛應(yīng)用于航空航天、醫(yī)學(xué)圖像分析、地理遙感探測(cè)及增強(qiáng)現(xiàn)實(shí)技術(shù)等領(lǐng)域。獲取拼接圖像間轉(zhuǎn)換模型的圖像配準(zhǔn)技術(shù)是正確完成圖像拼接的關(guān)鍵。目前，主要的圖像配準(zhǔn)技術(shù)可以分為基于灰度[2]、基于特征[3-4]和基于變換域[5]三類。

這些方法都需要經(jīng)過反復(fù)的復(fù)雜運(yùn)算來獲得每組圖像間的配準(zhǔn)模型，同時(shí)又由于是針對(duì)普通通用圖像間的拼接，配準(zhǔn)精度和效率通常較低。與上述圖像配準(zhǔn)技術(shù)不同，本文提出的配準(zhǔn)算法根據(jù)空間艙內(nèi)攝像機(jī)相對(duì)位置固定的特點(diǎn)，利用相機(jī)標(biāo)定信息和相位相關(guān)相結(jié)合的方法進(jìn)行景深范圍較小情況下圖像間的配準(zhǔn)，具有快速準(zhǔn)確的特點(diǎn)。

1 圖像配準(zhǔn)算法設(shè)計(jì)

相位相關(guān)和標(biāo)定信息相結(jié)合的圖像配準(zhǔn)算法適用于相機(jī)相對(duì)位置固定的寬場(chǎng)景拼接應(yīng)用。通過相機(jī)標(biāo)定可以定位不同位置上的拍攝相機(jī)間的角度和空間位置偏移。而正是由于這些偏移的存在導(dǎo)致不同相機(jī)拍攝的圖像之間存在角度、縮放和位置上的差異。利用兩臺(tái)攝像機(jī)的相對(duì)位置參數(shù)來求解兩幅圖像之間的旋轉(zhuǎn)模型和縮放模型參數(shù)，而經(jīng)過旋轉(zhuǎn)和縮放變換后的圖像與基準(zhǔn)圖像間的平移模型則由相位相關(guān)技術(shù)求解。假設(shè)場(chǎng)景攝像機(jī)的內(nèi)部參數(shù)完全相同，具體算法如下。

1.1 利用相機(jī)標(biāo)定信息求解旋轉(zhuǎn)縮放模型

通過將待拼接相機(jī)進(jìn)行旋轉(zhuǎn)和在軸(相機(jī)光軸)上移動(dòng)可以使得待拼接相機(jī)的像平面與基準(zhǔn)相機(jī)的像平面位于同一平面上，具體原理如圖1所示。由圖1可以看出，通過對(duì)待拼接圖像進(jìn)行旋轉(zhuǎn)和縮放變換可以將待拼接圖像轉(zhuǎn)換到與基準(zhǔn)圖像相同的像平面中，但兩圖像坐標(biāo)系的原點(diǎn)位置不同。

對(duì)于待拼接圖像中的一個(gè)像素點(diǎn)(x,y)T，其所對(duì)應(yīng)的空間點(diǎn)一定位于由相機(jī)光心和此成像點(diǎn)所確定的直線上，該直線在待拼接相機(jī)的最初坐標(biāo)系中的表達(dá)式為：

其中f為相機(jī)的焦距。

待拼接相機(jī)進(jìn)行旋轉(zhuǎn)后，此直線在新坐標(biāo)系中的表達(dá)式為：

其中，R3×3為標(biāo)定出的外部旋轉(zhuǎn)矩陣，上標(biāo)數(shù)字 n表示第n次運(yùn)算。

直線所對(duì)應(yīng)的像平面上的投影像素點(diǎn)(x(1),y(1))T可由投影變換式(3)進(jìn)行計(jì)算：

其中，A3×3為相機(jī)的內(nèi)部投影矩陣。

在逆向圖像變換中，經(jīng)過旋轉(zhuǎn)變換后的待拼接圖像上的任一像素點(diǎn)(x(1),y(1))T，其所對(duì)應(yīng)的空間點(diǎn)一定位于該像素點(diǎn)與相機(jī)光心所確定的直線上，待拼接相機(jī)坐標(biāo)系進(jìn)行旋轉(zhuǎn)后該直線的表達(dá)式為：

該直線在初始待拼接相機(jī)坐標(biāo)系下的表達(dá)式為：

其在初始待拼接相機(jī)像平面上的投影點(diǎn)，即與旋轉(zhuǎn)變換后的像素點(diǎn)(x(1),y(1))T所對(duì)應(yīng)的初始待拼接圖像的像素點(diǎn)(x,y)T可由式(6)獲得。

待拼接相機(jī)經(jīng)過旋轉(zhuǎn)后與基準(zhǔn)相機(jī)方向和角度相同，為了使待拼接相機(jī)的像平面與基準(zhǔn)相機(jī)像平面相同，還需要將待拼接相機(jī)沿軸移動(dòng)到與基準(zhǔn)相機(jī)統(tǒng)一水平線上，移動(dòng)距離為 Δz（待拼接相機(jī)與基準(zhǔn)相機(jī)在 z軸方向上的偏移）。沿z軸移動(dòng)相機(jī)等同于將原圖像上的像素點(diǎn)按一定比例進(jìn)行縮放。

對(duì)于縮放變換前待拼接圖像上的任意一點(diǎn)(x(1),y(1))T，假設(shè)其經(jīng)過相機(jī)z軸移動(dòng)后坐標(biāo)變換為(x(2),y(2))T。其所對(duì)應(yīng)空間點(diǎn)在經(jīng)過旋轉(zhuǎn)變換后的待拼接相機(jī)坐標(biāo)系中的坐標(biāo)為(X(1),Y(1),Z(1))T，假設(shè)此空間點(diǎn)在經(jīng)過z軸移動(dòng)后的待拼接相機(jī)坐標(biāo)系中的坐標(biāo)為(X(2),Y(2),Z(2))T。則z軸移動(dòng)前后像素點(diǎn)(x(1),y(1))T與(x(2),y(2))T的對(duì)應(yīng)關(guān)系為：

待拼接相機(jī)經(jīng)過z軸移動(dòng)后，同一空間點(diǎn)在待拼接相機(jī)坐標(biāo)系下的z軸坐標(biāo)與其在基準(zhǔn)相機(jī)坐標(biāo)系下的坐標(biāo)相同。由式(7)可見，每個(gè)像素點(diǎn)的精確縮放比例與其對(duì)應(yīng)空間點(diǎn)在基準(zhǔn)相機(jī)坐標(biāo)系下的z軸坐標(biāo)有關(guān)。在有限深度場(chǎng)景中，取中間深度值Zm近似計(jì)算所有像素點(diǎn)的縮放比例。則像素點(diǎn)的正向和逆向縮放變換式為：

對(duì)任意像點(diǎn)，縮放比例系數(shù)s與精確值之間的誤差為：

其中，Zo為對(duì)應(yīng)空間點(diǎn)在基準(zhǔn)相機(jī)坐標(biāo)系下的z軸坐標(biāo)。

假設(shè)有限景深場(chǎng)景中所有有效對(duì)象的最前邊界距離相機(jī)中心距離為Zf，最后邊界距離相機(jī)中距離為Zr。容易證明，對(duì)于任意確定的取值Zm，前邊界或后邊界所對(duì)應(yīng)像素點(diǎn)的縮放誤差最大，分別為：

其中D=Zr-Zf。根據(jù)空間艙實(shí)驗(yàn)仿真的實(shí)際要求，設(shè)定Zf的取值范圍為1.5 m～3 m,有效景深D的取值范圍為 0～6 m，則縮放誤差的最大值分布情況如圖2所示。

圖2 縮放最大誤差分布

將上述變換推導(dǎo)公式合并得到正向和逆向旋轉(zhuǎn)縮放變換模型分別為式(13)和式(14)。

1.2 利用相位相關(guān)技術(shù)求解圖像平移參數(shù)

利用相位相關(guān)技術(shù)[6]計(jì)算變換后的待拼接圖像與基準(zhǔn)圖像間的相位相關(guān)性，通過做功率譜函數(shù)的逆變換來確定待拼接圖像到基準(zhǔn)圖像間的平移參數(shù)(x0,y0)，經(jīng)過平移變換后將待拼接圖像所對(duì)應(yīng)的坐標(biāo)系與基準(zhǔn)圖像的平面坐標(biāo)系完全統(tǒng)一，如圖3所示。

圖3 圖像平移變換

2 仿真實(shí)驗(yàn)

基于上述圖像配準(zhǔn)算法進(jìn)行了兩組圖像拼接實(shí)驗(yàn)，兩組實(shí)驗(yàn)的關(guān)鍵環(huán)境參數(shù)如表1所示。

表1 實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)1的圖像拼接結(jié)果如圖4所示，兩幅待拼接圖像在旋轉(zhuǎn)縮放變換前后的相位相關(guān)圖如圖5所示。

圖4 實(shí)驗(yàn)1拼接結(jié)果

圖5 實(shí)驗(yàn)1中旋轉(zhuǎn)縮放變換前后圖像的相位相關(guān)圖

實(shí)驗(yàn)2的圖像拼接結(jié)果如圖6所示，兩幅待拼接圖像在旋轉(zhuǎn)縮放變換前后的相位相關(guān)圖如圖7所示。

圖6 實(shí)驗(yàn)2拼接結(jié)果

圖7 實(shí)驗(yàn)2中旋轉(zhuǎn)縮放變換前后圖像的相位相關(guān)圖

兩組實(shí)驗(yàn)中待拼接圖像的分辨率均為640×480，操作耗時(shí)如表2所示。

本文提出了一種適用于景深范圍較小條件下場(chǎng)景圖像拼接的圖像配準(zhǔn)算法,該算法通過相機(jī)間的相對(duì)外部位置參數(shù)推導(dǎo)拍攝圖像間的旋轉(zhuǎn)和縮放模型，利用相位相關(guān)法獲取變換后圖像間的平移參數(shù)。對(duì)近似縮放模型產(chǎn)生的縮放誤差分布情況進(jìn)行了分析。實(shí)驗(yàn)結(jié)果證明，利用本配準(zhǔn)算法進(jìn)行有效景深較小場(chǎng)景的圖像拼接具有配準(zhǔn)快速、精確等優(yōu)點(diǎn)。算法的不足之處在于，當(dāng)前平面與相機(jī)距離較小、與有效景深范圍較大時(shí)近似縮放模型的誤差較大。

表2 實(shí)驗(yàn)耗時(shí)

[1]王娟,師軍,吳憲祥.圖像拼接技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研 究,2008,25(7)：1940-1943.

[2]MOUNT D M,NETANYAHU N S.Efficient algorithm for robust feature matching[J].Pattern Recognition,1999(32)：17-38.

[3]張朝偉,周焰,王耀康,等.基于 SIFT特征跟蹤匹配的視頻拼接方法[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(10)：169-172,191.

[4]李冬梅,王延杰.一種基于特征點(diǎn)匹配的圖像拼接技術(shù)[J].微計(jì)算機(jī)信息,2008,24(5-3)：296-298.

[5]方俊偉,翟超,金熠.相位相關(guān)法實(shí)現(xiàn)圖像拼接的仿真與優(yōu)化[J].計(jì)算機(jī)應(yīng)用與軟件,2008,25(1)：207-208.

[6]KUGLIN C D,HINES D C.The phase correlation image alignment method[C].Proceeding of IEEE Conference on Cybernetics and Society,New York,1975：163-165.