齊向明,王佳琦

(遼寧工程技術(shù)大學(xué) 軟件學(xué)院,遼寧 葫蘆島 125105)

0 概述

由于成像設(shè)備畫(huà)幅和視角的限制,一次性拍攝全局圖像一般不能滿足實(shí)際需求,需要通過(guò)圖像拼接技術(shù)對(duì)多幅具有重疊區(qū)域的數(shù)字圖像進(jìn)行匹配、配準(zhǔn)和融合,以得到一幅大視角、高分辨率的拼接圖像。在機(jī)器視覺(jué)、虛擬現(xiàn)實(shí)、測(cè)繪與遙感等領(lǐng)域,圖像拼接已成為一項(xiàng)關(guān)鍵技術(shù),引起了國(guó)內(nèi)外相關(guān)學(xué)者的廣泛關(guān)注。

圖像拼接技術(shù)主要包括圖像匹配、圖像配準(zhǔn)和圖像融合三部分。圖像匹配是圖像配準(zhǔn)的前提,其提取出2幅圖像的特征。圖像配準(zhǔn)是圖像拼接技術(shù)的核心,目的是利用重疊區(qū)域內(nèi)的相同特征實(shí)現(xiàn) 2幅圖像之間同一組特征的配準(zhǔn),圖像配準(zhǔn)算法直接影響圖像拼接的精度。圖像融合將變換到同一坐標(biāo)系下的2幅圖像進(jìn)行重疊區(qū)域融合,性能良好的融合算法在一定程度上可以避免因配準(zhǔn)算法較差造成的重疊區(qū)域重影問(wèn)題。

本文總結(jié)圖像拼接技術(shù)的研究現(xiàn)狀,對(duì)圖像配準(zhǔn)算法進(jìn)行研究,歸納傳統(tǒng)圖像配準(zhǔn)算法中存在的不足,在此基礎(chǔ)上,提出一種網(wǎng)格形變細(xì)分的大視差圖像拼接算法,以提高圖像配準(zhǔn)精度。

1 相關(guān)工作

文獻(xiàn)[1]提出一種基于局部不變的圖像拼接方法,其先通過(guò)尺度不變特征變換(Scale Invariant Feature Transform,SIFT)算法匹配圖像,再利用隨機(jī)采樣一致性算法選擇內(nèi)點(diǎn),最后計(jì)算出單應(yīng)矩陣以完成 2幅圖像的拼接。該方法對(duì)拼接圖像的要求較高,若2幅圖像具有視差,會(huì)出現(xiàn)嚴(yán)重的鬼影現(xiàn)象。針對(duì)文獻(xiàn)[1]方法的不足,文獻(xiàn)[2]將待拼接圖像分為前景和后景,分別建立2個(gè)單應(yīng)矩陣來(lái)拼接2幅圖像。該方式在一定程度上解決了文獻(xiàn)[1]中的問(wèn)題,但當(dāng)圖像重疊部分差別較大時(shí),仍會(huì)出現(xiàn)鬼影問(wèn)題。文獻(xiàn)[3]提出了一種平滑仿射變換算法,其建立多個(gè)單應(yīng)矩陣來(lái)拼接圖像,該算法具有很好的局部適應(yīng)能力,但對(duì)紋理復(fù)雜的圖像進(jìn)行拼接時(shí)依然會(huì)出現(xiàn)重影現(xiàn)象。

文獻(xiàn)[4]提出一種建立網(wǎng)格形變的方法,首先建立Moving DLT(Moving Direct Linear Transformation)數(shù)學(xué)模型,然后解超定方程生成網(wǎng)格單應(yīng)矩陣并對(duì)每個(gè)網(wǎng)格進(jìn)行透視變換。網(wǎng)格單應(yīng)矩陣有效地防止了重影的產(chǎn)生,但未限定網(wǎng)格的數(shù)量和大小,也未處理非重疊區(qū)域的透視失真問(wèn)題。文獻(xiàn)[5]提出基于保形差值的方法,將重疊區(qū)域的投影變換逐漸過(guò)渡到非重疊區(qū)域的相似變換,其可以有效校正圖像非重疊區(qū)域的透視失真問(wèn)題,但對(duì)于視差較大的圖像,需要結(jié)合文獻(xiàn)[4]中的算法進(jìn)行處理。文獻(xiàn)[6]提出一種盡可能自然投影算法(Adaptive As-Natural-As-Possible,AANAP),其將局部變換與全局變換相結(jié)合,不僅有效消除了重疊區(qū)域的鬼影現(xiàn)象,還可以使拼接圖像更加美觀,但該算法需要對(duì)待拼接的2幅圖像同時(shí)進(jìn)行網(wǎng)格形變,導(dǎo)致消耗時(shí)間較長(zhǎng)。文獻(xiàn)[7]提出L-mDLT(Line moving Direct Linear Transformation)算法,其主要針對(duì)城市建筑等有規(guī)律的形狀物體圖像進(jìn)行拼接,通過(guò)成對(duì)特征點(diǎn)與成對(duì)特征線相結(jié)合來(lái)判斷拼接圖像的誤差,但該算法針對(duì)性較強(qiáng),應(yīng)用范圍較小。

文獻(xiàn)[8]提出NISwGSP(Natural Image Stitching with the Global Similarity Prior)算法,其使用盡可能投影算法(As-Projective-As-Possible Image Stitching,APAP)[4]初始化局部變換矩陣,用約束項(xiàng)同時(shí)作用在局部適應(yīng)變換和全局適應(yīng)變換,從而有效降低全局拼接誤差,但該算法關(guān)注于校正非重疊區(qū)域的透視失真,重疊區(qū)配準(zhǔn)精度較差。文獻(xiàn)[9]在NISwGSP算法的基礎(chǔ)上,提出MISwLP(Mesh-based Image Stitching with Linear Structure Protection)算法,該算法通過(guò)提取圖像中的直線結(jié)構(gòu)并施加約束,達(dá)到了保護(hù)原圖像中直線結(jié)構(gòu)的目的,相較NISwGSP算法有效削弱了透視失真,但其仍未提升重疊區(qū)域的配準(zhǔn)精度。文獻(xiàn)[10]利用差異圖像計(jì)算權(quán)重并擴(kuò)展和細(xì)分重疊區(qū)域,從而改進(jìn)最佳縫合線,該算法從拼接縫合線角度考慮,對(duì)視差較小的拼接圖像效果較好,但對(duì)大視差圖像會(huì)出現(xiàn)嚴(yán)重的拼接錯(cuò)位。文獻(xiàn)[11]提出基于顯性子平面自動(dòng)配準(zhǔn)的拼接方法,其利用拼接誤差與聚類(lèi)算法確定局部適應(yīng)矩陣的位置,使用局部投影實(shí)現(xiàn)拼接,該方法使用APAP算法實(shí)現(xiàn)局部變換調(diào)整,可以在重疊區(qū)域有效防止鬼影現(xiàn)象,但其未處理非重疊區(qū)域拼接后發(fā)生的透視失真問(wèn)題,引入聚類(lèi)算法后導(dǎo)致拼接速度較慢。文獻(xiàn)[12]提出基于線約束的全局相似性約束拼接模型,首先利用匹配的點(diǎn)和線特征計(jì)算圖像的翹曲,然后借助APAP算法進(jìn)一步配準(zhǔn)圖像,并利用點(diǎn)線結(jié)構(gòu)和全局相似變換矩陣作為圖像形變的約束項(xiàng)。該模型對(duì)紋理簡(jiǎn)單且線條豐富的圖像拼接效果較好,但未進(jìn)一步優(yōu)化APAP算法,紋理復(fù)雜的圖像在拼接時(shí)會(huì)產(chǎn)生較大的誤差。

以上算法針對(duì)2幅大視差圖像拼接時(shí)出現(xiàn)的不同程度的重疊區(qū)域重影、非重疊區(qū)域透視失真等問(wèn)題進(jìn)行了深入的研究和探索,但仍然存在以下不足:未說(shuō)明APAP算法中網(wǎng)格單應(yīng)矩陣的密度,造成圖像配準(zhǔn)精度下降,致使圖像拼接的重疊區(qū)域出現(xiàn)嚴(yán)重重影;在圖像配準(zhǔn)時(shí),非重疊區(qū)域會(huì)因網(wǎng)格單應(yīng)矩陣變換造成透視失真,導(dǎo)致拼接圖像與實(shí)際畫(huà)面差別較大;對(duì)于重疊區(qū)域紋理復(fù)雜度較高的區(qū)域,僅依靠APAP算法難以對(duì)像素進(jìn)行配準(zhǔn),致使圖像清晰度下降。

針對(duì)上述問(wèn)題,本文提出一種網(wǎng)格形變細(xì)分的大視差圖像拼接算法。在利用APAP算法建立低密度網(wǎng)格形變的基礎(chǔ)上,按照成對(duì)匹配點(diǎn)對(duì)重疊區(qū)域內(nèi)的網(wǎng)格形變進(jìn)行細(xì)分。使用隨機(jī)采樣一致性算法計(jì)算全局最優(yōu)相似矩陣,校正非重疊區(qū)域發(fā)生的透視失真現(xiàn)象。通過(guò)全局最優(yōu)相似矩陣與網(wǎng)格單應(yīng)矩陣的加權(quán)疊加,實(shí)現(xiàn)目標(biāo)圖像形變。在此基礎(chǔ)上,利用內(nèi)容感知算法尋找目標(biāo)圖像重疊區(qū)域中重要度較低的部分,與待拼接圖像加權(quán)融合從而完成拼接。

2 算法原理

2.1 APAP算法及網(wǎng)格形變細(xì)分

通過(guò)APAP算法對(duì)大視差目標(biāo)圖像進(jìn)行網(wǎng)格劃分,每一個(gè)網(wǎng)格代表一個(gè)單應(yīng)變換矩陣,利用局部調(diào)整的方式將2幅具有大視差的圖像進(jìn)行配準(zhǔn)。設(shè)圖像I和I′是一組待拼接圖像,它們對(duì)應(yīng)的匹配點(diǎn)為p=[x,y,1]T、p′=[x′,y′,1],則對(duì)應(yīng)的變換關(guān)系為p′=h(p),橫縱坐標(biāo)關(guān)系如式(1)和式(2)所示。

(1)

(2)

齊次坐標(biāo)p=[x,y,1]T和p′=[x′,y′,1]對(duì)應(yīng)的變換關(guān)系為式(3)。

p′～Hp

(3)

(4)

將式(4)轉(zhuǎn)化為Ah=0,如式(5)所示。

(5)

對(duì)于圖像I和I′,共有N組對(duì)應(yīng)的匹配點(diǎn),則DLT算法自適應(yīng)矩陣h可表示為:

(6)

文獻(xiàn)[4]提出了Moving DLT算法模型,對(duì)式(6)添加權(quán)值估計(jì)網(wǎng)格自適應(yīng)矩陣,則網(wǎng)格pj的自適應(yīng)矩陣表示為:

(7)

其中,j為網(wǎng)格的數(shù)量,j=C1×C2,C1和C2為橫縱網(wǎng)格數(shù),Wj=diag([ω1,j,ω1,j,…,ωN,j,ωN,j]),ω1,j=exp(-‖p-pj‖2/σ2),σ為高斯函數(shù)尺度因子,pj為網(wǎng)格內(nèi)的特征點(diǎn)。

本文使用SIFT算法[12]生成成對(duì)特征點(diǎn),根據(jù)SIFT算法的原理可知,特征點(diǎn)數(shù)量分布與圖像紋理的復(fù)雜度相關(guān)。若將圖像分為C1×C2個(gè)網(wǎng)格,利用Moving DLT算法計(jì)算每個(gè)網(wǎng)格的單應(yīng)矩陣Hn,1,n∈{1,2,…,C1×C2}。但是,網(wǎng)格的密度過(guò)于稀疏,對(duì)于目標(biāo)圖像紋理復(fù)雜的重疊區(qū)域,很容易出現(xiàn)重影現(xiàn)象。

在重疊區(qū)域,網(wǎng)格n中的特征點(diǎn)數(shù)量為m,如果m≥η,則對(duì)網(wǎng)格n進(jìn)行二次細(xì)分,其中,η為需要二次細(xì)分網(wǎng)格的最少成對(duì)匹配點(diǎn)數(shù)。二次細(xì)分c1×c2個(gè)網(wǎng)格,利用Moving DLT算法計(jì)算二次網(wǎng)格形變的單應(yīng)矩陣Hn,m,n∈{1,2,…,C1×C2},m∈{1,2,…,c1×c2}。

2.2 全局最優(yōu)相似變換

成像設(shè)備在不同平面拍攝時(shí)2張圖像之間的夾角將不同,根據(jù)成對(duì)特征點(diǎn)的分布,由不同簇特征點(diǎn)可以計(jì)算出不同夾角,角度最小的仿射變換矩陣即為全局最優(yōu)相似變換矩陣。通過(guò)全局最優(yōu)相似變換可以有效降低非重疊區(qū)域的透視失真現(xiàn)象。計(jì)算全局最優(yōu)相似變換矩陣的具體步驟如下:

輸入圖像成對(duì)匹配點(diǎn)

輸出全局最優(yōu)相似變換矩陣

步驟1使用隨機(jī)采樣一致性算法[13]去除錯(cuò)誤匹配,成對(duì)特征點(diǎn)投影矩陣誤差的閾值為εg,以此保留最佳匹配點(diǎn)。

步驟2While(i--)

在獲得最佳匹配點(diǎn)后,再使用隨機(jī)采樣一致性算法選擇內(nèi)點(diǎn)Pi={p1,p2,…,pn},誤差閾值為εl且滿足εg>εl。則Pi對(duì)應(yīng)的仿射矩陣為:

(8)

Ifn<λ,λ為預(yù)設(shè)的最少匹配點(diǎn)數(shù)

退出循環(huán);

End

選擇最小變換角度t對(duì)應(yīng)的仿射變換矩陣S作為全局最優(yōu)相似變換矩陣。

2.3 內(nèi)容感知

內(nèi)容感知算法[14]可以自動(dòng)識(shí)別圖像的內(nèi)容重要性[15],其主要應(yīng)用于圖像縮放和剪貼,旨在保留重要度較高的區(qū)域。通過(guò)計(jì)算能量函數(shù),可以尋找其值積累最小的像素線。具體步驟如下:

步驟1灰度化圖像O,利用sobel算子計(jì)算O區(qū)域的能量圖像e。

步驟2計(jì)算灰度圖像O每個(gè)像素點(diǎn)的累計(jì)能量M,計(jì)算公式如式(9)所示。

M(i,j)=e(i,j)+min(M(i-1,j-1),

M(i,j-1),M(i+1,j-1))

(9)

步驟3計(jì)算灰度圖像O在豎直方向的能量函數(shù)值積累最小像素線S,S定義如式(10)所示。

(10)

其中,m為重疊區(qū)域O豎直方向的像素?cái)?shù)。

3 算法實(shí)現(xiàn)

3.1 網(wǎng)格形變細(xì)分

利用SIFT算法[16]對(duì)待拼接圖像進(jìn)行特征點(diǎn)檢測(cè)和匹配,再根據(jù)隨機(jī)采樣一致性算法選擇最優(yōu)內(nèi)點(diǎn),隨機(jī)采樣一致性算法閾值εg=0.1。根據(jù)2.1節(jié)中APAP算法構(gòu)建粗網(wǎng)格形變單應(yīng)矩陣,對(duì)目標(biāo)圖像進(jìn)行Moving DLT變換,網(wǎng)格形變數(shù)量為C1×C2=10×10。

根據(jù)SIFT算法的成對(duì)特征點(diǎn)分布,對(duì)APAP算法的粗網(wǎng)格形變進(jìn)行細(xì)分,單個(gè)網(wǎng)格內(nèi)特征點(diǎn)的閾值為η,η=10,細(xì)網(wǎng)格形變數(shù)量為c1=c2=2。網(wǎng)格形變細(xì)分結(jié)果如圖1所示。

圖1 網(wǎng)格形變細(xì)分結(jié)果

3.2 非重疊區(qū)域校正

使用2.2節(jié)中的隨機(jī)采樣一致性算法,選擇不同簇的成對(duì)特征點(diǎn),計(jì)算全局最優(yōu)相似變換矩陣。在選擇不同簇時(shí),局部隨機(jī)采樣一致性算法的閾值為εl=0.001,計(jì)算出全局最優(yōu)相似變換矩陣S,用以調(diào)整目標(biāo)圖像的透視失真現(xiàn)象,從而避免非重疊區(qū)域的透視失真問(wèn)題。

3.3 形變矩陣疊加

2.1節(jié)和2.2節(jié)分別計(jì)算網(wǎng)格單應(yīng)矩陣Hn,m和全局最優(yōu)相似變換矩陣S,在本節(jié)中對(duì)2個(gè)矩陣加權(quán)疊加,計(jì)算出目標(biāo)圖像的形變矩陣,如下:

(11)

其中,Hn,m是第n個(gè)粗網(wǎng)格中第m個(gè)細(xì)網(wǎng)格單應(yīng)矩陣,μn,m和μ′n,m為權(quán)值系數(shù),且滿足μn,m+μ′n,m=1。μn,m可通過(guò)式(12)計(jì)算。

(12)

3.4 重疊區(qū)域的感知與拼接

通過(guò)前文已對(duì)目標(biāo)圖像進(jìn)行配準(zhǔn)和校正,本節(jié)將完成目標(biāo)圖像的感知和融合。借助2.3節(jié)的算法,內(nèi)容感知待拼接圖像重疊區(qū)域,保留重要度較低區(qū)域并進(jìn)行配準(zhǔn)。目標(biāo)圖像的重疊區(qū)域O以豎直方向的能量函數(shù)值積累最小的像素線S為界,截取重要度較低區(qū)域圖像進(jìn)行融合。

為防止拼接圖像出現(xiàn)視覺(jué)不適,對(duì)重疊部分加權(quán)融合[17],如下:

(13)

其中,w1、w2表示加權(quán)的權(quán)重系數(shù),且w1+w2=1。

4 實(shí)驗(yàn)結(jié)果與分析

本文以Matlab R2014a作為實(shí)驗(yàn)平臺(tái),使用文獻(xiàn)[4]數(shù)據(jù)集中的3組圖像,名稱(大小)分別為:Rail Tracks(600×800×3),Temple(487×730×3),Garden(1 000×750×3)。使用上述3組圖像分別對(duì)APAP算法、SPHP算法、AANAP算法和本文算法作對(duì)比實(shí)驗(yàn),主要從視覺(jué)主觀[18]、量化對(duì)齊和拼接速度等方面驗(yàn)證算法的性能優(yōu)劣。

4.1 主要參數(shù)分析

本文可調(diào)節(jié)的主要參數(shù)可以分為兩大類(lèi)。第一類(lèi)為網(wǎng)格優(yōu)化參數(shù),包括稀疏網(wǎng)格數(shù)量C1×C2、單個(gè)稀疏網(wǎng)格內(nèi)特征點(diǎn)閾值η和稀疏網(wǎng)格內(nèi)的細(xì)網(wǎng)格數(shù)量c1×c2。第二類(lèi)為隨機(jī)參數(shù)一致性閾值εg和εl。

稀疏網(wǎng)格的數(shù)量直接影響圖像重疊區(qū)域的配準(zhǔn)精度,網(wǎng)格數(shù)量過(guò)多會(huì)造成配準(zhǔn)速度下降。如圖2所示,以Temple組圖像為例,橫坐標(biāo)為圖像形變網(wǎng)格的C1值,且C1=C2,由圖2可得,隨著網(wǎng)格數(shù)量的增加,配準(zhǔn)時(shí)間急劇增加,本文選擇的測(cè)試圖像尺寸較小,而且會(huì)對(duì)稀疏網(wǎng)格進(jìn)行進(jìn)一步細(xì)分,因此選擇C1=C2=10。由SIFT算法的原理可知,特征點(diǎn)密度越高則表示該區(qū)域的紋理復(fù)雜度越高,由2.1節(jié)可知網(wǎng)格的單應(yīng)矩陣計(jì)算至少需要4組成對(duì)匹配點(diǎn),因此,閾值η小于4時(shí)并不會(huì)使圖像的配準(zhǔn)精度增加,反而會(huì)使配準(zhǔn)速度下降,閾值過(guò)大會(huì)造成配準(zhǔn)精度下降和配準(zhǔn)速度增加,因此,在本文中η取值為10。特征點(diǎn)數(shù)量決定了細(xì)分網(wǎng)格的數(shù)量,c1和c2值過(guò)小會(huì)造成配準(zhǔn)速度下降,過(guò)大會(huì)造成配準(zhǔn)精度下降,由于本文選擇圖像的尺寸較小,單個(gè)稀疏網(wǎng)格內(nèi)特征點(diǎn)數(shù)量較少,因此c1和c2值為2。

圖2 不同網(wǎng)格數(shù)下的拼接時(shí)間

隨機(jī)參數(shù)一致性閾值εg是一個(gè)經(jīng)驗(yàn)值,εg過(guò)大可以增加成對(duì)匹配點(diǎn)的數(shù)量,有助于圖像重疊區(qū)域的配準(zhǔn),但內(nèi)點(diǎn)中錯(cuò)誤匹配點(diǎn)的數(shù)量會(huì)增加,造成配準(zhǔn)失敗,經(jīng)過(guò)多次測(cè)試,εg=0.1最佳。隨機(jī)參數(shù)一致性閾值εl也是一個(gè)經(jīng)驗(yàn)值,經(jīng)過(guò)多次實(shí)驗(yàn),當(dāng)εl=0.001時(shí)所分出的特征點(diǎn)簇最佳。

4.2 視覺(jué)主觀評(píng)價(jià)

圖3所示為APAP、AANAP、SPHP的拼接結(jié)果和本文算法在文獻(xiàn)[4]數(shù)據(jù)集中的Rail Tracks圖像上的拼接結(jié)果。其中,實(shí)線區(qū)域?yàn)槠唇訄D像重疊區(qū)域的誤差,虛線區(qū)域?yàn)榉侵丿B區(qū)域發(fā)生的透視失真范圍。在圖3(a)中,APAP算法使用局部網(wǎng)格來(lái)調(diào)整圖像,重疊區(qū)域配準(zhǔn)效果較理想,但非重疊區(qū)域沒(méi)有透視失真校正,發(fā)生了嚴(yán)重畸變,其中,樹(shù)木發(fā)生了嚴(yán)重的傾斜,與真實(shí)圖像差別較大。在圖3(b)中,AANAP算法先使用APAP算法進(jìn)行局部配準(zhǔn),再調(diào)整部分非重疊區(qū)域,最后調(diào)整全局拼接圖像。該算法對(duì)重疊區(qū)域配準(zhǔn)效果良好,但非重疊區(qū)域會(huì)發(fā)生透視失真,且會(huì)造成拼接接口位差,如圖3(b)中的樹(shù)木和塔吊拼接線位置。SPHP算法更注重非重疊區(qū)域透視變換和減少失真,但重疊區(qū)域拼接精度卻很差,如圖3(c)中非重疊區(qū)域沒(méi)有發(fā)生明顯形變,但重疊區(qū)域出現(xiàn)了嚴(yán)重重影。圖3(d)為本文算法拼接結(jié)果,該算法根據(jù)匹配點(diǎn)的分布對(duì)網(wǎng)格細(xì)分,尋找目標(biāo)變換圖像的全局最優(yōu)相似變換,將全局最優(yōu)相似變換矩陣和網(wǎng)格單應(yīng)矩陣加權(quán)疊加,不僅可以精密調(diào)整重疊區(qū)域,而且使得非重疊區(qū)域透視失真最小,最后再對(duì)重疊區(qū)域的內(nèi)容進(jìn)行感知,保留重要度較低的區(qū)域并融合拼接,使拼接效果更能還原真實(shí)場(chǎng)景。

圖3 4種算法拼接結(jié)果比較

使用國(guó)際無(wú)線電咨詢委員會(huì)制訂的CCIR500-1圖像拼接效果主觀評(píng)價(jià)標(biāo)準(zhǔn)[19],對(duì)APAP算法、SPHP算法、AANAP算法和本文算法的拼接效果進(jìn)行比較,結(jié)果如表1所示。從表1可以看出,本文算法得到的拼接圖像均為5級(jí),拼接效果最好。

表1 不同算法拼接效果主觀評(píng)價(jià)結(jié)果

Table 1 Subjective evaluation results of splicing effect of different algorithms

圖像APAP算法SPHP算法AANAP算法本文算法Temple5455Garden5345Rail Tracks4345

4.3 量化對(duì)齊評(píng)價(jià)

本文計(jì)算重疊區(qū)域?qū)?yīng)拼接像素點(diǎn)的均方根誤差(RMSE)[20],以判定拼接質(zhì)量。RMSE計(jì)算公式如式(14)所示。

(14)

其中,M、N為重疊區(qū)域O的尺寸,IO(i,j)、I′O(i,j)分別是拼接圖像的相互重疊部分。APAP算法、SPHP算法、AANAP算法和本文算法拼接圖像的RMSE值如表2所示。

表2 不同算法的RMSE值

由于不同待拼接圖像的視差大小和紋理復(fù)雜度不同,因此拼接后的RMSE值有所不同。SPHP算法主要調(diào)整非重疊區(qū)域的透視失真,由于網(wǎng)格細(xì)分較為稀疏,因此對(duì)視差較大和重疊區(qū)域紋理較為復(fù)雜的圖像拼接質(zhì)量較差,RMSE值最大。AANAP算法同時(shí)調(diào)整2幅待拼接圖像,但為了改善非重疊區(qū)域的透視失真,對(duì)重疊區(qū)域調(diào)整不足導(dǎo)致重疊區(qū)域的RMSE值高于APAP算法。APAP算法中單應(yīng)矩陣數(shù)量固定,不能根據(jù)圖像的紋理特征自主優(yōu)化單應(yīng)矩陣數(shù)量,對(duì)于紋理較為復(fù)雜的區(qū)域,固定的投影矩陣不足以進(jìn)行精密調(diào)整。本文算法根據(jù)重疊區(qū)域的紋理復(fù)雜度精密細(xì)分網(wǎng)格稀疏程度,又對(duì)待拼接圖像的重疊區(qū)域進(jìn)行內(nèi)容感知,保留重要度較低的區(qū)域?qū)崿F(xiàn)圖像拼接,故其RMSE值最小。

4.4 算法效率對(duì)比

將APAP、SPHP、AANAP和本文算法的拼接速度進(jìn)行對(duì)比,所有代碼均在Matlab 2014上運(yùn)行,APAP算法的網(wǎng)格數(shù)量默認(rèn)為100×100。各算法的拼接時(shí)間對(duì)比結(jié)果如表3所示。

表3 不同算法的拼接時(shí)間

APAP算法僅對(duì)一張圖像進(jìn)行形變,未考慮圖像紋理特征對(duì)網(wǎng)格細(xì)分的影響,故拼接速度最快。SPHP算法不僅需要對(duì)待拼接圖像進(jìn)行網(wǎng)格形變,還需調(diào)整非重疊區(qū)域的透視失真,故拼接速度不及APAP算法。本文算法細(xì)分網(wǎng)格形變對(duì)重疊區(qū)域進(jìn)行拼接,在一定程度上加速了APAP拼接算法,但為了減小非重疊區(qū)域透視失真和保留最清晰的重疊區(qū)域,從而降低了拼接速度。AANAP算法不僅需要計(jì)算2張待拼接圖像的網(wǎng)格形變局部矩陣,同時(shí)還需要使用隨機(jī)采樣一致性算法優(yōu)化最優(yōu)相似變換矩陣,故計(jì)算數(shù)據(jù)最多,拼接速度最慢。

5 結(jié)束語(yǔ)

本文提出一種網(wǎng)格形變細(xì)分的大視差圖像拼接算法,根據(jù)成對(duì)匹配點(diǎn)的分布對(duì)網(wǎng)格形變進(jìn)行細(xì)分,達(dá)到對(duì)重疊區(qū)域精確配準(zhǔn)的目的。利用隨機(jī)采樣一致性算法選擇全局最優(yōu)相似變換矩陣,將網(wǎng)格單應(yīng)矩陣和全局最優(yōu)變換矩陣加權(quán)疊加,以避免非重疊區(qū)域的透視失真問(wèn)題。在此基礎(chǔ)上,對(duì)重疊區(qū)域進(jìn)行內(nèi)容感知,保留重要度較低的區(qū)域并完成拼接,以提高拼接圖像重疊部分的清晰度。實(shí)驗(yàn)結(jié)果表明,該算法對(duì)大視差圖像進(jìn)行拼接時(shí),能夠在重疊區(qū)域有效削弱重影現(xiàn)象,在非重疊區(qū)域改善透視失真問(wèn)題,且拼接結(jié)果能夠還原真實(shí)場(chǎng)景。在實(shí)際應(yīng)用中,拼接圖像特征點(diǎn)分布不均勻或者數(shù)量較少時(shí),選擇特征點(diǎn)時(shí)將有一定難度,下一步將對(duì)此情境下的特征點(diǎn)選擇方式進(jìn)行研究。