萬(wàn)年紅，王雪蓉

(浙江東方職業(yè)技術(shù)學(xué)院工程技術(shù)系，浙江溫州 325011)

?

基于邊緣特征點(diǎn)的全景圖像拼接算法

萬(wàn)年紅，王雪蓉

(浙江東方職業(yè)技術(shù)學(xué)院工程技術(shù)系，浙江溫州 325011)

全景圖像拼接技術(shù)已經(jīng)成為圖像處理領(lǐng)域中的一個(gè)研究熱點(diǎn).傳統(tǒng)的基于特征的全景圖像拼接方法存在旋轉(zhuǎn)、扭曲對(duì)匹配結(jié)果影響較大的缺點(diǎn)，拼接質(zhì)量不高.為改善和提高拼接效果和擴(kuò)展度，首先對(duì)圖像邊緣特征點(diǎn)的配準(zhǔn)、幾何坐標(biāo)優(yōu)化、空間坐標(biāo)變換、最優(yōu)投影變換參數(shù)的求解、融合等方面展開(kāi)研究，然后基于此改進(jìn)相應(yīng)算法，提出一種基于邊緣特征點(diǎn)的全景圖像拼接算法，并進(jìn)行了應(yīng)用實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，所給算法比傳統(tǒng)算法具有更良好的拼接效果和實(shí)用價(jià)值.

全景圖像拼接；邊緣特征點(diǎn)；圖像配準(zhǔn)；幾何坐標(biāo)優(yōu)化；最優(yōu)投影變換；圖像融合

全景圖像拼接是將取自不同視角的有重疊部分的若干幅圖像拼成一幅高分辨率圖像的技術(shù).隨著圖像處理技術(shù)的發(fā)展，全景圖像拼接技術(shù)已經(jīng)成為圖像處理領(lǐng)域中的一個(gè)研究熱點(diǎn).目前，學(xué)界已經(jīng)提出了多種全景圖像拼接算法，如基于特征的方法、基于頻域的方法、基于像素的方法以及基于灰度相關(guān)的方法等.其中，基于特征的方法對(duì)圖像旋轉(zhuǎn)和尺度變化等均具有不變性，對(duì)灰度變化、圖像形變以及遮擋等都有較好的適應(yīng)能力，相比其它方法更具有穩(wěn)定性和魯棒性，被廣泛應(yīng)用于目標(biāo)識(shí)別、虛擬現(xiàn)實(shí)等領(lǐng)域[1-10].關(guān)于基于特征的方法的研究成果也很多，例如，曹世翔等人提出一種快速有效的邊緣特征點(diǎn)提取方法，實(shí)現(xiàn)了多分辨率圖像的融合從而完成拼接[1]；宗巖等人在傳統(tǒng)SIFT算法的基礎(chǔ)上對(duì)圖像拼接中的特征匹配和圖像融合兩個(gè)關(guān)鍵部分進(jìn)行了改進(jìn)，改進(jìn)后的算法能有效去除運(yùn)動(dòng)重影現(xiàn)象[2]；曾丹等人提出了基于全局拓?fù)浣Y(jié)構(gòu)的分級(jí)三角剖分圖像拼接方法，大大減少了投影變換矩陣計(jì)算點(diǎn)數(shù)[9].隨著研究的深入，傳統(tǒng)的基于特征的全景圖像拼接方法的誤匹配特征點(diǎn)個(gè)數(shù)在逐漸減少，配準(zhǔn)精度已提高到亞像素水平，同時(shí)配準(zhǔn)和拼接的時(shí)間也在大幅縮短[1]，在收斂速度、精度、計(jì)算量方面都有優(yōu)勢(shì).但是，傳統(tǒng)的基于特征的全景圖像拼接方法也存在圖像尺度的比例變化、旋轉(zhuǎn)、扭曲對(duì)匹配結(jié)果影響較大的缺點(diǎn)[9]，相鄰圖像的重疊部分的誤匹率仍然比較高，因此，算法精度和速度仍然是全景圖像拼接技術(shù)的核心研究問(wèn)題.

本文針對(duì)已有研究的不足，從圖像邊緣特征點(diǎn)的配準(zhǔn)、幾何坐標(biāo)優(yōu)化、空間坐標(biāo)變換、最優(yōu)投影變換參數(shù)的求解、融合等角度考慮，提出一種新的基于邊緣特征點(diǎn)的全景圖像拼接算法，簡(jiǎn)記為PMABTEFP（Panorama Mosaic Algorithm Based on The Edge Feature Points）.

1 PMABTEFP總體架構(gòu)

全景圖像拼接算法一般包括全景模型選擇、圖像采集、圖像預(yù)處理、圖像配準(zhǔn)、圖像融合及全景圖展示瀏覽等步驟[11-13]，其中圖像配準(zhǔn)與圖像融合是兩個(gè)最重要的步驟，全景圖像拼接的基礎(chǔ)是圖像配準(zhǔn)與圖像融合.因此，PMABTEFP總體架構(gòu)分為圖像邊緣特征點(diǎn)的配準(zhǔn)、幾何坐標(biāo)優(yōu)化、空間坐標(biāo)變換、最優(yōu)投影變換參數(shù)求解、融合及基于邊緣特征點(diǎn)的全景圖像拼接算法等模塊.PMABTEFP總體架構(gòu)如圖1所示.

PMABTEFP的流程如下：1）圖像邊緣特征點(diǎn)配準(zhǔn).分別求解待配準(zhǔn)圖像與參考圖像之間的邊緣特征點(diǎn)集，通過(guò)邊緣特征點(diǎn)在樹(shù)中的路徑，將剖分關(guān)系映射到參考圖像點(diǎn)集，并求解邊緣特征點(diǎn)在樹(shù)中的最短路徑長(zhǎng)度；2）優(yōu)化圖像邊緣特征點(diǎn)幾何坐標(biāo).通過(guò)指數(shù)映射算法將空間幾何坐標(biāo)變換到球面坐標(biāo)，通過(guò)矩陣?yán)钊哼M(jìn)行旋轉(zhuǎn)變換、縮放變換、仿射變換和投影變換，將幾何形變映射拉回最優(yōu)流形方向；3）通過(guò)目標(biāo)轉(zhuǎn)換函數(shù)、黎曼指數(shù)映射、嘉當(dāng)分解、嘉當(dāng)對(duì)合、切空間內(nèi)積變換圖像邊緣特征點(diǎn)空間坐標(biāo)；4）通過(guò)最優(yōu)投影變換參數(shù)、灰度變換求解圖像邊緣特征點(diǎn)最優(yōu)投影變換參數(shù)；5）通過(guò)輸入圖像的插值結(jié)果圖和誤差度量函數(shù)進(jìn)行圖像邊緣特征點(diǎn)融合處理；6）設(shè)計(jì)基于邊緣特征點(diǎn)的全景圖像拼接算法.

1.1 圖像邊緣特征點(diǎn)配準(zhǔn)

圖像邊緣特征點(diǎn)配準(zhǔn)即特征點(diǎn)選擇與對(duì)齊.基于圖像特征配準(zhǔn)的全景圖像拼接關(guān)鍵的第一步是依賴明顯的基準(zhǔn)特征塊的檢測(cè)提取，也即通過(guò)自動(dòng)或手動(dòng)方式將圖像中如封閉曲線、輪廓線、邊界、交叉點(diǎn)、線條、角度等突出明顯的邊緣特征點(diǎn)檢測(cè)出來(lái).從眾多的邊緣特征參數(shù)中選擇與提取合適的圖像邊緣特征點(diǎn)，以實(shí)現(xiàn)全景圖像拼接算法中計(jì)算精度和計(jì)算量之間的平衡，是一個(gè)難點(diǎn).對(duì)此，文獻(xiàn)[1]指出卷積核與圖像卷積中的極值點(diǎn)是圖像的穩(wěn)定特征點(diǎn)，算子中包含歸一化尺度因子，基于差分去噪和旋轉(zhuǎn)不變的優(yōu)點(diǎn)，得到的特征點(diǎn)對(duì)旋轉(zhuǎn)、平移和光照等噪聲有非常好的魯棒性[1].但文獻(xiàn)[1]所提的方法計(jì)算代價(jià)較高，全景圖像拼接時(shí)顯得過(guò)于冗余，且會(huì)產(chǎn)生較多的誤匹配，使拼接精度降低，并不能反映灰度變化、圖像形變以及遮擋等的適應(yīng)能力.為此需要對(duì)該方法進(jìn)行改進(jìn).

圖1 PMABTEFP總體架構(gòu)

設(shè)待配準(zhǔn)圖像與參考圖像間的邊緣特征匹配點(diǎn)分別組合成Si=｛1,2,…,n｝和Oi=｛1,2,…,n｝點(diǎn)集，拼接圖為G(V, E,ω)，其生成樹(shù)為T，權(quán)值ω為比率量，n是兩圖之間1∶1的邊緣特征匹配點(diǎn)數(shù)，對(duì)Si建立剖分集合Ti=｛1,2,…,m｝，且頂點(diǎn)u, v在樹(shù)T中的路徑為Si(u, v)=(u=r1, r2,…, rn=v)，并將剖分關(guān)系映射到點(diǎn)集Oi，u, v在樹(shù)T中的最短路徑長(zhǎng)度dT(u, v)可表示為路徑中各邊權(quán)值的累加.改進(jìn)前配準(zhǔn)圖像u與參考圖像v之間的邊緣特征點(diǎn)配準(zhǔn)公式參見(jiàn)文獻(xiàn)[1]，則改進(jìn)后的公式如式（1）所示：

與改進(jìn)前的公式相比，式（1）對(duì)原公式的最大改進(jìn)是實(shí)現(xiàn)了頂點(diǎn) ,u v在樹(shù)T中的路徑選擇，對(duì)iS建立剖分集合iT，并將剖分關(guān)系映射到點(diǎn)集iO中.式（1）提出的在邊緣圖像中提取圖像邊緣特征點(diǎn)的方法是在小波變換下完成的，即能夠根據(jù)邊緣特征點(diǎn)集的拓?fù)浣Y(jié)構(gòu)對(duì)邊緣特征點(diǎn)集進(jìn)行分級(jí)剖分，從而實(shí)現(xiàn)配準(zhǔn)，大幅減少匹配數(shù)目，提高全景圖像拼接精度.因此，相比改進(jìn)前的算法，式（1）根據(jù)網(wǎng)格的配準(zhǔn)關(guān)系，逐步將多對(duì)多的不確定匹配降為一對(duì)一配準(zhǔn)，具有平移、縮放、旋轉(zhuǎn)不變性等特性，同時(shí)對(duì)光照變化、仿射及投影變換也有一定的不變性，更具有穩(wěn)定性和魯棒性.

1.2 圖像邊緣特征點(diǎn)幾何坐標(biāo)優(yōu)化

圖像邊緣特征點(diǎn)配準(zhǔn)可以將在不同視點(diǎn)處采集的圖像處于各自獨(dú)立的坐標(biāo)系中，所以需要找出這些坐標(biāo)系間的剛體置換矩陣，然后將所有的邊緣特征點(diǎn)變換到同一個(gè)坐標(biāo)系中.但是，在配準(zhǔn)過(guò)程中使用圖像處理的方法提取兩幅紋理圖像上的若干興趣特征點(diǎn)時(shí)，缺乏正確匹配的特征點(diǎn)，并且受幾何噪聲影響；另外，幾何坐標(biāo)優(yōu)化的總體思想是將三維空間中邊緣特征點(diǎn)的低維幾何特征映射到二維空間，然后利用圖像配準(zhǔn)方法和邊緣特征點(diǎn)的幾何信息找出匹配的邊緣特征點(diǎn)，這就需要討論邊緣特征點(diǎn)的幾何優(yōu)化框架.邊緣特征點(diǎn)幾何優(yōu)化框架采用全景圖像拼接流形坐標(biāo)優(yōu)化算法[13]，使用8參數(shù)模型、拉回映射映射和黎曼指數(shù)映射將平移變換、平移加旋轉(zhuǎn)變換（即剛性變換）、縮放變換（即相似變換）、仿射變換和投影變換等幾何變換帶來(lái)的幾何形變映射回最優(yōu)流形方向，再通過(guò)灰度相關(guān)系數(shù)來(lái)準(zhǔn)確確定變換函數(shù).圖像邊緣特征點(diǎn)配準(zhǔn)的必要條件是通過(guò)指數(shù)映射算法將空間幾何坐標(biāo)（Vx，Vy，Vz）變換到球面坐標(biāo)（Vδ，Vφ，Vh），然后根據(jù)接收到的全景圖像拼接幾何坐標(biāo)來(lái)求解空間變換模型中的未知參數(shù)以及建立變換函數(shù)或映射公式.因此基于指數(shù)映射的幾何優(yōu)化算法是構(gòu)成配準(zhǔn)坐標(biāo)變換與投影算法的理論基礎(chǔ).當(dāng)變換函數(shù)建立后，坐標(biāo)也隨之一致化，進(jìn)而求得變換參數(shù)的關(guān)聯(lián)矩陣初始值，這樣就把全景圖像拼接的必要條件問(wèn)題轉(zhuǎn)化成了尋找最佳幾何變換參數(shù)和關(guān)聯(lián)矩陣的問(wèn)題.對(duì)幾何優(yōu)化算法的研究，文獻(xiàn)[13]提出的基于李群代數(shù)的二階最小化方法，用黎曼指數(shù)映射替代李群指數(shù)映射，可以在內(nèi)蘊(yùn)幾何優(yōu)化的框架下找回被高斯-牛頓迭代算法遺棄的赫森矩陣信息，從而提高了拼接的精確度，但是該傳統(tǒng)的基于指數(shù)映射的幾何優(yōu)化算法對(duì)圖像邊緣特征點(diǎn)的區(qū)分度較差，對(duì)環(huán)境光照、自遮擋及曝光條件依然敏感，計(jì)算過(guò)程復(fù)雜且耗時(shí)，易造成誤匹配，因此，需要對(duì)傳統(tǒng)的基于指數(shù)映射的幾何優(yōu)化算法進(jìn)行改進(jìn).

引入?yún)?shù)ω，t是矩陣?yán)钊篗上的一點(diǎn)，若 Si和Oi中已包含紋理圖像，x是t鄰域內(nèi)一點(diǎn)，對(duì)于邊緣特征點(diǎn)中的興趣點(diǎn)，直接提取它們并轉(zhuǎn)換成灰度圖像，S=(S1, S2,…,Sn)是待配準(zhǔn)的n幅深度圖像的輸入序列；若Si和Oi中不包含紋理圖像，在邊緣特征點(diǎn)中對(duì)應(yīng)的點(diǎn)不存在，則刪除該點(diǎn)，并根據(jù)深度圖像，生成紋理圖像點(diǎn).因此結(jié)合1.1中的圖像邊緣特征點(diǎn)配準(zhǔn)方法D(u, v)，對(duì)傳統(tǒng)的基于指數(shù)映射的幾何優(yōu)化算法進(jìn)行改進(jìn)的公式可具體表示為式（2）：

與傳統(tǒng)的基于指數(shù)映射的幾何優(yōu)化算法相比，由于各種原因，對(duì)于輸入的深度圖像，式（2）具有先對(duì)所有相鄰的兩幅圖像做配準(zhǔn)的功能，并且子圖塊最后計(jì)算的灰度相關(guān)系數(shù)小于1.這樣就可以將整個(gè)掃描序列集中分布在某一區(qū)域，將待拼接的圖像邊緣特征點(diǎn)分成與合并為若干個(gè)條帶，最終生成一個(gè)完整的模型，在同一條帶中的深度圖像之間不再做配準(zhǔn)，因此顯著地減小了配準(zhǔn)過(guò)程的時(shí)間.

1.3 圖像邊緣特征點(diǎn)空間坐標(biāo)變換

大多數(shù)配準(zhǔn)方法都是基于局部幾何坐標(biāo)優(yōu)化框架匹配的，低維特征的計(jì)算速度相對(duì)較快，但所蘊(yùn)含的信息量少，圖像中存在噪聲和幾何缺陷[11].另外，為了減少因局部圖像拼接錯(cuò)誤或誤差而造成的全局圖像拼接錯(cuò)誤和積累誤差，許多方法采用圖像邊緣特征點(diǎn)空間坐標(biāo)拼接模型，以形成全局一致的全景圖像[10].因此，在進(jìn)行全景圖像拼接時(shí)不僅需要考慮圖像邊緣特征點(diǎn)的幾何坐標(biāo)優(yōu)化框架，還需要變換圖像邊緣特征點(diǎn)的空間坐標(biāo).

引進(jìn)目標(biāo)轉(zhuǎn)換函數(shù)μ和黎曼指數(shù)映射[13]把任意一個(gè)空間坐標(biāo)(Vx, Vy, Vz,ω)變換到球面坐標(biāo)(Vδ, Vφ, Vh,ω).目標(biāo)轉(zhuǎn)換函數(shù)μ是一個(gè)被定義為對(duì)于任意特征點(diǎn)(Vx, Vy, Vz)、以波長(zhǎng)Ρ、任意視角(θ-κ)、任意時(shí)間t、任意時(shí)差ω通過(guò)該視角的灰度屬性的8維函數(shù)：

引進(jìn)函數(shù)μ的作用：流形坐標(biāo)分辨率、灰度屬性、光線強(qiáng)度、比例尺非線性變形（平移、縮放和旋轉(zhuǎn)等）等方面的差別消除在于尋求適當(dāng)?shù)淖鴺?biāo)變換函數(shù)或映射公式，求解4個(gè)坐標(biāo)分量Vδ,Vφ, Vh,ω的方程式，從而使空間坐標(biāo)(Vx, Vy, Vz,ω)與參考坐標(biāo)(Vδ,Vφ, Vh,ω)精確匹配.

黎曼指數(shù)映射[13]，針對(duì)李群指數(shù)映射的每一點(diǎn)切空間的光強(qiáng)差異，通過(guò)嘉當(dāng)分解和嘉當(dāng)對(duì)合賦予一個(gè)內(nèi)積所建立的全局映射公式，可以按照普通意義上的矩陣指數(shù)對(duì)流形坐標(biāo)的差別進(jìn)行融合，避免計(jì)算煩瑣的赫森矩陣[13]，從而獲得高效坐標(biāo)轉(zhuǎn)換效果.但是黎曼指數(shù)映射是僅利用一種模型對(duì)各種邊緣特征點(diǎn)提取模式進(jìn)行建模，需進(jìn)行插值和濾波等限制配準(zhǔn)精度的操作，動(dòng)態(tài)場(chǎng)景檢測(cè)功能不足，不能對(duì)圖像中重要的結(jié)構(gòu)信息進(jìn)行顯式建模.由于圖像表觀通常是物體邊界、線條等結(jié)構(gòu)基元和紋理基元，因此可以通過(guò)切空間的內(nèi)積、嘉當(dāng)分解和嘉當(dāng)對(duì)合[13]來(lái)求解圖像邊緣特征點(diǎn)的空間坐標(biāo).為此，需要對(duì)傳統(tǒng)的黎曼指數(shù)映射進(jìn)行改進(jìn)，即提出一個(gè)專門優(yōu)化圖像邊界、線條、紋理的檢測(cè)性空間坐標(biāo)指數(shù)映射公式.

設(shè)I(Vx, Vy, Vz,ω)是t時(shí)刻的坐標(biāo)點(diǎn)，I′是對(duì)坐標(biāo)的偏導(dǎo)數(shù)，下一個(gè)坐標(biāo)點(diǎn)通過(guò)對(duì)圖像邊緣

特征點(diǎn)作細(xì)微的操作導(dǎo)出，行列式元素為1的n階實(shí)李群矩陣為SL(n, R)，矩陣指數(shù)為exp(A)=，矩陣?yán)钊旱拿恳贿吘壧卣鼽c(diǎn)的切空間的內(nèi)積為＜A, B＞=＜ABt＞.若?r∈SL(n, R)，其相應(yīng)的嘉當(dāng)分解為嘉當(dāng)對(duì)合為r=r→-rt，并且坐標(biāo)之間滿足關(guān)系I(Vx+Δx, Vy+Δy, Vz+Δz,ω)=I(Vx, Vy, Vz,ω)，則結(jié)合1.1節(jié)圖像邊緣特征點(diǎn)檢測(cè)方法和1.2節(jié)圖像邊緣特征點(diǎn)幾何坐標(biāo)優(yōu)化框架，圖像邊緣特征點(diǎn)空間坐標(biāo)的指數(shù)映射公式可按式（4）進(jìn)行改進(jìn)：

式（4）的貢獻(xiàn)：由于各邊緣特征點(diǎn)的構(gòu)成維度與流形結(jié)構(gòu)不同，在R(t, r, A, B)連續(xù)迭代處理過(guò)程中，位置信息、流形坐標(biāo)分辨率、灰度屬性、光線強(qiáng)度、比例尺非線性變形都是不斷變化的，因此，需通過(guò)實(shí)李群矩陣SL(n, R)、矩陣指數(shù)exp(A)、切空間的內(nèi)積＜A, B＞、嘉當(dāng)分解及嘉當(dāng)對(duì)合的綜合作用對(duì)位置信息進(jìn)行初步匹配更新，在當(dāng)前迭代的R(t, r, A, B)上尋找一個(gè)具有最大檢測(cè)率（即李群指數(shù)映射的光強(qiáng)差異率）的求解空間坐標(biāo)(Vx, Vy, Vz,ω).如果新的位置信息中最大檢測(cè)率優(yōu)于歷史最大檢測(cè)率，即針對(duì)更復(fù)雜的位置信息樣本，則用新的位置信息的最大檢測(cè)率替代全局歷史最大檢測(cè)率.相比改進(jìn)前，式（4）使那些被錯(cuò)誤匹配的邊界、線條、紋理基元等邊緣特征點(diǎn)得到進(jìn)一步的匹配，從而提高了匹配的精度，有效保證了結(jié)果的即時(shí)性和正確性，減少了插值和濾波操作，支持多種模型對(duì)各種邊緣特征點(diǎn)模式進(jìn)行建模.

1.4 圖像邊緣特征點(diǎn)最優(yōu)投影變換參數(shù)的求解

在實(shí)際應(yīng)用場(chǎng)合中，待配準(zhǔn)圖像與參考圖像之間可能存在剛體、仿射、投影和非線性等變換類型.因?yàn)閳D像邊緣特征點(diǎn)是無(wú)限多的，如果變換后第一幅圖像上的直線映射到第二幅圖像上仍為直線，但平行關(guān)系基本不保持，這樣的變換稱為投影變換.由投影理論可知，同一物體在不同角度的影像存在空間關(guān)系的區(qū)別和相鄰圖像之間的光強(qiáng)差異的問(wèn)題，投影變換關(guān)鍵在于求解投影變換參數(shù).當(dāng)獲取最優(yōu)投影變換時(shí)，模板圖像和變形圖像的梯度應(yīng)該非常接近.下面給出求解圖像邊緣特征點(diǎn)最優(yōu)投影變換參數(shù)的方法.

給定待配準(zhǔn)圖像 I1(x, y)和 I2(x, y)，s是三維空間坐標(biāo)變換，h是二維的灰度變換，則雙重映射變換可表示為I2(x, y)=h(I1(s(x, y ))).利用這個(gè)信息既可以避免復(fù)雜的赫森矩陣的計(jì)算，又可通過(guò)在最優(yōu)變換處的雅可比一階泰勒展開(kāi)得到被高斯牛頓迭代遺棄的赫森矩陣信息，從而獲得高效算法[13].

假設(shè)L、M、N分別表示縮放、旋轉(zhuǎn)、平移，則對(duì)應(yīng)的圖像邊緣特征點(diǎn)最優(yōu)投影變換參數(shù)由8個(gè)參數(shù)l11,l12,l21,l22,m1,m2,n1, n2來(lái)決定：

其中，

對(duì)于參數(shù)l11,l12,l21,l22,m1,m2,n1, n2的求解,可以用下面的步驟來(lái)實(shí)現(xiàn).

若對(duì)G(x, y)中任意一點(diǎn)(x, y)通過(guò)縮放變換變?yōu)?x′, y′)，則可表示為：

(x′, y′)可以表示成l11,l12,l21,l22,m1,m2,n1, n2的可逆邊緣特征點(diǎn)，進(jìn)而可以求得l11,l12,l21, l22,m1, m2,n1, n2的值.

1.5 圖像邊緣特征點(diǎn)融合

由于光照條件的變化特性、幾何變形、自動(dòng)相機(jī)、掃描設(shè)備的問(wèn)題，任何兩幅相鄰原始圖像在采集條件上、圖像特性提取上及圖像經(jīng)過(guò)投影變換后都不可能做到完全相同.從一幅圖像的區(qū)域過(guò)渡到另一幅圖像時(shí)，若簡(jiǎn)單地把兩幅圖像拼接起來(lái)，對(duì)齊的圖像可能存在亮度或顏色不連續(xù)現(xiàn)象和幾何校正引起的縫隙，完成配準(zhǔn)后，拼接處會(huì)有一條明顯的縫隙.

為實(shí)現(xiàn)圖像的無(wú)縫拼接，可通過(guò)圖像邊緣特征點(diǎn)融合來(lái)減小或消除拼縫，保證重疊區(qū)域能夠連續(xù),并且沒(méi)有可見(jiàn)的縫合線.如何處理圖像整合過(guò)程中無(wú)法解決的拼接縫隙問(wèn)題，實(shí)現(xiàn)真正意義上的無(wú)縫拼接，正是圖像融合過(guò)程中所要解決的問(wèn)題.關(guān)于融合方法的研究很多，例如文獻(xiàn)[1]采用復(fù)用金字塔的多分辨率圖像融合方法，選擇最大值的邊緣Gauss金字塔，最后反變換到融合圖像；文獻(xiàn)[2]采用改進(jìn)的基于特征點(diǎn)的圖像拼接融合算法將兩幅圖像重疊區(qū)域劃分為兩部分，每部分來(lái)自不同的圖像，很好地解決了合成鬼影問(wèn)題；文獻(xiàn)[10]提出顯微圖像重疊區(qū)域平滑過(guò)渡的方法，使重疊區(qū)域過(guò)渡更加平滑，視覺(jué)效果更好.但是以上這些傳統(tǒng)的圖像融合方法往往會(huì)因?yàn)楣饩€明暗不均，使拼接后重疊處的拼接痕跡明顯.為了提高拼接效果，需要在多幅圖像的邊緣重疊處進(jìn)行平滑處理，因此需要對(duì)傳統(tǒng)的圖像融合方法進(jìn)行改進(jìn).

設(shè)m(x, y)為輸入圖像的插值結(jié)果圖，整體圖像中某邊緣特征點(diǎn)與n幅圖像相交，邊緣特征點(diǎn)(x, y)的像素值為 z(x, y)，第i幅圖像與該位置重合邊緣特征點(diǎn)的顏色值為Ci(r, g, b)，且在該幅圖像中對(duì)應(yīng)的權(quán)值為ωi， I(i, j)為輸入原始圖，按照8參數(shù)投影變換模型，對(duì)于輸入圖像中的一點(diǎn)(x, y)，可經(jīng)變換得到新的位置變換點(diǎn)(x′, y′)， k(x, y)為插值運(yùn)算核，輸出整數(shù)網(wǎng)格上的邊緣特征點(diǎn)(x′, y′).結(jié)合第1.1節(jié)、1.2節(jié)和1.3節(jié)的內(nèi)容，輸入圖像中原始邊緣特征點(diǎn)融合處理的方法可以改進(jìn)為式（7）：

相比改進(jìn)前，式（7）考慮到曝光差異所引起的空間邊緣特征點(diǎn)在不同圖像間的亮度差，通過(guò)二者誤差度量函數(shù)的加權(quán)函數(shù)來(lái)度量相似度，所以算法在一定程度上消除了拼痕，平滑了亮度差異，減少了鬼影出現(xiàn)的概率，魯棒性較強(qiáng)，提高了配準(zhǔn)精度和效率.

2 基于邊緣特征點(diǎn)的全景圖像拼接算法

基于邊緣特征點(diǎn)的全景圖像拼接算法的主要設(shè)計(jì)步驟如下：

第1步：生成邊緣特征點(diǎn)集Si=｛1,2,…,n｝和Oi=｛1,2,…,n｝，計(jì)算邊緣特征點(diǎn) u, v在樹(shù)T中的最短路徑Si(u, v)；

第2步：利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵邊緣特征點(diǎn)指定方向參數(shù)，從而使描述子對(duì)圖像旋轉(zhuǎn)具有不變性；

第3步：利用配準(zhǔn)圖像u與參考圖像v之間的邊緣特征點(diǎn)配準(zhǔn)的改進(jìn)公式（1）分別提取兩幅圖像的邊緣特征點(diǎn)，并確定關(guān)鍵邊緣特征點(diǎn)所在位置和尺度.逐步將多對(duì)多的不確定匹配降為一對(duì)一配準(zhǔn)，對(duì)光照變化、仿射投影變換進(jìn)行計(jì)算；

第4步：通過(guò)指數(shù)映射算法將空間幾何坐標(biāo)(Vx, Vy, Vz)變換到球面坐標(biāo)(Vδ, Vφ, Vh)，建立變換函數(shù)或映射公式；

第5步：利用改進(jìn)的基于指數(shù)映射的幾何優(yōu)化算法公式（2）進(jìn)行圖像邊緣特征點(diǎn)在尺度空間上的極值檢測(cè)，將待拼接的圖像邊緣特征點(diǎn)分成與合并為若干個(gè)條帶，最終生成一個(gè)完整的模型；

第6步：將整個(gè)掃描序列集中分布在某一區(qū)域，提取它們并轉(zhuǎn)換成灰度圖像，輸入n幅深度圖像S=(S1, S2,…,Sn)作為輸入序列，分別計(jì)算同一窗口的活躍級(jí)度量，比較窗口的活躍級(jí)度量的大??；

第7步：求解目標(biāo)轉(zhuǎn)換函數(shù)μ，消除流形坐標(biāo)分辨率、灰度屬性、光線強(qiáng)度、比例尺非線性變形等方面的差別，求解4個(gè)坐標(biāo)分量Vδ,Vφ, Vh,ω的方程式；

第8步：利用改進(jìn)的圖像邊緣特征點(diǎn)空間坐標(biāo)的指數(shù)映射公式（4）尋找圖像邊緣中的邊緣特征配準(zhǔn)點(diǎn)，找出錯(cuò)誤匹配的邊界、線條、紋理基元等邊緣特征點(diǎn)；

第9步：計(jì)算矩陣?yán)钊旱拿恳贿吘壧卣鼽c(diǎn)的切空間的內(nèi)積＜A, B＞=＜ABt＞，并計(jì)算相應(yīng)的嘉當(dāng)分解，嘉當(dāng)對(duì)合r=r→-rt；

第10步：利用式（5）求解圖像邊緣特征點(diǎn)最優(yōu)投影變換參數(shù)，從不同角度消除相鄰圖像之間的光強(qiáng)差異，并去除低對(duì)比度的關(guān)鍵邊緣特征點(diǎn)和不穩(wěn)定的邊緣特征響應(yīng)點(diǎn)；

第11步：計(jì)算表示縮放、旋轉(zhuǎn)、平移的8個(gè)參數(shù)l11,l12,l21,l22,m1, m2,n1, n2.依據(jù)經(jīng)驗(yàn)值設(shè)定閾值θ=0.1，循環(huán)計(jì)算得到l11,l12,l21,l22,m1,m2,n1, n2的值，由此計(jì)算出鄰域內(nèi)的邊緣特征點(diǎn)對(duì)集，作為預(yù)選出的待匹配點(diǎn),并刪除在鄰域外的邊緣特征點(diǎn)對(duì)集；

第12步：生成邊緣特征點(diǎn)向量，按最鄰近距離比準(zhǔn)則完成匹配，對(duì)得到的匹配邊緣特征點(diǎn)對(duì)計(jì)算互相關(guān)值，剔除相關(guān)值最小的匹配對(duì)；

第13步：利用式（7）改進(jìn)的圖像中原始邊緣特征點(diǎn)的融合平滑處理方法對(duì)最后得到的匹配點(diǎn)對(duì)參數(shù)進(jìn)行估計(jì)，通過(guò)二者誤差度量函數(shù)的加權(quán)函數(shù)來(lái)度量相似度，消除拼痕.

算法結(jié)束.

3 應(yīng)用實(shí)驗(yàn)

測(cè)試效果評(píng)價(jià)指標(biāo)主要包括運(yùn)算時(shí)間、計(jì)算量、重配率、丟失率、精確度.運(yùn)算時(shí)間以算法運(yùn)行時(shí)所耗費(fèi)的整體時(shí)間來(lái)衡量，其單位是秒，運(yùn)算時(shí)間越短，表示速度越快，所耗費(fèi)的整體時(shí)間越短，其參考值在區(qū)間[9.0, 10.0]時(shí)可以認(rèn)為算法到達(dá)了預(yù)期的效果.計(jì)算量一般是指對(duì)復(fù)用時(shí)的元素屬性及其之間的關(guān)系等方面的關(guān)聯(lián)描述，當(dāng)其值達(dá)到“較低”時(shí)，可以認(rèn)為算法反映自適應(yīng)性的能力較強(qiáng)；重配率在0.40以上時(shí)，表示算法的誤配率較大.丟失率是指圖像邊緣特征點(diǎn)的丟失情況，其值在區(qū)間[0.00，0.30]時(shí)，即可認(rèn)為系統(tǒng)的復(fù)用效果好.精確度是指系統(tǒng)的精確程度，其值在區(qū)間[0.90，1.00]時(shí)，即可認(rèn)為系統(tǒng)的精確程度較高.

實(shí)驗(yàn)所需各種原始圖均來(lái)自于高分辨率數(shù)碼相機(jī)旋轉(zhuǎn)拍攝（如圖2所示），用VC＋＋6.0實(shí)現(xiàn)一個(gè)全景圖像拼接程序.

圖2 實(shí)驗(yàn)原始圖

為了驗(yàn)證PMABTEFP的有效性、穩(wěn)定性、兼容性和可伸縮性，本章進(jìn)行應(yīng)用實(shí)驗(yàn)，需要實(shí)施幾個(gè)局部實(shí)驗(yàn)與全局實(shí)驗(yàn).

分別按基于邊緣特征點(diǎn)的多分辨率圖像拼接方法MSIMUFE（Multi scale image mosaic using features from edge）[1]、基于黎曼二階最小化的投影圖像配準(zhǔn)算法PIRBRSOM（Projective image registration based on Riemannian second- order minimization）[13]、基于最小路由代價(jià)樹(shù)的大規(guī)模顯微圖像拼接方法MLSMIMBMRCS（Method for large scale microscope images mosaicing based on minimum routing cost spanning tree）[10]等傳統(tǒng)算法和本文所提出的PMABTEFP法對(duì)圖2進(jìn)行拼接實(shí)驗(yàn).實(shí)驗(yàn)時(shí)需要重點(diǎn)反映與刻畫(huà)式（1）、式（2）、式（4）和式（7），以上各方法對(duì)圖2的拼接效果分別如圖3、圖4、圖5、圖6所示.

圖3 MSIMUFE拼接效果圖

圖4 PIRBRSOM拼接效果圖

圖5 MLSMIMBMRCS拼接效果圖

圖6 PMABTEFP拼接效果圖

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，圖3、圖4、圖5所示圖像均存在曝光度、亮度、對(duì)比度方面的缺點(diǎn)，有鬼影和鋸齒現(xiàn)象，而圖6曝光度、亮度、對(duì)比度和原始圖相差不大，并且沒(méi)有明顯的鬼影和鋸齒現(xiàn)象.具體的實(shí)驗(yàn)結(jié)果如表1所示.

從表1可以看出，傳統(tǒng)算法的計(jì)算量較高，而PMABTEFP可以達(dá)到較低的程度，表明算法比較靈活.另外在運(yùn)算時(shí)間、重配率、精確度、丟失率等方面，PMABTEFP算法也比傳統(tǒng)方法有更好的效果，表明改進(jìn)后的算法在拼接方面具有明顯的優(yōu)勢(shì).

表1 各種算法綜合性能對(duì)比

為了進(jìn)一步表明PMABTEFP的優(yōu)勢(shì)，仍然以圖2所示的4張實(shí)驗(yàn)原始圖為輸入圖像，再按PMABTEFP設(shè)計(jì)系統(tǒng).實(shí)驗(yàn)時(shí)不僅需要重點(diǎn)反映與刻畫(huà)圖像邊緣特征點(diǎn)配準(zhǔn)公式改進(jìn)后、圖像邊緣特征點(diǎn)幾何坐標(biāo)優(yōu)化公式改進(jìn)后、圖像邊緣特征點(diǎn)空間坐標(biāo)變換公式改進(jìn)后、圖像邊緣特征點(diǎn)最優(yōu)投影變換參數(shù)求解公式改進(jìn)后、圖像邊緣特征點(diǎn)融合公式改進(jìn)后系統(tǒng)性能的變化，而且需要綜合描述PMABTEFP的設(shè)計(jì)過(guò)程，并和改進(jìn)前的各種算法的指標(biāo)和運(yùn)行效果進(jìn)行對(duì)比（具體結(jié)果仍見(jiàn)表1）.可以看出，改進(jìn)前的圖像邊緣特征點(diǎn)配準(zhǔn)公式、圖像邊緣特征點(diǎn)幾何坐標(biāo)優(yōu)化公式、圖像邊緣特征點(diǎn)空間坐標(biāo)變換公式、圖像邊緣特征點(diǎn)最優(yōu)投影變換參數(shù)求解公式、圖像邊緣特征點(diǎn)融合公式均存在一些漏洞，而PMABTEFP修補(bǔ)了一些漏洞，其各項(xiàng)指標(biāo)均達(dá)到了要求，這表明改進(jìn)工作是有效的.

為保證PMABTEFP復(fù)用時(shí)的穩(wěn)定性和復(fù)用性，最后再?gòu)娜纸嵌葘?duì)PMABTEFP進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果是：PMABTEFP運(yùn)算時(shí)間的值恰好落在區(qū)間[9，10]，精確度的值恰好落在區(qū)間[0.90，1.00]，邊緣特征點(diǎn)檢測(cè)及匹配誤差均控制在可以接受的范圍內(nèi)，這是滿足系統(tǒng)要求的，因而PMABTEFP的復(fù)用效果比較好.

從多次實(shí)驗(yàn)果可以看出，改進(jìn)后的算法不受坐標(biāo)變換影響，配準(zhǔn)時(shí)間和運(yùn)算速度得到了一些改善，而且計(jì)算量不大（僅對(duì)邊緣量最大值點(diǎn)作用），較好地排除了一些鄰域邊緣量很小的點(diǎn)和孤立邊緣點(diǎn)，提取到的圖像特征點(diǎn)較為合適（基本包括了重要的特征信息），特征點(diǎn)丟失率得到一定程度的降低，精確度也相應(yīng)得到了一定的提高.因此，PMABTEFP具有一定的實(shí)用價(jià)值.

4 結(jié) 語(yǔ)

圖像配準(zhǔn)與圖像融合是影響全景圖像拼接算法成功率、運(yùn)行速度和整個(gè)圖像拼接效果的核心因素，基于特征的全景圖像拼接方法已成為一項(xiàng)較為典型、實(shí)用的技術(shù).本文對(duì)基于邊緣特征點(diǎn)的全景圖像拼接算法進(jìn)行了研究，所給算法在運(yùn)算時(shí)間、計(jì)算量、重配率、精確度、丟失率等方面均有較好的效果，適用性較強(qiáng).但全景圖像拼接技術(shù)實(shí)際上是一個(gè)具有很大挑戰(zhàn)性的研究課題，對(duì)其研究往往會(huì)受到硬件、軟件等諸多因素的限制.因此，本文所做的工作也僅僅是為全景圖拼接技術(shù)的研究提供了一些參考方法，還有許多方面需要進(jìn)一步探討.

[1] 曹世翔, 江潔, 張廣軍, 等. 邊緣特征點(diǎn)的多分辨率圖像拼接[J]. 計(jì)算機(jī)研究與發(fā)展, 2011, 48(9): 1788-1792.

[2] 宗巖, 王陽(yáng)萍, 劉萍. 改進(jìn)的基于特征點(diǎn)的圖像拼接融合算法[J]. 蘭州交通大學(xué)學(xué)報(bào), 2012, 31(1): 89-92.

[3] Brown M, Lowe D G. Automatic panoramic image stitching using in variant features [J]. International Journal ofComputer Vision, 2013, 74(1): 59-73.

[4] Gal R, Cohen O D. Salient geometric features for partial shape matching and similarity [J]. ACM Transactions on Graphics, 2013: 25(1):130-150.

[5] Wang S, Wang Y, Jin M, et al. Conformal geometry and its applications on 3D shape matching, recognition, and stitching [J]. IEEE Trans Pattern Anal Mach Intell, 2007, 29(7): 1209-1220.

[6] Nakajima N, Iketani A, Sato T, et al. Video mosaicing for document imaging [EB/OL]. [2015-01-08]. http://www. researchgate.net/publication/228627067_Video_mosaicing_for_document_imaging.

[7] Richmond K. Real-time visual mosaicking and navigation on the sea floor [D]. Stamford: Computer Information College, Stanford University, 2009: 123-127.

[8] Fang X, Luo B, Zhao H, et al. New multi-resolution image stitching with local and global alignment [J].IET Computer Vision, 2010, 4(4): 882-887.

[9] 曾丹, 陳劍, 張琦, 等. 基于全局拓?fù)浣Y(jié)構(gòu)的分級(jí)三角剖分圖像拼接[J]. 計(jì)算機(jī)研究與發(fā)展, 2012, 49(1): 144-150.

[10] 龔詠喜, 田原, 謝玉波, 等. 基于最小路由代價(jià)樹(shù)的大規(guī)模顯微圖像拼接方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2009, 14(6): 1178-1186.

[11] 楊芩, 齊越, 沈旭昆, 等. 一種快速的三維掃描數(shù)據(jù)自動(dòng)配準(zhǔn)方法[J]. 軟件學(xué)報(bào), 2010, 21(6): 1438-1450.

[12] Bay H, Ess A, Tuytelaars T, et a1. Speeded-up robust features [J]. Computer Vision and Image understanding, 2008, 110(3): 346-359.

[13] 李廣偉, 劉云鵬, 尹健. 基于黎曼二階最小化的投影圖像配準(zhǔn)算法[J]. 儀器儀表學(xué)報(bào), 2010, 31(6): 1323-1328.

Panoramic Image Mosaic Algorithm Based on Edge Feature Points

WAN Nianhong, WANG Xuerong (Department of Engineering Technology, Zhejiang Dongfang Vocational and Technical College,
Wenzhou, China 325011)

It is known to all that the panorama mosaic technology has become a research hotspot in the field of the image processing. The traditional panorama mosaic methods based on features have disadvantages for twist and rotation to big influence on the matching result, so that the mosaic quality is not high apparently. To improve and enhance the patchwork effect and divergence, firstly, the research is done on the solution and fusion of the image edge feature point registration, geometric coordinate optimization, space coordinate transformation, optimal projection transformation. Then, a type of panoramic image mosaic based on its improved related algorithm is put forward and put into the application experiment. It turns out that the proposed algorithm is much better in patchwork effect and practical value than the traditional algorithm.

Panoramic Image Mosaic; Edge Feature Points; Image Registration; Geometric Coordinate Optimization; Optimal Projection Transformation; Image Fusion

T391

A

1674-3563(2016)01-0042-10

10.3875/j.issn.1674-3563.2016.01.006 本文的PDF文件可以從xuebao.wzu.edu.cn獲得

(編輯：王一芳)

2015-03-27

萬(wàn)年紅(1977- )，男，江西新建人，副教授，碩士，研究方向：計(jì)算機(jī)軟件與理論