李艷玲,汪國(guó)平

(1 長(zhǎng)治學(xué)院計(jì)算機(jī)系,山西長(zhǎng)治 046011;2 北京大學(xué)信息科學(xué)技術(shù)學(xué)院,北京 100871)

0 引言

航拍圖像拼接技術(shù)通過對(duì)一系列航拍圖像的拼接融合,拼成一幅相對(duì)完整的全景視圖,已廣泛應(yīng)用于虛擬現(xiàn)實(shí)技術(shù),遙感圖像處理、計(jì)算機(jī)視覺等領(lǐng)域。單視點(diǎn)圖像拼接已有成熟的算法和應(yīng)用,但是無(wú)人機(jī)航拍圖像選取多個(gè)視點(diǎn)和場(chǎng)景,相機(jī)位置不斷變化,而場(chǎng)景深度又很難獲知,這給圖像的匹配和拼接帶來(lái)一定的難度。文獻(xiàn)[1]采用流形拼接法,著重從其中幾幅圖像中選取重復(fù)的運(yùn)動(dòng)物體。文獻(xiàn)[2]提出了尺度和旋轉(zhuǎn)不變的檢測(cè)子和描述子SURF,極大地提高了計(jì)算和比較速度。文獻(xiàn)[3]提出了簡(jiǎn)單有效的多視點(diǎn)圖像校正算法,消除垂直視差。文獻(xiàn)[4]提出了直方圖迭代匹配結(jié)合斜率改正比的消除方法,有效改善了圖像質(zhì)量。

多視點(diǎn)圖像拼接技術(shù)從一定程度上緩解了全景相機(jī)或廣角鏡昂貴,普通數(shù)碼相機(jī)視野范圍狹窄的矛盾,但是由于飛行器姿態(tài)角度變化、抖動(dòng)問題、天氣原因,或重疊圖像不能完全匹配等問題,在不加任何限定的條件下是無(wú)法完成拼接的。所以限定航拍角度垂直于地面,各幅圖像間具備20%～30%的重疊區(qū)域。假定“平面場(chǎng)景”下,航拍圖像間的映射退化成單應(yīng)性矩陣,可以用一個(gè)相似變換或仿射變換取代,以確定多視點(diǎn)航拍圖像拼接的解[5]?？梢暂斎胍淮芜B續(xù)飛行拍攝得到的多張航拍圖像,通過算法全自動(dòng)地確定圖像鄰接位置,拼接過程不需要人工干預(yù)。整個(gè)拼接流程主要由特征點(diǎn)匹配模塊、確定拼接順序模塊、運(yùn)動(dòng)參數(shù)估計(jì)模塊和圖像合成模塊構(gòu)成。

1 航拍圖像拼接

1.1 SIFT特征匹配

SIFT(尺度不變特征變換)是由David G.Lowe在1999年提出的局部特征檢測(cè)算法,在2004年加以完善總結(jié)[6]。SIFT算法的本質(zhì)就是在不同的尺度空間中提取興趣點(diǎn),并計(jì)算興趣點(diǎn)的尺度和方向。為了在尺度空間檢測(cè)到穩(wěn)定的關(guān)鍵點(diǎn),Lower提出了DOG尺度空間,利用不同尺度的高斯差分核與圖像卷積生成。為了尋找極值點(diǎn),DOG空間中每一個(gè)采樣點(diǎn)要和本層及上下兩層共26個(gè)點(diǎn)作比較,以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)。該極值點(diǎn)就認(rèn)為是圖像在該尺度下的候選特征點(diǎn)或關(guān)鍵點(diǎn),接下來(lái)去除低對(duì)比度特征點(diǎn)和不穩(wěn)定的邊緣特征點(diǎn)。根據(jù)關(guān)鍵點(diǎn)周圍像素點(diǎn)的梯度分布特性,為每個(gè)關(guān)鍵點(diǎn)指定一個(gè)主方向,以確保特征描述符的旋轉(zhuǎn)不變性。對(duì)于每一個(gè)采樣圖像L(x,y),(x,y)處的梯度模值m(x,y)和方向θ(x,y)可以通過像素差分式(1)和式(2)計(jì)算。

(1)

(2)

由每個(gè)關(guān)鍵點(diǎn)的位置、尺度和方向,確定一個(gè)SIFT區(qū)域。在以關(guān)鍵點(diǎn)為中心的鄰域區(qū)域內(nèi)進(jìn)行采樣,并對(duì)該區(qū)域統(tǒng)計(jì)梯度直方圖[7]。

以關(guān)鍵點(diǎn)為中心取8×8個(gè)像素的窗口,然后在8個(gè)4×4的小塊上,計(jì)算8個(gè)方向的梯度大小和梯度方向直方圖。每個(gè)特征點(diǎn)共可以得到128維的描述符,將這個(gè)1×128的向量歸一化后,最終完成特征點(diǎn)的提取過程。

1.2 建立圖模型

為了提高拼接的精度,對(duì)圖像建立相鄰關(guān)系圖模型,將相鄰距離作為邊的權(quán)值,利用最小生成樹確定拼接順序,可以最大限度的利用相鄰圖像的聚簇。

1)確定相鄰關(guān)系

建立圖模型時(shí)對(duì)圖像兩兩匹配,特征點(diǎn)對(duì)匹配多的確定為相鄰圖像。文中采用SIFT特征匹配,為了確保特征匹配是完全正確的,提出雙向驗(yàn)證策略:

(A→B)∩(B→A)

(3)

式中A→B代表將圖像A的特征在圖像B的特征集中做查詢。若圖像1和圖像2有一個(gè)特征點(diǎn)相匹配,那么再檢測(cè)圖像2與圖像1是否也在相應(yīng)特征點(diǎn)上匹配,如果匹配成功,則認(rèn)為該匹配是正確的。如圖1所示,圖1(a)只做A→B的驗(yàn)證,一個(gè)特征點(diǎn)對(duì)應(yīng)了多個(gè)匹配,顯然是不正確的,而圖1(b)可以消除全部的錯(cuò)誤匹配,提高匹配精度。確定相鄰關(guān)系后,將特征匹配數(shù)量的倒數(shù)作為邊的權(quán)值,構(gòu)成圖模型。

2)確定拼接順序

建立的圖模型有可能是不連通的。對(duì)非連通圖,每次從一個(gè)新的起始點(diǎn)出發(fā)進(jìn)行搜索,得到的頂點(diǎn)訪問序列恰為其各個(gè)連通分量的頂點(diǎn)集。基于不連通圖模型采用Kruscal算法,一次性建立多顆最小生成樹,構(gòu)造最小代價(jià)生成樹T。對(duì)每一棵樹T重復(fù)如下步驟:

step1尋找一個(gè)根節(jié)點(diǎn)。對(duì)于節(jié)點(diǎn)i,定義每個(gè)節(jié)點(diǎn)的權(quán)重如下:

∑j∈Nimin(k,matchij)

(4)

式中Ni表示i節(jié)點(diǎn)相鄰節(jié)點(diǎn)的集合。為了防止兩張相鄰特別近的圖像匹配數(shù)過多,影響真正圖像聚簇中心的發(fā)現(xiàn),取k=100可以得到不錯(cuò)的結(jié)果。

step 2選取權(quán)重最大的作為根節(jié)點(diǎn)。

step 3廣度優(yōu)先對(duì)子節(jié)點(diǎn)做增量式拼接。相鄰子塊存在重復(fù)區(qū)域,多次重復(fù)操作影響速度,采用增量式拼接提高拼接效率[8]。

上述步驟對(duì)圖模型的e條邊各掃描一次,顯而易見,第一次選擇最小代價(jià)的邊需O(e)的時(shí)間,每次選擇的時(shí)間僅需O(loge)。不連通圖模型的每個(gè)連通分量可看成是一個(gè)等價(jià)類,則構(gòu)造最小代價(jià)生成樹T加入新邊的過程類似于求造價(jià)類的過程,選擇適合的數(shù)據(jù)類型來(lái)描述生成樹,則構(gòu)造T的時(shí)間復(fù)雜度也為O(loge)。

2 圖像融合

由于圖像獲取過程中受光照、拍攝時(shí)間、天氣等因素的影響,存在光照差異較大的圖像,圖像拼接的接縫處會(huì)不可避免地出現(xiàn)突變。因?yàn)楹脚膱D像的分辨率非常巨大,所以做全局的融合對(duì)時(shí)間和空間的開銷都非常大,因此采取距離圖加權(quán)的方法,做局部的圖像融合。但是該算法在接縫處兩側(cè)的像素灰度差偏差較大,所以結(jié)合直方圖匹配法使接縫部分消除差異,符合光照一致性。

2.1 直方圖匹配算法

直方圖就是對(duì)像素個(gè)數(shù)進(jìn)行統(tǒng)計(jì),通過圖像的統(tǒng)計(jì)特征將圖像變換為某一參照?qǐng)D像的形式。直方圖被定義為:

(5)

式中:nk表示灰度為rk的像素個(gè)數(shù)；N為圖像的像素總數(shù)。直方圖匹配實(shí)現(xiàn)步驟如下:

1)調(diào)整圖像的灰度級(jí)為256,統(tǒng)計(jì)原始圖像的灰度直方圖;

2)對(duì)直方圖均衡化,讓y軸像素點(diǎn)的值在新分布上盡可能地均勻展開；

3)利用直方圖匹配得到滿足規(guī)定形狀的匹配圖像,并使用相似度公式計(jì)算相似度值,相關(guān)系數(shù)用巴氏距離效果最好。經(jīng)過處理后的圖像具有相同的色度和亮度,拼接后接縫處顏色過渡自然,消除突變,可以實(shí)現(xiàn)無(wú)縫拼接[9]。

圖2中的(a)、(b)兩張圖像,(a)的直方圖波形主要出現(xiàn)在右側(cè),而(b)的直方圖則出現(xiàn)在左側(cè),顯然(a)圖比(b)圖亮。如果直接拼接,則接縫處會(huì)有比較強(qiáng)烈的明暗變化,因此用直方圖匹配來(lái)消除色調(diào)和亮度的差異,盡量調(diào)整為一致[10]。

對(duì)圖2(a)、圖2(b)進(jìn)行直方圖均衡化,增加圖像的灰度動(dòng)態(tài)范圍、圖像的明暗對(duì)比度。然后應(yīng)用直方圖匹配,調(diào)整原灰度直方圖使之具有規(guī)定的形狀,使匹配變換的顏色分布一樣。

通過直方圖匹配,圖2(a)和圖2(b)兩幅圖像的相似度有所降低,如表1所示。相似度越小,表示圖像的匹配度越高。匹配后兩副圖像具有相同的灰度分布,便于后續(xù)的拼接處理。

表1 圖像相似度

2.2 羽化處理

圖像融合的手段有很多,比如Multiband算法、laplace金字塔算法等。出于拼接時(shí)間的考慮,采取羽化算法,做接縫處的圖像融合[11-12]。將匹配校正后的圖像進(jìn)行拼接,在找到的重疊線兩側(cè)進(jìn)行邊緣模糊化,提高拼接效果,使之過渡自然,符合視覺效果。

羽化算法對(duì)界線位置的兩側(cè)進(jìn)行強(qiáng)制改正,通過統(tǒng)計(jì)邊界兩側(cè)一定范圍內(nèi)的灰度值,消除灰度差異,減少突變情況。距離接縫d的像素點(diǎn)的灰度值改正量為Δh′:

(6)

式中：w是改正寬度；Δh是邊界兩側(cè)的灰度差?？梢钥闯?距離接縫越近,灰度值改正量越大。

如圖3所示是航拍圖像拼接處理的局部效果圖,結(jié)合了光照差異的局部圖像融合方法,可以消除明顯的接縫,視覺效果在細(xì)節(jié)上具有較好的連續(xù)性。

對(duì)該圖像用SIFT、SURF和文中3種算法進(jìn)行拼接實(shí)驗(yàn),其成功匹配點(diǎn)對(duì)數(shù)和總運(yùn)行時(shí)間如表2所示。

表2 算法比較

從結(jié)果可以看出,SURF算子在匹配正確率和運(yùn)行效率方面優(yōu)于SIFT,文中算法采用雙向驗(yàn)證結(jié)合直方圖匹配使圖像灰度分布更均勻,尤其對(duì)于圖像中有用的特征點(diǎn)灰度相近時(shí),會(huì)大大提升提取的點(diǎn)對(duì)數(shù)目,且對(duì)光照差異具有較強(qiáng)的魯棒性。但因?yàn)樵诮涌p之前要做曝光補(bǔ)償,所以運(yùn)行時(shí)間較SUFF有所增加,但算法時(shí)間仍優(yōu)于SIFT算法。

3 結(jié)束語(yǔ)

多視點(diǎn)航拍圖像拼接技術(shù),將多張低分辨率、小視角的正投影航拍圖像,全自動(dòng)的拼接成一張高分辨率、大視角的圖像,成本低廉,使用方便,且在飛行高度足夠的情況下,拼接精度高,具有廣大的應(yīng)用前景。

文中在拼接時(shí)利用圖模型確定鄰接關(guān)系,并采用廣度優(yōu)先增量式拼接。圖像合成部分結(jié)合了直方圖匹配實(shí)現(xiàn)圖像的局部羽化融合,不僅減少了計(jì)算量,而且使顏色更加自然均勻。但是在航拍相鄰圖像的光照差異很小時(shí),進(jìn)行直方圖匹配后,顏色有失真現(xiàn)象,有時(shí)會(huì)增加噪聲點(diǎn),所以效果并不理想。文中算法針對(duì)于明暗光照差別較大的室外場(chǎng)景會(huì)有不錯(cuò)的效果。