劉 彤,宋嘉樂,張子林,舒瀚達

(華北光電技術(shù)研究所,北京 100015)

1 引 言

隨著航空無人系統(tǒng)技術(shù)的快速發(fā)展,機載圖像拼接技術(shù)已經(jīng)成為一個備受矚目的研究領(lǐng)域。其核心目標(biāo)是將多幅圖像有效地合并成一個高分辨率、全景視野的圖像,為軍事、航空、環(huán)境監(jiān)測等領(lǐng)域的高精度圖像獲取和分析提供了強有力的技術(shù)支撐。在這一背景下,機載分布式圖像拼接技術(shù)受到越來越廣泛的重視和研究。

Cui等人[1]針對無人機熱紅外遙感圖像拼接中存在的累積誤差問題提出了一種簡單、魯棒的拼接方法。該方法通過探索飛行過程中的先驗信息,提高了全局相似性先驗?zāi)Ｐ偷谋镜貙?zhǔn)能力,并在大量實驗數(shù)據(jù)上證明了該方法的優(yōu)越性,該方法簡單易用,在不同條件下具有較好的表現(xiàn)。Cai等人[2]提出一種適用于紅外圖像的實時拼接方法,通過引入改進的標(biāo)準(zhǔn)化互相關(guān)的尺度不變特征變換方法來提高拼接效果和速度。該方法的計算時間大大減少,但與現(xiàn)有方法的拼接質(zhì)量相當(dāng)。Huang等人[3]介紹了一種自動的紅外圖像拼接方法,能夠選擇主導(dǎo)幀并在子集上進行特征提取和圖像配準(zhǔn),最后使用多種圖像融合方法得到無縫的全景圖像。該方法能夠有效地減少時間成本,但對于某些情況可能需要手動選擇子集幀。Gao等人[4]針對航拍場景將圖像對齊分為序列圖像對齊和多列圖像對齊,結(jié)合局部相似變換和區(qū)域性單應(yīng)性變換實現(xiàn)了高精度拼接。該方法解決了多列圖像拼接中重疊率不一致的問題,但算法復(fù)雜度過高。Wang等人[5]提出一種針對小型無人機熱紅外相機拼接視頻幀的實用技術(shù),采用SIFT算法檢測匹配特征點,并使用k-d樹和RANSAC算法找到最佳匹配并消除異常值。提出一種稱為隨機M最小二乘的新方法來尋找?guī)g的最優(yōu)投影變換參數(shù),最后,采用多分辨率融合方法拼接注冊幀。該方法具有較強的魯棒性,但在處理大量圖片時難以保證計算效率。

上述傳統(tǒng)的圖像拼接算法都是基于純旋轉(zhuǎn)差異或平面成像,研究的無人機圖像拼接算法中存在拼接質(zhì)量不佳、算法復(fù)雜度高以及處理大規(guī)模圖片拼接效果差等問題,無法適用分布式機載場景拼接精度和實時性的要求。而APAP算法采用移動直接線性變換的新估計技術(shù),調(diào)整圖像投影偏差,生成盡可能投影的圖像對齊方式。此外,在進行多幅圖像拼接時采用捆綁調(diào)整技術(shù),從而提高分布式機載場景圖像拼接的精度和穩(wěn)定性。因此,本文針對機載分布式平臺的紅外圖像,在APAP圖像拼接算法的基礎(chǔ)上提出一種改進的分布式機載圖像拼接算法,具有較高的實際應(yīng)用價值。

2 APAP算法

在實際飛行中,由于多個無人機搭載的光電傳感器存在差異以及無人機存在多種飛行狀態(tài),采集到的紅外圖像中目標(biāo)尺寸伸縮,拍攝角度相差較大,存在幾何畸變等視差,使得圖像的空間變換關(guān)系復(fù)雜多變。傳統(tǒng)的圖像拼接算法通?；诩冃D(zhuǎn)差異或平面成像,而對于分布式機載圖像的拼接卻存在適用性不足的問題,容易導(dǎo)致重影、偽像甚至拼接失敗等現(xiàn)象。針對上述問題,基于移動直接線性變換(Moving DLT)的APAP算法[6]具有較好的適用性,該算法對圖像的投影偏差進行相應(yīng)調(diào)整,生成盡可能投影的圖像對齊方式,同時采用捆綁調(diào)整對數(shù)個投影翹曲進行細化,以提高圖像拼接的精度和穩(wěn)定性。

APAP主要算法流程為:首先,采用SIFT特征點檢測算法獲取待拼接圖像之間的匹配特征點對。隨后,使用隨機抽樣一致性算法對外點進行剔除,得到內(nèi)點集合。接著,利用移動直接線性變換和加權(quán)SVD求解全局單應(yīng)性矩陣。為了實現(xiàn)網(wǎng)格單元級別的拼接,對源圖像進行網(wǎng)格式劃分,然后選取每個最小網(wǎng)格單元的中心點,并計算所有網(wǎng)格中心點與源圖像中內(nèi)點之間的歐式距離及其相應(yīng)的權(quán)重值。將這些權(quán)重值添加到移動直接線性變換法的矩陣中,構(gòu)建出新的矩陣,并再次進行SVD分解,以獲得當(dāng)前網(wǎng)格單元的局部單應(yīng)性矩陣。遍歷所有網(wǎng)格單元,利用局部單應(yīng)性矩陣將其映射變換到全景圖像畫布中,進而獲得經(jīng)過APAP變換操作后的源圖像。最后,采用加權(quán)平均融合算法對接縫進行融合處理,以實現(xiàn)更佳的拼接視覺效果。

使用APAP算法對采集到的分布式光電圖像數(shù)據(jù)進行拼接實驗,觀察發(fā)現(xiàn)該算法對背景較為簡單的分布式圖像能夠?qū)崿F(xiàn)無拼接錯位的精準(zhǔn)對齊,但對于背景復(fù)雜多變、分布式圖像間視差大、幾何畸變嚴(yán)重的圖像,拼接結(jié)果中存在嚴(yán)重的模糊重影以及邊緣處非重疊區(qū)域的投影失真現(xiàn)象。為解決上述問題,本文在APAP拼接算法的基礎(chǔ)上,針對機載分布式光電圖像特點進行改進,提出一種改進的APAP拼接算法。該改進算法能夠?qū)崿F(xiàn)機載分布式光電圖像的高精度、廣域大規(guī)模拼接,獲得具有豐富態(tài)勢感知信息的廣域大規(guī)模紅外全景圖像。

3 改進APAP拼接算法

根據(jù)分布式光電紅外圖像特點,本文對APAP拼接算法進行了如下改進:

(1)針對分布式機載圖像拼接中不同飛行姿態(tài)視角差異較大,圖像空間幾何變換關(guān)系復(fù)雜導(dǎo)致拼接模糊重影的問題,在該算法投影變換前使用基于徑向基函數(shù)的TPS模型對重疊區(qū)域中圖像做形變處理;

(2)針對APAP算法中的單應(yīng)性模型對拼接圖像邊緣處的非重疊區(qū)域投影失真問題,使用線性化單應(yīng)平滑外推至全局性相似性變換,以減少圖像邊緣處的投影失真;

(3)針對現(xiàn)有APAP算法計算復(fù)雜度高,難以滿足機載圖像拼接實時性要求的問題,使用網(wǎng)格劃分法僅對網(wǎng)格節(jié)點處形變進行計算,其余圖像中像素點形變利用線性內(nèi)插法獲得,從而減少算法復(fù)雜度,提高改進后算法的運行效率。

3.1 重疊區(qū)域視差消除

為了消除由于視差過大而導(dǎo)致的重疊區(qū)域圖像之間的模糊重影現(xiàn)象,可以在進行投影操作之前對重疊區(qū)域中的目標(biāo)圖像進行形變處理[7]。假設(shè)存在兩幅重疊圖像Io和IT,且對應(yīng)的匹配點記為Oi(xi,yi)T,Ti(ui,vi)T。由于薄板樣條法(TPS)能夠有效的將圖像進行扭曲變形,使圖像具有良好的對齊質(zhì)量。因此,將薄板樣條法應(yīng)用于單應(yīng)性變換中,對目標(biāo)圖像IT做形變處理,形變處理函數(shù)表達式如式(1)所示:

(1)

下面是最佳翹曲變換的總能量函數(shù)的定義:

Jλ=JD+λJS

(2)

其中,對準(zhǔn)項JD以及平滑項JS表達式分別如式(3)和式(4)所示:

(3)

JS=?(x,y)∈Ω|?2g|2dxdy

(4)

根據(jù)TPS模型理論[8],最小能量函數(shù)Jλ的最優(yōu)解為:

(5)

(6)

3.2 消除邊緣投影失真

為了消除APAP拼接算法在非重疊邊界區(qū)域引起的透視失真,本文對整幅圖像的移動直線變換估計進行了改進。在非重疊區(qū)域,采用線性化單應(yīng)性變換,并逐漸平滑外推至全局相似性變換,以消除非重疊邊界處的透視失真現(xiàn)象[9]。在一維透視變換中,使用非重疊邊界的單應(yīng)性變換會嚴(yán)重影響尺度變化,在二維透視變換,該扭曲失真現(xiàn)象表現(xiàn)得更為嚴(yán)重。

線性化單應(yīng)性變換將圖像中錨點p周圍任意像素點q展開為單應(yīng)的泰勒級數(shù),表示如下:

h(q)=h(p)+Jh(p)(q-p)+ο(‖q-p‖)

(7)

(8)

對于全局相似性變換問題,直接對所有特征點進行全局相似性變換的匹配搜索并不能保證獲得最優(yōu)解。特別是當(dāng)存在重疊區(qū)域視差較大的不同平面時,這種現(xiàn)象表現(xiàn)得尤為明顯。因此,本文采用分割處理的方法來計算獲取最優(yōu)的相似性變換。具體而言,首先對匹配的特征點對進行閾值為εk的隨機抽樣一致性處理,以剔除異常的特征點對。接著,利用閾值大小為εl的隨機抽樣一致性操作,在平面內(nèi)搜索具有最大內(nèi)點數(shù)量的單應(yīng)性變換。若搜索結(jié)果出現(xiàn)內(nèi)點數(shù)量εl<εk的情況,則將該內(nèi)點從集合中刪除,并不斷迭代搜索,直至內(nèi)點個數(shù)小于給定閾值。使用匹配好的內(nèi)點對計算單個相似性變換,選取最小旋轉(zhuǎn)角度作為變換的旋轉(zhuǎn)角。最后,針對拼接結(jié)果中的非自然區(qū)域,采用公式(9)的變換方式,對全局相似性變換進行更新處理:

(9)

此外,需要對目標(biāo)圖像傳遞到參考圖像的變化進行補償處理,以消除由于全局相似性更新導(dǎo)致目標(biāo)圖像發(fā)生翹曲的情況,從而解決對齊目標(biāo)圖像與參考圖像重疊區(qū)域無法對齊的問題。因此,參考圖像的局部變換可以表示如下:

(10)

3.3 拼接速率提升

為了提高圖像拼接的計算速度,可以將源圖像和目標(biāo)圖像進行網(wǎng)格劃分。該方法將圖像分割成大小均勻的網(wǎng)格單元,如圖1所示,其中圓點表示網(wǎng)格節(jié)點位置。這種劃分方法可以有效地減少計算量并提高拼接效率。

圖1 網(wǎng)格劃分方式示意圖

在圖像形變計算中,本文提出一種新的方法,將原先基于像素點的形變計算改為基于劃分好的網(wǎng)格節(jié)點的形變計算。具體實現(xiàn)步驟如下:首先,利用第3.1節(jié)中的方法,求解變形函數(shù),并將其應(yīng)用于劃分好的網(wǎng)格節(jié)點,計算出相應(yīng)的形變值;其次,對于未被劃分的像素點,采用線性內(nèi)插法,計算出對應(yīng)的形變值。

(11)

通過使用具備雙線性內(nèi)插功能的逆映射變換,能夠?qū)D像中除網(wǎng)格節(jié)點處其余像素點進行翹曲處理。采用網(wǎng)格分割技術(shù)獲取目標(biāo)圖像的形變信息,可極大地減少圖像翹曲變換所需的計算時間,從而提升拼接算法的速率。

結(jié)合3.1節(jié)和3.2節(jié),本文提出了一種高速率重疊區(qū)域視差消除的總體方案,具體表現(xiàn)如圖2所示。

圖2 高速率視差消除總體方案

該方案包括圖像的投影變換及其反變換表示為H和H-1、基于徑向基函數(shù)的TPS形變記為MTPS,通過APAP算法計算所得的變換表示為W。通過使用圖2中的變換方法,可以有效地消除視差帶來的對齊偏差和重影問題,提高圖像拼接的精度。

4 實驗結(jié)果與分析

4.1 評價指標(biāo)

本文使用基于人眼視覺的主觀評價以及均方根誤差(RMSE)、峰值信噪比(PSNR)、結(jié)構(gòu)相似度(SSIM)、信息熵[10]、拼接耗時等評價指標(biāo)綜合評估所拼接的全景圖像質(zhì)量。

圖像均方根誤差通過計算匹配特征點對在參考平面偏差的平方和的平均值,并對其進行開平方運算得出。均方根誤差越大,表明拼接后圖像的對齊誤差和細節(jié)模糊越嚴(yán)重,反之則表明圖像質(zhì)量較好。該度量方法可以通過以下公式進行計算:

(12)

峰值信噪比在圖像處理中常用于評估參考圖像與評價圖像之間的噪聲,圖像中峰值信噪比表示為峰值信號能量與均方根誤差之比,如式(13)所示:

(13)

結(jié)構(gòu)相似度可用于測量不同圖像之間的對比度、亮度和結(jié)構(gòu)信息,并對圖像細節(jié)、輪廓等信息的相似度進行有效評估,其數(shù)學(xué)計算模型如下:

(14)

信息熵常被用于對圖像中信息的豐富度進行評估,其值越大表示圖像中包含的信息量越豐富,圖像質(zhì)量越佳,計算公式如下所示:

(15)

拼接耗時是指對圖像進行拼接操作時所使用算法的運行時間,該指標(biāo)能反映出圖像拼接算法的實時性,并對其運行效率進行有效評估。

4.2 實驗數(shù)據(jù)

為驗證拼接算法在分布式機載光電圖像中的適用性,分別對飛行高度為100 m的純水田、純建筑物以及水田與建筑物相結(jié)合的三組不同場景進行拼接實驗,從而測試算法的適用性,三組待拼接的場景圖像見圖3。

圖3 三組待拼接場景圖像

此外,為進一步驗證算法對大規(guī)模圖像拼接能力,分別使用三架無人機采集154張三維特性建筑物與水田相結(jié)合的復(fù)雜場景進行拼接實驗。

4.3 實驗結(jié)果分析

在原有的APAP算法基礎(chǔ)上,針對分布式平臺圖像數(shù)據(jù)視差差異引起的重疊區(qū)域模糊重影、單應(yīng)性模型所導(dǎo)致的邊緣投影失真以及拼接速率低等問題,提出的分布式拼接算法對三組不同場景以及大規(guī)模圖像進行拼接實驗,實驗結(jié)果如圖4、圖5所示。

圖4 三種不同場景下改進算法拼接結(jié)果

圖5 大規(guī)模三維建筑與水田結(jié)合復(fù)雜場景拼接結(jié)果

改進算法在三種不同場景下的拼接結(jié)果如圖4所示,其中圖4(a)、(b)、(c)是三種場景下為了獲得最優(yōu)相似性變換將特征點對做分割處理后不同閾值提取特征點對結(jié)果。圖4(d)為純水田場景下改進后算法的拼接結(jié)果,相比于使用APAP算法,該算法具有更高的對齊精度和更加平滑的接縫處理;圖4(e)的純建筑物場景拼接結(jié)果中改進算法框內(nèi)圖像無明暗差異,觀察不到明顯的接縫;圖4(f)的水田與建筑物相結(jié)合的混合場景拼接結(jié)果,相比于使用原始APAP拼接算法,圖4(f)位于中下部框內(nèi)的重影模糊現(xiàn)象得以解決,同時下方邊緣處兩個框內(nèi)圖像的投影失真得到有效消除。

根據(jù)圖5可得,本文提出的改進的APAP分布式拼接算法能夠有效地將三架無人機采集的大規(guī)模紅外圖像拼接成一幅具有高分辨率的廣域大規(guī)模全景圖像。從四部分局部放大結(jié)果表明,該算法能夠?qū)崿F(xiàn)高精度的圖像對齊,避免模糊重影現(xiàn)象,并且在圖像與圖像之間沒有明顯的亮度差異,接縫處過渡平滑,即使在圖像特征更為復(fù)雜多變的三維建筑物與水田結(jié)合場景中,該算法仍然具有較好的大規(guī)模拼接效果。

為了更加客觀地評估圖像拼接質(zhì)量,本文采用了均方根誤差、峰值信噪比、結(jié)構(gòu)相似度、信息熵以及拼接耗時等客觀評價指標(biāo)進行評估。這些指標(biāo)能夠全面反映圖像拼接的質(zhì)量,包括圖像對齊精度、過渡平滑度、投影失真等方面,從而更加客觀地評價算法的優(yōu)劣。本文使用上述指標(biāo)分別對原始APAP算法以及改進的APAP分布式拼接算法在三種不同場景以及三維特性建筑物與水田相結(jié)合的復(fù)雜場景拼接后圖像質(zhì)量進行評估,APAP與改進算法的評估結(jié)果分別如表1、2所示。

表1 APAP算法拼接圖像質(zhì)量評價指標(biāo)

根據(jù)表1和表2,可以看出改進算法相比于APAP算法,在三個場景以及大規(guī)模圖像中都有著更好的拼接圖像質(zhì)量。其中,改進算法的RMSE在所有場景中都比APAP算法低,說明改進算法對圖像拼接誤差控制更加精細;改進算法在不同場景中的PSNR、SSIM、圖像熵值也都高于APAP算法,說明改進算法能夠更好地抑制噪聲,保持圖像結(jié)構(gòu)一致性以及具有更為豐富的圖像信息;并且無論在少幅圖像和大規(guī)模圖像拼接中都具有更短的拼接耗時。

表2 改進算法拼接圖像質(zhì)量評價指標(biāo)

綜上所述,改進算法相比于APAP算法在拼接圖像質(zhì)量方面有著明顯的提升,在保證圖像拼接質(zhì)量的同時,盡可能減少拼接耗時。此外,也能較好的適用于大規(guī)模分布式場景下的圖像拼接,獲取具有豐富態(tài)勢感知信息的廣域大規(guī)模全景圖像。

5 結(jié) 論

本文針對分布式機載光電圖像拼接存在的不同角度視差較大、圖像空間幾何變換關(guān)系復(fù)雜導(dǎo)致的模糊重影、偽像甚至拼接失敗等問題,通過選取拼接效果最好的APAP算法,并在其基礎(chǔ)上提出了改進方案。該改進算法利用變形處理消除模糊重影,采用線性化單應(yīng)平滑外推至全局性變換,有效減少邊緣處投影失真,并利用網(wǎng)格劃分法計算圖像網(wǎng)格節(jié)點處的形變,以提高算法運行效率。本文對該算法進行了多個場景下的測試,實驗結(jié)果表明改進算法具有更小的對齊誤差和更高的圖像細節(jié)信息、峰值信噪比、結(jié)構(gòu)相似度和圖像熵等指標(biāo),得到的圖像輪廓更清晰,包含的信息量更為豐富,有效解決APAP算法存在的模糊重影和邊緣處非重疊區(qū)域的投影失真問題。在進行大規(guī)模圖像拼接時,該改進算法能夠有效實現(xiàn)154張圖像的大規(guī)模拼接,得到分辨率為10 K×10 K的高分辨率全景圖像,拼接耗時為138 s,驗證了改進的分布式拼接算法的優(yōu)越性。因此,該改進算法可以投入到分布式機載圖像拼接的實際應(yīng)用中,具有重要的實際應(yīng)用價值。