王曉麗，戴華陽(yáng)，余 濤，謝東海，吳 俁

(1.中國(guó)礦業(yè)大學(xué)(北京)地球科學(xué)與測(cè)繪工程學(xué)院，北京100083;2.中國(guó)科學(xué)院遙感應(yīng)用研究所遙感定標(biāo)與真實(shí)性檢驗(yàn)研究室，北京100101)

一、引 言

無(wú)人機(jī)遙感作為一種新的遙感技術(shù)，具有時(shí)效性強(qiáng)、機(jī)動(dòng)靈活等優(yōu)點(diǎn)，在災(zāi)害監(jiān)測(cè)和資源調(diào)查等領(lǐng)域發(fā)揮著越來(lái)越重要的作用。受飛機(jī)飛行高度和數(shù)碼相機(jī)焦距的限制，無(wú)人機(jī)圖像具有像幅小、數(shù)量多、航帶多等特點(diǎn)，為了得到拍攝地區(qū)的全景圖，圖像拼接成為必不可少的一步。

圖像拼接是指將相鄰的具有一定重疊區(qū)域的兩幅或多幅圖像拼接成一幅大圖像的技術(shù)過(guò)程。無(wú)人機(jī)圖像的拼接過(guò)程包括圖像預(yù)處理、圖像配準(zhǔn)、圖像融合三大步驟［1］。其中，圖像預(yù)處理主要是指對(duì)圖像進(jìn)行幾何糾正，將它們劃到統(tǒng)一坐標(biāo)系下;圖像配準(zhǔn)的目的是建立兩幅圖像之間的空間坐標(biāo)關(guān)系。而在圖像拼接的過(guò)程中，往往存在以下兩大問(wèn)題需要解決：

1)曝光差異產(chǎn)生的拼接線［2］。在圖像的實(shí)際采集過(guò)程中，受相機(jī)鏡頭的曝光時(shí)間及地面環(huán)境的變化等因素的影響，極易造成拍攝圖像在亮度和色彩上存在差異，將這樣的兩幅圖像簡(jiǎn)單的配準(zhǔn)疊放到一起，必然會(huì)在邊界處留下明顯的拼接線，拼接后的圖像也呈現(xiàn)出明顯的色彩不一，如圖1所示。

2)鬼影［3］。重疊區(qū)圖像出現(xiàn)重影物體的現(xiàn)象通常稱之為鬼影，鬼影現(xiàn)象的產(chǎn)生有兩個(gè)原因：一是合成鬼影，當(dāng)圖像中存有運(yùn)動(dòng)物體時(shí)，這些物體因?yàn)槲灰贫鵁o(wú)法統(tǒng)一合成;二是配準(zhǔn)誤差，飛機(jī)在空中進(jìn)行拍攝時(shí)運(yùn)動(dòng)不在一個(gè)平面上，拍得的圖像之間既存在平移又存在一定的旋轉(zhuǎn)，很難達(dá)到精確配準(zhǔn)，重疊區(qū)圖像易產(chǎn)生錯(cuò)位。圖2為采用均值融合得到的拼接圖像，重疊區(qū)域由于出現(xiàn)重影而變得模糊。

圖1 配準(zhǔn)疊放圖(未經(jīng)融合)

圖2 均值融合圖

圖像融合是解決曝光差異和消除拼接線的關(guān)鍵技術(shù)。特征融合方法有平均值融合和加權(quán)平均值融合，這兩種方法雖然簡(jiǎn)單，但是拼接線的消除效果并不理想。文獻(xiàn)［4］利用小波變換將圖像轉(zhuǎn)換到頻率域，并在各個(gè)頻域分段上完成拼接，以達(dá)到消除拼接線的目的;該算法理論上雖然嚴(yán)密，但是在處理彩色圖像以及重疊區(qū)域較小的圖像時(shí)存有一定的局限性。Perez等人在2003年提出了泊松圖像融合算法［5］，該方法借助一個(gè)指導(dǎo)場(chǎng)，通過(guò)求解泊松方程得到待融合的未知區(qū)域的梯度場(chǎng)來(lái)實(shí)現(xiàn)穩(wěn)定的融合，在消除拼接線問(wèn)題上取得了一定效果。Burt和Adelson提出的多分辨率融合算法［6］是處理曝光差異問(wèn)題的經(jīng)典算法，該算法可以實(shí)現(xiàn)拼接圖像在重疊區(qū)的平滑過(guò)渡，使其達(dá)到整體的勻色效果。

解決鬼影問(wèn)題的主要方法是基于圖切割的方法。按照切割方式不同，分為3類：頂點(diǎn)覆蓋法［3］、流行拼接法［7］、最佳縫合線法［8］。前兩種方法在解決合成鬼影問(wèn)題上可以取得明顯效果，但是計(jì)算復(fù)雜，其中流行拼接法還對(duì)運(yùn)動(dòng)物體的大小和運(yùn)動(dòng)幅度有限制;最佳縫合線法是將重疊區(qū)一分為二，兩邊各取一幅圖像的內(nèi)容，這樣便有效地避免了合成鬼影和配準(zhǔn)鬼影。為了同時(shí)解決鬼影和曝光差異問(wèn)題，文獻(xiàn)［9］將圖切割和泊松融合技術(shù)結(jié)合應(yīng)用到普通數(shù)碼照片的拼接，取得了較好效果。文獻(xiàn)［1］采用最佳縫合線法解決了無(wú)人機(jī)圖像拼接中的鬼影問(wèn)題，但卻沒(méi)有解決曝光差異產(chǎn)生的勻色問(wèn)題。

綜合現(xiàn)有文獻(xiàn)，本文在前人工作的基礎(chǔ)上，將最佳縫合線和多分辨率融合技術(shù)聯(lián)合應(yīng)用到無(wú)人機(jī)圖像的拼接，以待同時(shí)解決拼接產(chǎn)生的鬼影和曝光差異問(wèn)題，使拼接后圖像達(dá)到理想的勻色效果。圖像拼接的前期處理和配準(zhǔn)技術(shù)，本文不再作過(guò)多介紹，具體方法可參見(jiàn)文獻(xiàn)［1］，下面就基于最佳縫合線的多分辨率融合技術(shù)作重點(diǎn)闡述。

二、最佳縫合線

1.最佳縫合線搜索準(zhǔn)則

最佳縫合線將重疊區(qū)分割成兩部分，兩邊各取一幅圖像的內(nèi)容，合理的縫合線分割可以有效地解決鬼影問(wèn)題。最佳縫合線上點(diǎn)的配準(zhǔn)精度在重疊區(qū)內(nèi)是最高的，因此，組成這樣一條最佳縫合線上的像素點(diǎn)應(yīng)該滿足：

1)顏色上，兩幅原圖像的顏色差值最小。

2)結(jié)構(gòu)上，兩幅原圖像的幾何結(jié)構(gòu)最相似。

然而，在實(shí)際的圖像拼接中，同時(shí)滿足上面兩個(gè)條件的縫合線是很難找到的，因此需要找到一條能較好滿足這兩個(gè)條件的縫合線。文獻(xiàn)［10］通過(guò)對(duì)圖像的分析和試驗(yàn)，推出了能夠有效表達(dá)這兩個(gè)條件的最佳縫合線的建立準(zhǔn)則

式中，Ecolor表示兩幅原圖像重疊區(qū)內(nèi)像素點(diǎn)的顏色差;Egeometry表示重疊區(qū)內(nèi)像素點(diǎn)的幾何結(jié)構(gòu)差，通過(guò)Sobel算子進(jìn)行梯度計(jì)算實(shí)現(xiàn)。Sobel算子模板要考慮到以像素點(diǎn)為中心的4個(gè)對(duì)角線方向的邊緣像素點(diǎn)的相關(guān)性，由此確定計(jì)算x和y方向的梯度的新的算子模板

計(jì)算兩幅原圖像A、B在重疊區(qū)域的幾何結(jié)構(gòu)差

式中，Diff()是通過(guò)計(jì)算原圖像A和B在x、y方向梯度之差的積得到的。

2.搜索最佳縫合線

最佳縫合線的搜索方法有復(fù)雜度很高的Dijkstra算法［8］、最優(yōu)路徑搜索法。文獻(xiàn)［11］利用動(dòng)態(tài)規(guī)劃思想尋找最佳縫合線，該方法相對(duì)簡(jiǎn)單有效。因此，本文利用動(dòng)態(tài)規(guī)劃思想在重疊區(qū)搜索最佳縫合線。

按照最佳縫合線搜索準(zhǔn)則，對(duì)兩幅原圖像的重疊部分運(yùn)用動(dòng)態(tài)規(guī)劃思想搜索最佳縫合線，具體步驟如下：

1)初始化。從重疊區(qū)域第一行出發(fā)，建立該行上每一個(gè)像素點(diǎn)為起點(diǎn)的縫合線，其強(qiáng)度值初始化為各個(gè)點(diǎn)的準(zhǔn)則值，縫合線的當(dāng)前點(diǎn)為其所在的列。

2)擴(kuò)展。將每一條縫合線的當(dāng)前點(diǎn)分別與該點(diǎn)緊鄰的下一行的3個(gè)點(diǎn)的準(zhǔn)則值相加，比較和值大小，取最小的值所在的列作為該縫合線的擴(kuò)展方向，同時(shí)更新縫合線的強(qiáng)度值為最小值，縫合線的當(dāng)前點(diǎn)變?yōu)樽钚?qiáng)度值的下一行的點(diǎn)所對(duì)應(yīng)的列。依此類推向下擴(kuò)展直至最后一行。

3)選取最佳縫合線。從所有的縫合線中選取強(qiáng)度值最小的作為最佳縫合線。

三、多分辨率融合

多分辨率融合算法是一種基于塔式結(jié)構(gòu)的顏色融合算法，該算法最早由Burt和Adelson于1983年提出，并首先被應(yīng)用到兩幅圖像拼接的平滑處理中，取得了顯著效果。其原理是：若兩幅圖像的帶寬為一個(gè)倍頻程，那么這兩幅圖像在拼接時(shí)的縫合線兩邊就能實(shí)現(xiàn)平滑過(guò)渡，而不會(huì)出現(xiàn)鬼影和曝光差異。將待拼接的原圖像先分別分解成一系列帶寬近似為一個(gè)倍頻程的圖像(稱為拉普拉斯圖像);然后將對(duì)應(yīng)的每一層的拉普拉斯圖像進(jìn)行融合拼接;最后將所有層的融合圖像相加重構(gòu)成一層，便可得到經(jīng)過(guò)多分辨率融合的拼接圖像。

1.構(gòu)造拉普拉斯金字塔圖像

拉普拉斯金字塔圖像的構(gòu)造過(guò)程包括以下幾步。

(1)圖像的高斯塔分解

對(duì)原圖像采用高斯濾波器進(jìn)行低通濾波和降采樣，得到一系列分辨率和尺寸都逐級(jí)變小的高斯金字塔圖像。將原始圖像作為高斯金字塔的第0層(底層)，高斯塔其余層的生成，按照公式

式中，0＜l≤N，Gl(i，j)為第l層高斯金字塔圖像;N為分解層數(shù);i、j為圖像的行列數(shù);w是一個(gè)5×5具有低通特性的窗口函數(shù)，也叫權(quán)函數(shù)或生成核，具體大小為

(2)由高斯塔生成拉普拉斯塔

從高斯塔的第1層開始，將Gl(i，j)進(jìn)行插值放大，得到與Gl－1(i，j)在尺寸上一樣大小的插值圖像G'l(i，j)，所采用的插值函數(shù)為

雖然G'l與Gl－1尺寸一樣大小，但是二者并不相等，的像素值是由Gl的像素值經(jīng)過(guò)加權(quán)平均得到的，Gl又是由Gl－1低通濾波得到的，所以G'l包含的細(xì)節(jié)信息要少于Gl－1，二者之間是有差別的。將Gl－1與G'l作差便得到了拉普拉斯金字塔的第Ll－1層圖像，即

(3)由拉普拉斯圖像重建原圖像

從拉普拉斯金字塔最頂層開始自上至下，將拉普拉斯圖像內(nèi)插放大到與下一層圖像一樣大小，然后累計(jì)相加便可重構(gòu)原圖像。

2.基于縫合線的多分辨率融合

在求得最佳縫合線之后，進(jìn)行多分辨率融合拼接，步驟如下：

1)以拼接后圖像的大小為尺寸，生成一幅模板圖像M，將縫合線左側(cè)填充0，右側(cè)填充255，形成一幅黑白模板圖像。

2)將經(jīng)過(guò)配準(zhǔn)和幾何模型變換后的圖像A、B擴(kuò)展到拼接后圖像的大小，擴(kuò)展部分填充0。

3)生成模板R的高斯圖像GR，以及經(jīng)擴(kuò)展的A、B的拉普拉斯圖像LA、LB，層數(shù)相同。

4)在每一層上分別進(jìn)行融合，求得融合后的拉普拉斯圖像Lfusion，像素值計(jì)算公式為

式中，l代表第幾層;(i，j)代表像素點(diǎn)坐標(biāo)。

5)對(duì)于融合后的拉普拉斯圖像Lfusion，從最高層開始插值擴(kuò)展，并與其下一層圖像相加，重復(fù)此過(guò)程直至與最后一層圖像相加完為止，就得到了最終需要的基于最佳縫合線的多分辨率融合圖像。

四、試 驗(yàn)

本文采用大小為702像素×468像素的航拍無(wú)人機(jī)源圖像進(jìn)行拼接試驗(yàn)，基于C或C++語(yǔ)言，調(diào)用OpenCV和GDAL函數(shù)庫(kù)進(jìn)行算法編程實(shí)現(xiàn)。

(1)兩幅無(wú)人機(jī)圖像拼接試驗(yàn)

圖1～圖4所示為原圖像各種拼接結(jié)果，分別是配準(zhǔn)疊放圖、均值融合圖、最佳縫合線切割圖、基于最佳縫合線的多分辨率融合圖。

圖3 最佳縫合線切割圖

圖4 基于縫合線的多分辨率融合圖

圖1顯示的是源圖像在經(jīng)過(guò)幾何糾正及圖像匹配后，根據(jù)幾何變換模型配準(zhǔn)疊放到一起的效果。由于沒(méi)有進(jìn)行融合處理?？梢钥吹矫黠@的拼接邊界，在邊界線附近還存在著由配準(zhǔn)誤差產(chǎn)生的物體錯(cuò)位，拼接圖也因曝光差異呈現(xiàn)出兩種顏色的色彩不均勻現(xiàn)象，影響拼接圖像的目視效果。

圖2在圖1配準(zhǔn)的基礎(chǔ)上加入了簡(jiǎn)單的均值融合處理?？梢钥吹骄等诤蠄D像的曝光差異較以前得到了一定改善，但是均值融合卻使重疊區(qū)域的圖像變模糊了，出現(xiàn)了疊影，圖中白框標(biāo)示的道路等特征地物重影現(xiàn)象尤為明顯。雖然均值融合可以在一定程度上改善曝光差異，但卻暴露了潛在的鬼影問(wèn)題。

圖3顯示的是利用動(dòng)態(tài)規(guī)劃思想搜索到的一條最佳縫合線分割重疊區(qū)的拼接圖。從分割圖可以看到，縫合線基本上位于重疊區(qū)的中心線附近，而且較好地避開了易出現(xiàn)配準(zhǔn)誤差的特征地物。由于縫合線兩邊各取一幅圖像的內(nèi)容，鬼影問(wèn)題得到了有效解決，但是縫合線兩側(cè)圖像的色彩差異仍舊存在，縫合線清晰可見(jiàn)。

圖4為本文提出將縫合線、多分辨率融合技術(shù)聯(lián)合應(yīng)用到無(wú)人機(jī)圖像拼接的效果圖?？p合線解決了鬼影問(wèn)題，多分辨率融合消除了縫合線兩側(cè)圖像的曝光差異，圖像拼接遇到的兩大難題都得到了理想解決。拼接圖像在顏色和內(nèi)容上和諧統(tǒng)一，達(dá)到了最佳的目視效果，已看不出是經(jīng)過(guò)圖像拼接的結(jié)果。

(2)多幅無(wú)人機(jī)圖像拼接試驗(yàn)

圖5給了基于最佳縫合線的多分辨率融合技術(shù)用于多張無(wú)人機(jī)圖像拼接的前后對(duì)比圖。融合前的拼接圖呈現(xiàn)補(bǔ)丁狀的拼湊效果，邊界配準(zhǔn)誤差和各圖幅顏色差異明顯;融合后的拼接圖像各種配準(zhǔn)誤差、顏色差異得到理想消除，整個(gè)圖像渾然一體，拼接勻色效果顯著。

圖5 基于最佳縫合線的多分辨率融合技術(shù)用于多幅無(wú)人機(jī)圖像拼接

五、結(jié)束語(yǔ)

無(wú)人機(jī)圖像在拼接時(shí)的鬼影和曝光差異問(wèn)題在現(xiàn)有文獻(xiàn)中還沒(méi)有得到同時(shí)的有效解決，本文在前人現(xiàn)有工作的基礎(chǔ)上，將最佳縫合線和多分辨率融合技術(shù)聯(lián)合應(yīng)用，對(duì)兩幅和多幅無(wú)人機(jī)圖像進(jìn)行了拼接試驗(yàn)。結(jié)果證實(shí)，該方法同時(shí)有效地解決了鬼影和曝光差異兩大難題，拼接圖像勻色顯著，達(dá)到了理想的視覺(jué)效果，提高了無(wú)人機(jī)拼接圖像的實(shí)用性。此外，試驗(yàn)結(jié)果對(duì)其他遙感圖像的拼接勻色(如HJ星等衛(wèi)星影像)也起到了一定的參考價(jià)值。

［1］韓文超.基于POS系統(tǒng)的無(wú)人機(jī)遙感圖像拼接技術(shù)研究與實(shí)現(xiàn)［D］.南京：南京大學(xué)，2011.

［2］SHUM H Y，SZELISKI R.Construction and Refinement of Panoramic Mosaics with Global and Local Alignment［C］∥Proceedings of 6th International Conference on Computer Vision.Bombay， India：［s.n.］， 1998：953-958.

［3］UYTTENDAELE M.Eliminating Ghosting and Exposure Artifacts in Image Mosaics［C］∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Hawaii：［s.n.］，2001：509-516.

［4］王建忠.圖像鑲嵌及其邊界處理［J］.模式識(shí)別與人工智能，1993，6(3)：189-195.

［5］PEREZ P，GANGNET M，Blake A.Poisson Image Editing［J］.ACM Transactions on Graphics，2003，22(3) ：313-318.

［6］BURT P J，ADELSON E H.A Multiresolution Spline with Application to Image Mosaics［J］.ACM Transactions on Graphics，1983，2(4)：217-236.

［7］PELEG S.Mosaicing on Adaptive Manifolds［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(10)：1144-1154.

［8］DAVI J.Mosaics of Scenes with Moving Objects［C］∥Proceedings of 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Santa Barbara，USA：［s.n.］，1998：354-360.

［9］方賢勇，張明敏，潘志庚.基于圖切割的圖像拼接技術(shù)研究［J］.中國(guó)圖象圖形學(xué)報(bào)，2007，12(12)：2050-2056.

［10］方賢勇，潘志庚，徐丹.改進(jìn)的圖像拼接算法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2003，15(11)：1362-1366.

［11］DUPLAQUET M L.Building Large Image Mosaics with Invisible Seam-lines［C］∥ Proceedings of SPIE Aerosense.Orlando，F(xiàn)lorida：［s.n.］，1998：369-377.