章建軍，曹 杰

（南京航空航天大學(xué) 江蘇 南京 210016）

隨著計(jì)算機(jī)和圖像處理技術(shù)的發(fā)展，圖像拼接技術(shù)也隨之誕生，并且在現(xiàn)實(shí)生活中發(fā)揮著越來越大的作用，應(yīng)用前景也越來越廣泛[1]。由于圖像采集設(shè)備捕獲單幅圖像的視野一般是有限的，在一些應(yīng)用場(chǎng)合就需要把多幅有重疊區(qū)域的圖像拼接成一幅完整的圖像，以擴(kuò)大視野范圍或者獲得超分辨率的拼接圖像。圖像拼接的關(guān)鍵技術(shù)之一是圖像配準(zhǔn)，即尋找將兩幅圖像間相重疊的部分對(duì)齊所需的變換，是對(duì)不同時(shí)間、不同視場(chǎng)或不同成像模式的兩幅或多幅圖像進(jìn)行空間變換處理，使得各個(gè)圖像在幾何上能夠匹配對(duì)應(yīng)起來。另一個(gè)關(guān)鍵技術(shù)是圖像融合，目的是使拼接后的圖像要盡可能接近原始圖像,失真盡可能小,沒有明顯的拼接痕跡、沒有明顯的曝光差異。

圖像配準(zhǔn)技術(shù)可以分為基于特征和基于區(qū)域兩種方法[2]。文獻(xiàn)[3]提出的SIFT(scale invariance feature transform)算法屬于基于特征的配準(zhǔn)，算法匹配精度較高，但計(jì)算量較大，實(shí)時(shí)性較差。對(duì)于圖像融合算法，文獻(xiàn)[4]提出了基于小波的圖像拼接方法，但是對(duì)于二維圖像，小波僅能以“點(diǎn)”奇異來逼近“線”奇異，變換后圖像的信息缺失較大，拼接后的圖像過渡不自然。針對(duì)以上缺點(diǎn)，對(duì)于圖像配準(zhǔn)，本文采用改進(jìn)的角點(diǎn)檢測(cè)算法及流形上的優(yōu)化算法進(jìn)行快速匹配；對(duì)于圖像融合，文中采用非下采樣輪廓波變換(NSCT)方法。實(shí)驗(yàn)證明，本文算法，不僅拼接速度較快，而且拼接后的圖像更加自然，過渡更平滑。環(huán)境的繪圖，待繪成地圖后再進(jìn)行路徑規(guī)劃、自主移動(dòng)并完成任務(wù)。有鑒于此種模式需要額外的繪圖工作準(zhǔn)備，近年來也有學(xué)者提出一類探索算法, 該類算法部分采用路徑規(guī)劃思想，以實(shí)現(xiàn)自主繪制地圖為目標(biāo)，尋找最有利于繪圖的機(jī)器人移動(dòng)路徑。因此后文將分別介紹路徑規(guī)劃算法及探索算法。

1 角點(diǎn)特征檢測(cè)

角點(diǎn)檢測(cè)是計(jì)算機(jī)視覺和數(shù)字圖像處理中一種常用技術(shù)。角點(diǎn)所在的鄰域通常也是圖像中穩(wěn)定的并且信息豐富的區(qū)域，這些區(qū)域可能具有某些特性，如旋轉(zhuǎn)不變性、尺度不變性、仿射不變性和光照亮度不變性。因此，在計(jì)算機(jī)視覺和數(shù)字圖像處理領(lǐng)域中，研究角點(diǎn)有重要意義。角點(diǎn)檢測(cè)有多種方法，基于圖像灰度的方法通過計(jì)算點(diǎn)的曲率及梯度來檢測(cè)角點(diǎn)，是目前研究的重點(diǎn)。

由于Harris角點(diǎn)檢測(cè)算子具有對(duì)亮度和對(duì)比度的變化不敏感，具有旋轉(zhuǎn)不變性等性質(zhì)而獲得廣泛應(yīng)用。圖像Harris角點(diǎn)檢測(cè)算法實(shí)現(xiàn)步驟歸納如下：

1) 計(jì)算圖像I在x和y兩個(gè)方向的梯度：

其中，?表示卷積運(yùn)算。

2)計(jì)算圖像兩個(gè)方向梯度的乘積：

其中ω為加權(quán)函數(shù)，可以取常數(shù)，但一般取高斯加權(quán)函數(shù)。令

其中，det表示取方陣的行列式，trace表示取方陣的跡，α為經(jīng)驗(yàn)常數(shù)，取值范圍0.04-0.06。

4)計(jì)算每個(gè)像素的Harris響應(yīng)值R，并對(duì)小于某一閾值的R置為0：

5)在3×3或者5×5的鄰域內(nèi)進(jìn)行非極大值抑制，局部極大值點(diǎn)即為圖像中的角點(diǎn)。

改進(jìn)的Harris角點(diǎn)檢測(cè)算法，即Harris-Laplace角點(diǎn)檢測(cè)通過如下兩步檢測(cè)具有尺度不變性的Harris角點(diǎn)：

1)在多尺度下，使用Harris角點(diǎn)檢測(cè)算法進(jìn)行角點(diǎn)檢測(cè)。

2)自動(dòng)搜索角點(diǎn)的特征尺度。

2 圖像變換參數(shù)的求解

2.1 李群與李代數(shù)的基本概念

李群是一個(gè)拓?fù)淙?，同時(shí)也是一個(gè)解析流形，其同時(shí)具有群結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)，而且群結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)是相容的。在單位元附近，李群可以線性化。對(duì)于n維李群G，單位元附近的切空間TeG是n維向量空間。對(duì)任意a∈G，利用李群的左平移，可以把切向量Xe∈G平移為a點(diǎn)處的切向量dLa(Xe)，利用左平移可以得到群G上的切向量場(chǎng)。李群G上的全體左不變向量場(chǎng)構(gòu)成一個(gè)同構(gòu)于單位元處切空間TeG的向量空間，在李括號(hào)[X,Y]=XY-YX下成為李代數(shù)，記作g。

設(shè)g為李群G的李代數(shù)，對(duì)任意Xe∈G，存在積分曲線expX，滿足expX(t1+t2)=expX(t1)expX(t2)?t1, t2∈R

稱expX(t)，為G的單參數(shù)子群。稱映射exp:g→G，exp(X)=expX(1)為指數(shù)映射。

全體n×n可逆矩陣的集合關(guān)于矩陣乘法構(gòu)成矩陣?yán)钊?即GL(n,R)。行列式為1的n階實(shí)矩陣構(gòu)成的李群稱為特殊線性群，即SL(n,R)，相應(yīng)李代數(shù)為SL(n,R)。本文涉及的是SL(3,R)，對(duì)應(yīng)的李代數(shù)為SL(3,R)，其基向量為：

2.2 基于李群指數(shù)映射的參數(shù)優(yōu)化算法

設(shè)圖像上點(diǎn)P的齊次坐標(biāo)為[x,y,1]T，SL(3,R)在歐氏空間的嵌入映射為π:t→π(t)，對(duì)于任意t∈SL(3,R)，定義從SL(3,R)到P點(diǎn)的作用為w:SL(3,R)×P→P，則射影變換可表示為

任取一幅圖像中指定的子圖像作為初始模板，其灰度值為I(P)，模板圖像經(jīng)過射影變形后在另一幅圖像中的灰度值為I(w(t))(P)。構(gòu)造目標(biāo)函數(shù)如下：

為了提高算法的快速性和魯棒性，本文采用流形上的優(yōu)化算法求解上述最優(yōu)化問題而獲取射影變換參數(shù)。

t迭代公式為：

其中λi為可調(diào)步長(zhǎng)。

基于李群指數(shù)映射的參數(shù)求解可以歸納如下：

(2)作意取一幅圖像通過一定算法確定模板圖像I(P)，計(jì)算變換參數(shù)初始值t。

(3)迭代求解變換參數(shù)

1)根據(jù)前次迭代所得的參數(shù)V，在另一幅圖像中獲取準(zhǔn)目標(biāo)圖像I。t(P)并計(jì)算目標(biāo)圖像和模板圖像的差值圖像I。t(P)-I(P)。

3)計(jì)算參數(shù)增量V,并選擇合適的λ，更新參數(shù)：t。exp(λv)→t。

4)若‖V‖大于預(yù)先指定的正數(shù)或迭代次數(shù)小于預(yù)定值，返回步驟1)。

3 非下采樣輪廓波變換

3.1 NSCT變換

Contourlet[5-6]作為一種多尺度和多方向的圖像表示方法，已經(jīng)在自然圖像去噪[7]、圖像融合[8]等領(lǐng)域[9]獲得了廣泛的研究，展示了這一多尺度幾何分析方法的強(qiáng)大潛力。Contourlet最初的提出是為了尋找圖像中分段光滑的輪廓信號(hào)的稀疏表示，M. N. Do和Martin Vetterli認(rèn)為Contourlet是一種“真正”的二維圖像表示方法。然而由于Contourlet在實(shí)現(xiàn)過程中，對(duì)濾波后的圖像進(jìn)行了隔行隔列的重采樣，使低頻子帶和高頻子帶產(chǎn)生頻譜混疊。頻譜混疊造成同一方向的信號(hào)會(huì)在幾個(gè)不同的方向子帶同時(shí)出現(xiàn)，從而在一定程度上削弱了其方向選擇性。

為了消除Contourlet變換的頻譜混疊現(xiàn)象，增強(qiáng)其方向選擇性和平移不變性。基于Contourlet變換和非下采樣思想，A.L. Cunha、J. P. Zhou和M. N. Do等于2006年利用非下采樣塔式分解和非下采樣濾波器組，構(gòu)造出了非下采樣Contourlet變換（NSCT）[10]。由于沒有下采樣操作，NSCT具有平移不變性。

NSCT變換包括兩個(gè)步驟：第一步采用拉普拉斯金字塔（Laplacian pyramid，LP)來實(shí)現(xiàn)多尺度分解，第二步通過方向?yàn)V波器組(Directional filter bank，DFB)來實(shí)現(xiàn)方向分解。

3.2 非下采樣LP分解

在Contourlet變換的LP分解中，首先對(duì)上一尺度低頻圖像用低通濾波器進(jìn)行低通濾波，然后進(jìn)行下采樣，得到低頻圖像；再對(duì)該低頻圖像進(jìn)行上采樣，然后用高通濾波器對(duì)上采樣后的圖像進(jìn)行高通濾波，并將高通濾波后的圖像與上一尺度的低頻圖像進(jìn)行差分，得到塔式分解后的高頻部分。

非采樣的LP分解不同于Contourlet變換中的LP分解，在NSCT中，采用atrous算法的思想，對(duì)低通濾波器和高通濾波器分別進(jìn)行上采樣，然后對(duì)上一尺度低頻圖像采用上采樣后的低通濾波器進(jìn)行低通濾波，得到低頻圖像；對(duì)上一尺度低頻圖像用上采樣后的高通濾波器進(jìn)行高通濾波，得到LP分解后的高頻圖像。圖像經(jīng)N級(jí)非采樣塔式濾波后，可得到N+1個(gè)與源圖像具有相同尺寸大小的子帶圖像。

3.3 非下采樣DFB分解

1992 年，Bamberger和Smith構(gòu)造了扇形方向?yàn)V波器組。非采樣濾波器組去除了該方向?yàn)V波器組中的下采樣和上采樣環(huán)節(jié)，對(duì)應(yīng)地對(duì)方向?yàn)V波器組中的濾波器做插值處理，得到同樣具有平移不變特性的非采樣方向?yàn)V波器組。如果對(duì)某尺度下的子帶圖像進(jìn)行k級(jí)方向分解，可得到2k個(gè)與原始輸入圖像大小相同的方向子帶圖像。因此圖像經(jīng)N級(jí)NSCT分解后可得到個(gè)和原始輸入圖像大小相同的方向子帶圖像，其中ki為尺度i下的方向分解級(jí)數(shù)。

4 基于NSCT的圖像拼接算法

如何選取模板圖像非常關(guān)鍵，首先選取的模板圖像在另一幅圖像中應(yīng)存在，其次模板圖像的信息量應(yīng)比較豐富。本文的選擇方法分為兩步：第一步，使用角點(diǎn)檢測(cè)算法或其改進(jìn)算法檢測(cè)兩幅圖像的特征點(diǎn)，并進(jìn)行匹配；第二步，在匹配的角點(diǎn)中，計(jì)算以角點(diǎn)為中心一定大小的子圖像的空間頻率，選擇空間頻率最大的子圖像作為模板圖像?？臻g頻率定義為：

其中，M及N表示圖像的大小，I(x，y)表示(x，y)處的像素值。空間頻率可以作為圖像清晰程度的測(cè)度，空間頻率越大則圖像越清晰，信息越豐富。

另一個(gè)關(guān)鍵問題是怎樣對(duì)拼接處圖像進(jìn)行融合。由于NSCT變換具有非常好的方向特性，能夠更好地顯示圖像的幾何特征，所以能為圖像拼接提供更多的信息。NSCT變換在分解和重構(gòu)的過程中取消了下采樣環(huán)節(jié)，能夠得到與源圖像尺寸大小相同的各級(jí)子帶圖像，并且具有平移不變性，因此有效地解決了拼接過程中的平移問題。

基于以上討論，文中提出一種基于NSCT的圖像拼接算法，算法步驟為：

1)利用角點(diǎn)檢測(cè)算法或其改進(jìn)算法求取特征點(diǎn)并進(jìn)行匹配，使用上文提到的方法選取模板子圖像。

2)使用基于流形上的優(yōu)化算法求解射影變換參數(shù)。

3)對(duì)待拼接的兩幅圖像進(jìn)行NSCT變換，得到不同尺度不同方向上的變換系數(shù)。對(duì)得到的變換系數(shù)構(gòu)成的子圖像進(jìn)行拼接，對(duì)拼接縫附近的圖像采用加權(quán)平均的融合方法平滑，得到多個(gè)分量的拼接結(jié)果。其中融合方法為：

其中，SF(I)表示圖像I的空間頻率，I(x,y)表示(x,y)處的像素值。

4)最后利用重構(gòu)算法將拼接的各頻帶子圖像進(jìn)行逆NSCT變換得到拼接圖像。

5 實(shí)驗(yàn)結(jié)果及分析

根據(jù)以上所述的圖像拼接算法，文中選取了具有重疊區(qū)域的兩幅圖像進(jìn)行了拼接實(shí)驗(yàn)。待拼接的兩幅圖像如圖1所示，大小分別為940×427和947×434，拼接后的圖像如圖2所示。黑色區(qū)域部分是由于變換參數(shù)旋轉(zhuǎn)，在拼接后用零填充而造成的。可以看到拼接圖像后的視覺效果很好，過渡平滑自然，沒有明顯的接縫。

6 結(jié)束語

一方面，使用流形上的優(yōu)化算法可以快速地求出變換參數(shù)，而且具有較好的魯棒性。另一方面，由于NSCT相比于小波變換，在每個(gè)尺度提供不同數(shù)目、靈活的方向，具有更好的方向特性，從而可以更好地表示圖像的幾何特征，所以能為圖像拼接提供更多的信息，它是真正的二維變換并且能夠捕捉內(nèi)在的幾何結(jié)構(gòu)。NSCT利用NSPFB和NSDFB對(duì)圖像進(jìn)行多尺度、多方向分解，只具有上采樣過程，具有平移不變性，得到的拼接圖像更加自然，過渡更加平滑。

圖1 待拼接的兩幅圖像Fig. 1 Two original images

圖2 拼接后的圖像Fig. 2 The finial image

[1] 漆馳,鄭國(guó)勤,孫家廣. 一個(gè)基于全景圖的虛擬環(huán)境漫游系統(tǒng)[J].計(jì)算機(jī)工程與應(yīng)用, 2001,15(37):138-141 QI Chi, ZHENG Guo-qi, SUN Jia-guang. An image-based virtual environment navigation system [J]. Computer Engineering and Application, 2001, 15(37):138-141.

[2] 蔡麗歡,廖英豪,郭東輝. 圖像拼接方法及其關(guān)鍵技術(shù)研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2008,18(3):1-4 CAI Li-huan, LIAO Ying-hao, GUO Dong-hui. Study on image stitching methods and its key technologies [J].Computer Technology and Development, 2008, 18(3):1-4

[3] Lowe D G. Distinctive image features from scale-invariant key points [J]. International Journal of Computer Vision, 2004,60(2):91-110.

[4] 王宇,王涌天,劉越. 基于SIFT和小波變換的圖像拼接算法[J]. 北京理工大學(xué)學(xué)報(bào),2009, 29(5):423-426.WANG Yu, WANG Yong-tian, LIU Yue. Image stitch algorithm based on SIFT and wavelet transform [J]. Transaction of Beijing Institute of Technology, 2009, 29(5):423-426.

[5] Do. M. N, Vetterli.M . Contourlet: A directional multiresolution image representation [C]//Proc of IEEE International Conference on Image Processing, Rochester, NY, 2002: 357-360

[6] Do. M. N, Vetterli.M. The contourlet transform: an efficient directional multiresolution image representation [J].IEEE Trans on Image Processing,2005,14(12):2091-2106.

[7] 梁棟,沈敏,高維清,等. 一種基于Contourlet遞歸Cycle Spinning的圖像去噪方法[J].電子學(xué)報(bào),2005,33(11):2044-2046.LIANG Dong,SHEN Min,GAO Qing-wei, et al.A method for image de-noising based on the contourlet transform using recursive cycle spinning [J].Acta Electronica Sinica,2005,33(1):2044-2046.

[8] 劉勝鵬,方勇. 基于Contourlet變換和PCNN的融合算法及其在可見光與紅外線圖像融合中的應(yīng)用[J].紅外與毫米波學(xué)報(bào),2007, 26(3):364-369.LIU Sheng-peng, FANG Yong. Infrared image fusion algorithm based on contourlet transform and improved pulse coupled neural network [J]. Journal of Infrared and Millimeter Waves, 2007,26(3):364-369.

[9] 焦李成,侯彪,王爽,等，圖像多尺度幾何分析理論與應(yīng)用-后小波分析理論與應(yīng)用[M].西安:西安電子科技大學(xué)出版社,2008.

[10] Cunha A L, ZHOU Jian-ping ,Minh. Do N. The nonsubsampled contourlet transform: theory, design, and applications [J]. IEEE Trans on Image Processing, 2006, 15(10):3089-3101.