任智姣，石泓

（四川大學(xué)計算機(jī)學(xué)院，成都　610065）

一種快速配準(zhǔn)和亮度調(diào)整的圖像拼接算法

任智姣，石泓

（四川大學(xué)計算機(jī)學(xué)院，成都610065）

針對圖像拼接中的兩個方面做詳細(xì)闡述。一是針對大尺寸圖像配準(zhǔn)比較耗時的問題，采用一種兩階段逐步求精地快速圖像配準(zhǔn)方法。二是針對基于最佳接縫拼接后存在亮度差異的問題，提出僅在亮度空間進(jìn)行基于最佳接縫的亮度調(diào)整的方法。實驗表明，有效提高圖像配準(zhǔn)的時間效率，實現(xiàn)很好的亮度調(diào)整效果。

圖像拼接；圖像配準(zhǔn)；亮度調(diào)整；最佳接縫

0　引言

圖像拼接的目的在于產(chǎn)生無明顯接縫、無亮度差異，無鬼影，在視覺上感覺良好的全景圖像。圖像配準(zhǔn)是圖像拼接的基礎(chǔ)，有基于區(qū)域的方法和基于特征的方法，主流方法是基于特征的配準(zhǔn)方法。特征檢測及特征描述算法的提出，如MSER［1］、SIFT［2］、SURF［3］和ORB［4］等，大大促進(jìn)了圖像配準(zhǔn)算法的發(fā)展。一般基于特征的圖像配準(zhǔn)方法，包括特征檢測、特征匹配、幾何變換模型參數(shù)估計和圖像變形四個步驟。然而，隨著圖像尺寸的增加，特征檢測、描述與匹配的時間都相應(yīng)的增加?？紤]到圖像配準(zhǔn)中，感興趣的特征點是重疊區(qū)域內(nèi)的特征點，在整幅圖中檢測、匹配特征點是沒有必要的；而且重疊區(qū)域之外的特征點其實是干擾特征點，可能會造成誤匹配。所以本文提出了一種兩階段逐步求精的配準(zhǔn)方法，即先在低分辨率小尺寸圖像上應(yīng)用一種基于特征的圖像配準(zhǔn)方法快速粗略地估算圖像的大概重疊區(qū)域，然后再在原始圖像上估計的重疊區(qū)域內(nèi)精確配準(zhǔn)兩幅圖像。這樣做既能有效地降低配準(zhǔn)的時間成本，又降低了特征點的誤匹配率。

接縫縫合技術(shù)是圖像無縫拼接的關(guān)鍵步驟，對于已經(jīng)配準(zhǔn)的兩幅圖像，接縫縫合的好壞將直接影響到最終全景圖像的質(zhì)量。當(dāng)前主要有兩大類接縫縫合方法：最佳接縫方法和接縫平滑方法。第一類方法在重疊區(qū)域極力求解一條曲線，即最佳接縫［5-8］，使得兩幅圖像在重疊區(qū)域內(nèi)的某種差異最小，然后再將兩幅圖像分別復(fù)制到接縫兩邊。第二類方法是對重疊區(qū)域應(yīng)用圖像融合算法，實現(xiàn)接縫的平滑過度。常見的融合算法有平均融合、加權(quán)融合［9］、羽化融合［10］和多分辨率融合［11-12］。在實際應(yīng)用中，許多學(xué)者根據(jù)需要綜合應(yīng)用不同類型的方法，更好地合成無縫拼接圖像。本文采用的是最佳接縫方法，然后再進(jìn)行亮度調(diào)整。對于已經(jīng)拼接好的存在亮度差異的圖像，提出了基于最佳接縫的亮度調(diào)整算法來平滑圖像的亮差，即首先將其轉(zhuǎn)換到HSV顏色空間，將色度信息與亮度信息分離開，僅在V通道進(jìn)行基于最佳接縫的亮度調(diào)整。本文方法避免了融合所產(chǎn)生的模糊、鬼影等問題。

1　本文方法

以拼接兩幅圖像為例來說明本文方法。待拼接圖像I1和I2，以右圖I2為參考圖像，I1配準(zhǔn)后的圖像表示為L1，L1在重疊區(qū)域內(nèi)的圖像用A表示，I2在重疊區(qū)域內(nèi)的圖像用B表示，基于最佳接縫拼接后的重疊區(qū)域圖像用R表示。

1.1快速圖像配準(zhǔn)方法

本文提出的快速配準(zhǔn)方法包括兩個階段。第一階段，用小尺寸低分辨率圖像近似表示原始待配準(zhǔn)的圖像，來估算大概重疊區(qū)域；第二階段，在原始圖像上，應(yīng)用上一步估計的重疊區(qū)域準(zhǔn)確地配準(zhǔn)圖像。具體包括三個步驟。

（1）通過低通濾波降低圖像的分辨率，然后對它進(jìn)行降采樣以獲得小尺寸的圖像I1'，I2'；

（2）在小尺寸、低分辨率的圖像上，采用基于SURF特征的圖像配準(zhǔn)方法來快速粗略地估算圖像的大概重疊區(qū)域，暫時無需對I1'圖像進(jìn)行變形，只需根據(jù)求解的變換矩陣將I1'圖像的四個頂點坐標(biāo)變換到參考圖像I2'所在的坐標(biāo)系，然后連結(jié)四個頂點即為I1'圖像所在的區(qū)域，由此確定兩幅圖像的大概重疊區(qū)域；

（3）把重疊區(qū)域?qū)?yīng)到原始圖像I1，I2中，再次采用基于SURF特征的圖像配準(zhǔn)方法精確配準(zhǔn)兩幅圖像。

1.2消除亮度差異方法

本文通過將基于最佳接縫拼接好的圖像轉(zhuǎn)換到HSV顏色空間，將圖像的色度信息與亮度信息分離開來處理，僅在亮度空間進(jìn)行基于最佳接縫的調(diào)整。假設(shè)我們已經(jīng)獲得了基于最佳接縫拼接好的圖像，接下來在重疊區(qū)域R內(nèi)調(diào)整亮度。步驟闡述如下。

（1）將A和B從RGB轉(zhuǎn)換到HSV顏色空間，計算兩重疊區(qū)域亮度的平均值，如公式（1）、（2）所示。然后用平均值的差除以步長，即重疊區(qū)域?qū)挾龋绻剑?），這樣就得到了亮度平滑過度值，簡稱為ISV（Intensity Smooth Value）；

其中，h和w分別為重疊區(qū)域圖像的高度和寬度，AV（i，j）和BV（i，j）分別表示重疊區(qū)域A，B在（i，j）點的亮度值。

（2）將基于最佳接縫拼接的圖像轉(zhuǎn)換到HSV顏色空間，分離成三個通道，在重疊區(qū)域R內(nèi)對V通道按照公式（4）、（5）進(jìn)行亮度調(diào)整；

其中，RV（i，j）為基于最佳接縫拼接后重疊區(qū)域R的亮度值，k為最佳接縫的橫坐標(biāo)，公式（4）、（5）分別表示最佳接縫左、右兩側(cè)重疊區(qū)域的亮度調(diào)整公式。

（3）合并調(diào)整后的亮度通道和原來的色度通道，即可得到結(jié)果圖。

2　實驗

為了驗證本文算法的可行性和有效性，我們對兩組圖片進(jìn)行了實驗。用C++在OpenCV+VS2010環(huán)境下進(jìn)行編程實現(xiàn)本文算法，運行在筆記本電腦（2.4 GHz Intel i3 CPU，2 GB RAM）上。

表1　圖像配準(zhǔn)時間成本比較

圖1　本文方法的第一組結(jié)果圖

圖2　本文方法的第二組結(jié)果圖

從表1可以看出，本文提出的方法能夠在配準(zhǔn)精度相當(dāng)?shù)那闆r下，有效提高圖像配準(zhǔn)的速度，實際提高的程度與圖像的紋理和重疊率有關(guān)。從圖1和2的（d）到（e）可以看出，V通道調(diào)整得很平滑，由明顯的有亮度差的V通道圖像（d）調(diào)整為過度非常自然的（e），從而將（c）調(diào)整為最后的結(jié)果圖（f），實現(xiàn)了很好的效果。

3　結(jié)語

本文提出的兩階段的圖像配準(zhǔn)方法有效提高了圖像配準(zhǔn)的速度，針對高分辨率大尺寸圖像提高的更多，但是針對視頻序列，這種提高并不能達(dá)到實時。本文提出的基于最佳接縫的亮度調(diào)整算法很好解決了圖像的亮度差異，但該方法不能用于由點光源造成的亮度差異的圖像中，具有局限性。

提高視頻配準(zhǔn)與拼接的算法效率對實際應(yīng)用有著不可忽視的作用。在后續(xù)的研究中，應(yīng)當(dāng)結(jié)合視頻的時間軸的特性，進(jìn)一步提高視頻無縫拼接的速度和性能，并提出更好的處理亮度差異的方法。

［1］Donoser M.，Bischof H.，Efficient Maximally Stable External Region（MSER）Tracking［C］.IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR'06）.2006，1：553-560.

［2］Lowe D.G..Distinctive Image Features from Scale-Invariant Keypoints［J］.International Journal of Computer Vision.2004，60（2）：91110.

［3］Herbert Bay，Andreas Ess，Tinne Tuytelaars.Speeded-Up Robust Features（SURF）［J］.Computer Vision and Image Understanding. 2008，110（3）：346-359.

［4］Rublee E.，et al.ORB：An Efficient Alternative to SIFT or SURF［C］.IEEE International Conference on Computer Vision（ICCV），2011，2564-2571.

［5］Yu Tang，Huiyan Jiang.Highly Efficient Image Stitching Based on Energy Map［J］.IEEE CISP'09，2009：1-5.

［6］Yu Tang，Jungpil Shin，De-Ghosting for Image Stitching with Automatic Content-Awareness［C］.IEEE International Conference on Pattern Recognition（ICPR'10），2010：2210-2213.

［7］Cheng-ming Huang，Shu-wei Lin.Efficient Image Stitching of Continuous Image Sequence with Image and Seam Elections［J］.IEEE Sensors Journal，2015，15：5910-5918.

［8］徐景中，袁芳，寇媛.一種基于拼接線和動態(tài)基準(zhǔn)的影像拼接方法［J］.測繪通報，2014（9）：34-37.

［9］Shen B.，I.K.Sethi，V.Bhaskaran.DCT Domain Alpha Blending［C］.IEEE International Conference on Image Processing（ICIP），1998，1：857-861.

［10］Liang L.，et al.Real-Time Texture Synthesis by Patch-Based Sampling［J］.ACM Transactions on Graphics（ToG），2001，20（3）：127-150.

［11］Allene C.，J.-P.Pons，R.Keriven.Seamless Image-Based Texture Atlases Using Multi-Band Blending［C］.International Conference on Pattern Recognition（ICPR），2008：1-4.

［12］Burt，P.J.，E.H.Adelson.A Multiresolution Spline with Application to Image Mosaics［J］.ACM Transactions on Graphics（TOG），1983，2（4）：217-236.

Intensity Adjusted and Fast Image Stitching Algorithm

REN Zhi-jiao，SHI Hong
（College of Computer Science，Sichuan University，Chengdu 610065）

Elaborates on two aspects in the field of image stitching in details.First is the case that it is time-consuming to register large images，applies a two-stage process to incrementally register images efficiently.Second，gives a particular illustration on the intensity adjustment of the stitched image based on optimal seam line，adjusts intensity only on the channel of V（HSV）based on the seam.Experiment results demonstrate that this method has a good effect.

Image Stitching；Image Registration；Intensity Adjustment；Optimal Seam Line

1007-1423（2016）26-0048-04DOI：10.3969/j.issn.1007-1423.2016.26.012

任智姣（1990-），女，山西太原人，在讀碩士研究生，研究方向為圖形圖像處理、圖像拼接

2016-06-07

2016-09-07

石泓（1989-），男，山西太原人，在讀研究生，研究方向為圖像視頻穩(wěn)像