葛成，胡福喬，趙宇明

0 引言

近年來，高動態(tài)范圍圖像合成（High Dynamic Range Image Composition）技術獲得了長足發(fā)展。真實世界場景往往具有很高的動態(tài)范圍，而傳統(tǒng)數(shù)碼照相機由于只具有有限的位深度，難以捕捉到完整的動態(tài)范圍。一個彌補措施是通過拍攝多張相同場景不同曝光度的圖像并合成，間接恢復出完整的動態(tài)范圍，再通過色調(diào)映射（tone mapping）算法，將高動態(tài)圖像壓縮顯示在低動態(tài)范圍顯示部件上（如LCD，CRT），實現(xiàn)圖像質(zhì)量的提升。

1999年Debevec和Malik在文獻[1]中描述了數(shù)碼相機成像的基本過程。在該模型中，相機的輸出主要由兩個因素決定。其一是場景的光線輝度（Scene radiance），在短時攝影中基本保持不變。另一因素是相機自身參數(shù)，在光圈、增益等一定時，主要由曝光時間決定。輸出圖像的灰度級和場景光線輝度之間的關系，可以用相機響應函數(shù)（Camera Response Function，CRF）表示。Debevec和Malik采用求解超定線性方程組的方法，從多曝光圖像序列中恢復CRF。隨后Mitsunaga和Nayar發(fā)表了基于多項式逼近的CRF估計方法[2]。

利用相機響應曲線，可以將多曝光圖像映射到光線輝度域上，對輝度空間的圖像進行加權平均即得到對數(shù)HDR圖像。但是，在合成之前，一個重要的問題是拍攝過程中圖像的抖動和場景的運動，以及目標本身三維結構在運動中造成的視差（parallex），故一個準確的配準過程十分重要。Tomaszewska提出了基于SIFT特征的配準算法[3]。SIFT算法能夠較為有效的提取相似圖像中對應的尺度不變的特征點，但是它計算量較大，不適合實時圖像配準。Greg Ward提出了一個基于圖像二值化的快速配準算法[4]: 中值二值化圖像配準（Median Threshold Bitmap，MTB）。該算法通過將不同曝光度圖像，按照各自灰度中值或均值進行二值化，得到的二值化圖像，對于曝光時間的變化相對穩(wěn)定。然后通過圖像金字塔搜索，確定兩張不同曝光度圖像之間的X，Y方向平移量，從而實現(xiàn)配準。由于配準過程是大多進行位運算，故而速度較快。但是其缺點也是顯而易見的。主要是MTB的配準檢測，只能在X，Y方向上搜索得到整數(shù)平移量，而對沒有亞像素級別的精度，并且當運動目標距離鏡頭較近，目標本身的三維形狀在序列圖像中產(chǎn)生較大視差效應時，簡單的X，Y方向平移已經(jīng)無能為力。本文提出的SURF算法解決了在三維視差不能忽略的情況下，多曝光圖像序列的配準問題，并且算法具有較快的速度，適合于實時配準情形。

1 多曝光圖像序列配準的相關研究

1.1 二維配準：中值二值化圖像（MTB）

當圖像場景基本為平面物體或者目標距離鏡頭較遠時，物體的三維形狀可以忽略。換句話說，即圖像之間的配準關系可以簡單的處理為X，Y平面上的平移或旋轉(zhuǎn)。2003年Greg和Ward提出的MTB（median threshold bitmap）法[4]即適用于該場合。MTB算法計算多曝光圖像各自的中值，并將其二值化，利用金字塔搜索獲得水平和垂直方向目標運動量。在本文的后續(xù)實驗中我們可以看到，MTB方法對物體三維形狀信息的忽略，導致近距離大目標的配準及合成中產(chǎn)生明顯的模糊和重影效應。

1.2 三維配準：基于SIFT特征

為了準確知道匹配圖像和參照圖像之間的關系，需要找到目標運動的參數(shù)模型。圖像運動主要可以分為幾類：平移，旋轉(zhuǎn)，伸縮，仿射和投影。

對于參照圖像像素坐標（x，y），匹配圖像中的對應像素坐標可以表示為

其中～表示按比例相等，Cij為未知量。當考慮 2維平面運動時，C33=1。變換矩陣的參數(shù)取特殊形式時，可以得到平移、旋轉(zhuǎn)、伸縮、仿射和投影的變換矩陣。

與基于像素灰度的MTB方法不同，基于特征的圖像配準算法首先通過在圖像組中提取并匹配特征點，利用對應特征點的位置信息求解運動參數(shù)。Tomaszewska提出的SIFT配準方法[3]采用SIFT算法定位待配準圖像和參照圖像中的尺度不變特征點（Scale invariant features）。該方法在曝光時間不處于極端狀態(tài)時（如極高或極低）較有效，當曝光時間過大或過小時，SIFT算法提取錯誤特征點增多，對應特征點的誤匹配也增多，這對運動參數(shù)的估計造成很大誤差，導致配準失敗。另外，SIFT的計算量較大，不適合實時系統(tǒng)。

2 基于SURF的多曝光圖像配準

2.1 為什么使用SURF

SURF（Speeded Up Robust Features）由Herbert Bay等人發(fā)表于ECCV2006[5]。該特征較之SIFT在計算速度和魯棒性上有較大改進。它已經(jīng)被廣泛的應用于目標識別和跟蹤。SURF算法通過圖像二階Hessian矩陣的行列式計算感興趣點（interest points）的位置和尺度信息，圖像的二階Hessian矩陣定義如下：

在SURF算法之前，還有一些其他的特征點提取算法。根據(jù)Herbert文[5]所示，SURF算法的fast hessian特征提取方法比Hessian-laplace方法快5倍，比Harris-Laplace方法快12倍，比DoG（SIFT算法中有應用）快3倍。除SURF外，這些特征點提取算子都不能滿足實時的要求。

SURF特征的描述子讓特征點具有對圖像視角、尺度、旋轉(zhuǎn)和光照變化的不變性。這些性質(zhì)使得SURF適合于多曝光的圖像配準問題。在特征點的位置確定以后，通過最近鄰搜索方法，獲得參照圖和匹配圖中相對應的特征點對。搜索過程可以用簡單的蠻力搜索或更快的KD tree方法。

SURF配準模型

SURF配準模型如圖一所示。首先計算并匹配圖像組中的對應特征點，之后我們利用最小中值平方法計算運動變換矩陣（1）中的各個參數(shù)。最后，利用變換矩陣C將匹配圖映射到參照圖坐標系：

其中

我們注意到SURF特征對光照和顏色的變化具有較好的魯棒性，所以該算法對于不同曝光度的圖像配準可以取得非常好的效果。另外，3×3的變換矩陣將圖像平移、旋轉(zhuǎn)、透視、視差等情況均包含在內(nèi)，比僅僅考慮水平垂直平移量的MTB算法全面很多。

2.3 變換矩陣的估計

變換矩陣C中共有8個未知參數(shù)，匹配的特征點一般遠多于未知量的個數(shù)，通常的解法是利用最小二乘估計，將所有點對參與計算，得出變換矩陣。但在實際中，由于之前的特征提取和匹配過程均有一定的錯誤率，發(fā)生錯匹配的點對不應該再參與變換矩陣的計算。去除這些誤匹配，可以進一步提高算法的魯棒性。這里我們采用具有較好噪聲耐抗性的最小中值平方法（Least Median of Squares，LMEDS）。

圖一 SURF配準模型

設已得到n對匹配點對，從中隨機選擇4對，根據(jù)4點對，求解線性方程組，得到矩陣C的各個參數(shù)。利用得到的矩陣C將其余參照圖像的特征點映射到匹配圖像中，得到特征點位置的估計值，并求估計值與實際值的誤差量，以下為Euclid范數(shù)表示的誤差量：

接下來的問題是確定保證參數(shù)求解足夠精確的最小m值。我們假設錯點占特征點集的比例為ε，則m次估計中至少有一次足夠準確（即所取得四個點對都是好點）的概率是：

保持P接近1，如令P=0.99，我們相信SURF特征提取和匹配可以保證大部分點正確，則ε較小，設ε=0.4，故

所以，我們只需在約34次重復計算中選取使得誤差中值最小的矩陣C即可。

3 實驗

我們用C++語言實現(xiàn)了本文算法，實驗證明，該算法能夠?qū)Χ嗥毓庑蛄袌D像取得良好的配準效果。在 Intel Core2 2.4GHZ機器上，對大小為 640×480的圖像對，算法只需0.2～0.8s，具體取決于特征點的個數(shù)，對同樣圖像序列，SIFT配準算法需要2.4～2.8s。并且，在高曝光場合，過飽和的圖像使得SIFT常常發(fā)生誤匹配。

如前所述，當運動目標距離攝像機鏡頭較近，物體本身3維形狀產(chǎn)生視差時，MTB方法僅僅在X，Y方向進行平移變換，配準后的合成圖像容易有鬼影出現(xiàn)。我們比較了MTB方法和SURF配準方法，實現(xiàn)證明本算法配準合成的HDR圖像質(zhì)量明顯好于MTB。

4 結論

本文介紹了基于SURF特征點的多曝光序列圖像配準算法。作為高動態(tài)圖像（HDR）合成的預處理步驟，實驗證明了該算法的有效性。本文還比較了傳統(tǒng)的MTB算法和基于SIFT特征的配準算法，基于SURF的方法在配準的準確性和實時性方面均有良好表現(xiàn)。但另一方面，當目標缺乏紋理特征時，SURF算法的性能亦會有所降低，這也是基于特征的算法的共同缺點，也是本算法需要進一步改善的方向。

[1]Debevec P，Malik J.Recovering High Dynamic Range Radiance Maps from Photographs[C]//Proceedings of the 24th annual conference on Computer graphics and interactive techniques（0-89791-896-7），1997，369-378.

[2]Mitsunaga T，Nayar S K，Radiometric Self Calibration[J].Computer Vision and Pattern Recognition，1999，（1）:380.

[3]Tomaszewska A，Mantiuk R.Image Registration for Multi-exposure High Dynamic Range Image Acquisition[C]//WSCG 2007，F(xiàn)ull Papers Proceedings I and II，2007，49-56.

[4]Ward G.Fast，Robust Image Registration for Compositing High Dynamic Range Photographs from Handheld Exposures[J].Journal of Graphics Tools，2003，8（2）:17-30.

[5]Bay H.SURF: Speeded Up Robust Features[J].Computer Vision and Image Understanding，San Diego: Academic Press Inc Elsevier Science，2008，110（3）: 346-359.

[6]David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision（0920-5691），2004，（2）: 91-110.

[7]Zitova B，F(xiàn)lusser J.Image registration methods: a survey[J].Image and Vision Computing，2003，21（11）:977-1000.

[8]Reinhard E，Pattanaik S，Greg Ward，Debevec P.High Dynamic Range Imaging: Acquisition，Display，and Image-based Lighting[M].San Francisco: Morgan Kaufmann Publishers，2005.

[9]Grosch T.Fast and Robust High Dynamic Range Image Generation with Camera and Object Movement[C]//International Workshop Vision，Modeling，and Visualization，2006.