劉 暢，唐加山

1.南京郵電大學(xué) 通信與信息工程學(xué)院，南京 210003 2.南京郵電大學(xué) 理學(xué)院，南京 210023

◎圖形圖像處理◎

基于全局顏色傳遞的SIFT匹配算法

劉 暢1，唐加山2

1.南京郵電大學(xué) 通信與信息工程學(xué)院，南京 210003 2.南京郵電大學(xué) 理學(xué)院，南京 210023

研究在不同光照條件下兩幅彩色圖像的匹配問題，提出了一種新的基于全局顏色傳遞的具有尺度不變性的特征變換（SIFT）匹配算法。新算法對不同光照下同一場景或目標(biāo)的兩幅彩色圖像進(jìn)行全局顏色傳遞，以減小匹配時由顏色差異帶來的誤差；利用SIFT算法提取處理后的圖像的特征信息完成初步匹配；采用隨機(jī)抽驗一致性（RANSAC）算法消除誤匹配點。實驗結(jié)果表明新算法具有良好的彩色圖像匹配性能。

顏色傳遞；尺度不變特征（SIFT）；特征匹配；消除誤匹配點

1 引言

眾所周知，彩色圖像匹配算法大多是將其轉(zhuǎn)化為灰度圖像，利用圖像的灰度信息尋找圖像中的幾何不變量，完成圖像之間的匹配。SIFT算法[1]是一種在不同尺度空間中尋找圖像局部特征點且對圖像縮放、旋轉(zhuǎn)甚至仿射變換依然保持尺度不變性的特征匹配算法。然而，經(jīng)典SIFT算法只利用了圖像的灰度信息，忽略了圖像的顏色信息。為此，學(xué)者們提出了多種針對彩色圖像的SIFT算法，如：HSV-SIFT[2]算法：計算HSV顏色空間三個通道，并在三個通道中為每個特征點生成SIFT特征向量。Opponent-SIFT[3]算法：基于對立色理論，形成對立色空間模型，對模型中每一分量計算SIFT特征向量；RGB-SIFT[4]算法：計算RGB顏色空間三個通道，并在三個通道中為每個特征點生成SIFT特征向量；Trans-formed Color-SIFT[5]算法：對RGB空間模型進(jìn)行改善，生成新的空間模型，并對模型中每一分量計算SIFT特征向量。雖然這些算法在一定程度上提高了SIFT算法對彩色圖像的匹配能力，但是當(dāng)光照發(fā)生變化時，這些算法匹配的效率普遍不高。經(jīng)過研究，發(fā)現(xiàn)如果用全局顏色傳遞算法對圖像進(jìn)行預(yù)處理，則能夠很好地將源圖像的顏色信息傳遞給目標(biāo)圖像，并且保持目標(biāo)圖像的形狀不變。因此，本文提出了一種基于顏色傳遞的SIFT匹配算法，即先對目標(biāo)圖像進(jìn)行顏色傳遞的預(yù)處理，把源圖像的顏色信息傳遞給目標(biāo)圖像，再用SIFT算法對源圖像和經(jīng)過處理后的目標(biāo)圖像進(jìn)行特征點的提取和匹配，實現(xiàn)彩色目標(biāo)的匹配，仿真實驗表明新算法在彩色圖像匹配方面具有良好的表現(xiàn)。

2 Transformed Color-SIFT算法

彩色目標(biāo)的匹配在于特征點的提取和匹配，而基于SIFT的特征點提取和匹配算法在圖像匹配中得到了廣泛的應(yīng)用。SIFT算法的目的是生成一個特征描述符，該描述符對于特征尺度具有不變性。該算法的核心思想是：首先構(gòu)建尺度空間并找到興趣點，接下來在興趣點集合中尋找關(guān)鍵點，利用關(guān)鍵點及其周圍點的梯度方向，分配給關(guān)鍵點特定的方向，最后給每一個關(guān)鍵點設(shè)置一個矢量作為下一步匹配計算的依據(jù)，該矢量的維度為128[6-7]，具體步驟詳見文獻(xiàn)[8-9]。

Transformed Color-SIFT算法[10]是一種彩色SIFT算法，該算法在源圖像和目標(biāo)圖像各自提取SIFT特征矢量（即128維特征向量）之前，在RGB空間模型中定義一個新的空間模型，即對于每個原通道顏色的分布減掉其顏色分布的均值u，并除以該通道下分布的標(biāo)準(zhǔn)差σ，即：

在該模型下提取每個通道分量的SIFT特征向量，即用128×3維向量對特征點進(jìn)行描述，再對源圖像和目標(biāo)圖像的128×3維向量進(jìn)行特征向量的匹配。本文的核心思想是借鑒Transformed Color-SIFT算法中對圖像預(yù)處理的方法，把目標(biāo)圖像在每個通道顏色的分布的均值和方差與源圖像在每個通道顏色的分布的均值和方差聯(lián)系起來，以達(dá)到全局顏色傳遞的目的。

3 全局顏色傳遞

全局顏色傳遞[11]適合在整體內(nèi)容和顏色信息都相似的兩幅彩色圖像之間進(jìn)行顏色傳遞，在顏色傳遞的過程中，合適的顏色空間的選擇對算法能否取得更佳的傳遞效果有著很大的影響。本文主要采用顏色傳遞算法中常用到的L,α,β顏色空間[12]，因為它的三個顏色分量近似正交，基本消除了各個顏色分量之間的相關(guān)性，能夠最大限度地減小一個分量的變化給另外兩個分量造成的影響；所以可以對三個通道圖像進(jìn)行獨(dú)立運(yùn)算，而且不需要修改另外兩個通道的信息，其中，L表示亮度信息，α,β分別表示紅綠和黃藍(lán)信息。算法主要通過對目標(biāo)圖像每一像素點在L,α,β空間中的各通道值進(jìn)行平移、縮放實現(xiàn)顏色傳遞，具體實現(xiàn)如下：

（1）將兩幅彩色圖像從RGB空間轉(zhuǎn)化為LMS空間，再轉(zhuǎn)化到L,α,β空間，轉(zhuǎn)化公式為：

由于上述的數(shù)值矩陣不均衡，所以要通過取對數(shù)來調(diào)整其均衡性：

L=lgL;M=lgM;S=lgS

最后轉(zhuǎn)換到L,α,β空間的公式如下：

在 L,α,β空間下計算各個通道的總體均值 μ和標(biāo)準(zhǔn)差σ：

其中，參數(shù)下標(biāo)s和t分別代表源圖和目標(biāo)圖。

（2）在目標(biāo)圖像中，像素點的各個通道都減去該通道的總體均值：

對目標(biāo)圖像中各個像素點進(jìn)行縮放：

（3）目標(biāo)圖像的每個像素點各個通道加上源圖像相應(yīng)通道的均值：

目標(biāo)圖像經(jīng)過顏色傳遞處理后的圖像以及其顏色直方圖如圖1所示。

4 本文算法

本文采用基于全局顏色傳遞的SIFT匹配算法：首先如第3章所述對目標(biāo)圖像進(jìn)行顏色傳遞，然后如第2章所述對源圖像和處理后的目標(biāo)圖像分別提取128維的SIFT特征向量，其次進(jìn)行彩色圖像特征點匹配，特征點匹配分成初次匹配和二次匹配兩個步驟完成，最后消除誤匹配點完成匹配。

圖1 全局顏色傳遞的效果

當(dāng)進(jìn)行特征點初次匹配時，采用基于特征點最近鄰與次近鄰距離之比BBF（Best Bin First）[13]的搜索算法：取源圖像上的一個關(guān)鍵點，在經(jīng)過顏色傳遞后的目標(biāo)圖像中，尋找與它距離最近的前兩個特特征點，這里的最近距離理解為關(guān)鍵點的描述向量間的最小歐氏距離。為了排除由圖像遮擋和背景混亂而產(chǎn)生的無匹配關(guān)系的關(guān)鍵點，這里將最近距離與次近距離比設(shè)定為閾值參數(shù)ratio，設(shè)定好ratio后，若比值小于ratio，則源圖中的關(guān)鍵點與目標(biāo)圖像中最近距離的那個特征點相匹配，否則匹配不成功。當(dāng)降低或升高閾值時，匹配成功的點會相對地減少或增加，閾值越小，匹配結(jié)果越穩(wěn)定。經(jīng)過多次實驗可得，閾值取0.8時最佳。這些經(jīng)過初次匹配的匹配點為實際匹配點。

完成初步匹配后，本文使用二次匹配剔除一些誤匹配對來改善匹配效果，進(jìn)而得到正確的匹配點。具體步驟為：計算出所有匹配點之間距離的最大值maxdist（這里的距離指關(guān)鍵點的描述向量間的歐氏距離），在一對匹配點中，若匹配點之間的距離同maxdist的比值大于某個閾值differ，則刪除這一對匹配點。閾值過大或者過小，匹配成功的點會減少，只有當(dāng)閾值大小適中時，匹配結(jié)果才會穩(wěn)定。經(jīng)過多次實驗可知，閾值取0.6時最佳。最后再采用隨機(jī)抽檢一致性（RANSAC）算法[14-15]來消除誤匹配點，即通過反復(fù)測試、迭代，找到一個變換矩陣，使得盡量多的特征點間都符合這個變換關(guān)系，剔除不滿足這個變換關(guān)系的匹配點。如此，便能在保留尺度不變性的基礎(chǔ)上，減少光照對匹配精度的影響算法流程圖如圖2所示。

圖2 基于全局顏色傳遞的SIFT匹配算法的流程圖

5 實驗結(jié)果與分析

為了驗證新算法的性能，本章對幾種彩色圖像匹配算法進(jìn)行仿真實驗，實驗在Windows8的64位操作系統(tǒng)，CPU主頻2.7 GHz配置下運(yùn)行Visual Studio 2010和Opencv 2.4.10來實現(xiàn)相關(guān)算法，選取了阿姆斯特丹（ALOI）圖像庫中的30組不同光照下的圖像，圖像大小為384×288。在實驗中對 HSV-SIFT、Opponent-SIFT、RGB-SIFT、Transformed Color-SIFT以及本文算法的性能進(jìn)行了對比分析，為了保證結(jié)果的準(zhǔn)確性，在本文中，每個算法的閾值ratio均取為0.8，differ均取為0.6。采用平均匹配準(zhǔn)確率、平均匹配時間和平均誤匹配率來衡量五種算法的匹配能力。

仿真結(jié)果是30次獨(dú)立重復(fù)實驗的平均值，因此平均匹配準(zhǔn)確率是指在30次實驗中正確的匹配點數(shù)與實際的匹配點數(shù)比值的平均值：

其中，N正確匹配表示正確匹配點的數(shù)量，N實際匹配表示實際匹配點的數(shù)量。

平均匹配時間指在30次實驗中匹配時間的平均值：

其中，T表示匹配時間。

平均誤匹配率是指在30次實驗中誤匹配的數(shù)量與匹配點數(shù)量比值的平均值：其中，N誤匹配表示誤匹配點的數(shù)量，N正確匹配表示正確的匹配點的數(shù)量。

由表1可以看出在光照變化的情況下，本文算法的平均匹配率、平均誤匹配率和平均匹配時間均比HSV-SIFT、Opponent-SIFT、RGB-SIFT 和 Transformed Color-SIFT等算法均有較大優(yōu)勢。本文算法具有較好性能的原因在于在進(jìn)行SIFT匹配之前，對目標(biāo)圖像進(jìn)行了顏色傳遞的預(yù)處理，減小了由光照不同帶來的顏色差異，從而提高了彩色目標(biāo)或者彩色圖像之間的匹配率。

表1 不同算法性能的比較

表2 不同算法不同階段時間的比較s

表2給出了五種算法在光照變化情況下各個階段所用時間的實驗結(jié)果，可以看出，雖然本文算法在預(yù)處理時花費(fèi)的時間比HSV-SIFT、Opponent-SIFT、RGBSIFT和Transformed Color-SIFT等算法要長，但是由于HSV-SIFT、Opponent-SIFT、RGB-SIFT 和 Transformed Color-SIFT等算法都是在三個不同通道上提取128維特征向量，生成了128×3維向量，而本文算法只需要在單通道生成128維向量，所以本文算法提取特征點的所用時間要比其他算法要少；同理，在進(jìn)行特征點匹配時，本文算法依然占據(jù)優(yōu)勢，所以本文算法總的匹配時間要比其他彩色SIFT匹配算法所用時間要少。本文算法在預(yù)處理時花費(fèi)的時間比HSV-SIFT、Opponent-SIFT、RGBSIFT和Transformed Color-SIFT等算法要長，但是由于HSV-SIFT、Opponent-SIFT、RGB-SIFT 和 Transformed Color-SIFT等算法都是在三個不同通道上提取128維特征向量，生成了128×3維向量，而本文算法只需要在單通道生成128維向量，所以本文算法提取特征點的所用時間要比其他算法要少；同理，在進(jìn)行特征點匹配時，本文算法依然占據(jù)優(yōu)勢，所以本文算法總的匹配時間要比其他彩色SIFT匹配算法所用時間要少。

本文進(jìn)一步給出五種算法在光照變化情況下正確匹配點數(shù)量的實驗結(jié)果圖像。圖3～7的匹配方法分別是本文算法、Opponent-SIFT算法、HSV-SIFT算法、RGB-SIFT算法和Transformed Color-SIFT算法，每一種匹配方法都使用相同的玩偶圖像和洗衣粉圖像作為實驗對象。

圖3 本文算法在光照變化的環(huán)境下正確匹配點數(shù)量

圖4 Opponent-SIFT算法在光照變化的環(huán)境下正確匹配點數(shù)量

圖5 HSV-SIFT算法在光照變化的環(huán)境下正確匹配點數(shù)量

圖6 RGB-SIFT算法在光照變化的環(huán)境下正確匹配點數(shù)量

圖7 Transformed Color-SIFT算法在光照變化的環(huán)境下正確匹配點數(shù)量

6 小結(jié)

彩色圖像SIFT算法能夠解決光照變化、旋轉(zhuǎn)變化、尺度變化、仿射變化等環(huán)境下的彩色目標(biāo)匹配問題。本文針對目前彩色圖像SIFT算法在光照條件下匹配效率不高的問題，在Transformed Color-SIFT算法的基礎(chǔ)上，提出了一種基于顏色傳遞的SIFT特征點提取與匹配算法，首先對目標(biāo)圖像進(jìn)行顏色傳遞的預(yù)處理，再對經(jīng)過顏色傳遞的目標(biāo)圖像與源圖像分別提取特征點，然后對特征點的128維特征向量進(jìn)行初次匹配和二次匹配，并消除誤匹配點。仿真實驗表明，本文方法比現(xiàn)有的彩色圖像SIFT算法具有更短的匹配時間和更好的匹配能力，具有較廣闊的應(yīng)用前景。

[1]Lowe D G.Distinctive image features from scale-in-variant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[2]Bosch A，Zisserman A，Munoz X.Scene classification using a hybrid generative/discriminative approach[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008：712-727.

[3]Tuytelaars T，Mikolajczyk K.Local invariant feature detectors：A survey[J].Foundations and Trends in Computer Graphics and Vision，2008：177-280.

[4]Gevers T，Smeulders A W M.Color-based object recognition[J].Pattern Recognition，1999：453-464.

[5]Burghouts G J，Geusebroek J M.Performance evaluation of local color invariants[J].Computer Vision and Image Understanding，2009：48-62.

[6]Lowe D G.Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision，1999：1150-1157.

[7]王明，劉偉光.基于改進(jìn)SIFT特征的雙目圖像匹配算法[J].計算機(jī)工程與應(yīng)用，2013，49（2）：203-206.

[8]Yuen P C.Wavelet-based PCA for human face recognition[C]//IEEE Southwest Symposium on Image Analysis and Interpretation，1998：223-228.

[9]汪松.基于SIFT算法的圖像匹配方法研究[D].西安：西安電子科技大學(xué)，2013.

[10]Koen E A，Snoek G M C，Gevers T.Evaluating color descriptors for object and scenerecognition[J].IEEE Transactions on pattern Analysis and Machine Intelligence，2010：1582-1596.

[11]陳小娥.兩種色彩傳遞算法適用情況研究[J].計算機(jī)應(yīng)用與軟件，2011，9（2）：252-254.

[12]Chiao C C，Ruderman D L，Cronin T W.Statistics of cone responses to natural images：Implications for visual coding[J].Journal of Optical Society of America A，1998，15（15）：2036-2045 ．

[13]丁南南.基于特征點的圖像配準(zhǔn)技術(shù)的研究[D].長春：中國科學(xué)院研究生院，2012.

[14]Fischler M A，Bolles R C.Random sample consensus：A paradigm for model fitting with applications to image analysis and automated cartography[J].ACM Graphics and Image Processing，1981，24（6）：381-395.

[15]趙燁，蔣建國，洪日昌.基于RANSAC的SIFT匹配優(yōu)化[J].光電工程，2014，8（8）：58-65.

LIU Chang1,TANG Jiashan2

1.College of Telecommunications and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China 2.School of Science,Nanjing University of Posts and Telecommunications,Nanjing 210023,China

SIFT matching algorithm based on global color transfer.Computer Engineering and Applications,2017,53（21）：157-161.

This paper investigates the matching problem between two color images coming from the same scene under different illuminations,and proposes a new image matching algorithm with the Scale Invariant Feature Transform（SIFT）based on global color transfer.Firstly,the new algorithm implements the global color transfer between two color images which have different illumination under the same scene,resulting in reducing the error caused by color difference.Then,the SIFT algorithm is used to extract the features information from the processed images and the primary matching between the source image and the processed one is finished.Lastly,the false matched features are discarded by using the Random Sample Consensus（RANSAC）algorithm.Simulation results indicate that the new method has better performance of color images’matching than that in the literatures.

color transfer;Scale Invariant Feature Transform（SIFT）;feature matching;eliminate false matching points

A

TN911.72

10.3778/j.issn.1002-8331.1605-0013

劉暢（1993—），女，碩士研究生，主要研究領(lǐng)域為數(shù)字圖像處理，現(xiàn)代智能信號處理，E-mail：615914484@qq.com；唐加山（1968—），男，博士，教授，主要研究領(lǐng)域為概率論、隨機(jī)過程理論及其應(yīng)用、現(xiàn)代通信中的智能信號處理技術(shù)、數(shù)字圖像處理、信道辨識與均衡等。

2016-05-04

2016-06-30

1002-8331（2017）21-0157-05

CNKI網(wǎng)絡(luò)優(yōu)先出版：2016-09-29,http://www.cnki.net/kcms/detail/11.2127.TP.20160929.1650.028.html