張紅民，張見(jiàn)雙，羅永濤，陳柏元

?

一種基于圖像區(qū)域分塊的SIFT快速配準(zhǔn)方法

張紅民，張見(jiàn)雙，羅永濤，陳柏元

（重慶理工大學(xué) 電氣與電子工程學(xué)院，重慶 400054）

針對(duì)傳統(tǒng)尺度不變特征變換（SIFT）算法在特征提取與描述時(shí)計(jì)算量大、實(shí)時(shí)性差的問(wèn)題，提出一種基于區(qū)域分塊的SIFT的快速配準(zhǔn)方法。首先，將匹配圖像和待匹配圖像分割成若干均勻的子圖，通過(guò)計(jì)算每個(gè)子圖的信息熵值與設(shè)定閾值比較來(lái)確定局部子圖的特征類型；對(duì)篩選出來(lái)的特征區(qū)域的子圖進(jìn)行特征提取和生成PCA-SIFT描述子，對(duì)篩選出來(lái)的平坦區(qū)域直接跳過(guò)，不進(jìn)行檢測(cè)。實(shí)驗(yàn)結(jié)果表明：提出的方法在保證配準(zhǔn)精度90%以上的情況下，計(jì)算時(shí)間減少了15%～25%左右，提高了圖像配準(zhǔn)的速度。

SIFT；區(qū)域分塊；PCA-SIFT；圖像配準(zhǔn)

0 引言

尺度不變特征變換（Scale Invariable Feature Transform, SIFT）算法[1]因其在圖像旋轉(zhuǎn)、平移、尺度變換、光照變化、噪聲干擾、仿射變換時(shí)魯棒性強(qiáng)的優(yōu)點(diǎn)，成為了近年來(lái)圖像配準(zhǔn)技術(shù)的研究熱點(diǎn)[2-4]，但傳統(tǒng)的SIFT算法復(fù)雜、耗時(shí)較長(zhǎng)，難以滿足工程實(shí)時(shí)性的要求[5]。針對(duì)這一問(wèn)題，近年來(lái)許多國(guó)內(nèi)外學(xué)者開(kāi)展了相關(guān)研究工作。2014年，宋佳乾等人[6]提出Canny算子和K-L變換的改進(jìn)SIFT算法，用來(lái)去除不穩(wěn)定的邊緣點(diǎn)，從而提高圖像配準(zhǔn)的速度。2015年，李玉峰等人[7]把Harris算子和SIFT結(jié)合起來(lái)實(shí)現(xiàn)了圖像自動(dòng)配準(zhǔn)，提高了配準(zhǔn)的速度和效率。2016年，張盼等人[8]利用變相加權(quán)環(huán)圓形鄰域?qū)IFT特征向量進(jìn)行描述，算法在速度上具有一定的優(yōu)勢(shì)。

雖然以上基于SIFT的改進(jìn)算法在速度上有些改善，但計(jì)算量依然很大，實(shí)時(shí)性不強(qiáng)，本文提出了一種基于區(qū)域分塊的SIFT快速配準(zhǔn)算法，該算法先將配準(zhǔn)圖像和待配準(zhǔn)圖像分割成若干塊均勻的子圖；然后對(duì)分割的子圖的信息熵值與設(shè)定的閾值比較來(lái)判斷圖像區(qū)域的類型；不同的子圖區(qū)域類型采取不同的處理策略，加快了算法的速度。

1 傳統(tǒng)的SIFT圖像配準(zhǔn)算法步驟

SIFT算法一般包括以下幾個(gè)步驟[9-10]：

1）尺度空間極值檢測(cè)

首先構(gòu)造高斯金字塔，對(duì)DOG算子進(jìn)行局部極值檢測(cè)。通過(guò)對(duì)每個(gè)像素與其鄰域比較來(lái)設(shè)定極值點(diǎn)并保存。

2）確定關(guān)鍵點(diǎn)的位置和尺度

通過(guò)擬合函數(shù)來(lái)精確定位特征點(diǎn)的位置和尺度，為了確保特征點(diǎn)的穩(wěn)定性和抗噪性，要將對(duì)比度較低的點(diǎn)和邊緣一些難定位的點(diǎn)剔除。

3）關(guān)鍵點(diǎn)的方向分配

對(duì)關(guān)鍵點(diǎn)為中心的鄰域進(jìn)行采樣，并對(duì)鄰域像素的梯度方向進(jìn)行直方圖統(tǒng)計(jì)，直方圖中峰值的位置就是關(guān)鍵點(diǎn)鄰域梯度的主方向，也就是關(guān)鍵點(diǎn)的主方向。

4）生成特征點(diǎn)描述子

將關(guān)鍵點(diǎn)為中心的16×16的矩形窗口均勻分成16個(gè)4×4個(gè)子窗口，然后計(jì)算每個(gè)子窗口8個(gè)方向的梯度累計(jì)值，這樣每個(gè)特征點(diǎn)都會(huì)生成4×4×8＝128維的特征向量。

2 基于區(qū)域分塊的SIFT快速配準(zhǔn)算法

有SIFT算法的步驟可知，雖然傳統(tǒng)的SIFT圖像配準(zhǔn)算法具有很多優(yōu)良的特性，但該算法會(huì)提取過(guò)多的特征點(diǎn)和生成128維的特征描述子。使得計(jì)算量過(guò)大，實(shí)時(shí)性較差。針對(duì)這個(gè)問(wèn)題，本文對(duì)傳統(tǒng)的SIFT算法進(jìn)行了改進(jìn)，改進(jìn)算法流程圖如圖1。

2.1 圖像區(qū)域分塊的思想

一般情況下，一幅自然圖像中都會(huì)存在灰度變化明顯和不明顯的區(qū)域；只有在圖像的灰度變化顯著的區(qū)域，才會(huì)有較多的特征點(diǎn)，而那些灰度變化不明顯的區(qū)域會(huì)很難提取出特征點(diǎn)，并且提取的特征點(diǎn)易產(chǎn)生誤匹配。為了提高圖像配準(zhǔn)的效率，本文采用了減少圖像特征檢測(cè)范圍的方法。首先將圖像均勻分割成若干個(gè)子圖，針對(duì)那些灰度變化不明顯的子圖，也就是子圖含的信息量少的一些區(qū)域，就直接跳過(guò)，不進(jìn)行特征檢測(cè)，而對(duì)那些灰度變化明顯，子圖所含的信息量較多的一些子圖才進(jìn)行特征檢測(cè)。

本文使用圖像信息熵[11]來(lái)區(qū)分子圖所含的信息量，信息熵值越大，代表該區(qū)域所包含的紋理信息越豐富，也就是特征點(diǎn)越多；反之，信息熵值越小，代表該區(qū)域所包含的紋理信息越稀少，特征點(diǎn)越少[12]。

2.2 圖像區(qū)域分塊算法的具體步驟

1）圖像均勻分塊，首先將圖像分割成均勻的5×5個(gè)子圖（若圖像的像素?cái)?shù)不能被5整除，則對(duì)少數(shù)邊緣像素重復(fù)計(jì)算簡(jiǎn)化處理），子圖編號(hào)為1, 2, …, 25；

圖1 基于區(qū)域分塊的SIFT快速配準(zhǔn)算法流程圖

2）計(jì)算每幅子圖的信息熵值(1), …,(25)；

3）將每幅子圖的信息熵值與規(guī)定的閾值進(jìn)行比較，本文設(shè)置的閾值為經(jīng)驗(yàn)值6.0；

4）特征區(qū)域判斷，將子圖圖像信息熵值大于閾值的子圖判斷為特征區(qū)域；相反，小于閾值的子圖判斷為平坦區(qū)域；

5）對(duì)第4）步計(jì)算出的特征區(qū)域進(jìn)行特征檢測(cè)，平坦區(qū)域則直接跳過(guò)不進(jìn)行特征檢測(cè)；

6）對(duì)第5）步檢測(cè)的特征點(diǎn)采用主成分分析法進(jìn)行特征描述，生成PCA-SIFT描述子[13]。

7）最后對(duì)特征描述子采用最近鄰與次近鄰之比的方法對(duì)特征點(diǎn)進(jìn)行配準(zhǔn)。

3 實(shí)驗(yàn)驗(yàn)證與分析

為了驗(yàn)證本文改進(jìn)算法的效果，進(jìn)行了實(shí)驗(yàn)驗(yàn)證。硬件平臺(tái)：CPU Intel（R）Core(TM) i5-2450M；內(nèi)存為4GB；64位window7操作系統(tǒng)；軟件平臺(tái)：Matlab 2014a。本文采用圖2所示的相機(jī)拍攝的具有一定重疊區(qū)域的3組實(shí)驗(yàn)圖像，左為參考圖像，右為待配準(zhǔn)圖像，圖像大小分別為：(a)523×395，(b)560×542，(c)417×354。

圖2 三組待配準(zhǔn)圖像

圖3顯示的是圖2中的第2組圖像(b)被分割成5×5均勻子圖的模式情形，表1、表2分別列出了參考圖像、待配準(zhǔn)圖像各個(gè)子圖的信息熵值，每個(gè)數(shù)據(jù)代表圖像中對(duì)應(yīng)位置的信息熵值，從表中可以看出子圖信息熵值較小的區(qū)域?qū)?yīng)的是圖像平坦區(qū)域，反之，信息熵值較大的子圖區(qū)域?qū)?yīng)的特征區(qū)域。本文中篩選子圖的信息熵的閾值設(shè)置為經(jīng)驗(yàn)值6.0，這樣圖3(a)中將有36%的區(qū)域直接跳過(guò)，不進(jìn)行特征檢測(cè)，圖3(b)中將有28%的區(qū)域不進(jìn)行特征檢測(cè)，大大減少了特征提取時(shí)間。

為了驗(yàn)證本算法的實(shí)際效果，將其與傳統(tǒng)的SIFT算法進(jìn)行配準(zhǔn)的效果比較，兩種算法進(jìn)行特征點(diǎn)數(shù)量、正確匹配點(diǎn)對(duì)數(shù)、運(yùn)行時(shí)間、匹配正確率的數(shù)據(jù)統(tǒng)計(jì)比較，具體的數(shù)據(jù)見(jiàn)表3。

圖3 圖像分割模式

表1 圖3(a)對(duì)應(yīng)子圖的信息熵值

表2 圖3(b)對(duì)應(yīng)子圖的信息熵值

如表3所示，本文算法雖然在特征點(diǎn)提取上有所減少，圖像的配準(zhǔn)點(diǎn)對(duì)數(shù)也有減少，但減少的數(shù)量有限，并不影響圖像配準(zhǔn)的準(zhǔn)確性，在圖像配準(zhǔn)時(shí)間上卻降低了整個(gè)圖像配準(zhǔn)的時(shí)間的15%～25%左右，如第3組圖像測(cè)試數(shù)據(jù)，正確匹配點(diǎn)對(duì)數(shù)由173減少到167，但時(shí)間由2.254s減少到1.771s，減少了約21.4%。

表3 兩種算法結(jié)果對(duì)比

4 結(jié)論

本文通過(guò)圖像紋理信息的分析的基礎(chǔ)上，提出了一種改進(jìn)的快速圖像配準(zhǔn)算法，首先將圖像進(jìn)行分塊處理，分別求出每個(gè)子圖的信息熵值，然后將每個(gè)子圖的信息熵值與固定的閾值來(lái)比較，只對(duì)熵值大于閾值的特征區(qū)域進(jìn)行SIFT特征提取和PCA-SIFT描述，最后使用最近鄰與次近鄰之比的算法對(duì)圖像進(jìn)行匹配。

為了驗(yàn)證本文算法的實(shí)際效果，將本文算法應(yīng)用于實(shí)際的車載全視景圖像拼接系統(tǒng)中，由于實(shí)際拍攝的圖像大多具有部分平坦區(qū)域，本文算法在保證配準(zhǔn)精度的前提下可明顯降低了算法復(fù)雜度，計(jì)算時(shí)間則較傳統(tǒng)的SIFT算法減少15%～25%左右。

值得一提的是，文中在對(duì)子圖區(qū)域類型分類時(shí)，子圖特征類型判斷閾值設(shè)置的為經(jīng)驗(yàn)值6.0，沒(méi)有實(shí)現(xiàn)根據(jù)子圖的信息自適應(yīng)設(shè)定閾值，需要在今后的工作中進(jìn)一步開(kāi)展研究。

[1] LOWE D G. Distinctive image features from scale-invariant keypoints[J]., 2004, 60(2): 91-100.

[2] 王新華, 王曉坤. 十億像素瞬態(tài)成像系統(tǒng)實(shí)時(shí)圖像拼接[J].中國(guó)光學(xué), 2015, 8(5):785-792.

WANG Xinhua, WANG Xiaokun. Real time image mosaic of the transient gigapixel imaging system[J]., 2015, 8(5): 785-792.

[3] 李玉峰, 李光澤, 谷紹湖, 等. 基于區(qū)域分塊與尺度不變特征變換的圖像拼接算法[J]. 光學(xué) 精密工程, 2016, 24(5): 1197-1205.

LI Yufeng, LI Guangze, GU Shaohu, et al. Image mosaic algorithm based on area blocking and SIFT[J]., 2016, 24(5): 1197-1205.

[4] 許佳佳. 結(jié)合Harris與SIFT算子的圖像快速配準(zhǔn)算法[J]. 中國(guó)光學(xué), 2015, 8(4): 574-581.

XU Jiajia. Fast image registration method based on Harris and SIFT algorithm[J]., 2015, 8(4): 574-581.

[5] 邸男, 李桂菊, 魏雅娟. 采用SIFT的末制導(dǎo)圖像匹配技術(shù)[J]. 紅外與激光工程, 2011, 40(8): 1499- 1593.

DI Nan, LI Guiju, WEI Yajuan. Image matching technology based on SIFT for terminal-guiding system[J]., 2011, 40(8): 1499- 1593.

[6] 宋佳乾, 汪西原. 基于Canny算子和K-L變換的改進(jìn)SIFT匹配算法[J]. 電視技術(shù), 2014, 38 (15): 61-65.

SONG Jiaqian, WANG Xiyuan. Improved SIFT matching algorithm based on Canny operator and K-L transformation[J]., 2014, 38 (15): 61-65.

[7] 李玉峰, 王竹筠. 基于Harris-SIFT特征匹配的圖像自動(dòng)配準(zhǔn)算法研究[J].電視技術(shù), 2015, 39 (23): 26-30.

LI Yufeng, WANG Zujun. Automatic image registration algorithm research based on Harris-SIFT features matching[J]., 2015, 39 (23): 26-30.

[8] 張盼, 阮俊, 王雅繼. 變環(huán)加權(quán)SIFT算法的圖像拼接[J]. 現(xiàn)代電子技術(shù), 2015, 38(19):72-78.

ZHANG Pan, RUAN Jun, WANG Yaji. Image mosaic based on SIFT algorithm of ring-conversion and weighting[J]., 2015, 38(19): 72-78.

[9] 張勇, 王志鋒, 馬文. 基于改進(jìn)的SIFT特征點(diǎn)匹配的圖像拼接算法研究[J]. 微電子學(xué)與計(jì)算機(jī), 2016, 33(3): 60-64.

ZHANG Yong, WANG Zhifeng, MA Wen. Research image mosaic algorithm based on improved SIFT feature matching[J]., 2016, 33(3): 60-64.

[10] 韶阿俊, 錢(qián)惟賢, 顧國(guó)華, 等. 基于計(jì)算集成成像的圖像配準(zhǔn)算法研究[J]. 紅外技術(shù), 2015, 37(5): 398-403.

SHAO Ajun, QIAN Weixian, GU Guohua, et al. Image registration algorithm research based on computational integral imaging[J]., 2015, 37(5): 398-403.

[11] 吳澤鵬, 郭玲玲, 朱明超, 等. 結(jié)合圖像信息熵和特征點(diǎn)的圖像配準(zhǔn)方法[J]. 紅外與激光工程, 2013, 42(10): 2846-2852.

WU Zepeng, GUO Lingling, ZU Mingchao, et al. Improved image registration using feature points combined with image entropy[J]., 2013, 42(10): 2846-2852.

[12] 岳昕, 尚振宏, 強(qiáng)振平, 等. 基于信息熵與SIFT算法的天文圖像配準(zhǔn)[J]. 計(jì)算機(jī)科學(xué), 2015, 42(6): 57-60.

YU Xin, SHANG Zhenhong, QIANG Zhenping, et al. Astronomical image registration combining information entropy and SIFT algorithm[J]., 2015, 42(6): 57-60.

[13] 李欽, 游雄, 李科, 等. PCA-SIFT特征匹配算法研究[J]. 測(cè)繪工程, 2016, 25(4): 19-24.

LI Qin, YOU Xiong, LI Ke, et al. Research on the matching algorithm of PCA-SIFT[J]., 2016, 25(4): 19-24.

A Fast SIFT Registration Method Based on Image Region Segmentation

ZHANG Hongmin，ZHANG Jianshuang，LUO Yongtao，CHEN Boyuan

(,,400054,)

For a large amount of computation and poor real-time performance of the traditional scale invariant feature transform(SIFT) algorithm in feature extraction and feature description, a fast registration method based on region segmentation SIFT is proposed. First, the matching image and the image to be matched are divided into several uniform subgraphs. The feature type of the local subgraph is determined by calculating the information entropy value of each subgraph and setting the threshold value. The features of the subgraph are extracted and the PCA-SIFT descriptor is generated. Then, the flat area screened out is skipped directly and not detected. Experimental results show that the proposed algorithm in ensuring the accuracy of registration of more than 90% of the cases, the calculation time is reduced by about 15%- 20%, and the speed of image registration is improved.

SIFT，regional block，PCA-SIFT，image registration

TP391.41

A

1001-8891(2017)04-0341-04

2016-09-30；

2016-12-30.

張紅民（1970-），男，河南舞陽(yáng)人，博士，教授，主要研究方向?yàn)閳D像處理與模式識(shí)別。E-mail：hmzhang@cqut.edu.cn。

重慶市基礎(chǔ)與前沿研究計(jì)劃項(xiàng)目（cstc2015jcyjA40051）。