陳 濱 趙建軍 馬同剛 王遠強

(1.海軍航空工程學院兵器科學與技術系 煙臺 264001)(2.91899部隊 葫蘆島 125001)

一種改進的視頻序列SIFT特征檢測方法*

陳 濱1趙建軍1馬同剛2王遠強2

(1.海軍航空工程學院兵器科學與技術系 煙臺 264001)(2.91899部隊 葫蘆島 125001)

SIFT算法在不變特征提取方面有著較大的優(yōu)勢,但因為其時間復雜度高,在實時應用上仍存在較大挑戰(zhàn)。為了提高SIFT算法的實時性,論文對SIFT特征檢測算法進行改進,根據(jù)連續(xù)圖像間的全局運動矢量,動態(tài)更新鄰域半徑,并依據(jù)該半徑獲取后續(xù)視頻圖像序列需要進行極值檢測的區(qū)域圖像,從而減少后續(xù)圖像極值檢測時間,提高SIFT特征檢測算法的效率。實驗證明,改進算法在確保特征點數(shù)目的前提下,有效減少了尺度空間下的極值檢測時間,提高了SIFT算法效率。

SIFT算法; 全局運動矢量; 視頻圖像; 尺度空間

Class Number TP391.41

1 引言

SIFT(Scale Invariant Feature Transform)是一種計算機視覺算法,用來檢測并描述圖像中的局部特征。算法構建尺度空間,并在空間中尋找極值點,計算其位置、尺度、旋轉不變量[1～2]。SIFT特征與圖像的大小、旋轉無關,而是基于圖像局部的一些興趣點,在噪聲、視角及光線變化等條件下具有很好的效果。在圖像的不變特征提取方面,SIFT特征具有很大的優(yōu)勢[3～4]。但是,算法運行過程中需要構建尺度空間、高斯金字塔,并對滿足關鍵點檢測條件的每一幀圖像中的每一個像素進行極值判斷,在此基礎上檢測尺度空間中圖像的SIFT特征。因此,在實時條件下利用SIFT特征完成穩(wěn)像、跟蹤等任務仍然是較大的挑戰(zhàn)。

本文提出一種改進的SIFT特征檢測方法:在前一幀圖像獲得SIFT特征后,后繼幀圖像在前一幀圖像SIFT特征點所在的鄰域內(nèi)進行關鍵點檢測,減少極值檢測次數(shù),提高算法效率。鄰域半徑根據(jù)連續(xù)圖像間的全局運動矢量[5～6]動態(tài)調(diào)整。

2 SIFT特征

2.1 尺度空間[7～8]

尺度空間理論的基本思想是:在圖像信息處理模型中引入一個被視為尺度的參數(shù),通過連續(xù)變化尺度參數(shù)獲得不同尺度下的視覺處理信息,然后綜合這些信息以更加深入地挖掘圖像的本質(zhì)特征。

尺度空間滿足視覺不變性:用眼睛觀察物體時,一方面當物體所處背景的光照條件變化時,視網(wǎng)膜感知圖像的亮度水平和對比度有所不同,因此要求尺度空間算子對圖像的分析不受圖像的灰度水平和對比度變化的影響,即滿足灰度不變性和對比度不變性。相對于某一固定坐標系,當觀察者與物體之間的相對位置變化時,視網(wǎng)膜所感知的圖像的位置、大小、角度和形狀是不同的,因此要求尺度空間算子對圖像分析與圖像的位置、大小、角度以及仿射變換無關,即滿足平移不變性、尺度不變性、歐幾里得不變性及仿射不變性。

一個圖像的尺度空間L(x,y,σ),定義為一個變化尺度的高斯函數(shù)G(x,y,σ)與原圖像I(x,y)的卷積,如式(1)所示:

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

其中:

(2)

(x,y)代表圖像像素坐標,σ是尺度空間因子,值越小表示圖像被平滑的越少,相應尺度也就越小。大尺度對應于圖像的外貌特征,小尺度對應于圖像的細節(jié)特征。

2.2 SIFT流程

SIFT算法[9～10]主要由四個階段組成:

1) 尺度空間極值檢測

構建尺度空間的第一步就是建立高斯金字塔。

假設原圖像大小為M1×N1,塔頂圖像大小為Mn×Nn,滿足式(3):

n=log2(min(N1,M1))-log2(min(Nn,Mn))

(3)

構建高斯金字塔模型的流程圖如圖1所示。

利用不同參數(shù),對圖像進行高斯模糊,獲得一組圖像。

圖1 高斯金字塔構建流程圖

高斯差分算子能夠產(chǎn)生穩(wěn)定的圖像特征,算子D(x,y,σ)如式(4)所示。因此,利用高斯金字塔生成高斯差分金字塔,可以產(chǎn)生更加穩(wěn)定的關鍵點。實際計算時,將高斯金字塔每組中的相鄰兩層圖像相減,就能得到高斯差分圖像。因此,高斯金字塔模型每組含有P幅圖像,高斯差分金字塔僅有P-1幅圖像。

D(x,y,σ) =(G(x,y,kσ)-G(x,y,σ))*I(x,y)

=L(x,y,kσ)-L(x,y,σ)

(4)

得到高斯差分金子塔后,對滿足關鍵點檢測條件的每一幀圖像中的每一個像素進行極值判斷。由于進行極值檢測時,需要對檢測點在尺度空間中相鄰的26個點進行大小比較,因此在高斯差分金字塔中,圖像處于中間層才能進行極值檢測。所以為了在每組圖像中檢測K個尺度的極值點,需要高斯差分金字塔每組擁有K+2幅圖像。由此可知,高斯金字塔的每組圖像需要K+3幅圖像。為了保證最高的空域采樣率,通常做法是將圖像的尺度擴大一倍,即將圖像用雙線性插值擴大一倍。

2) 關鍵點定位

由于1)中檢測到的是離散空間的極值點,為了去除對比度低的關鍵點和不穩(wěn)定的邊緣響應點,以增強匹配穩(wěn)定性、提高抗噪聲能力,需要通過函數(shù)擬合來確定關鍵點的位置和尺度。

3) 方向確定

在關鍵點所在的高斯金字塔圖像中,對其3σ領域窗口內(nèi)的像素計算梯度和方向分布特征,使用梯度直方圖將360°分為36個區(qū)域,每個區(qū)域10°。使用梯度直方圖統(tǒng)計該領域內(nèi)像素的梯度和方向,并用直方圖的峰值作為關鍵點的主方向,保留峰值大于主方向峰值80%的方向作為關鍵點的副方向。至此,SIFT特征點可被表示為含有位置、尺度和方向的關鍵點。

4) 關鍵點描述

最后,為每個關鍵點建立一個描述符,并用一組向量將這個關鍵點描述出來,令其不受到光照、視角等變化的影響。SIFT描述子使用關鍵點為中心的4×4個窗口,計算每個子窗口內(nèi)像素點8個方向的梯度信息,生成4×4×8共128維向量。這個向量是該區(qū)域圖像信息的一個抽象,具有唯一性。

3 改進SIFT特征檢測方法

在尺度空間中檢測到的極值點,將作為SIFT關鍵點的初始集合,通過篩選去除一些邊緣點、不穩(wěn)定點后,獲得SIFT關鍵點。尺度空間中的極值檢測是SIFT算法的關鍵一步。

3.1 極值檢測時間復雜度

(5)

所有進行極值檢測的像素點數(shù)目為

(6)

其中S由視頻序列的長度和幀頻決定,K決定了一組圖像中可以檢測的尺度的數(shù)量,一般取值為5。因此,有效減少Pi是減少極值檢測像素點,提高SIFT算法速度的關鍵。

3.2 改進方法

現(xiàn)有圖像傳感器設備獲取的視頻序列一般具有較高的幀頻。當攝像載體運動時,在獲得的視頻序列中,相鄰兩幀圖像間的全局運動較小。因此,后一幀圖像中的SIFT特征點一般在前一幀圖像中對應特征點的鄰域內(nèi)。通過限定鄰域半徑,獲取前一幀圖像所有特征點鄰域像素點的集合,減少參與極值檢測像素點數(shù)目,算法流程如圖2所示。

圖2 改進算法流程圖

鄰域半徑由式(7)決定:

(7)

其中,S為視頻序列中圖像的幀數(shù)。參數(shù)k為控制參數(shù),避免攝像載體速度突變,導致檢測失敗。

4 實驗及結果

實驗分別計算了原算法與改進算法作用于測試集所得特征點數(shù)目、算法耗時,通過對比來測試改進算法的有效性。

4.1 實驗測試集

實驗利用無人機拍攝的視頻測試集,選取視頻中連續(xù)9幀圖像(第71至79幀),測試算法有效性,如圖3所示。

圖3 實驗測試集

圖像分辨率為240×320。式(6)中各項參數(shù)值為S=9,K=5,n=4,k=2。

4.2 實驗結果

利用SIFT特征檢測算法對測試集進行檢測,獲得測試集各幀圖像的特征點數(shù)目,如表1所示。

表1 SIFT特征點數(shù)目表

圖4 原算法極值檢測耗時圖

由圖4可知,當圖像分辨率增加至480×640時,極值檢測過程中需要進行比較的像素點大大增加,導致特征點檢測時間將大幅提高。

通過前兩幀圖像得到的全局運動矢量來得到鄰域半徑的初始值,并且以此計算后一幀圖像需要進行極值檢測的區(qū)域圖像,不斷重復,得到區(qū)域圖像集如圖5所示。

圖5 極值檢測區(qū)域圖集

由改進算法得到的SIFT特征點數(shù)目如表2所示:

表2 改進算法SIFT特征點數(shù)量表

通過改進算法,在視頻圖像序列的各個分辨率條件下,算法極值檢測時間均有較大提高,如圖6所示。

圖6 改進算法極值檢測耗時圖

由實驗結果可知,改進算法在極值檢測時間方面有了較大的提高。

5 結語

本文針對SIFT特征極值檢測階段耗時較長的問題,對SIFT算法進行了改進。通過計算相鄰圖像間的全局運動矢量,限定下一幀圖像中進行極值檢測的區(qū)域,并根據(jù)隨后得到的全局運動矢量不斷更新鄰域半徑。改進算法通過減少極值檢測的次數(shù),提高SIFT算法的效率。

實驗表明,改進算法在動態(tài)更新鄰域半徑的情況下,在保證了SIFT特征點的數(shù)目的基礎上,同時得到了每幀圖像進行極值檢測的區(qū)域,有效減少了極值檢測的次數(shù),大幅減少了極值檢測時間。

[1] CHANG H C, LAI S H, LU K R. A Robust Real-time Video Stabilization Algorithm[J]. Journal of Visual Communication and Image Representation,2006,17(3):659-673.

[2] 傅衛(wèi)平,秦川,劉佳等.基于SIFT算法的圖像目標匹配與定位[J].儀器儀表學報,2011,32(1):163-169. FU Weiping, QING Chuan, LIU Jia. Matching and location of image object based on SIFT algorithm[J]. Chinese Journal of Scientific Instrument,2011,32(1):163-169.

[3] 高健,黃心漢,彭剛等.一種簡化的SIFT特征點提取算法[J].計算機應用研究,2008,25(7):2213-2222. GAO Jian, HUANG Xinhan, PENG Gang. Simplified SIFT feature point detecting method[J]. Application Research of Computers,2008,25(7):2213-2222.

[4] 安婷,賀一民,張志毅.改進的雙向SIFT特征匹配算法[J].計算機工程與科學,2016,38(1):138-143. AN Ting, HE Yimin, ZHANG Zhiyi. An improved bidirectional SIFT feature matching algorithm[J]. Computer Engineering and Science,2016,38(1):138-143.

[5] 孫劍,徐宗本.計算機視覺中的尺度空間方法[J].工程數(shù)學學報,2005,22(6):951-962. SUN Jian, XU Zongben. Chinese Journal of Engineering Mathematics,2005,22(6):951-962.

[6] BATTIAT O S, GALLO G, PUGLISI G.SIFT feature tracking for video stabilization[C]//International conference on Image Analysis and Processing, Modena 2007:1-7.

[7] 陳啟立,宋利,余松煜.視頻穩(wěn)像技術綜述[J].電視技術,2011,35(7):15-17. CHEN Qili, SONG Li, YU Songyu. A Overview of Video Stabilization[J]. Video Engineering,2011,35(7):15-17.

[8] 黎燕,樊曉平,李剛等.尺度空間圖像的互信息與配準[J].計算機工程與應用,2008,44(23):178-182. LI Yan, FAN Xiaoping, LI Gang, et al. Mutual information and register in scale space image[J]. Computer Engineer and Applications,2008,44(23):178-182.

[9] David G. Lowe. Object Recognition from Local Scale-invariant Features[C]//International Conference on Computer Vision, Corfu, Greece: Springer US,1999:1150-1157.

[10] David G. Lowe. Distinctive Image Features from Scale-invariant Keypoints[C]//International Conference on Computer Vision, Springer US, 2004: 91-110.

An Improved Method of Detecting SIFT Features in Video Frame

CHEN Bin1ZHAO Jianjun1MA Tonggang2WANG Yuanqiang2

(1. Weapon Science and Technology Department, Naval Aeronautical and Astronautical University, Yantai 264001)(2. No. 91899 Troops of PLA, Hululdao 125001)

Although SIFT algorithm has great advantage of extracting the invariant features, it is a challenge to use the algorithm real-time because of the time complexity. The paper improves the SIFT algorithm by limiting the area of extremes detection. The radius of the area is updating with the global motion vectors between the continuous frames of a video. With the improved algorithm, the images of the areas are obtained in which the extremes to be detected. The algorithm keeps the amount of SIFT features and is proved to be more efficient by decreasing the time cost by extremes detection.

SIFT algorithm, global motion vector, video frame, scale space

2016年9月3日,

2016年10月17日

陳濱,男,博士研究生,研究方向:計算機視覺。趙建軍,男,博士,教授,研究方向:武器裝備與作戰(zhàn)指揮一體化。馬同剛,男,助理工程師,研究方向:航空裝備保障。王遠強,男,助理工程師,研究方向:航空裝備保障。

TP391.41

10.3969/j.issn.1672-9722.2017.03.025