武俊， 郭捷， 邱衛(wèi)東， 徐鵬， 郭曼， 張菡

(上海交通大學(xué)電子信息與電氣工程學(xué)院，上海200240)

0 引言

圖像匹配在眾多視覺應(yīng)用中是一個(gè)關(guān)鍵技術(shù)，本文通過攝像頭監(jiān)控的視頻流進(jìn)行對(duì)特定目標(biāo)的管控，最終也需要進(jìn)行關(guān)鍵幀的圖像匹配，而匹配的效果直接影響到后續(xù)的分析處理的效果。特定目標(biāo)的識(shí)別屬于靜態(tài)的圖像匹配，以圖像的特征點(diǎn)提取以及最小距離計(jì)算作為主要方法，尋找特定目標(biāo)和給定場(chǎng)景的兩幅圖像中，同一場(chǎng)景點(diǎn)投影到特定目標(biāo)圖像中的像素間的對(duì)應(yīng)關(guān)系。Moravec采用角點(diǎn)算子來(lái)進(jìn)行立體視覺匹配的實(shí)現(xiàn)，以此為基礎(chǔ)，Harris等人對(duì)這種角點(diǎn)算子進(jìn)行了改進(jìn)，其角點(diǎn)檢測(cè)算法具有旋轉(zhuǎn)不變和縮放不變等多種優(yōu)良特征，因此廣泛被應(yīng)用于多種圖像匹配算法中，然而它對(duì)視角、照明、尺度變化較為敏感，沒有較強(qiáng)的抗噪聲能力[1]。之后David Lowe等人提出了具有尺度、視角、仿射、旋轉(zhuǎn)、光照不變性，且更加穩(wěn)定的SIFT(Scale invariant Feature Transform)特征算子[2]，其匹配點(diǎn)多而且穩(wěn)定的特點(diǎn)對(duì)于復(fù)雜環(huán)境下目標(biāo)的識(shí)別也較為有利，該算子已經(jīng)廣泛應(yīng)用于三維目標(biāo)識(shí)別[3]、地圖生成[4]和末制導(dǎo)圖像匹配[5]等領(lǐng)域。針對(duì)不同應(yīng)用和場(chǎng)景，SIFT算法也被不斷的優(yōu)化和改進(jìn)且衍生出多種不同的改進(jìn)算法[6－12]。本文利用SIFT算法對(duì)監(jiān)控視頻中的特定目標(biāo)進(jìn)行識(shí)別和管控，不但降低了人工成本和人工檢測(cè)的不確定性，極大解放了人力勞動(dòng)，而且提高了對(duì)攝像頭的利用率，可以真正做到對(duì)安全關(guān)鍵區(qū)域的特定目標(biāo)進(jìn)行24小時(shí)的實(shí)時(shí)監(jiān)控和管理。

本文首先使用混合高斯背景建模進(jìn)行場(chǎng)景識(shí)別，當(dāng)場(chǎng)景中的情況滿足了需要匹配的條件，如場(chǎng)景中目標(biāo)無(wú)管控人員在周圍管控之后，采用SIFT算法提取特定目標(biāo)的特征點(diǎn)，然后進(jìn)行特征點(diǎn)篩選及匹配，最后完成對(duì)特定目標(biāo)的識(shí)別，并實(shí)現(xiàn)聯(lián)動(dòng)報(bào)警，以此對(duì)特定目標(biāo)達(dá)到實(shí)時(shí)管控保護(hù)的目的。該方法在大量實(shí)驗(yàn)中證明了在特定場(chǎng)景下的可行性，且達(dá)到了較好的識(shí)別效果。

1 SIFT特征提取算法

SIFT算法通過在尺度空間進(jìn)行特征檢測(cè)，并確定關(guān)鍵點(diǎn)的位置以及關(guān)鍵點(diǎn)所處的尺度，之后使用關(guān)鍵點(diǎn)鄰域梯度的主方向作為該點(diǎn)的方向特征，以實(shí)現(xiàn)算子對(duì)方向和尺度的無(wú)關(guān)性。從而得到具有多種優(yōu)良特質(zhì)的SIFT算子[2]。

1.1 尺度空間理論

尺度空間的生成是為了模擬圖像數(shù)據(jù)的多尺度特征，高斯卷積核是尺度變換的唯一線性核實(shí)現(xiàn)，以下公式(1)為一副二維圖像的尺度空間定義:

式(1)中，G(X，Y，σ)為尺度可變高斯函數(shù)，(x，y)是空間坐標(biāo)，σ是尺度坐標(biāo)。圖像的平滑程度由σ的大小決定，圖像的概貌特征由大尺度來(lái)對(duì)應(yīng)，而圖像的細(xì)節(jié)特征由小尺度對(duì)應(yīng)[2]。

具有尺度無(wú)關(guān)性的穩(wěn)定特征點(diǎn)的提取，需要在圖像的DoG(Difference of Gaussian)尺度空間和二維平面空間中同時(shí)檢測(cè)出局部極值點(diǎn)。DoG算子的定義如下:

其中，用k個(gè)高斯卷積核分別與二維圖像I(x，y)卷積，得到k幅具有不同尺度的圖像L(x，y，kσ)。最后將這k幅圖像中相鄰的兩幅兩兩相減，得到具有不同尺度的高斯差分圖像D(x，y，σ)。

圖1 高斯模糊圖像和差分圖像

在實(shí)際計(jì)算時(shí)，使用每組中相鄰上下兩層圖像相減，得到高斯差分圖像，如圖1所示，進(jìn)行極值檢測(cè)。

1.2 檢測(cè)尺度空間極值點(diǎn)

如圖2所示，所有的采樣點(diǎn)都要與其相鄰的3層差分圖像中所有的相鄰點(diǎn)比較，來(lái)找到尺度空間的極值點(diǎn)，中間的檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)以及上下9x2個(gè)總共26個(gè)點(diǎn)都要進(jìn)行比較，若其在DoG尺度空間的三層(本層以及相鄰兩層)都是極值時(shí)，就定為圖像在該尺度下的一個(gè)特征點(diǎn)。

由于DoG算子會(huì)產(chǎn)生較強(qiáng)的邊緣效應(yīng)，為了提高其抗噪聲能力、增強(qiáng)其匹配穩(wěn)定性，需要對(duì)三維二次函數(shù)進(jìn)行擬合從而精準(zhǔn)地對(duì)關(guān)鍵點(diǎn)的位置和尺度進(jìn)行確定以達(dá)到亞像素的精度，并且同時(shí)將穩(wěn)定度不高的邊緣響應(yīng)點(diǎn)以及對(duì)比度低的關(guān)鍵點(diǎn)進(jìn)行排除。

圖2 相鄰3層差分圖像的極值點(diǎn)檢測(cè)

1.3 為關(guān)鍵點(diǎn)定義方向參數(shù)

特征算子的旋轉(zhuǎn)不變性來(lái)源于關(guān)鍵點(diǎn)的方向參數(shù)，這些方向參數(shù)通過關(guān)鍵點(diǎn)鄰域像素的梯度方向的分布特性來(lái)指定。

式(3)和式(4)分別為(x，y)梯度的模值公式和方向公式。每個(gè)關(guān)鍵點(diǎn)所在的尺度為公式中L的尺度。

選擇以關(guān)鍵點(diǎn)為核心的鄰域窗口，對(duì)這些窗口內(nèi)進(jìn)行采樣，并采用直方圖統(tǒng)計(jì)的方法計(jì)算其中像素的梯度方向，以10°為一柱，共有36柱，從而梯度直方圖的范圍是0°～360°。離中心點(diǎn)越近的鄰域?qū)χ狈綀D的貢獻(xiàn)也相應(yīng)增加，反之則減少。Lowe論文[1]中還提到將直方圖利用高斯函數(shù)進(jìn)行平滑處理的方式，來(lái)減少由于突變而造成的影響。

1.4 生成關(guān)鍵點(diǎn)描述子

為了確保生成描述符的旋轉(zhuǎn)不變性和縮放不變性，將關(guān)鍵點(diǎn)鄰域繞著關(guān)鍵點(diǎn)的方向旋轉(zhuǎn)，且按關(guān)鍵的尺度進(jìn)行縮放。再以關(guān)鍵點(diǎn)為中心取16x16的區(qū)域，并再分割為4x4個(gè)子區(qū)域，在所有子區(qū)域上對(duì)8個(gè)方向的梯度直方圖進(jìn)行計(jì)算，繪制出每個(gè)梯度方向上的累加值，就能獲得一個(gè)種子點(diǎn)。由此一共生成了16個(gè)種子點(diǎn)，每個(gè)關(guān)鍵點(diǎn)就形成了一個(gè)128維的SIFT特征向量。為了進(jìn)一步去除光照變化造成的影響，則可進(jìn)一步歸一化特征向量的長(zhǎng)度。使生成的描述符具有光照不變性。

2 特定目標(biāo)識(shí)別管控算法

特定目標(biāo)識(shí)別管控算法的流程如下圖3所示。

圖3 特定目標(biāo)識(shí)別管控算法流程圖

2.1 場(chǎng)景內(nèi)運(yùn)動(dòng)目標(biāo)檢測(cè)

要對(duì)設(shè)定的特定目標(biāo)進(jìn)行管控，首先要對(duì)受到攝像頭監(jiān)控的環(huán)境區(qū)域進(jìn)行分析，判斷需要管控的目標(biāo)是否處于無(wú)人監(jiān)管的場(chǎng)景。之后再進(jìn)行對(duì)關(guān)鍵幀的下一步目標(biāo)識(shí)別匹配處理。

目前背景建模主要的研究方法是對(duì)背景進(jìn)行統(tǒng)計(jì)更新，常用的方法包括單高斯模型、混合高斯模型以及對(duì)他們的改進(jìn)算法[13－15]?；旌细咚贡尘敖Ｊ潜尘敖ｎI(lǐng)域最常用的構(gòu)建算法。它是步態(tài)識(shí)別、視頻壓縮、行為分析等領(lǐng)域的重要研究?jī)?nèi)容[16－19]。

在本文中，通過對(duì)視頻流中的監(jiān)控區(qū)域場(chǎng)景進(jìn)行混合高斯背景建模，即背景圖像的每一個(gè)像素分別用K個(gè)高斯分布構(gòu)成的混合高斯模型來(lái)建模:

式(5)～(9)中，K的取值在3～5，在混合高斯模型中作為該高斯分布的個(gè)數(shù)?Xt表示在t時(shí)刻的像素值，本文中取其灰度值，一般情況下由RGB三色分量組成?ωi，t表示混合高斯模型中第i個(gè)高斯分布的權(quán)系數(shù)在t時(shí)刻的估計(jì)值?mi，t表示混合高斯模型中的第i個(gè)高斯分布在時(shí)刻t的均值向量?Σi，t表示在時(shí)刻t混合高斯模型中的第i個(gè)高斯分布的協(xié)方差矩陣?h表示高斯分布中的概率密度函數(shù)。

建模之后對(duì)混合高斯模型的參數(shù)進(jìn)行更新。將混合高斯模型中的高斯分布的均值向量和權(quán)系數(shù)初始化為0，將一個(gè)較大初始值V0賦予協(xié)方差。對(duì)視頻監(jiān)控區(qū)域在t時(shí)刻的圖像幀中的每個(gè)像素值Xt以及其所對(duì)應(yīng)的混合高斯模型進(jìn)行匹配檢驗(yàn)，若像素值Xt與混合高斯模型中第i個(gè)高斯分布Gi均值的距離低于其標(biāo)準(zhǔn)差的2.5倍，則定義該高斯分布Gi與像素值Xt匹配。

若檢驗(yàn)出至少有一個(gè)高斯分布與像素值Xt在該像素混合高斯模型中匹配，則混合高斯模型的參數(shù)按以下規(guī)則進(jìn)行更新:

1)對(duì)不匹配的高斯分布，其均值m和協(xié)方差矩陣Σ保持不變?

2)匹配的高斯分布Gi的均值m和協(xié)方差矩陣Σ按公式(10)(11)(12)更新:

其中:

a為參數(shù)估計(jì)的學(xué)習(xí)速率。

K個(gè)高斯混合分布根據(jù)w/｜?｜的值從大到小進(jìn)行排序，一般采用前B個(gè)高斯分布建立背景模型，作為背景像素的最佳描述。式(13)中，T為預(yù)定的閾值(0.5≤ T≤1)?

從t時(shí)刻開始檢驗(yàn)每一個(gè)像素值Xt與式(13)得到的B個(gè)高斯分布的匹配關(guān)系，如果與其中之一匹配，則該像素點(diǎn)為背景點(diǎn)，否則為前景。

計(jì)算監(jiān)控區(qū)域圖像幀中關(guān)鍵區(qū)域中的前景背景比例，來(lái)判斷場(chǎng)景中是否存在需要進(jìn)行管控的情況。

如下圖4所示:

圖4 判定場(chǎng)景情況流程圖

其中判定的閾值根據(jù)實(shí)際監(jiān)控場(chǎng)景情況設(shè)定。

判定場(chǎng)景內(nèi)情況后進(jìn)行下一步識(shí)別。

2.2 特定目標(biāo)特征提取

本文的特定目標(biāo)識(shí)別方法使用的是圖像匹配的方法，因此首先需要對(duì)識(shí)別的特定目標(biāo)物體進(jìn)行圖像提取，獲得目標(biāo)的圖像后進(jìn)行SIFT特征提取。并在之后的特征匹配和識(shí)別處理中使用該目標(biāo)的SIFT特征。以U盤為例，對(duì)于圖中的特定目標(biāo)進(jìn)行了SIFT特征提取，如下圖5所示。

圖5 特定目標(biāo)的SIFT特征提取

2.3 特征匹配和識(shí)別處理

在每一個(gè)SIFT特征位置上，會(huì)有一個(gè)確定的特征尺度和方向。在提取獲得SIFT特征后采用FLANN(Fast Library for Approximate Nearest Neighbors)方法進(jìn)行匹配[20]，F(xiàn)LANN是一個(gè)能在高維空間中進(jìn)行快速的最近鄰域搜索的算法。使用該算法能有效提高搜索速率。

通過RANSAC(Random Sample Consensus)算法[21]減少錯(cuò)誤匹配，該算法的基本假設(shè)是:數(shù)據(jù)由“局內(nèi)點(diǎn)”組成，數(shù)據(jù)的分布可以用一些模型參數(shù)來(lái)解釋。不能適應(yīng)該模型的數(shù)據(jù)為“局外點(diǎn)”。除此之外的數(shù)據(jù)屬于噪聲。利用該算法去除明顯錯(cuò)誤的匹配點(diǎn)，從而確定準(zhǔn)確的仿射模型。流程如圖6所示。

圖6 特定目標(biāo)匹配及識(shí)別流程圖

在余下匹配的關(guān)鍵點(diǎn)對(duì)中，當(dāng)匹配對(duì)的數(shù)量大于一個(gè)根據(jù)實(shí)際情況圖像情況定義的閾值之后，就可以認(rèn)為找到了需要匹配的特定目標(biāo)。

3 實(shí)驗(yàn)結(jié)果

通過使用上章所述的特定物品識(shí)別管控方法，對(duì)一些特定重要物品如平板電腦、手機(jī)、移動(dòng)硬盤、U盤等進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)使用python 2.7.3、opencv 2.4.8、numpy 1.8.2等開發(fā)軟件在windows7系統(tǒng)環(huán)境下對(duì)算法進(jìn)行了實(shí)現(xiàn)。

實(shí)驗(yàn)環(huán)境對(duì)監(jiān)控?cái)z像頭的清晰度有一定的要求，本文中的攝像頭使用的是HIKVISION海康威視的監(jiān)控?cái)z像頭，型號(hào)為DS－2CD2032D－I，幀率25fps(1920 × 1080)。

3.1 場(chǎng)景內(nèi)目標(biāo)檢測(cè)

實(shí)驗(yàn)中利用混合高斯背景建模對(duì)場(chǎng)景中是否存在運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，如圖7～圖8所示:

圖7 場(chǎng)景中檢測(cè)到運(yùn)動(dòng)目標(biāo)

圖8 場(chǎng)景中未檢測(cè)到運(yùn)動(dòng)目標(biāo)

3.2 SIFT特征提取及匹配

在實(shí)際實(shí)驗(yàn)過程中，不同特定物體由于大小，幾何形狀，視頻流中的截圖和原目標(biāo)圖像目標(biāo)的差異，所獲得的SIFT特征點(diǎn)數(shù)量有所不同，如表1所示:

表1 部分特定目標(biāo)平均特征點(diǎn)及識(shí)別率

SIFT特征及部分匹配識(shí)別效果如下圖9－圖12所示:

圖9 平板電腦識(shí)別效果圖

圖10 手機(jī)識(shí)別效果圖

圖11 移動(dòng)硬盤識(shí)別效果圖

圖12 U盤識(shí)別效果圖

由上述實(shí)驗(yàn)可以得知，本文中提出的特定目標(biāo)識(shí)別管控方法對(duì)于類似小型移動(dòng)存儲(chǔ)設(shè)備的識(shí)別效果較好，能有效的在攝像頭監(jiān)控區(qū)域中識(shí)別出特定目標(biāo)。

4 結(jié)語(yǔ)

本文將圖像匹配領(lǐng)域的目標(biāo)匹配識(shí)別技術(shù)應(yīng)用于通過視頻監(jiān)控來(lái)進(jìn)行特定物品的安全識(shí)別管控上，采用混合高斯背景建模的方法來(lái)判斷場(chǎng)景能人物監(jiān)管情況，并在各類小型存儲(chǔ)設(shè)備圖像中應(yīng)用了SIFT算法，有效提取到了設(shè)備的圖像特征，為這些特定小型目標(biāo)的識(shí)別管理提供了一種方法。對(duì)于不同的目標(biāo)物體，這種基于SIFT應(yīng)用的識(shí)別匹配方法所匹配的特征點(diǎn)數(shù)量有一定差異，識(shí)別效果一定程度上受到目標(biāo)本身的形狀特征影響，如何降低目標(biāo)本身的特征對(duì)于匹配算法的影響，進(jìn)一步提高識(shí)別率是下一步的研究重點(diǎn)。

[1] LOWE D G.Distinctive Image Features from Scale－Invariant Keypoints[J].Int′l J.Computer Vision，2004，2(60):91－110.

[2] LOWE D G.Object Recognition from Local Scale－Invariant Features[C]//International Conference on Computer Vision，1999:1150－1157.

[3] HELMER S，LOWE D G.Object Recognition with Many Local Feature[C]//Workshop on Generative Model Based Vision 2004(GMBV)，2004.

[4] STEPHEN S， LOWE D G，LITTLE J J.Vision－based Global Localization and Mapping for Mobile Robots[J].IEEE Transactions on Robotics， 2005，21(3):364－375.

[5] 邸男，李桂菊，魏雅娟.采用SIFT的末制導(dǎo)圖像匹配技術(shù)[J].紅外與激光工程，2011，40(8):1590－1593

[6] 楊新鋒，滕書華，夏東.基于空間迭代的SIFT特征圖像匹配算法[J].紅外與激光工程.2013，42(12):3497－3501.

[7] 紀(jì)華，吳元昊，孫宏海，等.結(jié)合全局信息的SIFT特征匹配算法[J].光學(xué) 精密工程，2009，17(2):440－444.

[8] 鄭永斌，黃新生，豐松江.SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22(2):287－292.

[9] BASTANLAR Y，TEMIZEL A，YARDIMCIY.Improved SIFT Matching for Image Pairswith Scale Difference[J].Electronics Letters， 2010， 46(5):346－U4867.

[10] 張靜，桑紅石.基于初始尺度變換的SIFT匹配算法[J].紅外與毫米波學(xué)報(bào)，2014，40(8):178－182

[11] 張潔玉，朱近，夏德深.基于SIFT特征點(diǎn)匹配的應(yīng)刷品圖像檢測(cè)方法[J].江南大學(xué)學(xué)報(bào)，2007，12(6):850－854.

[12] 湯井田，王凱，肖嘉瑩.基于SIFT特征檢測(cè)的醫(yī)學(xué)顯微圖像自動(dòng)拼接[J].計(jì)算機(jī)工程與應(yīng)用，2007，43(35):243－244.

[13] STAUFFER C，GRIMSONW E L.Adaptive Background Mixture Models for Real－Time Tracking[C]//Proceedings of 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(Cat.No PR00149)，IEEE Comput Soc，1999.

[14] HAN Yan－xiang， ZHANG Zhi－sheng， CHEN fang， etal.An Efficient Approach for Shadow Detection Based on Gaussian Mixture Model[J].Journal of Central South University of Technology，2014，21(4):1385－1395.

[15] ELGAMMAL A， HARWOOD D， Davis L S.Non－parametric Model for Background Subtraction[J].European Conf Computer Vision，2000，2:751－767.

[16] 王永中，梁顏，潘泉，等.基于自適應(yīng)混合高斯背景模型的時(shí)空背景建模[J].自動(dòng)化學(xué)報(bào)，2009，35(4):371－378.

[17] APEWOKIN S，VALENTINE B，CHOIJ，etal.Real－Time A-daptive Background Modeling for Multicore Embedded Systems.Springer Journal of Signal Processing Systems， 2011，62(1):65－76

[18] ZHANG Jing， GAOWei， LIU An－an， etal.Modeling Approach of the Video Semantic Events Based on Motion Trajectories[J].Electronic Measurement Technology，2013，36(9):31－40.

[19] STAUFFER C，GRIMSONW E L.Learning Patterns of Activity Using Real－Time Tracking[J].IEEE Transactions 0n Pattern Analysis＆Machine Intelligence，2000，22(8):747－757.

[20] HuangSONG－ling， HAO Kuan－sheng， ZHAOWei.New Improved FLANN Approach for Dynamic Modeling of Sensors[C].//International Conference on Modelling，Identification and Control，2008.

[21] XU M，LU J.Distributed RANSAC for the Robust Estimation of Three－dimensional Reconstruction[J].IET Comput Vis，2012，4(6):324－333.