,,

(南京理工大學(xué) 自動(dòng)化學(xué)院，南京 210094)

0 引言

行人再識(shí)別技術(shù)主要用于視頻監(jiān)控領(lǐng)域，用以檢測(cè)某個(gè)目標(biāo)是否出現(xiàn)在非重疊視域多攝像機(jī)監(jiān)控視頻中[1]。目前的行人再識(shí)別方法主要分為兩類：基于特征描述法[2-4]和基于機(jī)器學(xué)習(xí)法[5-6]。在基于特征描述法中，設(shè)計(jì)具有區(qū)分性、穩(wěn)定性和對(duì)光照、視角、姿態(tài)等具有一定魯棒性的描述特征，再利用這些特征來(lái)度量?jī)煞腥藞D像的相似性。文獻(xiàn)[2]提出的SDALF方法將人體分割成頭部、軀干、和腿部，利用加權(quán)HSV直方圖、最大穩(wěn)定顏色區(qū)域和重復(fù)紋理塊3種特征進(jìn)行組合識(shí)別，識(shí)別性能較好，但描述符的計(jì)算量大、復(fù)雜度高、存儲(chǔ)開銷大。基于機(jī)器學(xué)習(xí)法是通過(guò)學(xué)習(xí)行人再識(shí)別模型的優(yōu)化參數(shù)，或從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)有效的特征分類來(lái)降低不同行人圖像間的相似度[7]。文獻(xiàn)[5]用支持向量機(jī)學(xué)習(xí)中層語(yǔ)義屬性的判斷，并確定各屬性的權(quán)重，形成以屬性為中心基于部分特征的再識(shí)別模型。但由于該方法訓(xùn)練時(shí)需要手動(dòng)標(biāo)記屬性，且屬性分類較多，訓(xùn)練復(fù)雜度較大，在只有少量樣本時(shí)存在過(guò)擬合問(wèn)題，故只適用于樣本種類豐富的情況。

為有效應(yīng)對(duì)目標(biāo)樣本少、背景、光照、視角變化等情況，提高算法的準(zhǔn)確性和識(shí)別速率，本文在上述方法的啟發(fā)下，提出結(jié)合LBP-HSV模型預(yù)識(shí)別與改進(jìn)SIFT特征點(diǎn)匹配的算法。首先使用LBP-HSV顏色模型對(duì)測(cè)試圖像進(jìn)行預(yù)識(shí)別處理，篩選出目標(biāo)相似區(qū)域，縮小識(shí)別范圍。然后提取該區(qū)域的SIFT特征點(diǎn)，并使用改進(jìn)的HOG特征描述特征點(diǎn)，以改進(jìn)SIFT特征點(diǎn)特征向量的描述方式。通過(guò)對(duì)不同情形下的圖像進(jìn)行試驗(yàn)，對(duì)比、驗(yàn)證本文所提算法的有效性。

1 基于LBP特征和HSV模型的相似區(qū)域識(shí)別

1.1 LBP特征

LBP特征是一種表述灰度圖像某像素點(diǎn)灰度值與周圍像素點(diǎn)灰度值大小關(guān)系的二進(jìn)制描述，Ojala[8]等人為了使LBP算子適應(yīng)不同的紋理特征，將3×3鄰域擴(kuò)展到任意鄰域，并用半徑為R，采樣點(diǎn)個(gè)數(shù)為P的圓形鄰域取代正方形鄰域，且對(duì)于沒(méi)有完全落在像素點(diǎn)位置上的灰度值采用雙線性插值法進(jìn)行計(jì)算，LBP算子如圖1。

本文取R=2,P=16，LBP值記為L(zhǎng)BP16,2。通過(guò)對(duì)得到的LBP值進(jìn)行循環(huán)移位，取最小值作為L(zhǎng)BP特征值，這樣使LBP具有旋轉(zhuǎn)不變性，計(jì)算方法如式(1)。

LBPP,R=minROR(LBPP,R,k)|k=0,1,2,…,P-1

(1)

式(1)中，ROR(x,k)表示對(duì)P位二進(jìn)制數(shù)x進(jìn)行向右循環(huán)移位k次(|k|

表1 HSV空間顏色量化策略

圖1 幾種LBP算子

1.2 HSV模型

HSV是A.R.Smith在1978年根據(jù)顏色的直觀特性創(chuàng)建的一種顏色空間，它根據(jù)色彩的色調(diào)H、飽和度S和亮度V三個(gè)基本特征確定顏色[9]。

本文在文獻(xiàn)[9-10]提出將HSV顏色空間的顏色量化為黑、灰、白、紅、橙、黃、綠、青、藍(lán)和紫10個(gè)等級(jí)的基礎(chǔ)上，擴(kuò)大了紅色的色度范圍，改進(jìn)的HSV顏色空間量化策略見表1。

由經(jīng)驗(yàn)可知，人體在豎直方向上，上身占30%左右，腿部占50%左右?？紤]行人的衣著、背包、運(yùn)動(dòng)姿態(tài)及背景等因素，本文僅提取行人上身和大腿的主要顏色和次要顏色進(jìn)行預(yù)識(shí)別。選定上身的識(shí)別區(qū)域(圖2的A區(qū)域)，占圖像橫向的20%～80%，縱向的20%～50%；選定大腿的識(shí)別區(qū)域(圖2的B區(qū)域)占圖像橫向的25%～75%，縱向的50%～70%。具體區(qū)域劃分如圖2。提取HSV顏色的方法為：遍歷待識(shí)別區(qū)域圖像的每個(gè)像素點(diǎn)，計(jì)算各像素點(diǎn)的H、S、V分量，根據(jù)表1的量化策略，將像素點(diǎn)判定為Ci(Ci代表顏色量化后的10個(gè)等級(jí)，i=1，2……，10)，計(jì)算Ci的總個(gè)數(shù)，數(shù)量最多的顏色即為區(qū)域的主顏色，其次為次顏色。

圖2 行人上身、大腿識(shí)別區(qū)域

1.3 目標(biāo)相似區(qū)域識(shí)別

目標(biāo)相似區(qū)域識(shí)別即利用目標(biāo)圖片，在測(cè)試圖片中篩選出目標(biāo)可能存在的大致區(qū)域。本文提出的基于LBP特征和HSV模型的目標(biāo)相似區(qū)域識(shí)別步驟如下：

1)提取目標(biāo)圖像的LBP特征，用與目標(biāo)圖像同大小的矩形窗，以一定步長(zhǎng)循環(huán)遍歷測(cè)試圖像，計(jì)算各矩形塊的LBP特征，比較其LBP直方圖與目標(biāo)圖像LBP直方圖的相似度，記為S(i),i=1,2,3,…(i為矩形塊個(gè)數(shù))；

2)計(jì)算S(i)的最小值，記為Smin，標(biāo)記滿足條件S(i)≤Smin*TS的矩形塊(TS為閾值)，包含滿足上述條件矩形塊的最小矩形即為L(zhǎng)BP特征直方圖識(shí)別出的相似區(qū)域，記為RLBP；

3)利用改進(jìn)的HSV模型提取目標(biāo)圖像A、B區(qū)域的主、次顏色，且用與目標(biāo)圖像同大小的矩形窗，以一定步長(zhǎng)循環(huán)遍歷RLBP，分別提取各塊A、B區(qū)域的主、次顏色；

4)判斷上述目標(biāo)圖像和RLBP內(nèi)各塊A、B區(qū)域主、次顏色的關(guān)系，若對(duì)應(yīng)區(qū)域的主、次顏色有交集，則標(biāo)記該矩形塊為相似矩形塊；

5)包含上述所有相似矩形塊的最小矩形即為相似區(qū)域。圖3為三種情形下的行人目標(biāo)相似區(qū)域識(shí)別結(jié)果。

圖3 相似區(qū)域識(shí)別結(jié)果

2 基于改進(jìn)SIFT特征點(diǎn)匹配的行人再識(shí)別

2.1 SIFT算法特征點(diǎn)提取

SIFT算法[11]由David G.Lowe首次提出，其核心是尺度空間不變理論，本文使用SIFT算法進(jìn)行圖像關(guān)鍵點(diǎn)的提取，步驟如下：

1)尺度空間的表示。

定義圖像的尺度空間為一個(gè)尺度可變的高斯函數(shù)G(x,y,σ)與原圖像I(x,y)的卷積，表示如下：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(2)

為能有效檢測(cè)尺度空間中的關(guān)鍵點(diǎn)，David G.Lowe提出了高斯差分尺度空間(DOG空間)，它由不同尺度的高斯差分核和圖像卷積得到，表達(dá)式如下：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,kσ))*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(3)

2)關(guān)鍵點(diǎn)的提取。

圖4 SIFT關(guān)鍵點(diǎn)提取結(jié)果

表2 三種情形下圖像SIFT特征點(diǎn)個(gè)數(shù)

由表2可以看出，添加LBP-HSV預(yù)識(shí)別后，測(cè)試圖像提取的特征點(diǎn)數(shù)量較原圖均減少了65%以上，尤其是在背景復(fù)雜的情況下，減少了近90%。特征點(diǎn)的減少降低了后續(xù)特征點(diǎn)匹配的復(fù)雜度。

2.2 改進(jìn)的SIFT關(guān)鍵點(diǎn)特征描述

傳統(tǒng)的SIFT關(guān)鍵點(diǎn)描述向量維數(shù)太高，高達(dá)128維，大大影響了關(guān)鍵點(diǎn)的匹配速度。為提高SIFT算法的實(shí)時(shí)性，很多學(xué)者[12-13]嘗試用主成分分析(PCA)法對(duì)SIFT描述向量進(jìn)行降維，但降維在構(gòu)造關(guān)鍵點(diǎn)描述向量時(shí)的計(jì)算量甚至超過(guò)了標(biāo)準(zhǔn)SIFT算法，大大抵消了降維帶來(lái)的速度提高。

HOG(梯度方向直方圖)特征是Dalal[14]等人提出的一種用于行人檢測(cè)的特征，具有很好的幾何和光學(xué)不變性，且計(jì)算效率高。該特征通常用來(lái)描述圖像塊的特征，本文對(duì)HOG特征進(jìn)行改進(jìn)，并提出使用它來(lái)描述關(guān)鍵點(diǎn)的特征向量，步驟如下：

1)以SIFT關(guān)鍵點(diǎn)c(xc,yc)為中心，采用圓形區(qū)域作為關(guān)鍵點(diǎn)鄰域，將該鄰域等間隔劃分成4個(gè)同心圓，劃分過(guò)后的鄰域如圖5所示。

2)按式(4)計(jì)算加權(quán)HOG梯度幅值MAGrgt。當(dāng)圓形區(qū)域旋轉(zhuǎn)θ角度時(shí)，關(guān)鍵點(diǎn)鄰域圓環(huán)上點(diǎn)p(xp,yp)的梯度由g變?yōu)間′,按式(5)、(6)對(duì)梯度進(jìn)行RGT(Radial Gradient Transform)變換得到RGT梯度(gTr,gTt)、(g′Tr′,g′Tt′),由文獻(xiàn)[15]知，(g′Tr′,g′Tt′)=(gTr,gTt),如圖6所示。r和t為兩個(gè)正交的單位向量，r表示p點(diǎn)切向方向的單位向量，t表示p點(diǎn)徑向方向的單位向量，Rθ表示旋轉(zhuǎn)θ角的旋轉(zhuǎn)矩陣，wi為權(quán)重系數(shù)；

圖6 RGT變換示意圖

(4)

(5)

r=Rπ/2t

(6)

3)對(duì)鄰域的4個(gè)同心圓，分別求出9個(gè)方向(0°,40°,80°,120°,160°,200°,240°,280°,320°)的HOG梯度值，作為關(guān)鍵點(diǎn)特征向量，這樣，最終得到關(guān)鍵點(diǎn)的HOG特征描述子即為4×9=36維向量，記為XHOG(x,y)；

2.3 特征點(diǎn)匹配

按式(7)計(jì)算點(diǎn)A的特征向量XA(x1,x2,…,xn)與點(diǎn)B的特征向量Y(y1,y2,…,yn)間的加權(quán)歐式距離。

(7)

最近鄰匹配策略為：針對(duì)目標(biāo)圖像中的關(guān)鍵點(diǎn)A，在待識(shí)別圖像中找出與之距離最近的關(guān)鍵點(diǎn)B和次近的關(guān)鍵點(diǎn)C，若兩距離比值小于閾值t，即:

(8)

則認(rèn)為點(diǎn)A與點(diǎn)B匹配。

3 實(shí)驗(yàn)結(jié)果及分析

論文以VS2010 + OpenCV2.4.9為開發(fā)工具，采用SIFT算法與文中所述算法，分別對(duì)三種不同情形下的圖像進(jìn)行了目標(biāo)再識(shí)別實(shí)驗(yàn)，圖7～圖9分別為各類算法的識(shí)別效果。從圖7可以看出，僅用SIFT算法特征點(diǎn)匹配效果較差，尤其是在復(fù)雜背景下，準(zhǔn)確率偏低。從圖8、圖9可以看出，添加預(yù)識(shí)別處理以后，準(zhǔn)確率大大提高，且環(huán)境適應(yīng)性增強(qiáng)。

三種情形下預(yù)識(shí)別+SIFT算法與本文算法的匹配性能比較結(jié)果如表3所示。

由表3可知，當(dāng)圖像中的行人目標(biāo)存在姿態(tài)、光照、視角、大小等變化時(shí)，本文提出的特征向量描述方法與SIFT算法特征向量描述方法相比，準(zhǔn)確率相當(dāng)，而運(yùn)算時(shí)間均減少了約60%～70%，匹配速度更快。

表3 算法匹配性能比較

圖7 SIFT算法識(shí)別結(jié)果

圖8 預(yù)識(shí)別+SIFT算法識(shí)別結(jié)果

圖9 本文算法識(shí)別結(jié)果

4 結(jié)論

為了提高視頻監(jiān)控中行人再識(shí)別的準(zhǔn)確率，本文提出結(jié)合LBP-HSV模型與改進(jìn)SIFT算法的行人再識(shí)別算法。采用LBP-HSV模型進(jìn)行預(yù)識(shí)別處理，縮小了目標(biāo)可能的范圍，降低了目標(biāo)匹配的復(fù)雜度，提高了匹配準(zhǔn)確率；采用圓形鄰域作為特征點(diǎn)鄰域，提出使用改進(jìn)的HOG特征來(lái)描述SIFT特征點(diǎn)的特征向量，提高了匹配速度。需要說(shuō)明的是，實(shí)驗(yàn)中的預(yù)識(shí)別環(huán)節(jié)耗時(shí)均在5秒左右，對(duì)于實(shí)時(shí)性要求較高的應(yīng)用，算法還需作進(jìn)一步完善。

參考文獻(xiàn)：

[1] 齊美彬, 檀勝順, 王運(yùn)俠,等. 基于多特征子空間與核學(xué)習(xí)的行人再識(shí)別[J]. 自動(dòng)化學(xué)報(bào), 2016, 42(2):299-308.

[2] Farenzena M, Bazzani L, Perina A, et al. Person re-Identification by symmetry-driven accumulation of local features[A]. Proc. of IEEE Conference on Computer Vision and Pattern Recognition [C]. 2010, 2360-2367.

[3] Ma B, Su Y, Jurie F. BiCov: a novel image for person re-identification and face verification[A]. Proceedings of the British Machine Vision Conference[C]. Guildford, UK: BMVA Press, 2012: 1-11. [DOI: 10.5244/ C. 26. 57].

[4] 范彩霞, 朱 虹, 藺廣逢,等. 多特征融合的人體目標(biāo)再識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013,18 (6): 711-717.

[5] Layne R, Hospedales T M, Gong S. Person re-identification by attributes[A]. Proceedings of the British Machine Vision Conference[C]. Surrey, UK: BMVA Press, 2012: 2(3): 1-9. [DOI: 10.5244/ C. 26. 24]

[6] Zhao R, Ouyang W, Wang X. Unsupervised salience learning for person re-identification[A]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition[C]. Portland: IEEE Press, 2013: 3586-3593. [DOI: 10.1109/ CVPR. 2013. 460]

[7] 陳 瑩, 霍中花. 多方向顯著性權(quán)值學(xué)習(xí)的行人再識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015, 20 (12): 1674-1683.

[8] Ojala T, Pietikainen M, Maenpaa M. Multire solution gray-scale and rotation invariant texture classification width local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[9] 彭志勇, 常發(fā)亮, 劉洪彬,等. 基于HSV模型和特征點(diǎn)匹配的行人重識(shí)別算法[J]. 光電子·激光, 2015(8): 1575-1582.

[10] OpenCV—HSV color model and ranges of color components [EB/OL]. [2014-04-09]. http:// blog. csdn. net/ wanggsx918/ article/ details/ 23272669, 2014-04-09.

[11] 黃登山, 王曉楠. 基于Canny和Hillbert- Huang變換的改進(jìn)的SIFT算法研究[J]. 西北工業(yè)大學(xué)學(xué)報(bào), 2015 (6): 962-965.

[12] Ke Y, Sukthankar R. PCA—SIFTI a More Distinctive Representation for Local Image Descriptors[A].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition[C]. Washington D C, 2004, 2: 506-513.

[13] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and MachineIntelligence, 2005, 27(10): 1615-1630.

[14] Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[A]. Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on[C]. IEEE, 2005:886-893.

[15] 湯 彪, 左崢嶸, 李 明. 基于旋轉(zhuǎn)不變HOG特征的圖像匹配算法[J]. 2013.