高小康

（同濟(jì)大學(xué)電子與信息工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，上?！?01804）

基于Grab Cut算法和傅里葉描述子的人物背面步態(tài)識(shí)別

高小康

（同濟(jì)大學(xué)電子與信息工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，上海201804）

提出基于Grab Cut圖象分割算法和傅里葉描述子的步態(tài)識(shí)別方法。通過(guò)HOG+SVM算法提取出視頻中的行人區(qū)域，對(duì)該區(qū)域使用Grab Cut算法進(jìn)行分割得到行人二值化后的圖像，然后應(yīng)用傅里葉描述子描述步態(tài)特征，最后在識(shí)別方面采用最近鄰分類(lèi)器進(jìn)行識(shí)別。此算法在中國(guó)科學(xué)院自動(dòng)化所的CASIA數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，取得較好的識(shí)別效果。

Grab Cut；傅里葉描述子；步態(tài)識(shí)別；HOG；最近鄰分類(lèi)器

國(guó)家自然科學(xué)基金項(xiàng)目（No.61173116）、國(guó)家科技支撐計(jì)劃項(xiàng)目（No.2015BAF10B01）

0　引言

步態(tài)識(shí)別至今已經(jīng)發(fā)展了20多年，但距離實(shí)際應(yīng)用仍然有不少距離。因此行人身份識(shí)別在社會(huì)上有著很大的需求，在公共場(chǎng)合例如街道、機(jī)場(chǎng)、火車(chē)站等地方都會(huì)需要這種技術(shù)。1994年，Niyogi和Adelson最早利用步態(tài)特征進(jìn)行生物識(shí)別，之后應(yīng)用步態(tài)進(jìn)行人物識(shí)別涌現(xiàn)了一大批步態(tài)識(shí)別算法。典型的代表就是法國(guó)研究人員Dalal等人[1]的HOG+SVM的行人檢測(cè)算法。在步態(tài)特征提取方面，特征提取直接影響了識(shí)別性能。Bobick等人在[2]運(yùn)動(dòng)能量圖(Motion Energy Images)來(lái)描述行人的步態(tài)動(dòng)作。Han等人則利用步態(tài)能量圖識(shí)別步態(tài)[3]，通過(guò)對(duì)一個(gè)步態(tài)周期的行人輪廓求平均值的方法來(lái)反映步態(tài)側(cè)影的變化周期。不同于上述方法，本文提出了基于Grab Cut圖像分割和傅里葉描述子的背面步態(tài)識(shí)別方法。首先用HOG+SVM的行人檢測(cè)算法提取出視頻中的運(yùn)動(dòng)人體區(qū)域，利用基于梯度方向直方圖（Histogram of Oriented Gradient，簡(jiǎn)稱(chēng)HOG）進(jìn)行特征提取，然后用線性SVM作為分類(lèi)器進(jìn)行行人檢測(cè)。為了得到步態(tài)識(shí)別所需的行人二值圖，本文采用Grab Cut算法對(duì)檢測(cè)出來(lái)的行人圖像進(jìn)行分割。隨后使用傅里葉描述子對(duì)分割出來(lái)的行人圖像進(jìn)行步態(tài)特征的描述，最后采用最近鄰分類(lèi)器進(jìn)行分類(lèi)識(shí)別。第二部分主要介紹了行人檢測(cè)和分割，第三部分介紹了行人特征提取和行人識(shí)別，最后第四部分描述了實(shí)驗(yàn)結(jié)果。

1　行人檢測(cè)和分割

1.1行人檢測(cè)

方向梯度直方圖是一種在計(jì)算機(jī)視覺(jué)中主要被用來(lái)進(jìn)行物體檢測(cè)的特征。原理是通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征。HOG特征提取算法實(shí)現(xiàn)如下：首先把原始視頻中的圖像轉(zhuǎn)換成灰度的圖像；然后采用Gamma校正方法對(duì)灰度的圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化，計(jì)算圖像中每個(gè)像素的梯度；之后把圖像切割成單個(gè)cell，每一個(gè)cell為6×6大小的像素，對(duì)每個(gè)cell的梯度直方圖進(jìn)行統(tǒng)計(jì)，得到相應(yīng)的描述子，將3×3個(gè)cell組合成一個(gè)大的block，每個(gè)block中對(duì)應(yīng)的cell特征描述子結(jié)合在一起就形成了HOG特征描述子，把所有HOG特征描述子結(jié)合在一起就形成了目標(biāo)對(duì)象的HOG特征描述子。經(jīng)過(guò)這些過(guò)程得到的HOG特征向量，便可以結(jié)合SVM進(jìn)行訓(xùn)練和行人檢測(cè)了。

1.2行人分割

本文采用的Grab Cut是Graph Cuts的改進(jìn)版，而Graph Cuts是一種能量?jī)?yōu)化算法，它與圖的最小割問(wèn)題[4]相關(guān)。Graph Cuts就是求最小割的過(guò)程，也即最小化能量函數(shù)，圖像的能量可表示為:

其中B（L）是邊界項(xiàng)，R（L）是區(qū)域項(xiàng)，a為區(qū)域項(xiàng)的影響因子，表示區(qū)域項(xiàng)在圖像的能量中所占的權(quán)重。邊界項(xiàng)可表示為：

其中Rp（lp）是像素p對(duì)應(yīng)lp的大小，Rp（lp）權(quán)值大小可以通過(guò)比較給定的前景圖像的灰度直方圖和像素p的灰度來(lái)獲取。最后，最小割通過(guò)min cut算法就可以找到，而min cut就是表示所有最小權(quán)值和的邊集合，這個(gè)邊集合可以分割開(kāi)目標(biāo)和背景，即最小化能量體現(xiàn)。

2　步態(tài)識(shí)別

2.1傅里葉描述子

本文的步態(tài)特征可以通過(guò)傅里葉描述子來(lái)描述，可以把問(wèn)題從2D轉(zhuǎn)化為1D。基本思想就是假定行人輪廓為一條封閉曲線，曲線上的點(diǎn)坐標(biāo)變化可以看作是以邊界周長(zhǎng)為周期的函數(shù)，這個(gè)函數(shù)可以用傅里葉級(jí)數(shù)形式表示，把輪廓邊界上的每一個(gè)點(diǎn)都看成一個(gè)矢量，用復(fù)數(shù)形式[6]表示如下：

N為輪廓的像素?cái)?shù)，選定最左下方的前景點(diǎn)為起點(diǎn)，采用串行邊界分割技術(shù)[5]的輪廓跟蹤算法取得邊界每一個(gè)點(diǎn)的坐標(biāo)，最后計(jì)算每個(gè)點(diǎn)與重心的距離di：

其中xc，yc為重心坐標(biāo)所有距離構(gòu)成一個(gè)特征序列D={d1，d2，…，dN}，對(duì)D進(jìn)行離散傅里葉變換，得到變換系數(shù)an

由于歸一化后的描述子具有平移、尺度和旋轉(zhuǎn)的不變性，所以以a1為基準(zhǔn)對(duì)傅里葉描述子進(jìn)行歸一化，可以得到后期步態(tài)分類(lèi)識(shí)別的特征向量，如下所示：

行人輪廓線的傅里葉頻譜的頻率分量大部分集中低頻部分。因此本文選取傅里葉描述子的前15階頻譜分量作為步態(tài)識(shí)別的特征。

2.2步態(tài)的訓(xùn)練和識(shí)別

有n個(gè)行人行走的訓(xùn)練視頻，每個(gè)視頻可以表示為一個(gè)行人的類(lèi)別，通過(guò)上述方法可以得到每個(gè)視頻中行人步態(tài)圖像所形成的傅里葉描述子，用Fi，j表示第i個(gè)行人視頻中第j幅圖像的傅里葉頻譜矢量，Si是第i個(gè)行人類(lèi)別的頻譜矢量數(shù)，訓(xùn)練的樣本頻譜矢量數(shù)總和為S=S1+S2+…+Sn，因此訓(xùn)練集為：

其均值和方差矩陣為：

計(jì)算得出D的秩W，然后可得W個(gè)非零的特征值λ1，λ2，…，λW，e1，e2，…，eW為它們的特征向量，最后在特征空間進(jìn)行投影，每個(gè)矢量Fi，j在特征空間投影為一點(diǎn)Pi，j。

通過(guò)上述處理，在每個(gè)步態(tài)周期內(nèi)可截取五個(gè)關(guān)鍵幀的圖像，即一個(gè)右單撐，一個(gè)左單撐，一個(gè)左雙撐和倆個(gè)右雙撐[7]，單撐和雙撐可以用D、S表示，所以五個(gè)關(guān)鍵幀圖像得到的投影點(diǎn)可表示成五個(gè)元素的組合Ci={Di，Si，Di+1，Si+1，Di+2}。

對(duì)于同一視頻中的單個(gè)的人，本文提取出了多個(gè)連續(xù)的關(guān)鍵幀，組成步態(tài)周期，對(duì)于得到的步態(tài)周期都求出C，最后每個(gè)人的標(biāo)準(zhǔn)的特征模板可以用C的平均值來(lái)表示。

最后，本文使用歐氏距離來(lái)評(píng)估訓(xùn)練樣本和測(cè)試樣本的相似性，如下：

3　實(shí)驗(yàn)結(jié)果和評(píng)估

本文算法在CASIA的Dataset B數(shù)據(jù)庫(kù)進(jìn)行了實(shí)驗(yàn)，Dataset B數(shù)據(jù)庫(kù)中含有124個(gè)行人，每個(gè)行人有0、18、36、…、180度11個(gè)視角，在普通條件、穿大衣、攜帶包裹三種條件下進(jìn)行行走視頻的采集。本文選取20 個(gè)180度視角的行人在三種行走條件下的行走視頻進(jìn)行了實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如下：

表1

文獻(xiàn)[8]也是基于傅里葉描述子的行人識(shí)別，但識(shí)別率只有80.03%，本文算法在普通條件下比它要高，主要因?yàn)椴扇×薌rab Cut算法獲取的行人輪廓更加準(zhǔn)確，在穿大衣和攜帶包裹的條件下，本文算法的識(shí)別率有了不少下降，主要是衣服和包裹的晃動(dòng)影響了行人的步態(tài)輪廓，總體來(lái)說(shuō)，基于Grab Cut和傅里葉描述子的步態(tài)識(shí)別算法在識(shí)別的準(zhǔn)確性上都取得了不錯(cuò)的效果。

4　結(jié)語(yǔ)

雖然本文在CASIA數(shù)據(jù)庫(kù)上取得了較好的效果，但算法還是存在一些局限性。本文方法在側(cè)面步態(tài)時(shí)效果不是很好，怎樣能做到側(cè)面和背面的步態(tài)識(shí)別都取得不錯(cuò)的效果是今后研究的一個(gè)方向。

[1]Dalal N，Triggs B.Histograms of Oriented Gradients for Human Detection[C].Computer Vision and Pattern Recognition，2005.CVPR 2005.IEEE Computer Society Conference on.IEEE，2005，1:886-893.

[2]Bobick A F，Davis J W.The Recognition of Human Movement Using Temporal Templates[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2001，23（3）:257-267.

[3]Han J，Bhanu B.Individual Recognition Using Gait Energy Image[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2006，28（2）：316-322.

[4]葉波，文玉梅.基于人體輪廓寬度特征的步態(tài)識(shí)別[J].計(jì)算機(jī)應(yīng)用，2005，25（08）:1792-1794.

[5]李彬，劉冀偉，韓鴻哲，等.基于步態(tài)特征的快速身份識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用，2004，40（22）:60-61.

[6]高海燕.人體步態(tài)識(shí)別研究[D].北京交通大學(xué)，2010.

[7]Wang A H，Liu J W.A Gait Recognition Method Based on Positioning Human Body Joints[C].Wavelet Analysis and Pattern Recognition，2007.ICWAPR'07.International Conference on.IEEE，2007:1067-1071.

[8]Lu X，Huang H，Zhang B.Recognition of Human Movement Based on Fourier Descriptors[J]，2008:1943-1946

Grab Cut;Fourier Descriptors;Gait Recognition;HOG;Nearest Neighbor Classifier

Gait Recognition of Figure in the Back Based on Grab Cut and Fourier Descriptors

GAO Xiao-kang

（Department of Computer Science and Technology，School of Electronics and Information Engineering，Tongji University，Shanghai 201804）

Presents a gait recognition algorithm based on Grab Cut and Fourier descriptors.Firstly,uses HOG+SVM algorithm to extract the pedestrian area in the video,then utilizes Grab Cut to achieve pedestrian binary image and describing the gait feature by means of Fourier descriptors,finally uses the nearest neighbor classifier NN for classification.Applies the method described above to experiment on gait database of CASIA provided by institute of automation,Chinese academy of sciences and getting a good recognition performance.

1007-1423（2016）32-0049-04

10.3969/j.issn.1007-1423.2016.32.011

高小康（1992-），男，江西上饒人，碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺(jué)、步態(tài)識(shí)別

2016-08-16

2016-11-20