劉惠彬,陳 強,吳 飛,趙 毅

隨著視頻監(jiān)控的普及,利用計算機技術(shù)實現(xiàn)人物分類的方法在社會安全、生產(chǎn)生活等方面發(fā)揮了重要的作用.近年來,很多基于圖像特征的人物分類方法被提出.例如通過直方圖、尺度不變特征變換(scale-invariant feature transform,SIFT)等方法提取圖像特征,然后計算圖像間的相似度來實現(xiàn)人物的分類[1-2],以及通過人臉識別技術(shù)實現(xiàn)對監(jiān)控視頻中人物的分類[3-4].但是,上述方法都需要對分類圖像進行大量的前期處理,并且對圖像的質(zhì)量有較高的要求.為了解決上述問題,本工作提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的人物分類方法.

神經(jīng)網(wǎng)絡(luò)[5]是一種模仿生物神經(jīng)網(wǎng)絡(luò)進行分布式并行信息處理的數(shù)學(xué)模型,通常用于解決分類和回歸問題.反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)在1986年被提出,但由于當(dāng)時沒有無監(jiān)督的預(yù)訓(xùn)練,其性能比淺層神經(jīng)網(wǎng)絡(luò)差,而且受到當(dāng)時軟硬件條件的限制,隱層的數(shù)量被限制在1～2層.2006年加拿大多倫多大學(xué)的Hinton教授[6-8]指出:多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力,學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫,有利于可視化或分類;深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度可以通過“逐層初始化”來有效地克服,且逐層初始化可通過無監(jiān)督學(xué)習(xí)實現(xiàn).實質(zhì)上,深度學(xué)習(xí)就是一種基于無監(jiān)督特征學(xué)習(xí)和特征層次結(jié)構(gòu)的機器學(xué)習(xí)方法,該方法通過構(gòu)建包含多個隱含層的模型和海量訓(xùn)練數(shù)據(jù),來學(xué)習(xí)更有用的特征,從而最終提升分類或預(yù)測的準(zhǔn)確性.近年來,大數(shù)據(jù)技術(shù)的飛速發(fā)展使深度學(xué)習(xí)成為研究熱點.作為深度學(xué)習(xí)的重要分支,卷積神經(jīng)網(wǎng)絡(luò)在圖像識別、圖像分類等方面應(yīng)用廣泛,并且取得了重大成功[9].

本工作對固定人物群體中的個體目標(biāo)進行視頻采集,然后利用直方圖的歸一化互相關(guān)方法從視頻中截取幀間差超過閾值的圖片,并將這些圖片作為進入卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練圖片,再用未參加訓(xùn)練的圖片與訓(xùn)練模型匹配,得到其與每個人匹配的相似度,其中預(yù)訓(xùn)練和目標(biāo)匹配都在快速特征嵌入卷積神經(jīng)網(wǎng)絡(luò)框架Caあe中實現(xiàn).將人物個體作為分類目標(biāo)在深度神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練,避免了傳統(tǒng)圖像處理技術(shù)的弊端,這里因為傳統(tǒng)技術(shù)在分類前需要對原始圖像的視覺特征進行采集,而且選取的特征對分類的準(zhǔn)確率起關(guān)鍵性作用.沒有選擇人臉識別技術(shù),則是因為人臉識別需要的訓(xùn)練圖片是人臉數(shù)據(jù)[3],要求將采集到的視頻圖像進行分割,而且實驗用攝像頭的性能無法保證人類圖像的清晰度.

1 卷積神經(jīng)網(wǎng)絡(luò)及其工具

1.1 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

一個神經(jīng)網(wǎng)絡(luò)由多個神經(jīng)元連接組成.神經(jīng)網(wǎng)絡(luò)的整體功能不僅取決于單個神經(jīng)元的特征,更取決于神經(jīng)元之間的相互作用和相互連接.神經(jīng)元可以表示不同的對象,例如特征、字母、概念等.神經(jīng)網(wǎng)絡(luò)的處理單元可以分為3類,其中輸入層單元連接外部的信號和數(shù)據(jù),輸出層單元實現(xiàn)系統(tǒng)處理結(jié)果的輸出,隱含層單元則處于輸入層和輸出層之間,系統(tǒng)外部無法觀察.神經(jīng)元之間的連接權(quán)重控制單元間的連接強度,而整個系統(tǒng)的信息處理過程就體現(xiàn)在神經(jīng)網(wǎng)絡(luò)各處理單元的連接關(guān)系中.圖1為包含一個隱含層的神經(jīng)網(wǎng)絡(luò)示意圖.

神經(jīng)網(wǎng)絡(luò)是機器學(xué)習(xí)的一個龐大的分支,有幾百種不同的算法,深度學(xué)習(xí)就是其中的一類算法.深度學(xué)習(xí)的訓(xùn)練過程分為兩個階段.

(1)自下而上的無監(jiān)督學(xué)習(xí).圖2為深度學(xué)習(xí)的逐層調(diào)參過程.由圖可以看出,在這一階段,從輸入層開始逐層構(gòu)建單層神經(jīng)元,每層采用認(rèn)知和生成兩個階段對算法進行調(diào)優(yōu),每次僅調(diào)整一層,逐層調(diào)整.在認(rèn)知階段,通過下層的輸入特征和向上的編碼器權(quán)重初始值產(chǎn)生初始抽象表示,再通過解碼器權(quán)重的初始值產(chǎn)生一個重建信息,然后計算輸入信息和重建信息殘差,并使用梯度下降修改層間的解碼器權(quán)重值.在生成階段,首先通過初始抽象表示和向下的解碼器權(quán)重修改值,生成下層的狀態(tài),再利用編碼器權(quán)重初始值產(chǎn)生一個新的抽象表示;然后利用初始抽象表示和新建抽象表示的殘差,并利用梯度下降修改層間向上的編碼器權(quán)重;最后利用修改后的編碼器權(quán)重得到輸入層的抽象表示(即隱含層).由上可知,在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中每個隱含層可以看作下一個隱含層的輸入.

圖1 包含一個隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Structure diagram of neural network with one hidden layer

圖2 深度學(xué)習(xí)的逐層調(diào)參過程Fig.2 Process of tuning parameters layer by layer for deep learing

(2)自頂向下的監(jiān)督學(xué)習(xí).深度學(xué)習(xí)的第一階段實質(zhì)上是一個網(wǎng)絡(luò)參數(shù)初始化過程.第二個階段是在第一階段學(xué)習(xí)獲得各層參數(shù)的基礎(chǔ)上,在最頂?shù)木幋a層添加一個分類器,然后通過帶標(biāo)簽數(shù)據(jù)進行有監(jiān)督的學(xué)習(xí),并利用梯度下降法微調(diào)整個網(wǎng)絡(luò)參數(shù),即自頂向下重新調(diào)整所有層間的編碼器權(quán)重.

與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機初始化不同,深度學(xué)習(xí)模型通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到,因而這個初值更接近全局最優(yōu),因而能夠取得更好的效果.典型的深度學(xué)習(xí)結(jié)構(gòu)有卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)、遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network RNN)和長短時記憶單元(long short-term memory,LSTM),其中卷積神經(jīng)網(wǎng)絡(luò)在圖像識別和目標(biāo)檢測領(lǐng)域中的應(yīng)用非常成功[10].

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[11]是為識別二維形狀而設(shè)計的一個多層神經(jīng)網(wǎng)絡(luò),主要有5個特征.

(1)局部感知.在圖像的空間聯(lián)系中,距離較近的像素聯(lián)系較為緊密,而距離較遠的像素相關(guān)性比較弱.因此,神經(jīng)元沒有必要對全局圖像進行感知,而只需要感知相鄰的局部圖像,然后在更高層進行全連接得到全局信息.

(2)權(quán)值共享.在局部連接中,每個神經(jīng)元與上一層的連接方式可以看作特征提取的方式,且該方式與位置無關(guān).因此,在某部分學(xué)習(xí)的方式可以用在該圖像所有位置上,實現(xiàn)權(quán)值共享,即利用同一個卷積核在圖像上做卷積,如圖3所示.權(quán)值共享和局部感知均可以使CNN模型參數(shù)的數(shù)量大幅減少.

(3)多卷積核.只用一個卷積核進行特征提取是不充分的,可以通過增加卷積核的個數(shù)使網(wǎng)絡(luò)學(xué)習(xí)更多的特征,其中每個卷積核都會將圖像生成為另一幅圖像.

(4)池化.卷積之后得到的卷積特征向量較多,而在一個圖像區(qū)域有用的特征極有可能同樣適用于另一個區(qū)域.因此為了描述較大的圖像,可以對不同位置的特征進行聚合統(tǒng)計,既可以降低統(tǒng)計特征的維度,又不容易過擬合.池化分為平均池化和最大池化兩種方式.

(5)多個卷積層.一個卷積層學(xué)到的特征往往是局部的,層數(shù)越高學(xué)到的特征越全局化,因此,在實際應(yīng)用中通常采用在網(wǎng)絡(luò)中添加多個卷積層,然后再使用全連接層進行訓(xùn)練的方法.

圖3 卷積神經(jīng)網(wǎng)絡(luò)中的卷積過程Fig.3 Convolution process of convolutional neural network

1.3 Caあe框架

快速特征嵌入卷積神經(jīng)網(wǎng)絡(luò)框架(convolutional architecture for fast feature embedding,Caあe)[12]由畢業(yè)于加州大學(xué)伯克利分校的賈揚清博士開發(fā),具有快速、可擴展、開放性等特征,是目前炙手可熱的一個深度學(xué)習(xí)工具.Caあe是純粹的C++/CUDA架構(gòu),支持命令行、Python和Matlab接口,可以在CPU和GPU之間無縫切換.本工作在進行目標(biāo)匹配時直接通過Caあe的Python接口實現(xiàn).在Caあe中,層的定義由層屬性與層參數(shù)兩部分組成.層屬性包括層名稱、層類型以及層連接結(jié)構(gòu)(輸入和輸出).層參數(shù)的定義非常方便,可以隨意設(shè)置相應(yīng)參數(shù),例如調(diào)用GPU進行計算時,只需要將solver mode直接設(shè)置成GPU.安裝Caあe前,需要先安裝Cuda,VS以及Opencv,Boost,Protobuf等第三方庫.

在Caあe中實現(xiàn)目標(biāo)匹配需要按以下步驟操作.

第1步 利用convert imageset命令調(diào)整圖片大小,并生成leveldb格式或lmdb格式訓(xùn)練文件.

第2步 根據(jù)模型要求選擇是否需要利用computeimage mean命令生成圖像的均值文件.

第3步 根據(jù)訓(xùn)練圖片個數(shù)和訓(xùn)練周期的要求,在solver和train val中調(diào)整訓(xùn)練參數(shù).

第4步 利用Caあe的train命令進行訓(xùn)練,產(chǎn)生訓(xùn)練模型caあemodel文件.

第5步 利用Caあe的Python或者Matlab接口實現(xiàn)目標(biāo)圖片的匹配,并給出目標(biāo)圖片與每一類圖片的相似度.

2 固定群體中的個體目標(biāo)匹配

本工作的研究對象限定于固定人物群體,首先將某個辦公室中的所有人物圖片進行訓(xùn)練,產(chǎn)生訓(xùn)練模型,然后將群體中某個人物的圖片在模型中進行匹配,并通過匹配結(jié)果得出該人物的身份,最后對多次匹配的結(jié)果進行統(tǒng)計,得出該人物的出現(xiàn)頻率.

2.1 固定群體中訓(xùn)練模型的產(chǎn)生

(1)采集固定群體視頻.本工作涉及的實驗都是在固定單源攝像頭拍攝的情況下獲得的固定群體人物的視頻,在Python中調(diào)用OpenCV的VideoCapture函數(shù)獲取,并將實時視頻寫入文件.

(2)構(gòu)建訓(xùn)練圖片集.在視頻采集過程中,首先將第一幀圖像保存為關(guān)鍵圖片,然后以此為基準(zhǔn)依次計算新的視頻幀與關(guān)鍵圖片的幀間差,當(dāng)幀間差超過一定閾值后將當(dāng)前幀保存為下一個關(guān)鍵圖片.循環(huán)計算得到所有滿足與當(dāng)前關(guān)鍵圖片幀間差超過閾值的下一個關(guān)鍵圖片,直到視頻采集結(jié)束.

關(guān)鍵圖片的幀間差通過比較直方圖的相關(guān)性得到,其中直方圖利用OpenCV的calcHist函數(shù)得到.幀間差通過cv2.compareHist(hist1,hist2,cv2.cv.CVCOMP CORREL)實現(xiàn),其中第三個參數(shù)CVCOMP CORREL控制用直方圖的歸一化互相關(guān)方法計算幀間差,且有

圖4 固定群體中目標(biāo)人物的部分關(guān)鍵圖片F(xiàn)ig.4 Key Frames of individual object

(3)產(chǎn)生訓(xùn)練模型.CNN中典型的圖像分類模型有AlexNet,GoogleNet等.實驗證明,在訓(xùn)練數(shù)據(jù)有限的情況下,利用GoogleNet模型訓(xùn)練得到的準(zhǔn)確率并不優(yōu)于AlexNet模型,并且當(dāng)卷積神經(jīng)網(wǎng)絡(luò)規(guī)模變大時,需要對網(wǎng)絡(luò)進行壓縮以解決參數(shù)量大和計算復(fù)雜度高等問題[13].因此,本工作采用AlexNet模型產(chǎn)生訓(xùn)練模型.AlexNet模型有5個卷積層和3個全連接層,如圖5所示[14].

通過卷積(Conv)和池化(Pool)降低網(wǎng)絡(luò)參數(shù),并利用激活函數(shù)(ReLu)縮小無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)之間的差距,不僅提高訓(xùn)練速度,也進一步通過局部響應(yīng)標(biāo)準(zhǔn)化(local response normalization,LRN)和Dropout層提高了網(wǎng)絡(luò)的泛化能力.為了減少訓(xùn)練時間,本工作利用較少的訓(xùn)練圖片快速產(chǎn)生訓(xùn)練模型,同時在調(diào)參時將訓(xùn)練網(wǎng)絡(luò)的最大迭代次數(shù)由450 000降低到250 000,在保證訓(xùn)練質(zhì)量的情況下,縮短訓(xùn)練時長,并根據(jù)圖片數(shù)量和機器配置設(shè)置base lr,testiter和batchsize等參數(shù).

2.2 目標(biāo)分類

(1)選取驗證圖片.驗證圖片一部分從參與訓(xùn)練的監(jiān)控視頻截取圖片中選取驗證圖片,另一部分從重新拍攝的監(jiān)控視頻中獲得,且在進行驗證前將圖片尺寸調(diào)整為256×256像素.

(2)目標(biāo)分類.利用Caあe提供的Python接口,調(diào)用classify.py將jpg格式的驗證圖片在前期預(yù)訓(xùn)練產(chǎn)生的訓(xùn)練模型中進行匹配,并給出該目標(biāo)匹配固定群體中每個目標(biāo)的相似度.

(3)行為統(tǒng)計.目標(biāo)匹配后,根據(jù)需求可在較大的時間周期(以周或月為單位)內(nèi)給出個體目標(biāo)的行為統(tǒng)計報告,如每周出勤情況、非工作時間返回辦公室的次數(shù)及時間、單獨進入機要室的次數(shù)及時間、黑名單人物進入場景的報警等.

圖5 AlexNet模型結(jié)構(gòu)Fig.5 Architecture of AlexNet model

3 實驗結(jié)果與分析

采用戴爾n5110筆記本電腦(內(nèi)存8 GB,主頻2.10 GHz)進行視頻采集和圖片分類,在臺式機內(nèi)存4 GB,NVIDIA GTX 960顯卡,顯存4 GB上進行訓(xùn)練,訓(xùn)練時間為30 h.圖片分類時間毫秒級別,而訓(xùn)練時間則主要依賴于顯卡顯存的容量.固定群體中個人目標(biāo)為4人,其中成人3人,幼兒1人,每個目標(biāo)訓(xùn)練圖片400張,測試圖片50張,驗證圖片10張.

另外,本工作還構(gòu)建了其他兩種驗證圖片集:同一環(huán)境不同拍攝角度下的目標(biāo)人物照片(圖片集2)和不同環(huán)境下不同季節(jié)的目標(biāo)人物照片(圖片集3),并將這兩種驗證圖片集與第一種圖片集的準(zhǔn)確率進行比較,結(jié)果如表1所示.

表1 目標(biāo)人物驗證圖片集的準(zhǔn)確率Table 1 Accuracy of diあerent verif i ed image sets for individual object %

實驗結(jié)果表明,利用卷積神經(jīng)網(wǎng)絡(luò)框架Caあe能夠?qū)崿F(xiàn)固定群體中的目標(biāo)人物分類.當(dāng)訓(xùn)練圖片和分類圖片由同一拍攝源得到時,成人的分類準(zhǔn)確率達到100%,而幼兒的準(zhǔn)確率僅為50%.究其原因可能有兩種:①攝像頭固定的情況下,幼兒目標(biāo)較小,占據(jù)圖片的比例較小,不能較好地參與訓(xùn)練;②幼兒受控性較差,在拍攝硬件條件不高的情況下,幼兒圖片質(zhì)量不高.為了提高幼兒圖片的分類準(zhǔn)確率,根據(jù)拍攝環(huán)境特點,利用imcrop函數(shù)從圖片的左、上、右3個方向?qū)D片進行裁剪,增大幼兒占整幅圖片的比例.經(jīng)過多次實驗發(fā)現(xiàn),當(dāng)幼兒占圖片的比例達到20%以上時,準(zhǔn)確率可達到90%.綜上可以推斷,當(dāng)目標(biāo)人物占據(jù)圖片的比例增大時,準(zhǔn)確率將提高.由表1可知,通過擴大訓(xùn)練圖片的數(shù)量或在訓(xùn)練圖片中添加更多環(huán)境下的目標(biāo)人物照片,將大幅提高圖片集2和圖片集3的準(zhǔn)確率.

本工作中的目標(biāo)人物分類方法在圖像預(yù)處理、分類時間周期兩方面與傳統(tǒng)的方法不同,具體如表2表示.

表2 兩種目標(biāo)人物分類方法的比較Table 2 Comparison of two kinds of classif i cation methods for individual object

4 結(jié)束語

深度學(xué)習(xí)在2006年之后得到了非常廣泛的應(yīng)用,包括谷歌、百度、臉書等大型技術(shù)公司都成立了相應(yīng)的研發(fā)部門,力求在深度學(xué)習(xí)領(lǐng)域提高自身的技術(shù)性能,并將其應(yīng)用到實際工作中.特別是在2015年ImageNet計算機識別挑戰(zhàn)賽(ImageNet large scale visual recognition competition,ILSVRC)期間,微軟亞洲研究院視覺計算組[15]將對象識別分類錯誤率降低至3.570%,超越了人眼辨識的錯誤率5.100%,而在ILSVRC 2016期間,對象識別分類錯誤率又被刷新到2.991%.這預(yù)示著深度學(xué)習(xí)已從理論成熟走向?qū)嵺`成熟,未來幾年將會大放異彩.

[1]明安龍,馬華東,傅慧源.多攝像機監(jiān)控中基于貝葉斯因果網(wǎng)的人物角色識別[J].計算機學(xué)報,2010,33(12):2378-2386.

[2]寧波,宋硯.基于無監(jiān)督方法的視頻中的人物識別[J].計算機與現(xiàn)代化,2014(12):49-53.

[3]ZHONG Y,SULLIVAN J,LI H B.Face attribute prediction with classif i cation CNN[EB/OL].(2016-02-04)[2017-09-01].https://arxiv.org/abs/1602.01827v2.

[4]尹萍,趙亞麗.視頻監(jiān)控中人臉識別現(xiàn)狀與關(guān)鍵技術(shù)課題[J].警察技術(shù),2016(3):77-80.

[5]聞新,李新,張興旺.應(yīng)用MATLAB實現(xiàn)神經(jīng)網(wǎng)絡(luò)[M].北京:國防工業(yè)出版社,2015.

[6]HINTON G E,SALAkHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[7]BENGIO Y,LAMBLIN P,POPOVICI D,et al.Training of deep networks[M].Massachusetts:MIT Press,2007:153-160.

[8]RANZATO M A,POULTNEY C,CHOPRA S,et al.Eきcient learning of sparse representations with an energy-based model[C]//Advances in Neural Information Processing Systems.2006.

[9]KRIZHEVSkY A,SUTSkEVER I,HINTON G E.ImageNet classif i cation with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems.2012.

[10]LI D,DONG Y.Deep learning:methods and applications[M].Boston:Now Publishers,2014.

[11]LECUN Y,BENGIO Y,HINTON G.Deep learning[J].Nature,2015,521(7553):436-444.

[12]Caあe[EB/OL].(2017-08-30)[2017-10-10].http://caあe.berkeleyvision.org.

[13]LIN S H,JI R R,GUO X W,et al.Towards convolutional neural networks compressing via global error reconstruction[C]//Preceedings of the 25thInternational Joint Conference on Artif i cial Intelligence.2016.

[14]KRIZHEVSkY A,SUTSkEVER I,HINTON G E.Imagenet classif i cation with deep convolutional neural networks[C]//Proceedings of the 25thInternational Conference on Neural Information Processing Systems.2012.

[15]HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition[EB/OL].(2015-12-10)[2017-09-21].https://arxiv.org/abs/1512.03385.