種衍杰， 方 琰， 沙 濤

(南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院， 南京 210094)

自2006年， 行人重識(shí)別的概念第一次在CVPR會(huì)議上被提出后[1]， 相關(guān)研究越來越受到學(xué)者們的關(guān)注.行人重識(shí)別旨在大規(guī)模的視頻監(jiān)控系統(tǒng)中進(jìn)行行人目標(biāo)匹配， 即確認(rèn)不同攝像頭在不同時(shí)間、不同地點(diǎn)所記錄到的行人目標(biāo)是否為同一個(gè)人， 進(jìn)而達(dá)到跟蹤或是搜索的目的[2]. 由于光照、視角、姿態(tài)等方面的差異， 導(dǎo)致同一行人在不同畫面中可能呈現(xiàn)截然不同的外觀； 加之存在圖像分辨率低下、遮擋等問題， 使得行人重識(shí)別成為一個(gè)頗具挑戰(zhàn)的課題.

行人重識(shí)別中兩個(gè)關(guān)鍵問題: 特征表示和度量學(xué)習(xí)[3]. 一個(gè)有效的特征應(yīng)當(dāng)緊湊且對(duì)諸如視角、光照等變化具有魯棒性； 而度量學(xué)習(xí)則通過學(xué)習(xí)獲得一個(gè)新的距離度量空間， 使得相同行人目標(biāo)之間的距離更近，而不同目標(biāo)之間的距離更遠(yuǎn). 許多學(xué)者沿著這兩個(gè)方向做了許多貢獻(xiàn). Gray等[4]提出了局部特征集(Ensemble of Localized Features， ELF)， 融合了顏色、紋理多種特征， 依據(jù)分類效果對(duì)特征賦予相應(yīng)的權(quán)重.Farenzena等[5]提出了局部特征對(duì)稱性驅(qū)動(dòng)累積(Symmetry-Driven Accumulation of Local Features，SDALF)， 從 STEL(STel Component Analysis)[6]模型提取的行人輪廓中尋找垂直對(duì)稱軸， 依據(jù)對(duì)稱軸對(duì)像素加權(quán)后提取顏色和紋理特征. Liao等[3]提出了局部最大事件 (LOcal Maximal Occurrence representation， LOMO)，聯(lián)合了HSV顏色直方圖和SILTP (Scale Invariant Local Ternary Patter)[7]紋理特征描述子， 并使用最大池化的方法獲得了更加穩(wěn)定的特征表達(dá)， 同時(shí)， 還提出了跨視角二次判別(cross-view Quadratic Discriminant Analysis， XQDA)的度量學(xué)習(xí)方法. Wu等[8]提出了特征融合網(wǎng)絡(luò) (Feature Fusion Net， FFN)， 嘗試將手工剪裁特征和卷積神經(jīng)網(wǎng)絡(luò)提取的CNN (Convolutional Neural Network)特征進(jìn)行了有效的融合.

本文聚焦于行人重識(shí)別中的特征表達(dá)， 首先研究了原始LOMO特征的提取流程， 接著， 利用STEL算法改善了原始LOMO特征對(duì)背景噪聲的抗噪性能， 利用KPCA (Kernel Principal Component Analysis)[9]算法降低維度以便于后續(xù)融合， 在特征維度更低的情況下，本文改進(jìn)LOMO特征取得了較原始LOMO特征更加優(yōu)異的識(shí)別準(zhǔn)確率. 隨后， 本文探索了手工特征和CNN特征的互補(bǔ)性， 經(jīng)由全連接層將改進(jìn)LOMO特征融入卷積神經(jīng)網(wǎng)絡(luò)之中， 反向傳播使得改進(jìn)LOMO特征能夠優(yōu)化網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)， 得到了區(qū)分度更高的融合特征. 在VIPeR和CUHK01數(shù)據(jù)集上的測(cè)試結(jié)果表明，本文融合特征的區(qū)分度明顯高于單一特征和級(jí)聯(lián)特征，Rank-1較級(jí)聯(lián)特征分別提高了3.73%和2.36%.

1 改進(jìn)LOMO特征

1.1 原始LOMO特征提取方法

由于行人圖像分辨率較低， 諸如人臉等其它生物特征難以被捕捉到， 所以， 行人重識(shí)別主要依據(jù)行人的表觀特征， 例如顏色、紋理等特征. Liao提出的LOMO特征， 先將行人圖像水平劃分， 然后提取HSV顏色直方圖和SILTP[7]紋理特征， 并使用最大池化的方法獲得了更加穩(wěn)定的表達(dá). 圖1展示了LOMO特征的提取流程.

1.1.1 處理光照變化

顏色是描述行人圖像的一個(gè)重要特征， 然而， 由于光照條件、相機(jī)設(shè)置以及陰影等因素， 同一個(gè)行人在不同相機(jī)下所呈現(xiàn)的顏色可能相距甚遠(yuǎn)[10]. 為此， LOMO特征首先使用了多尺度Retinex算法[11]預(yù)處理行人圖片. Retinex算法能夠很好地近似人類視覺感知， 并加強(qiáng)了陰影區(qū)域的細(xì)節(jié)表現(xiàn). 在LOMO特征使用的多尺度Retinex算法中， 小尺度Retinex用于動(dòng)態(tài)范圍壓縮，大尺度Retinex用于色調(diào)再現(xiàn). 圖2展示了行人圖片經(jīng)Retinex處理前后的對(duì)比， 其中(a)為原始圖片， (b)為經(jīng)Retinex處理后的圖片， (a)(b)中同一列為同一行人圖像. 可以看出， 處理后的行人圖片在光照和顏色上有著更好的一致性.

圖1 LOMO特征的提取流程

圖2 行人圖片經(jīng)Retinex處理前后對(duì)比[3]

1.1.2 處理視角變化

考慮到行人在不同相機(jī)下往往呈現(xiàn)出不同的視角，LOMO特征使用了滑動(dòng)窗口來描述圖像的局部細(xì)節(jié).具體而言， LOMO特征使用了尺寸為10×10的窗口， 在經(jīng)裁剪的行人圖像上以5像素步長(zhǎng)滑動(dòng). 在每個(gè)窗口內(nèi)提取顏色直方圖和兩尺度紋理特征. 為了使產(chǎn)生的直方圖對(duì)視角變化具有魯棒性， LOMO特征掃描同一水平位置的所有窗口，提取每種子特征的最大值組成一個(gè)新的特征表達(dá).

為了進(jìn)一步考慮多尺度信息， LOMO特征構(gòu)建了三尺度圖像金字塔， 對(duì)原始圖像進(jìn)行下采樣后， 重復(fù)上述特征提取流程.

最后級(jí))聯(lián)所有特征， 得到了長(zhǎng)度為(8×8×8HSV+34×2SILTP×(24+11+5)=26 960維的LOMO特征.

1.2 改善抗噪性能

LOMO特征使用滑動(dòng)窗口來描述行人圖像的局部細(xì)節(jié)， 并通過最大化水平窗口特征值的方式來處理視角變化. 該方法簡(jiǎn)單有效， 但卻沒有很好地處理背景噪聲的影響. 在我們的實(shí)驗(yàn)中， LOMO特征在不同的數(shù)據(jù)集下表現(xiàn)得不夠穩(wěn)定也驗(yàn)證了這一點(diǎn). 受到SDALF算法[5]利用對(duì)稱信息處理視角變化的啟發(fā)， 本文使用行人垂直對(duì)稱信息和加權(quán)函數(shù)來消除背景噪聲的干擾.

首先， 利用 STEL[6]將行人從背景中提取出來， 然后由行人輪廓確定垂直對(duì)稱軸， 依據(jù)對(duì)稱軸對(duì)滑動(dòng)窗口賦予不同的權(quán)值: 距離對(duì)稱軸較近的窗口更有可能是前景(行人)， 賦予較大權(quán)重； 而對(duì)遠(yuǎn)離對(duì)稱軸的窗口賦予較小權(quán)值. 這樣， 所提取的LOMO特征更加專注于前景而減小了背景噪聲帶來的影響. 權(quán)值函數(shù)選用高斯函數(shù):

1.3 降低特征維度

首先， 使用上述流程提取窗口加權(quán)LOMO特征， 將LOMO特征矩陣變換為 6 74×X維的矩陣為圖像分割的水平條數(shù). 在降維算法上選取了KPCA算法， 該算法應(yīng)用了Mercer核來擴(kuò)展PCA (Principal ComponentAnalysis)，由輸入空間經(jīng)非線性映射得到高維空間， 然后在高維空間計(jì)算主成分量[12]. 圖4展示了應(yīng)用KPCA算法對(duì)LOMO特征進(jìn)行降維的性能曲線， 測(cè)試圖庫為VIPeR cam_a圖集， 共632張圖片. 當(dāng)累積方差貢獻(xiàn)率為0.9時(shí)， 平均所需主成分?jǐn)?shù)目?jī)H為17.20， 即平均使用11 591維的數(shù)據(jù)即可表示原始26 960維LOMO特征近90%的信息量.

圖4 KPCA對(duì)LOMO特征降維的性能曲線

結(jié)合圖4， 我們將LOMO特征矩陣降維至原始維度的50%， 此時(shí)平均累積方差貢獻(xiàn)率為0.91.

2 特征融合網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)架構(gòu)

近來， 專為行人重識(shí)別設(shè)計(jì)的、傳統(tǒng)的手工多特征融合[3，5，13]在性能上遇到了瓶頸. 隨著神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域的流行， 越來越多的研究聚焦于基于深度學(xué)習(xí)的行人重識(shí)別. 然而， 深度學(xué)習(xí)的主要瓶頸是缺乏訓(xùn)練數(shù)據(jù)， 大多數(shù)的重識(shí)別數(shù)據(jù)集對(duì)每個(gè)行人只提供兩張圖片， 例如VIPeR. 所以， 僅采用深度學(xué)習(xí)的行人重識(shí)別算法在某些數(shù)據(jù)集上的效果并不顯著.

受到FFN[8]的啟發(fā)， 本文提出了一種基于特征融合網(wǎng)絡(luò)的圖像特征提取方式， 該網(wǎng)絡(luò)融合了CNN特征和改進(jìn)LOMO特征， 將其映射至一統(tǒng)一的特征空間. 在反向傳播的過程中， 手工剪裁的改進(jìn)LOMO特征能夠優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí). 這樣， 我們得到了比單個(gè)特征或者級(jí)聯(lián)特征更有區(qū)分度的融合特征. 如圖5所示，特征融合網(wǎng)絡(luò)由兩部分組成， 第一部分使用普通的卷積神經(jīng)網(wǎng)絡(luò)從輸入圖像中提取特征， 是對(duì)圖像顏色、紋理、形態(tài)等特征的綜合學(xué)習(xí)； 第二部分使用改進(jìn)LOMO來提取手工特征. 借助全連接層使得第二部分能夠優(yōu)化第一部分的學(xué)習(xí)過程， 兩個(gè)特征最終融合在一起形成一個(gè)更加充分的特征表達(dá). 圖6展示了在訓(xùn)練好的融合網(wǎng)絡(luò)中進(jìn)行行人目標(biāo)匹配的流程圖， 系統(tǒng)輸出了匹配度較高的前20個(gè)結(jié)果.

圖5 特征融合網(wǎng)絡(luò)架構(gòu)圖

2.2 CNN特征的提取

特征融合網(wǎng)絡(luò)首先使用5個(gè)卷積層來提取圖像的CNN特征， 每個(gè)卷積層后使用ReLU函數(shù)作為激活函數(shù)， 池化層使用最大池化以更好地保留紋理特征， 忽略背景噪聲， 最終得到了4096維的CNN特征. 卷積神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享的特性， 有著更少的連接和參數(shù)， 因而更容易被訓(xùn)練[14].

鑒于目前流行的行人重識(shí)別數(shù)據(jù)集行人數(shù)在1000個(gè)左右， 圖片總數(shù)大多小于10 000張， 較小的訓(xùn)練集容易使得神經(jīng)網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象. 為此， 本文首先采取圖像變化和水平反轉(zhuǎn)來增強(qiáng)數(shù)據(jù)[14]. 具體地， 首先將圖像尺寸調(diào)整至 2 56×256， 而后從 2 56×256圖像上隨機(jī)剪裁大小為 2 27×227的圖像塊， 將它們及其水平反轉(zhuǎn)送入神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)， 這樣訓(xùn)練樣本總數(shù)增大了1682倍. 另外， 為了加快網(wǎng)絡(luò)的收斂速度， 在訓(xùn)練集的圖像上進(jìn)行了減均值操作.

2.3 緩沖層和融合層

由于LOMO特征和CNN特征差異巨大， 為了使融合得以成功， 在CNN特征和LOMO特征融合之前分別由一到兩個(gè)緩沖層(Buffer Layer)進(jìn)行緩沖. CNN特征的緩沖層由一個(gè)全連接層組成， LOMO特征的緩沖層由兩個(gè)輸出維度分別為8192和4096的全連接層組成.為了使融合更加充分， LOMO特征事先進(jìn)行了降維操作， 然后再通過兩級(jí)維度遞減的全連接層進(jìn)行緩沖.

圖6 融合特征網(wǎng)絡(luò)行人匹配流程圖

緩沖層之后的融合層(fusion layer)輸出了維度為4096維的融合特征， 該層利用了全連接層來增強(qiáng)對(duì)LOMO特征和CNN特征的自適應(yīng)能力. 另外， 緩沖層和融合層使用了概率為0.5的失活函數(shù)， 降低了特定神經(jīng)元之間的互相依賴， 從而迫使其學(xué)習(xí)更加魯棒的特征[14].

假定緩沖層的輸出分別為BLOMO和BCNN， 則最終融合層輸出的融合特征可以表示為:

每個(gè)樣本在所有輸出節(jié)點(diǎn)的損失函數(shù)之和為:

損失函數(shù)的導(dǎo)數(shù)為:

利用鏈?zhǔn)角髮?dǎo)法則逐層更新整個(gè)網(wǎng)絡(luò)參數(shù).

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)規(guī)則

分別在VIPeR[15]和CUHK01[16]數(shù)據(jù)集上進(jìn)行測(cè)試， 在每個(gè)數(shù)據(jù)集測(cè)試中隨機(jī)選取一半樣本作為訓(xùn)練數(shù)據(jù)集， 另一半作為測(cè)試數(shù)據(jù)集， 重復(fù) 10 次， 計(jì)算平均Rank-i并繪制CMS (Cumulative Matching Characteristic)曲線. 在分類器上選擇了最原始的非監(jiān)督分類算法L1-norm， L1-norm距離又稱曼哈頓距離， 能夠表示特征最原始的區(qū)分度. 如圖6所示， 從融合層獲得融合特征后，與已有特征計(jì)算L1-norm距離， 獲得了匹配度較高的前20個(gè)結(jié)果.

在特征融合網(wǎng)絡(luò)的訓(xùn)練中， 使用分批隨機(jī)梯度下降法以20張圖片為單位， 前向傳導(dǎo)至最后的Softmax損失層， 計(jì)算樣本損失的平均值， 并以此作為反向傳播的損失值. 初始學(xué)習(xí)率 γinitial=0.001， 更新策略:

其中，gamma取0.0001，power取0.75，iter為迭代次數(shù).

在每次實(shí)驗(yàn)中， 分別對(duì)比原始LOMO特征、本文改進(jìn)LOMO特征、本文提取的CNN特征、改進(jìn)LOMO特征和CNN特征的級(jí)聯(lián)特征以及融合特征，gBiCov[17]以及ELF16[8]作為額外對(duì)比項(xiàng).

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 在VIPeR上實(shí)驗(yàn)

VIPeR數(shù)據(jù)集是行人重識(shí)別領(lǐng)域最著名的數(shù)據(jù)集，包含632個(gè)行人共1264張圖像. VIPeR數(shù)據(jù)集的特點(diǎn)是光照和視角的多樣性. 圖7以及表1展示了VIPeR數(shù)據(jù)集上的測(cè)試結(jié)果.

3.2.2 在CUHK01上實(shí)驗(yàn)

CUHK01數(shù)據(jù)集是由香港中文大學(xué)于2012年發(fā)布的行人重識(shí)別基準(zhǔn)測(cè)試數(shù)據(jù)集， 包含了2個(gè)攝像頭、每個(gè)攝像頭971個(gè)ID、每個(gè)ID2張圖片， 共1264張圖片. CUHK01采集自行人天橋， 圖片整體亮度較低.圖8以及表2展示了CUHK01數(shù)據(jù)集上的測(cè)試結(jié)果.

表1 各種特征在VIPeR數(shù)據(jù)集、L1-norm下的性能比較

表2 各種特征在CUHK01數(shù)據(jù)集、L1-norm下的性能比較

3.2.3 運(yùn)行時(shí)間

表3評(píng)估了本文所對(duì)比的行人重識(shí)別特征的提取時(shí)間， 測(cè)試圖集為VIPeR cam_a， 取其提取632張圖像特征的平均時(shí)間. 測(cè)試機(jī)器CPU為Intel i5-5200U， 內(nèi)存 8 GB， 顯卡為 NVIDIA GTX950M.

表3 各種特征的提取時(shí)間、輸出維度比較

可以看到， 融合網(wǎng)絡(luò)的特征提取時(shí)間甚至快于某些手動(dòng)特征. 雖然融合網(wǎng)絡(luò)的訓(xùn)練需要花費(fèi)大量時(shí)間，但在訓(xùn)練完的網(wǎng)絡(luò)中運(yùn)行一次前向傳播只需0.49 s， 而且， 其中大部分時(shí)間(0.31 s)花費(fèi)在改進(jìn)LOMO特征的提取上. 相較于其它特征， 融合特征的維度更小， 在后續(xù)的度量學(xué)習(xí)中也有著更大的優(yōu)勢(shì).

3.3 結(jié)果分析

圖7和圖8展示了在L1-norm下， 本文融合特征與對(duì)比特征分別在VIPeR和CUHK01數(shù)據(jù)集上的表現(xiàn). L1-norm衡量了各種特征最直觀的區(qū)分度， 結(jié)果表明， 融合特征的區(qū)分度大于其它特征.

圖7 VIPeR數(shù)據(jù)集、L1-norm下各種特征的CMS曲線

圖8 CUHK01數(shù)據(jù)集、L1-norm下各種的特征CMS曲線

本文改進(jìn)LOMO特征和CNN特征的級(jí)聯(lián)特征準(zhǔn)確率大于改進(jìn)LOMO特征、CNN特征兩個(gè)單獨(dú)特征，說明了手工特征和CNN特征在一定程度上是可以互補(bǔ)的. 然而簡(jiǎn)單的級(jí)聯(lián)并不是最優(yōu)的融合方式， 在VIPeR和CUHK01數(shù)據(jù)集上， 融合特征Rank-1為19.76%和19.47%， 較級(jí)聯(lián)特征的16.03%和17.11%，分別提高3.73%和2.36%. 融合特征的準(zhǔn)確率大于級(jí)聯(lián)特征的主要原因在于:

(1)經(jīng)由緩沖層和融合層使得改進(jìn)LOMO特征參與了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程， 在反向傳播時(shí)， 提取CNN特征的卷積核(Filters)學(xué)習(xí)到了改進(jìn)LOMO特征的特性.

(2)緩沖層和融合層由全連接層組成， 能夠更好的融合兩者的互補(bǔ)特性.

另外， 本文改進(jìn)LOMO特征由于更加專注于行人，減小了背景噪聲的影響， 在特征維度更小的情況下， 表現(xiàn)出比原始LOMO特征更加優(yōu)異的性能， 在VIPeR和CUHK01數(shù)據(jù)集上分別較原始LOMO特征提高了1.9%和1.83%.

4 總結(jié)

本文首先利用STEL算法增強(qiáng)了LOMO特征對(duì)背景噪聲的抗噪性能， 為了便于后續(xù)融合， 利用KPCA進(jìn)行了降維， 在特征維度更低的情況下取得了較原始LOMO特征更加優(yōu)異的性能. 隨后， 本文探索了手工特征和CNN特征的互補(bǔ)性， 將改進(jìn)LOMO特征融入到了卷積神經(jīng)網(wǎng)絡(luò)之中， 得到了區(qū)分度更高的融合特征.在兩個(gè)頗具挑戰(zhàn)的數(shù)據(jù)集上， 本文融合特征表現(xiàn)出比單獨(dú)或者級(jí)聯(lián)特征更加優(yōu)異的性能， Rank-1較級(jí)聯(lián)特征分別提高了3.73%和2.36%.