韓 珂，賈 冕，王乾隆

(華北水利水電大學(xué) 信息工程學(xué)院，河南 鄭州450046)

我國“十三五”規(guī)劃以來，大力建設(shè)天網(wǎng)工程、雪亮工程和平安城市重大工程，目前已擁有世界上最先進(jìn)的視頻監(jiān)控網(wǎng)絡(luò)。數(shù)量眾多的攝像頭產(chǎn)生了海量的視頻數(shù)據(jù)，然而這些視頻數(shù)據(jù)并沒有得到充分有效的利用。傳統(tǒng)的視頻監(jiān)控系統(tǒng)只能將拍攝的圖像或視頻存儲起來，若要提取這些視頻圖像，則需要采用人工值守或人工瀏覽的方式，完成分析與處理過程。隨著深度學(xué)習(xí)方法的廣泛應(yīng)用，能夠自動分析與處理視頻的軟硬件系統(tǒng)不斷涌現(xiàn)，而行人作為大多數(shù)視頻監(jiān)控的主要對象，對其視頻進(jìn)行有效的分析和處理,自然就成了研究的熱點。

目前較成熟的人臉識別技術(shù)已廣泛應(yīng)用于人的身份認(rèn)證，但在實際場景中，行人的遮擋、攝像頭分辨率的高低、光線的明暗等限制性因素的影響，往往會導(dǎo)致所拍攝正面人臉的圖像不清晰、不完整問題，這給行人識別造成了不小的麻煩。行人重識別(Person Re-identification，ReID)技術(shù)能對人臉識別做重要補(bǔ)充，根據(jù)行人的身形體態(tài)、著裝特點等信息進(jìn)行匹配識別后，把目標(biāo)人員在不同監(jiān)控視頻中出現(xiàn)的視頻信息關(guān)聯(lián)起來，進(jìn)行視頻結(jié)構(gòu)化分析后形成清晰的蹤跡[1]，以實現(xiàn)跨場景、跨攝像頭的行人目標(biāo)追蹤。本文擬設(shè)計一種基于行人重識別的目標(biāo)跨鏡追蹤系統(tǒng)，使系統(tǒng)具有行人目標(biāo)圖像匹配和行人目標(biāo)跨鏡追蹤兩大核心功能，以便有效地對目標(biāo)人員進(jìn)行多場景下多攝像頭的持續(xù)追蹤。

1 行人重識別技術(shù)

1.1 重識別流程

ReID是一種判斷圖像或者視頻中是否出現(xiàn)某個行人的技術(shù)，通常被看作圖像檢索的子問題[2]。該技術(shù)可以根據(jù)行人的穿著和身形姿態(tài)，判斷不同區(qū)域的不同攝像頭所拍攝圖像中的行人是否為同一個人。行人重識別的流程主要包括特征提取和相似度度量(圖1)。早期的ReID系統(tǒng)需要手工設(shè)計提取特征，且其提取特征的能力有限，難于學(xué)習(xí)；新的ReID系統(tǒng)能通過卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)進(jìn)行特征提取，通過相似程度的計算來訓(xùn)練特征提取網(wǎng)絡(luò)，并能在推理階段精確計算兩張圖像的相似程度。

圖1 行人重識別的流程

從圖1可以看到，一個完整的行人重識別流程包括：首先從監(jiān)控攝像頭處獲取原始視頻幀；然后對這些視頻幀進(jìn)行行人檢測，截取行人圖像后構(gòu)成圖片集；再利用ReID技術(shù)進(jìn)行特征提取和相似度度量；最后輸出已排序的識別結(jié)果。

1.2 常見數(shù)據(jù)集

實際應(yīng)用場景下拍攝監(jiān)控視頻的質(zhì)量會受到很多因素的影響，例如視角變化、行人姿態(tài)、遮擋現(xiàn)象、穿著配飾、光照強(qiáng)度、背景變化、攝像機(jī)參數(shù)等，給行人重識別的順利進(jìn)行帶來了不小的挑戰(zhàn)[3]?；谏疃葘W(xué)習(xí)的行人重識別過程離不開大量的圖像數(shù)據(jù)[4]，而數(shù)據(jù)集質(zhì)量的好壞會直接影響最終訓(xùn)練的效果。此前，學(xué)術(shù)界已公開許多高品質(zhì)的圖像數(shù)據(jù)集。表1所示為常見的5種ReID圖像數(shù)據(jù)集的情況。

表1 常見的5種ReID圖像數(shù)據(jù)集的情況

Market-1501圖像數(shù)據(jù)集是由清華大學(xué)采集并于2015年發(fā)布的一個大規(guī)模ReID圖像數(shù)據(jù)集[5]。該數(shù)據(jù)集的室外攝像頭包括1個低清的和5個高清的；行人檢測框是通過可變形部件模型(Deformable Parts Model，DPM)目標(biāo)檢測算法生成的；訓(xùn)練集由751個行人的12 936張圖像構(gòu)成，測試集由750個行人的19 732張圖像構(gòu)成，且測試集中包含作為干擾項的2 793張行人圖像。該數(shù)據(jù)集采集的圖像大部分是光照條件較好的，但有些圖像只檢測到了行人的局部，比較符合真實場景。它是該領(lǐng)域最常用的數(shù)據(jù)集之一。

1.3 評價指標(biāo)

ReID算法模型的常用評價指標(biāo)有Rank-k、CMC和mAP。

指標(biāo)Rank-k表示匹配列表中排序前k張行人圖像中能正確匹配的圖像比例。而Rank-1為首位命中率(或Rank-1 Accuracy)，是指按照相似度排序后生成的匹配列表中，排在第一張的行人圖像占正確匹配圖像的比例。指標(biāo)Rank-k的計算式為：

(1)

式中：n表示待查詢圖像的總量；Si表示匹配列表中排序前i張圖像是否能匹配成功，如果能則Si為1，如果不能則Si為0。k的值一般取5和10。相比存在波動的Rank-1來說，用Rank-5和Rank-10對算法模型的評價會更加全面。

指標(biāo)CMC是累積匹配特征曲線(Cumulative Matching Curve)，可以理解為Rank-k的一種可視化方式。該指標(biāo)綜合考慮了Rank-1至Rank-k的所有值，并可以直觀地反映算法模型的性能。評價時，首先計算Rank-1至Rank-10；然后以k為橫坐標(biāo)，以Rank-k為縱坐標(biāo)作曲線即可。

一般來說，為更加全面地衡量算法模型的質(zhì)量，往往需要同時考慮準(zhǔn)確率和召回率，然而指標(biāo)CMC注重準(zhǔn)確率而忽略了召回率。針對這個問題，Zheng等提出了指標(biāo)mAP[6]。mAP是所有查詢樣本平均精度的平均值，能夠兼顧準(zhǔn)確率和召回率，較全面地評價ReID算法模型的性能。

2 行人重識別網(wǎng)絡(luò)模型的訓(xùn)練方法

綜合考慮系統(tǒng)的性能需求、實用程度和訓(xùn)練難度后，本文對基于全局特征的行人重識別網(wǎng)絡(luò)模型結(jié)構(gòu)進(jìn)行適當(dāng)調(diào)整，并采用特定的訓(xùn)練技巧在Market-1501圖像數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測試。

一般來說，骨干網(wǎng)絡(luò)模型在執(zhí)行計算機(jī)視覺任務(wù)中的主要作用是對圖像進(jìn)行特征提取，網(wǎng)絡(luò)結(jié)構(gòu)的性能直接取決于骨干網(wǎng)絡(luò)的質(zhì)量。AlexNet和ResNet50都是圖像處理時常用的網(wǎng)絡(luò)模型，但已有的實驗結(jié)果表明，ResNet50網(wǎng)絡(luò)模型的特征提取能力要明顯強(qiáng)于AlexNet網(wǎng)絡(luò)模型[7]。對于Market-1501圖像數(shù)據(jù)集來說，這兩種網(wǎng)絡(luò)模型的性能對比如表2所示。通過對比網(wǎng)絡(luò)模型的性能，可在后續(xù)執(zhí)行行人重識別任務(wù)中進(jìn)行訓(xùn)練時，選擇性能更優(yōu)的ResNet50作為骨干網(wǎng)絡(luò)模型。

表2 兩種網(wǎng)絡(luò)模型的性能對比 %

首先，針對P個行人各抽取K張圖像，組成一個批處理腳本，并將其輸入網(wǎng)絡(luò)模型；其次，這些圖像的尺寸會自動調(diào)整為256×128(像素)，且約有50%的圖像會發(fā)生水平翻轉(zhuǎn)；然后，在得到經(jīng)過骨干網(wǎng)絡(luò)ResNet50的圖像全局特征后，將全連接層的輸出維度改為訓(xùn)練數(shù)據(jù)集中的行人專屬號碼(Identity Document，ID)；最后，根據(jù)之前所得全局特征分別計算三聯(lián)體損失(Triplet Loss)[8]和專屬號碼損失(ID loss)，并完成網(wǎng)絡(luò)模型的訓(xùn)練。在訓(xùn)練過程中，計算Triplet Loss，旨在讓網(wǎng)絡(luò)模型對圖像的相似程度進(jìn)行學(xué)習(xí)，使同一行人的差距更小，不同行人的差距更大；計算ID Loss，旨在讓網(wǎng)絡(luò)模型將行人重識別看作圖像分類任務(wù)，能結(jié)合Triplet Loss進(jìn)行聯(lián)合訓(xùn)練，并讓骨干網(wǎng)絡(luò)模型學(xué)習(xí)具有較強(qiáng)代表性和魯棒性的行人特征。

為提高行人重識別網(wǎng)絡(luò)模型的性能，更好地提取圖像特征， He等提出了一種稱作BNNeck的新結(jié)構(gòu)[9]。在BNNeck結(jié)構(gòu)中，一個批量歸一化層被放在了全連接層之前，并消除了全連接層中的偏置項。這使得池化后的特征能先用于計算Triplet Loss，再通過批量歸一化層，用于計算ID Loss，以便更好地進(jìn)行特征提取，獲得具有更高區(qū)分度的特征。在基本的訓(xùn)練流程中加入BNNeck結(jié)構(gòu)，使用隨機(jī)擦除、標(biāo)簽平滑等一些訓(xùn)練中常用的技巧[10]，即可形成圖2所示的網(wǎng)絡(luò)模型訓(xùn)練流程。

圖2 網(wǎng)絡(luò)模型的訓(xùn)練流程

在網(wǎng)絡(luò)模型訓(xùn)練流程中，中心損失(Center Loss)指標(biāo)[11]用來彌補(bǔ)Triplet Loss指標(biāo)忽略的正負(fù)樣本對特征距離絕對值的影響。把Triplet Loss、Center Loss和ID Loss 3項指標(biāo)結(jié)合起來考慮，可得總的損失L，即

L=LID+LTriplet+βLCenter

(2)

式中：LID表示ID Loss ；LTriplet表示Triplet Loss；LCenter表示Center Loss；β為控制Center loss的權(quán)重。

本文選取行人重識別領(lǐng)域最常用的Market-1501圖像數(shù)據(jù)集，在基于ResNet50調(diào)整后的網(wǎng)絡(luò)模型上進(jìn)行大量的訓(xùn)練和測試，所得指標(biāo)Rank-1和Rank-10分別達(dá)92.9%和98.7%，mAP則達(dá)到了82.9%，基本上滿足了工程需求。

3 目標(biāo)跨鏡追蹤系統(tǒng)的功能模塊

基于行人重識別的目標(biāo)跨鏡追蹤系統(tǒng)內(nèi)嵌了常用的行人重識別算法，可采用Python語言設(shè)計其功能模塊，以便有效地對目標(biāo)人員進(jìn)行多場景下多攝像頭的跨鏡持續(xù)追蹤。該系統(tǒng)的實現(xiàn)流程為：操作人員通過圖形化用戶界面與系統(tǒng)進(jìn)行交互，首先在一個主要的監(jiān)控視頻中手動裁取要追蹤的行人圖像；然后選取其他多個攝像視角的監(jiān)控視頻，借助行人檢測和行人重識別技術(shù)在視頻中識別目標(biāo)人員，并對其進(jìn)行標(biāo)注。

基于行人重識別的目標(biāo)跨鏡追蹤系統(tǒng)應(yīng)具有本地視頻圖像導(dǎo)入、行人圖像裁取、行人檢測、目標(biāo)圖像匹配、目標(biāo)跨鏡追蹤、系統(tǒng)使用記錄等功能模塊(圖3)。其中，目標(biāo)圖像匹配、目標(biāo)跨鏡追蹤為核心功能模塊。經(jīng)過充分調(diào)研，這些功能模塊基本可以滿足系統(tǒng)在實際場景下對目標(biāo)人員的追蹤需求。

圖3 目標(biāo)跨鏡追蹤系統(tǒng)的功能模塊

3.1 目標(biāo)圖像匹配模塊

目標(biāo)圖像匹配模塊工作時，能通過相似度匹配，從系統(tǒng)數(shù)據(jù)集中找出與指定行人似為同一人的圖像，并對匹配結(jié)果進(jìn)行展示。該模塊的工作流程如圖4所示。

圖4 目標(biāo)圖像匹配模塊的工作流程

具體來說，通過目標(biāo)圖像匹配模塊，首先選取一張待匹配的行人圖像(該圖像可以是之前在監(jiān)控視頻中裁取的)，將其和系統(tǒng)數(shù)據(jù)集中的圖像一起輸入網(wǎng)絡(luò)模型，進(jìn)行特征提取；然后計算圖像之間的特征向量差距；最后在系統(tǒng)用戶界面中展示匹配度最高的12張行人圖像和相關(guān)信息。目標(biāo)圖像匹配界面如圖5所示。其中實線邊框表示匹配的是同一個行人，虛線邊框表示匹配的不是同一個行人。

圖5 目標(biāo)圖像匹配界面

3.2 目標(biāo)跨鏡追蹤模塊

通過目標(biāo)跨鏡追蹤模塊，系統(tǒng)能夠?qū)Ρ戎付ㄐ腥藞D像與監(jiān)控視頻中行人圖像的相似度，識別目標(biāo)人員并對其進(jìn)行持續(xù)追蹤。目標(biāo)跨鏡追蹤模塊的工作流程如圖6所示。

圖6 目標(biāo)跨鏡追蹤模塊的工作流程

目標(biāo)跨鏡追蹤模塊工作時，首先選定待追蹤行人圖像和監(jiān)控視頻，并對從監(jiān)控視頻中抽取的圖像幀進(jìn)行檢測，將檢測到的行人組成視頻中行人圖像集，取代之前行人圖像匹配模塊中使用的系統(tǒng)數(shù)據(jù)集；然后采用行人重識別算法，對視頻中行人圖像集進(jìn)行特征提取和相似度對比，對監(jiān)控視頻中相似度最高的行人涂加彩色或標(biāo)記其他特定形式的矩形框，并在用戶界面(圖7)中展示；最后將處理好的視頻保存到輸出文件夾中。

圖7 目標(biāo)跨鏡追蹤系統(tǒng)的用戶界面

4 結(jié) 語

行人重識別技術(shù)廣泛用于智慧安防、智能尋人等領(lǐng)域。本文在行人重識別算法的基礎(chǔ)上，使用Python語言設(shè)計并實現(xiàn)了一種基于行人重識別的目標(biāo)跨鏡追蹤系統(tǒng)，用于跨攝像頭跨場景追蹤行人目標(biāo)。該系統(tǒng)選用算法模型的性能較好，總體上能滿足用戶的工程需求，但從完善系統(tǒng)功能和進(jìn)一步提高用戶使用體驗感考慮，仍可進(jìn)行以下優(yōu)化：①為避免所用算法模型在實際場景中運算開銷增大而影響系統(tǒng)的實時性，應(yīng)在保證高準(zhǔn)確率的前提下，盡可能使網(wǎng)絡(luò)模型輕量化；②鑒于該系統(tǒng)對行人目標(biāo)跨攝像頭跨場景的追蹤仍需要人為參與才能分析行人目標(biāo)的移動軌跡，并未完全實現(xiàn)自動化，后續(xù)可通過視頻結(jié)構(gòu)化管理，在識別的基礎(chǔ)上自動分析行人目標(biāo)的移動軌跡，并進(jìn)行可視化展示。