李心怡，石 旭，李 輝，姚世嚴(yán)，李天宇，鄭劍飛

（北京軌道交通路網(wǎng)管理有限公司，北京 100101）

1 研究背景及意義

傳統(tǒng)視頻分析方法主要依靠人工持續(xù)觀察監(jiān)控視頻，非常消耗時(shí)間和人力資源。為了有效分析和利用海量的視頻數(shù)據(jù)，智能視頻監(jiān)控（Intelligent Video Surveillance）應(yīng)運(yùn)而生[1]。通過機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺等領(lǐng)域的相關(guān)技術(shù)，利用人工智能方法對(duì)視頻內(nèi)容進(jìn)行自動(dòng)分析，不但能解放人力，而且也可以實(shí)現(xiàn)對(duì)視頻中目標(biāo)的檢測(cè)、識(shí)別和跟蹤，行人特征識(shí)別、行為分析、姿態(tài)檢測(cè)等多項(xiàng)功能。隨著智能視頻監(jiān)控在各個(gè)領(lǐng)域的廣泛應(yīng)用，如何提高相關(guān)算法的準(zhǔn)確度，更加準(zhǔn)確和快速地分析處理視頻內(nèi)容，是近年來研究的重點(diǎn)。

2 行人重識(shí)別技術(shù)的簡析

行人重識(shí)別（Person Re-IDentification，ReID）算法是智能視頻監(jiān)控中的一項(xiàng)重要技術(shù)，其目標(biāo)是快速在多個(gè)不具有重疊區(qū)域的攝像場(chǎng)景中實(shí)現(xiàn)行人的檢索[2]。2014年以來，行人重識(shí)別技術(shù)的數(shù)據(jù)庫趨于大規(guī)?；?，國內(nèi)外一些高校（如西安交通大學(xué)、麻省理工學(xué)院）、研究所（如中科院）以及一些廠商（如曠視科技、依圖科技）的研究持續(xù)深入，使行人重識(shí)別技術(shù)得到了飛速的發(fā)展。此技術(shù)可以通過判斷圖像或者視頻序列中是否存在目標(biāo)行人，實(shí)現(xiàn)對(duì)乘客軌跡的追蹤，進(jìn)一步實(shí)現(xiàn)對(duì)客流的精確劃分，在軌道交通行業(yè)中有重要的應(yīng)用價(jià)值。盡管人臉識(shí)別技術(shù)也可以完成目標(biāo)行人的查找，但由于單位監(jiān)控區(qū)域的像素低、人員流動(dòng)性強(qiáng)、擁擠、遮擋嚴(yán)重、攝像機(jī)角度等原因，難以捕獲清晰的人臉，從而大大增加了依靠人臉識(shí)別實(shí)現(xiàn)乘客軌跡追蹤的難度。

然而，現(xiàn)階段行人重識(shí)別數(shù)據(jù)集的規(guī)模和數(shù)量還不成熟，當(dāng)前國內(nèi)外僅有4個(gè)較大的公開數(shù)據(jù)集：MSMT17、DukeMTMC-ReID、Market1501、CUHK01，最大規(guī)模的樣本庫僅包含4千人的20萬張行人圖片[3]。因此，基于國內(nèi)外現(xiàn)有先進(jìn)樣本采集和標(biāo)注研究基礎(chǔ)，結(jié)合海量的視頻樣本，建立軌道交通行業(yè)的樣本庫有利于加強(qiáng)對(duì)乘客出行特征方面的數(shù)據(jù)挖掘，有利于加速由原始數(shù)據(jù)到產(chǎn)品的轉(zhuǎn)化過程，有利于推動(dòng)行人重識(shí)別技術(shù)與地鐵行業(yè)深度融合，為智慧地鐵建設(shè)提供助力。人工智能產(chǎn)品研發(fā)生態(tài)鏈如圖1所示。

圖1 人工智能產(chǎn)品研發(fā)生態(tài)鏈

3 行人重識(shí)別系統(tǒng)架構(gòu)

3.1 行人重識(shí)別系統(tǒng)的整體框架

行人重識(shí)別系統(tǒng)的整體框架由相機(jī)網(wǎng)絡(luò)、行人檢測(cè)和行人重識(shí)別系統(tǒng)三部分組成[4]。行人重識(shí)別系統(tǒng)整體框架示意圖如圖2所示。

圖2 行人重識(shí)別系統(tǒng)整體框架示意圖

（1）相機(jī)網(wǎng)絡(luò)：基于軌道交通全路網(wǎng)7.4萬路攝像頭可實(shí)現(xiàn)目標(biāo)區(qū)域的完全覆蓋，組成的相機(jī)網(wǎng)絡(luò)可以將監(jiān)控視頻數(shù)據(jù)通過有線方式（如以太網(wǎng)）和無線方式（如5G網(wǎng)絡(luò)）進(jìn)行傳播。

（2）行人檢測(cè)：通過相機(jī)網(wǎng)絡(luò)采集到的視頻圖像，利用無監(jiān)督和對(duì)比學(xué)習(xí)算法生成預(yù)標(biāo)注結(jié)果，自動(dòng)檢測(cè)目標(biāo)行人并用矩形將行人拉框標(biāo)記。

（3）行人重識(shí)別：行人重識(shí)別算法包含圖像預(yù)處理、圖像特征提取和特征間相似度匹配等環(huán)節(jié)，目的是在候選圖像合集中檢索出與查詢目標(biāo)一致的行人，并追蹤其在系統(tǒng)中的行走路徑。

3.2 建立行人重識(shí)別視頻數(shù)據(jù)庫——樣本標(biāo)注

人工智能時(shí)代，數(shù)據(jù)是燃料，算法是引擎，數(shù)據(jù)標(biāo)注是將數(shù)據(jù)原油轉(zhuǎn)化為驅(qū)動(dòng)算法迭代的數(shù)據(jù)燃油。因此，樣本標(biāo)注是模型訓(xùn)練前的關(guān)鍵步驟?，F(xiàn)在，許多互聯(lián)網(wǎng)廠商（如百度等）專注人工智能領(lǐng)域數(shù)據(jù)采集和數(shù)據(jù)標(biāo)注服務(wù)，擁有專業(yè)的標(biāo)注團(tuán)隊(duì)、審核機(jī)制和標(biāo)注基地，為企業(yè)提供專業(yè)數(shù)據(jù)綜合解決方案，圖3展示了完善的視頻樣本標(biāo)注流程。

圖3 完善的視頻樣本標(biāo)注流程

在實(shí)際標(biāo)注過程中，首先，標(biāo)注人員將采集到的原始圖像或視頻數(shù)據(jù)，依據(jù)監(jiān)控?cái)?shù)量和角度進(jìn)行場(chǎng)景選擇，捕獲有效視頻片段。其次，技術(shù)人員用算法自動(dòng)過濾無效視頻，區(qū)分難易數(shù)據(jù)，進(jìn)行初步的視頻清洗，根據(jù)清洗結(jié)果確定抽幀頻率。再次，標(biāo)注人員利用標(biāo)注工具，根據(jù)行業(yè)標(biāo)注規(guī)范進(jìn)行預(yù)標(biāo)注和人工標(biāo)注，在圖像中用矩形框出人頭和人體所在區(qū)域或用打點(diǎn)方式標(biāo)注得到標(biāo)注結(jié)果。最后，審核人員利用算法初審和人工復(fù)審的方式，保證標(biāo)注質(zhì)量，并應(yīng)用到后續(xù)的模型研發(fā)、訓(xùn)練和測(cè)試。

3.3 基于表征學(xué)習(xí)的方法

基于深度學(xué)習(xí)的行人重識(shí)別方法，大致可分為以下三個(gè)不同階段。

（1）圖像輸入階段。通過對(duì)原始輸入圖像進(jìn)行轉(zhuǎn)換、添加額外的輸入信息等方式，改進(jìn)深度網(wǎng)絡(luò)的輸入。

（2）網(wǎng)絡(luò)特征提取階段。通過網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，如添加多個(gè)網(wǎng)絡(luò)分支、設(shè)計(jì)新的網(wǎng)絡(luò)結(jié)構(gòu)等方式，提取更好的特征表示。

（3）網(wǎng)絡(luò)優(yōu)化階段。通過損失函數(shù)的設(shè)計(jì)以及使用不同訓(xùn)練策略對(duì)網(wǎng)絡(luò)優(yōu)化過程進(jìn)行控制，得到更好的特征空間分布和網(wǎng)絡(luò)優(yōu)化結(jié)果。

基于表征學(xué)習(xí)的方法是行人重識(shí)別的重要模型算法。現(xiàn)階段的科研人員主要通過成對(duì)一致隨機(jī)丟棄（Pairwise-Consistent Dropout）的方法提取更具有魯棒性的鑒別特征對(duì)行人進(jìn)行表示。從輸入圖像中提取多個(gè)關(guān)鍵幀圖像，對(duì)保持一致或擬合度過高的圖像進(jìn)行隨機(jī)丟棄，保證丟棄的特征維度相同，且滿足剩余的圖片仍然可以融合全局和局部特征進(jìn)行行人重識(shí)別。

卷積神經(jīng)網(wǎng)絡(luò)包含輸入層和輸出層兩部分。輸入層是根據(jù)輸入的圖像進(jìn)行特征提取，內(nèi)部有多個(gè)卷積核，其中組成卷積核的每個(gè)元素都對(duì)應(yīng)一個(gè)權(quán)重系數(shù)和一個(gè)偏差量。卷積核在工作時(shí)，有規(guī)律地掃過輸入特征，在感受野內(nèi)進(jìn)行矩陣求和并疊加偏差量[5]。

在圖像識(shí)別過程中，需要將圖像轉(zhuǎn)換成像素值，輸入到模型中進(jìn)行學(xué)習(xí)，機(jī)器通過卷積和池化操作不斷地利用不同的卷積提取圖像中的不同特征，從而實(shí)現(xiàn)在減少輸入尺寸的同時(shí)，提取圖像中最主要的內(nèi)容。如圖4所示。

4 應(yīng)用在軌道交通領(lǐng)域的行人重識(shí)別算法技術(shù)方案

由于公共安全和智慧通行的迫切需求，ReID算法技術(shù)在智能監(jiān)控系統(tǒng)中應(yīng)用勢(shì)在必行，具有重大的研究價(jià)值和現(xiàn)實(shí)意義。但ReID算法技術(shù)仍然面臨著很大挑戰(zhàn)，主要體現(xiàn)為地鐵內(nèi)實(shí)際的模型部署、動(dòng)態(tài)更新的攝像機(jī)點(diǎn)位及相機(jī)網(wǎng)絡(luò)、陌生的測(cè)試場(chǎng)景、增量模型的更新和乘客換衣服等問題[6]。

4.1 構(gòu)建人員ReID系統(tǒng)的步驟

構(gòu)建軌道交通特定場(chǎng)景下的人員ReID系統(tǒng)通常需要以下5個(gè)主要步驟[7]，如圖5所示。

圖5 為特定場(chǎng)景構(gòu)建人員ReID系統(tǒng)的5個(gè)主要步驟

（1）數(shù)據(jù)采集。從監(jiān)控?cái)z像頭獲取原始視頻數(shù)據(jù)是實(shí)際視頻調(diào)查的首要要求，但全路網(wǎng)的7.4萬路攝像頭通常位于不同環(huán)境下的不同地方，數(shù)據(jù)背景煩雜。

（2）邊界框生成。通過行人檢測(cè)或跟蹤算法，從原始視頻數(shù)據(jù)中提取包含人物圖像的邊界框。

（3）訓(xùn)練數(shù)據(jù)注釋。需要在每個(gè)新場(chǎng)景中對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行注釋（如注釋跨相機(jī)名稱、場(chǎng)景、攝像機(jī)角度等）。

（4）模型訓(xùn)練。利用模型從訓(xùn)練數(shù)據(jù)中盡可能挖掘行人的隱藏特征表達(dá)模式。

（5）行人檢索。對(duì)訓(xùn)練好的模型進(jìn)行應(yīng)用場(chǎng)景測(cè)試，檢驗(yàn)?zāi)Ｐ托Ч?/p>

4.2 算法的評(píng)測(cè)準(zhǔn)則與方法

魯棒性（Robustness）[8]：魯棒性要求算法能適應(yīng)多場(chǎng)景，能夠在不同的視頻片段中都有較高性能。準(zhǔn)確性（Accuracy）[9]：偏移（Deviation）、誤檢（False Positive）、漏檢（False Negative）是三個(gè)反應(yīng)跟蹤準(zhǔn)確性的三個(gè)指標(biāo)。

（1）偏移：單個(gè)測(cè)量值與固定值的差異值。

（2）誤檢：檢測(cè)結(jié)果錯(cuò)誤，并且結(jié)果呈現(xiàn)陽性；預(yù)測(cè)為正例，實(shí)際為負(fù)例。

（3）漏檢：即檢測(cè)結(jié)果錯(cuò)誤，并且結(jié)果呈現(xiàn)陰性；預(yù)測(cè)為負(fù)例，實(shí)際為正例。

5 結(jié)束語

在實(shí)際研究中，盡管行人重識(shí)別的模型和算法趨于成熟，但在軌道交通行業(yè)，適合于特定場(chǎng)景的智能視頻分析樣本庫、行人視覺表觀差異、地鐵內(nèi)非理想場(chǎng)景的行人重識(shí)別技術(shù)依然是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)極具挑戰(zhàn)性的課題。

基于以上行人重識(shí)別技術(shù)存在的問題和挑戰(zhàn)，未來在收集跨時(shí)間、多場(chǎng)景的視頻數(shù)據(jù)樣本時(shí)，需簡化背景，盡力使乘客進(jìn)出站時(shí)特征（例如，衣著、帽子、眼鏡、發(fā)型等）保持一致。車廂內(nèi)采用魚眼攝像頭，擁有不同的拍攝視角，減少人員遮擋，提高圖像質(zhì)量，減少光照變化，從而緩解位置偏移問題?；诒卷?xiàng)目研發(fā)的樣本庫，建立代表性強(qiáng)、適用性強(qiáng)的大數(shù)據(jù)平臺(tái)，擴(kuò)大樣本的規(guī)模，可以增加模型的魯棒性[10]。未來不僅可以更好地挖掘沉睡的海量視頻資源的價(jià)值，促進(jìn)智能視頻分析技術(shù)更好地在地鐵行業(yè)應(yīng)用落地，實(shí)現(xiàn)降低人工成本投入、保護(hù)乘客出行安全、提升乘客服務(wù)水平等目標(biāo)，還可以為人工智能廠商提供算法學(xué)習(xí)和訓(xùn)練的基礎(chǔ)環(huán)境，具有較強(qiáng)的經(jīng)濟(jì)價(jià)值和社會(huì)效益?！?/p>