王明哲，張研，楊棟，張秋亮

（中國鐵道科學(xué)研究院集團(tuán)有限公司 電子計算技術(shù)研究所，北京 100081）

1 概述

隨著人工智能、深度學(xué)習(xí)等新技術(shù)的發(fā)展，智能客運車站的建設(shè)突飛猛進(jìn)。智能客運車站是在現(xiàn)代鐵路管理、服務(wù)理念和云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能、機(jī)器人等最新信息技術(shù)基礎(chǔ)上，以旅客便捷出行、車站溫馨服務(wù)、生產(chǎn)高效組織、安全實時保障、設(shè)備節(jié)能環(huán)保為目標(biāo)，實現(xiàn)鐵路客運車站智能出行服務(wù)、智能生產(chǎn)組織、智能安全保障、智能綠色節(jié)能有機(jī)統(tǒng)一的新型生產(chǎn)服務(wù)系統(tǒng)[1-3]。車站旅客密度是智能客運車站建設(shè)中的關(guān)鍵信息，可提升客運生產(chǎn)作業(yè)的智能化水平，實現(xiàn)作業(yè)人員實時動態(tài)調(diào)配，對提高客運生產(chǎn)作業(yè)效率具有重要意義。

車站旅客密度的檢測主要依靠機(jī)器學(xué)習(xí)技術(shù)分析前端攝像頭拍攝的畫面，統(tǒng)計區(qū)域范圍內(nèi)的旅客人數(shù)，得出旅客密度。傳統(tǒng)圖像檢測技術(shù)主要依靠Svm、Adaboost 等分類算法，結(jié)合Haar 特征、Hog 特征等人為選定的特征進(jìn)行圖像檢測[4-5]，復(fù)雜場景中的識別準(zhǔn)確率不高，無法滿足現(xiàn)場實際需求。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)在圖像領(lǐng)域發(fā)展迅速，深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet[6]、GoogLeNet[7]、VGGNet[8]、ResNet 等的出現(xiàn)，大幅提高了圖像分類、目標(biāo)檢測領(lǐng)域的準(zhǔn)確率。隨著目標(biāo)檢測技術(shù)準(zhǔn)確率的不斷提升，檢測的實時性問題也成為圖像領(lǐng)域的研究熱點。在RCNN 和Fast-RCNN 算 法 基 礎(chǔ) 上，Ren 等[9]提 出Faster-RCNN 算法，算法通過選取推薦、目標(biāo)分類2 步實現(xiàn)目標(biāo)檢測，在ZF-model 下達(dá)到了17 F/s 的檢測速率；為了進(jìn)一步提高檢測速率，Liu 等[10]提出SSD 算法，算法將Faster-RCNN 算法中的選取推薦、目標(biāo)分類2 步合并為1 步，直接檢測目標(biāo)，SSD300 模型的檢測速率達(dá)到了59 F/s。深度學(xué)習(xí)技術(shù)在目標(biāo)檢測領(lǐng)域的迅速發(fā)展為實時、準(zhǔn)確檢測車站旅客密度提供了新思路。

2 Faster-RCNN 算法原理

將圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，對提取的圖像特征運行Faster-RCNN 算法，以進(jìn)行圖片分類。Faster-RCNN 算法主要包括候選框推薦和分類檢測2 個步驟，其原理見圖1。

圖1 Faster-RCNN 算法原理

輸入圖像（image）進(jìn)入卷積層（conv layers）進(jìn)行特征提取，得到特征圖譜（feature maps），這一步中的卷積層可以是任意神經(jīng)網(wǎng)絡(luò)，如ZF-model、VGG16、Res-Net 等深度神經(jīng)網(wǎng)絡(luò)；特征圖譜信息經(jīng)過選區(qū)推薦網(wǎng)絡(luò)（region proposal network）產(chǎn)生候選區(qū)（proposals），推薦的候選區(qū)僅表示有無目標(biāo)，選取推薦網(wǎng)絡(luò)的損失函數(shù)（損失函數(shù)由邊框分類損失和邊框回歸損失兩部分構(gòu)成）定義如下：

式中：pi為方框預(yù)測為目標(biāo)的概率為方框的標(biāo)簽，0 為負(fù)樣本，1 為正樣本為分類損失；為2 組線性變換為將方框變換到預(yù)測框的線性變換為將方框變換到標(biāo)定框的線性變換為回歸損失。

最后對候選區(qū)進(jìn)行感興趣區(qū)域池化（RoI pooling），輸出固定長度的特征向量，并進(jìn)行分類和回歸，確定最終的分類結(jié)果（classifier）。

3 SSD 算法原理

SSD 算法基于VGG16 網(wǎng)絡(luò)對輸入圖片進(jìn)行特征提取，通過綜合多尺度的特征圖譜，直接進(jìn)行目標(biāo)分類和邊框回歸，得到最終檢測結(jié)果，其原理見圖2。

圖2 SSD 算法原理

在圖2 中，輸入圖像尺寸為300×300 像素固定尺寸，算法也支持512×512 像素輸入的圖像。SSD 通過類似VGG16 的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，從6 個不同尺度的特征圖進(jìn)行特征提取，底層提取特征預(yù)測小目標(biāo)，高層提取特征預(yù)測大目標(biāo)。最終匯集不同特征尺度上的邊界框，對每個類別可得到8 732 個邊界框，直接對邊界框進(jìn)行分類和回歸，完成最終預(yù)測。SSD算法的損失函數(shù)定義如下：

式中：x為的簡寫，為第i個邊界框預(yù)測為第j個真實框且分類為p；c為置信度；l為預(yù)測框；g為真實框。

損失函數(shù)由分類損失函數(shù)Lconf和位置損失函數(shù)Lloc構(gòu)成，Lconf為Softmax 損失函數(shù)，Lloc與Faster-RCNN 算法類似，為SmoothL1損失函數(shù)。

4 旅客密度檢測

4.1 評價指標(biāo)

車站旅客密度檢測的主要任務(wù)是獲取實時視頻流，截取圖片，并識別圖片中的所有人，進(jìn)而評估區(qū)域旅客密度，并在密度過高時給予報警。定義人數(shù)檢測準(zhǔn)確率指標(biāo)P以評價算法準(zhǔn)確性，定義如下：

由于1 張圖片中的人數(shù)多少、遮擋等因素對檢測準(zhǔn)確率會產(chǎn)生較大影響，因此將檢測場景分為低密度場景和高密度場景2 種，選取具有代表性的100 張低密度場景圖片和30 張高密度場景圖片，分別評價算法的準(zhǔn)確性，圖片分辨率為1 080P。對每張圖片的人數(shù)檢測準(zhǔn)確率進(jìn)行算術(shù)平均，得到最終算法準(zhǔn)確率。

4.2 基于公開數(shù)據(jù)集的旅客密度檢測

深度學(xué)習(xí)的訓(xùn)練依賴大量帶有標(biāo)注的樣本構(gòu)成的數(shù)據(jù)集，常用的公開數(shù)據(jù)集有VOC2007、VOC2012、COCO 等數(shù)據(jù)集。VOC2007 數(shù)據(jù)集由訓(xùn)練集和測試集2 部分構(gòu)成，其中，訓(xùn)練集有5 011 張標(biāo)注圖片，測試集有4 952 張標(biāo)注圖片，共有20 種標(biāo)注類別；VOC2012 數(shù)據(jù)集與VOC2007 數(shù)據(jù)集的樣本類別相同，圖片數(shù)量更多；COCO 數(shù)據(jù)集有80 個樣本類別，圖片數(shù)量超過10 萬張。

選取VOC2007 數(shù)據(jù)集和VOC2012 數(shù)據(jù)集一起訓(xùn)練模型。針對Faster-RCNN 算法，采用VGG16 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練檢測模型；針對SSD 算法，分別訓(xùn)練SSD300 和SSD512 兩個檢測模型。對得到的3 個模型進(jìn)行評價，F(xiàn)aster-RCNN、SSD300、SSD512 算法的檢測準(zhǔn)確率見表1。

表1 公開數(shù)據(jù)集下的檢測準(zhǔn)確率 %

VOC 數(shù) 據(jù) 集 下 訓(xùn) 練 的Faster-RCNN、SSD300、SSD512 算法在低密度場景、高密度場景的檢測結(jié)果見圖3、圖4。

圖3 VOC 數(shù)據(jù)集下訓(xùn)練的各算法低密度場景檢測結(jié)果

圖4 VOC 數(shù)據(jù)集下訓(xùn)練的各算法高密度場景檢測結(jié)果

4.3 基于車站行人數(shù)據(jù)集的旅客密度檢測

分析上述試驗結(jié)果，3 種算法在VOC 數(shù)據(jù)集上訓(xùn)練的模型檢測準(zhǔn)確率均不高，無法滿足現(xiàn)場需求。相比而言，F(xiàn)aster-RCNN 算法在低密度場景和高密度場景下的準(zhǔn)確率均明顯高于SSD300 算法和SSD512 算法。針對公開數(shù)據(jù)訓(xùn)練的模型在車站旅客密度檢測任務(wù)中準(zhǔn)確率不高的問題，建立車站行人數(shù)據(jù)集，采用Faster-RCNN 算法訓(xùn)練模型，并分析檢測準(zhǔn)確率。

通過采集車站各種場景的視頻流，截取圖片，并標(biāo)注其中的行人，建立車站行人數(shù)據(jù)集。車站行人數(shù)據(jù)集由500 張1 080P 分辨率的圖片組成，標(biāo)注類別為“行人”一個類別，數(shù)據(jù)集格式為VOC 格式。

選取數(shù)據(jù)集中80%數(shù)據(jù)構(gòu)成訓(xùn)練集，剩余20%數(shù)據(jù)構(gòu)成驗證集。采用由ImageNet 網(wǎng)絡(luò)預(yù)訓(xùn)練的VGG16 模型進(jìn)行訓(xùn)練，并固定VGG16 網(wǎng)絡(luò)的前3 層網(wǎng)絡(luò)參數(shù)，學(xué)習(xí)率設(shè)置為0.001，訓(xùn)練次數(shù)設(shè)置為70 000。訓(xùn)練和測試中的輸入圖片歸一化尺寸均設(shè)置為1 920×1 080 像素，侯選區(qū)推薦數(shù)量設(shè)置為12 000，非極大值抑制后保留的候選區(qū)數(shù)量設(shè)置為2 000。對訓(xùn)練的模型進(jìn)行評價，分別測試低密度場景和高密度場景的檢測準(zhǔn)確率，結(jié)果見表2。

表2 車站行人數(shù)據(jù)集下的檢測準(zhǔn)確率 %

車站行人數(shù)據(jù)集下訓(xùn)練的Faster-RCNN 算法在低密度場景和高密度場景的檢測結(jié)果見圖5、圖6。

圖5 Faster-RCNN 算法低密度場景檢測結(jié)果

圖6 Faster-RCNN 算法高密度場景檢測結(jié)果

4.4 結(jié)果分析

（1）在車站場景中，使用Faster-RCNN、SSD300、SSD512 算法在VOC 數(shù)據(jù)集下訓(xùn)練的模型，行人檢測準(zhǔn)確率均不高，分析如下：車站攝像頭的安裝位置角度大多為遠(yuǎn)距離大場景俯視拍攝，而VOC 數(shù)據(jù)集中的行人大多為特寫，這個差異對檢測結(jié)果有較大影響。

（2）SSD300、SSD512 算法的檢測準(zhǔn)確率很低，與Faster-RCNN 算法存在明顯差距，分析如下：檢測圖片的原始分辨率為1 920×1 080 像素，SSD300 算法將分析圖片壓縮到300×300 像素進(jìn)行檢測，SSD512算法將分析圖片壓縮到512×512 像素進(jìn)行檢測，原始畫面中的行人目標(biāo)在大比例壓縮尺寸后變得難以檢測。

（3）針對畫面角度、圖片尺寸壓縮過大的問題，在車站行人數(shù)據(jù)集下訓(xùn)練的Faster-RCNN 算法準(zhǔn)確率明顯提升。

（4）在車站行人數(shù)據(jù)集下訓(xùn)練的Faster-RCNN 算法，在低密度場景和高密度場景的準(zhǔn)確率差異不大，分析如下：低密度場景中人數(shù)較少，單個目標(biāo)的漏檢會大幅降低整體準(zhǔn)確率。

5 結(jié)束語

車站旅客密度是智能客運車站的重要基礎(chǔ)信息，對客運生產(chǎn)作業(yè)提質(zhì)增效具有重要意義?；诠_數(shù)據(jù)集的模型和算法難以適應(yīng)鐵路客運站的復(fù)雜場景，通過車站行人數(shù)據(jù)集訓(xùn)練的模型可有效提升旅客密度檢測準(zhǔn)確率，解決現(xiàn)場問題。目前，車站旅客密度信息已接入旅客服務(wù)與生產(chǎn)管控平臺，并在智能京張高鐵、京雄城際鐵路開展工程化應(yīng)用。