陳松樂(lè)，孫知信 CHEN Songle, SUN Zhixin

（1. 南京郵電大學(xué) 江蘇省郵政大數(shù)據(jù)技術(shù)與應(yīng)用工程研究中心，江蘇 南京 210003；2. 南京郵電大學(xué) 國(guó)家郵政局郵政行業(yè)技術(shù)研發(fā)中心（物聯(lián)網(wǎng)技術(shù)），江蘇 南京 210003）

(1. Engineering Research Center of Post Big Data Technology and Application of Jiangsu Province, Nanjing University of Posts and Telecommunications, Nanjing 210003, China; 2. Research and Development Center of Post Industry Technology of the State Posts Bureau （Internet of Things Technology）, Nanjing University of Posts and Telecommunications, Nanjing 210003, China)

0 引 言

近年來(lái)，在電子商務(wù)的強(qiáng)力推動(dòng)下，我國(guó)物流快遞行業(yè)呈現(xiàn)出高速發(fā)展的態(tài)勢(shì)，在推動(dòng)流通方式轉(zhuǎn)型、促進(jìn)消費(fèi)升級(jí)中發(fā)揮著越來(lái)越重要的作用[1]。在物流快遞的末端服務(wù)中，快遞網(wǎng)點(diǎn)、自助快遞柜和快遞驛站是較為常見(jiàn)的服務(wù)方式[2]。物流快遞驛站不僅為用戶提供了代收、保管、到付、派件等收件服務(wù)，而且提供了驗(yàn)視、稱重、包裝計(jì)費(fèi)等寄件服務(wù)。在功能上，物流快遞驛站相比于主要提供代收功能的自助快遞柜具有明顯的優(yōu)勢(shì)，而相比于快遞網(wǎng)點(diǎn)，物流快遞驛站更加接近消費(fèi)者，且能夠?yàn)椴煌放频奈锪骺爝f公司提供服務(wù)。由于上述特點(diǎn)和優(yōu)勢(shì)，物流快遞驛站在人口密集的社區(qū)、校園越來(lái)越普及[3]。據(jù)統(tǒng)計(jì)，目前圓通旗下的媽媽驛站和阿里集團(tuán)的菜鳥驛站已超過(guò)了5.6 萬(wàn)個(gè)站點(diǎn)。

物流快遞驛站往往采用自助管理方式，需要取件人自己到取件區(qū)域找到包裹，工作人員只在出口通道對(duì)其包裹進(jìn)行掃碼。而在取件區(qū)域，為了減少人力成本，一般并不設(shè)置監(jiān)管人員，因此貨架上的包裹實(shí)際上處于一種無(wú)監(jiān)管的狀態(tài)。一些素質(zhì)不高的取件人不僅會(huì)隨意擺放他人的包裹，而且還可能會(huì)施加拋、擲、踩、踢等暴力動(dòng)作，甚至?xí)阶源蜷_(kāi)他人的包裹。這不僅造成了包裹在貨架上的錯(cuò)放亂放，甚至?xí)?dǎo)致包裹的破損和丟失，不可避免地對(duì)物流快遞驛站自身以及驛站運(yùn)營(yíng)品牌造成非常負(fù)面的影響。

事實(shí)上，物流快遞過(guò)程中的安全問(wèn)題已經(jīng)引起了人們?cè)絹?lái)越多的重視[4]。物流快遞場(chǎng)所一般都安裝了攝像機(jī)系統(tǒng)，其具有覆蓋范圍大、對(duì)環(huán)境和用戶透明、以及非侵入的優(yōu)點(diǎn)。針對(duì)物流快遞過(guò)程中的操作規(guī)范性問(wèn)題，尚淑玲[5]提出了一種基于機(jī)器視覺(jué)的物流暴力分解方法，其利用小波包分析提取采集的物流分揀圖像特征，從而為物流暴力分揀識(shí)別提供相似性判斷依據(jù)。然而，該方法僅僅針對(duì)分揀操作人員，且只是對(duì)單張圖片進(jìn)行判斷。劉穩(wěn)[6]提出了一種基于高斯混合模型和馬爾科夫鏈的目標(biāo)檢測(cè)和跟蹤方法，然而其并不能實(shí)現(xiàn)對(duì)異常動(dòng)作的分類。近年來(lái)，由于深度學(xué)習(xí)能夠有效解決傳統(tǒng)手工提取特征表達(dá)能力不足以及淺層機(jī)器學(xué)習(xí)方法泛化能力不足等問(wèn)題，研究者提出了一些基于深度學(xué)習(xí)的人體行為識(shí)別方法[7]，如RGB 和光流雙路卷積網(wǎng)絡(luò)[8]、三維卷積神經(jīng)網(wǎng)絡(luò)[9]、自動(dòng)編碼器網(wǎng)絡(luò)[10]等。這些方法主要面向固定視角下的動(dòng)作識(shí)別，也就是訓(xùn)練過(guò)程和實(shí)際應(yīng)用的視頻數(shù)據(jù)都是來(lái)自于相同的攝像機(jī)。然而不同物流快遞驛站場(chǎng)所的攝像機(jī)位置不可能是完全相同的，從而導(dǎo)致這些方法的實(shí)際應(yīng)用效果會(huì)受到很大的影響。

針對(duì)上述問(wèn)題，本文提出了一種基于深度學(xué)習(xí)的物流快遞驛站異常行為識(shí)別方法。該方法采用卷積神經(jīng)網(wǎng)絡(luò)提取視頻每一幀的圖像特征，通過(guò)遞歸神經(jīng)網(wǎng)絡(luò)對(duì)幀與幀之間的時(shí)序關(guān)系進(jìn)行建模，并采用多路分支網(wǎng)絡(luò)架構(gòu)以適應(yīng)不同物流快遞驛站的攝像機(jī)視角變化。在實(shí)際物流快遞驛站場(chǎng)景下的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性。

1 基于深度學(xué)習(xí)的物流快遞驛站異常行為識(shí)別

1.1 方法總覽。基于深度學(xué)習(xí)的物流快遞驛站異常行為識(shí)別方法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，其由多個(gè)分支網(wǎng)絡(luò)構(gòu)成，每個(gè)分支網(wǎng)絡(luò)對(duì)應(yīng)訓(xùn)練場(chǎng)景中的特定攝像機(jī)視角，分別由卷積網(wǎng)絡(luò)、遞歸網(wǎng)絡(luò)、融合網(wǎng)絡(luò)和分類網(wǎng)絡(luò)構(gòu)成。其中卷積網(wǎng)絡(luò)用來(lái)提取視頻中每一幀圖片的特征，遞歸網(wǎng)絡(luò)用來(lái)對(duì)幀與幀之間的時(shí)序關(guān)系進(jìn)行建模。卷積網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)學(xué)習(xí)該視角相關(guān)的區(qū)分性特征，而融合網(wǎng)絡(luò)則對(duì)來(lái)自其他分支的特征數(shù)據(jù)進(jìn)行融合，以利用不同分支提取特征的互補(bǔ)性，分類網(wǎng)絡(luò)最終輸出每一視頻幀屬于各個(gè)動(dòng)作的概率。由于實(shí)際應(yīng)用時(shí)物流快遞驛站的攝像機(jī)視角和訓(xùn)練場(chǎng)景并不相同，因此單獨(dú)訓(xùn)練一個(gè)視角分類網(wǎng)絡(luò)，用于給出輸入視頻屬于各個(gè)分支的概率。在應(yīng)用階段，物流快遞驛站的每路視頻輸入到各個(gè)分支網(wǎng)絡(luò)，并使用視角分類網(wǎng)絡(luò)獲得的分支概率作為權(quán)重來(lái)集成各個(gè)分支上獲得的動(dòng)作分類結(jié)果。

圖1 基于深度學(xué)習(xí)的物流快遞驛站異常行為識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

1.2 基于卷積網(wǎng)絡(luò)的視頻幀圖像特征提取。物流快遞驛站攝像機(jī)拍攝的視頻流每一幀對(duì)應(yīng)一張圖像，由于圖像是一種非結(jié)構(gòu)化數(shù)據(jù)，需要從圖像中提取其特征描述。當(dāng)前，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為實(shí)現(xiàn)圖像特征提取的主要手段，其通常由卷積層、池化層、全連接層構(gòu)成。卷積神經(jīng)網(wǎng)絡(luò)的輸入，即RGB 圖像，通常采用3 通道的矩陣來(lái)表示，其輸出為固定長(zhǎng)度的特征向量。對(duì)于i路分支網(wǎng)絡(luò)t時(shí)刻輸入的圖像xt,i，卷積神經(jīng)網(wǎng)絡(luò)特征提取用函數(shù)形式定義為：

其中：vt,i為提取的特征表示，θv,i為卷積神經(jīng)網(wǎng)絡(luò)fv,i的可調(diào)參數(shù)。AlexNet[11]、VGG[12]、ResNet[13]是已經(jīng)獲得成功的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。由于ResNet 在眾多的實(shí)驗(yàn)數(shù)據(jù)集上都取得了比AlexNet 和VGG 更好的性能，因此本文采用ResNet 網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)視頻流每一幀圖像特征的提取。

在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中，淺層網(wǎng)絡(luò)由于表達(dá)能力有限，往往無(wú)法獲得滿意的效果，因此人們通常通過(guò)加深網(wǎng)絡(luò)來(lái)提升訓(xùn)練效果。然而過(guò)深的神經(jīng)網(wǎng)絡(luò)又很容易過(guò)擬合，導(dǎo)致模型收斂于局部最優(yōu)解。針對(duì)該問(wèn)題，ResNet 引入了殘差網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)分解來(lái)降低擬合函數(shù)的復(fù)雜度，而損失函數(shù)又是擬合函數(shù)的函數(shù)，所以降低擬合函數(shù)的復(fù)雜度也就等同于降低損失函數(shù)的復(fù)雜度。ResNet 殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

相比于重復(fù)地堆疊網(wǎng)絡(luò)，ResNet 在輸出和輸入之間引入了短路連接，從而可以有效地解決網(wǎng)絡(luò)層數(shù)過(guò)深出現(xiàn)的梯度消失問(wèn)題。本文采用在ImageNet 11K 圖像集上預(yù)訓(xùn)練的152層ResNet 網(wǎng)絡(luò)[14]提取視頻幀的圖像特征，輸入圖像的大小為224×224，輸出為ResNet152 網(wǎng)絡(luò)的flatten0_output 層，其維度為2 048 維，即vt,i∈R2048。

圖2 ResNet 殘差網(wǎng)絡(luò)基本結(jié)構(gòu)

1.3 基于遞歸網(wǎng)絡(luò)的視頻幀與幀時(shí)序關(guān)系建模。從視頻幀中提取圖像特征的ResNet 卷積神經(jīng)網(wǎng)絡(luò)是前饋神經(jīng)網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)沒(méi)有反饋，因此也沒(méi)有時(shí)序上的記憶功能。實(shí)際上，物流快遞驛站攝像機(jī)拍攝的視頻流數(shù)據(jù)是時(shí)序數(shù)據(jù)，視頻幀與幀之間并非獨(dú)立的，其內(nèi)部存在特定的邏輯關(guān)系。遞歸神經(jīng)網(wǎng)絡(luò)帶有環(huán)結(jié)構(gòu)，可以記住序列前面的信息，因此具有一定的記憶功能，本文采用遞歸神經(jīng)網(wǎng)絡(luò)對(duì)視頻幀與幀之間的時(shí)序關(guān)系進(jìn)行建模，其函數(shù)形式定義為：

其中：vt,i為ResNet 卷積網(wǎng)絡(luò)對(duì)視頻幀提取的圖片特征，ht-1,i為遞歸神經(jīng)網(wǎng)絡(luò)fr,i的上一個(gè)時(shí)間步t-1 的輸出，θr,i為fr,i的可調(diào)參數(shù)。當(dāng)前時(shí)間步t的輸出為ht,i，其融合了當(dāng)前圖片以及前后關(guān)聯(lián)幀的信息，即當(dāng)前視頻幀的上下文特征。普通的遞歸神經(jīng)網(wǎng)絡(luò)無(wú)法較好地解決長(zhǎng)時(shí)依賴問(wèn)題，即網(wǎng)絡(luò)無(wú)法學(xué)習(xí)到距離較遠(yuǎn)的關(guān)聯(lián)信息。針對(duì)該問(wèn)題，長(zhǎng)短時(shí)記憶單元網(wǎng)絡(luò)（Long-Short-Term Memory, LSTM）[15]將傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)的隱含層替換為長(zhǎng)短時(shí)結(jié)構(gòu)單元，從而能夠有效地捕獲時(shí)序數(shù)據(jù)之間的動(dòng)態(tài)依賴與長(zhǎng)時(shí)依賴。此外，LSTM 能夠方便地?cái)U(kuò)展為多層結(jié)構(gòu)和雙向結(jié)構(gòu)以進(jìn)一步提高模型的性能[16]。因此，本文采用LSTM 作為遞歸神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)視頻幀之間的時(shí)序關(guān)系進(jìn)行建模。LSTM 包含遺忘門（Forget Gate）、輸入門（Input Gate）、輸出門（Output Gate） 和一個(gè)記憶單元（Cel）l，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

其中：it、ft和ot分別為輸入門、輸出門和遺忘門的輸出，～ct為輸入調(diào)和模塊的輸出。輸入調(diào)和模塊和輸入門的輸入相同，但是其使用tanh激活函數(shù)。在圖3 中，σ 為sigmoid激活函數(shù)，φ 為tanh激活函數(shù)。在實(shí)現(xiàn)中使用了2 層LSTM，每層各包含1 024 個(gè)單元。

1.4 基于融合網(wǎng)絡(luò)的分支特征融合。與特定視角相對(duì)應(yīng)的分支通過(guò)ResNet 網(wǎng)絡(luò)和LSTM 網(wǎng)絡(luò)獲得了當(dāng)前視頻幀的上下文特征。通過(guò)訓(xùn)練，這些分支上下文特征從不同的視角提取了用于對(duì)動(dòng)作進(jìn)行分類的區(qū)分性描述。然而不同分支之間的上下文特征之間存在著很大的相關(guān)性和互補(bǔ)性，可以進(jìn)一步對(duì)其進(jìn)行融合以提高行為識(shí)別的性能。對(duì)于每一個(gè)分支，本文采用的融合網(wǎng)絡(luò)定義為：

其中：ht,i表示分支i在時(shí)刻t經(jīng)過(guò)ResNet 網(wǎng)絡(luò)和LSTM 網(wǎng)絡(luò)獲得的上下文特征，pool表示池化層函數(shù)，分支i在時(shí)刻t經(jīng)過(guò)融合函數(shù)fm,i處理后獲得的融合特征表示為bt,i,θm,i為fm,i的可調(diào)參數(shù)。以分支1 為例，融合網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示，其任務(wù)是從其他的分支中提取與分支1 相互補(bǔ)的特征。本文采用池化層來(lái)提取分支2 到分支n的上下文彷射不變特征并有效降低特征的維度。池化層可以選擇均勻池化或者最大化池化，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)最大化池化相比于均勻池化能夠取得更好的性能，因此用最大化池化。在將池化層的輸出與分支1 的上下文特征進(jìn)行合并后，采用1 層全連接層對(duì)合并的特征進(jìn)行非線性變換。全連接層的輸出為2 048 維，采用relu激活函數(shù)，最終得到2 048 維的分支1 融合特征bt,1。

圖3 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)

圖4 以分支1 為例的融合網(wǎng)絡(luò)結(jié)構(gòu)

1.5 動(dòng)作分類網(wǎng)絡(luò)。分支融合網(wǎng)絡(luò)的輸出bt,i融合了分支i的上下文特征以及其他分支的互補(bǔ)特征，將作為分支動(dòng)作分類網(wǎng)絡(luò)的輸入。動(dòng)作分類網(wǎng)絡(luò)首先使用全連接線性變換層將其映射到等同于動(dòng)作類別數(shù)的維度，最后采用SoftMax 進(jìn)行歸一化，最終給出當(dāng)前t時(shí)刻攝像機(jī)采集的視頻幀xt,i屬于每個(gè)動(dòng)作類別的概率p（yc,i），即：

其中：θc,i為分類網(wǎng)絡(luò)函數(shù)fc,i的可調(diào)參數(shù)。

1.6 視角分類網(wǎng)絡(luò)與預(yù)測(cè)集成。在訓(xùn)練階段，將各個(gè)視角的視頻數(shù)據(jù)和各個(gè)分支一一對(duì)應(yīng)，從而完成分支網(wǎng)絡(luò)模型參數(shù)的更新。然而當(dāng)實(shí)際應(yīng)用到不同的物流快遞驛站時(shí)，并不能預(yù)先確定各路視頻和分支網(wǎng)絡(luò)的對(duì)應(yīng)關(guān)系，并且各路視頻和分支網(wǎng)絡(luò)對(duì)應(yīng)的視角也很難完全一致。為了提高訓(xùn)練模型的泛化能力，本文采用視角分類網(wǎng)絡(luò)對(duì)輸入的視頻進(jìn)行分類，從而得到輸入的視頻數(shù)據(jù)屬于各個(gè)分支網(wǎng)絡(luò)的概率。視角分類網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

對(duì)于視角分類網(wǎng)絡(luò)，采用1.2 節(jié)描述的ResNet152 卷積網(wǎng)絡(luò)提取視頻幀圖像特征，使用1.3 節(jié)描述的LSTM 遞歸網(wǎng)絡(luò)獲得融合時(shí)序信息的上下文特征，然后使用全連接層對(duì)提取的上下文特征進(jìn)行非線性變換，全連接層的輸出為2 048 維，采用relu激活函數(shù)，最后通過(guò)SoftMax 層得到輸入的視頻幀屬于各個(gè)分支對(duì)應(yīng)視角的概率p（yi）。視角分類網(wǎng)絡(luò)可以定義為：

其中：xt為各個(gè)視角的視頻幀圖像，θb為視角分類網(wǎng)絡(luò)fb的可調(diào)參數(shù)。實(shí)際應(yīng)用時(shí)，對(duì)于物流快遞驛站監(jiān)控區(qū)域的每一路攝像機(jī)視頻數(shù)據(jù)，將其輸入到訓(xùn)練的每個(gè)分支模型中，得到每個(gè)分支模型i預(yù)測(cè)的動(dòng)作分類結(jié)果p（yc,i），然后根據(jù)視角分類網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果對(duì)分支預(yù)測(cè)的動(dòng)作分類結(jié)果進(jìn)行集成，最終的動(dòng)作分類結(jié)果為：

圖5 視角分類網(wǎng)絡(luò)結(jié)構(gòu)

1.7 模型訓(xùn)練

每個(gè)分支網(wǎng)絡(luò)對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)是非共享的，其損失函數(shù)為交叉熵?fù)p失，即：

其中：S為樣本數(shù)，K為動(dòng)作類別數(shù)，當(dāng)k為樣本s的實(shí)際類別時(shí)，ys,k=1，否則ys,k=0，ps,k為模型對(duì)樣本s預(yù)測(cè)為k類的概率。對(duì)于每個(gè)分支網(wǎng)絡(luò)，首先使用該分支對(duì)應(yīng)視角的樣本單獨(dú)訓(xùn)練出融合網(wǎng)絡(luò)之外的網(wǎng)絡(luò)參數(shù)，在每個(gè)分支網(wǎng)絡(luò)訓(xùn)練收斂后，再逐步訓(xùn)練融合網(wǎng)絡(luò)的參數(shù)以及微調(diào)其他網(wǎng)絡(luò)模塊的參數(shù)。

視角預(yù)測(cè)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)對(duì)于所有的分支是共享的，同樣采用交叉熵?fù)p失函數(shù)，即：

其中S為所有視角的樣本數(shù)，n為分支數(shù)，當(dāng)i為樣本s的實(shí)際分支對(duì)應(yīng)的視角時(shí)，ys,i=1，否則ys,i=0，ps,i為視角預(yù)測(cè)網(wǎng)絡(luò)模型對(duì)樣本s預(yù)測(cè)為第i個(gè)分支對(duì)應(yīng)的視角的概率。在預(yù)測(cè)出每一幀對(duì)應(yīng)的動(dòng)作后，使用前后各7 幀的預(yù)測(cè)結(jié)果進(jìn)行平滑處理。

2 實(shí)驗(yàn)結(jié)果與分析

為了對(duì)本文提出的方法進(jìn)行驗(yàn)證，在實(shí)際物流快遞驛站采集了取件過(guò)程中的異常動(dòng)作。在訓(xùn)練時(shí)，由于每一個(gè)分支網(wǎng)絡(luò)需要和特定的視角相對(duì)應(yīng)，因此在物流快遞驛站共使用5 個(gè)攝像機(jī)來(lái)采集視頻數(shù)據(jù)。對(duì)于同一個(gè)動(dòng)作，4 個(gè)互相正交的攝像機(jī)的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，余下的1 個(gè)攝像機(jī)采集的數(shù)據(jù)作為測(cè)試數(shù)據(jù)。本次實(shí)驗(yàn)共設(shè)計(jì)了踩、踢、拖、扔、拋5 類異常動(dòng)作，如圖6 所示。每類動(dòng)作采集了500 個(gè)樣本，共有20 個(gè)人參與了本次樣本采集，其中16 個(gè)人的執(zhí)行動(dòng)作被作為訓(xùn)練樣本，其余4 個(gè)人的執(zhí)行動(dòng)作被作為測(cè)試樣本。此外，還從日?？爝f驛站的視頻中截取了4 000 個(gè)正常的取件動(dòng)作。正常動(dòng)作和踩、踢、拖、扔、拋5 類異常動(dòng)作的樣本總數(shù)為6 500 個(gè)，每個(gè)動(dòng)作的持續(xù)時(shí)間為2～5 秒，對(duì)每個(gè)動(dòng)作的視頻向下采樣，幀率為30 幀/秒。

圖6 5 類異常行為動(dòng)作示例

本文以TensorFlow 為深度學(xué)習(xí)框架，在GPU Tesla P100 平臺(tái)上采用SGD 梯度下降算法對(duì)這些數(shù)據(jù)進(jìn)行了訓(xùn)練，設(shè)置學(xué)習(xí)率在開(kāi)始的1 000 個(gè)循環(huán)中為0.001，然后逐漸減少到最小值0.0001。圖7 給出了其中一個(gè)分支網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的損失值變化過(guò)程。隨著迭代次數(shù)的增加，損失值逐漸變小，在迭代次數(shù)約為10K 的時(shí)候模型達(dá)到了收斂。

本文通過(guò)多分支網(wǎng)絡(luò)架構(gòu)來(lái)解決訓(xùn)練模型應(yīng)用到不同物流快遞驛站攝像機(jī)視角變化問(wèn)題，為了驗(yàn)證本文方法的有效性，采用圖5 所示的視角分類網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了動(dòng)作分類網(wǎng)絡(luò)作為對(duì)比，簡(jiǎn)寫為ResNet+LSTM。此外，由于iDT[17]作為手工提取的特征在眾多的數(shù)據(jù)集上都取得了很好的識(shí)別性能，因此也將本文提出的方法與iDT 方法進(jìn)行對(duì)比。表1 給出了這3 種方法對(duì)于異常行為的分類準(zhǔn)確率，圖8 為其對(duì)應(yīng)的柱狀圖顯示。

從表1 圖8 可以看出，“扔”和“拋”這兩類異常行為的識(shí)別率要低于其他3 種類別的異常行為，可能的原因是“扔”和“拋”這兩個(gè)動(dòng)作更容易受到貨架的干擾。總體上，iDT 在這3 種方法中性能較差，取得的平均準(zhǔn)確率只有60.6%，盡管iDT 在固定視角情況下取得了較好的分類性能，然后當(dāng)將其訓(xùn)練的模型應(yīng)用到新視角時(shí)，其手工提取的特征的泛化能力較差。ResNet+LSTM 方法獲得了73.8%的平均分類準(zhǔn)確率，分類的性能要優(yōu)于iDT 方法，主要原因在于ImageNet 上預(yù)訓(xùn)練的卷積網(wǎng)絡(luò)ResNet 提取的特征具有更好的表達(dá)能力。本文提出的方法獲得了最好的性能，其分類平均準(zhǔn)確率達(dá)到了82.9%，這主要是因?yàn)樵赗esNet+LSTM 方法的基礎(chǔ)上，本文采用的分支網(wǎng)絡(luò)架構(gòu)能夠根據(jù)新視角屬于每個(gè)分支的概率提取其區(qū)分性特征并有效對(duì)其融合，從而使訓(xùn)練的模型能夠更好地適應(yīng)不同的物流快遞驛站場(chǎng)景。

3 總 結(jié)

本文提出了一種基于深度學(xué)習(xí)的物流快遞驛站異常行為識(shí)別方法，其采用卷積神經(jīng)網(wǎng)絡(luò)ResNet152 和遞歸神經(jīng)網(wǎng)絡(luò)LSTM 提取視頻幀的上下文特征，并采用多路分支網(wǎng)絡(luò)架構(gòu)以使得訓(xùn)練的模型能夠適應(yīng)不同物流快遞驛站的攝像機(jī)視角變化，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法相比于基于手工特征的傳統(tǒng)方法以及基于單網(wǎng)絡(luò)結(jié)構(gòu)的深度學(xué)習(xí)方法具有更好的性能。本文提出的網(wǎng)絡(luò)結(jié)構(gòu)的輸入為連續(xù)的視頻并依次判斷每一幀屬于異常行為的概率，因此可以方便地將其應(yīng)用到實(shí)際場(chǎng)景中。在今后的研究中，擬通過(guò)增加深度圖像以及光流信息來(lái)進(jìn)一步提高識(shí)別的準(zhǔn)確率。

表1 三種方法對(duì)于異常行為分類性能對(duì)比

圖7 分支網(wǎng)絡(luò)訓(xùn)練過(guò)程中損失值變化過(guò)程

圖8 三種方法對(duì)于異常行為分類性能對(duì)比