周巧瑜，曹 揚(yáng)，詹瑾瑜，江 維，李 響，楊 瑞

(1.電子科技大學(xué) 信息與軟件工程學(xué)院，四川 成都 610054;2.中電科大數(shù)據(jù)研究院有限公司，貴州 貴陽(yáng) 550022;3.提升政府治理能力大數(shù)據(jù)應(yīng)用技術(shù)國(guó)家工程實(shí)驗(yàn)室，貴州 貴陽(yáng) 550022)

0 引 言

近年來(lái)隨著經(jīng)濟(jì)的快速發(fā)展，人民生活水平逐漸提高，旅游市場(chǎng)逐漸興起，景區(qū)監(jiān)管制度逐漸完善，在旅游景區(qū)中經(jīng)常會(huì)有很多危險(xiǎn)行為和違規(guī)行為發(fā)生，也有一些關(guān)于游客違規(guī)行為事件的相關(guān)新聞報(bào)道。2020年11月19日，四川黃龍景區(qū)游客翻越欄桿踩踏萬(wàn)年五彩池，違反了景區(qū)規(guī)定，破壞了自然景觀。2020年12月12日，國(guó)外一名女子在景區(qū)翻越欄桿擺姿勢(shì)拍照，從80米高的觀景臺(tái)跌落身亡。這些報(bào)道顯示了翻越行為對(duì)社會(huì)治安造成的不良影響，暴露出景區(qū)監(jiān)管制度的不完善。

人工通過(guò)實(shí)時(shí)監(jiān)控視頻進(jìn)行特定行為識(shí)別，不僅耗費(fèi)了大量人力資源，而且效率也偏低，同時(shí)，隨著應(yīng)用場(chǎng)景的多樣性變化，特定行為識(shí)別技術(shù)受到了限制。為使特定行為識(shí)別技術(shù)發(fā)揮最大的作用，人們開始把目標(biāo)轉(zhuǎn)向機(jī)器學(xué)習(xí)，應(yīng)用機(jī)器學(xué)習(xí)方法對(duì)人體進(jìn)行特定行為識(shí)別實(shí)現(xiàn)快速識(shí)別并且識(shí)別率較高的效果。然而，由于傳統(tǒng)機(jī)器學(xué)習(xí)方法對(duì)于翻越行為有一定的局限性，且實(shí)時(shí)性不夠高，因此，如何對(duì)特定的行為進(jìn)行識(shí)別且能夠達(dá)到較高的實(shí)時(shí)性和準(zhǔn)確率，是一個(gè)亟需解決的問(wèn)題。

在視頻圖像領(lǐng)域中運(yùn)用深度學(xué)習(xí)方法進(jìn)行行為識(shí)別的技術(shù)已經(jīng)較為成熟。Karen等人提出一個(gè)時(shí)空雙流網(wǎng)絡(luò)結(jié)構(gòu)(two-stream CNN)，它運(yùn)用基于卷積網(wǎng)絡(luò)的時(shí)間和空間識(shí)別流得到運(yùn)動(dòng)信息。最后經(jīng)過(guò)Softmax后，做分類分?jǐn)?shù)的融合得到行為分類。Wang Limin等人提出了一個(gè)基于視頻的動(dòng)作識(shí)別框架的時(shí)間段網(wǎng)絡(luò)(TSN)，它結(jié)合了一個(gè)稀疏時(shí)間采樣策略和視頻級(jí)監(jiān)督，使用整個(gè)動(dòng)作視頻的高效學(xué)習(xí)提高了動(dòng)作識(shí)別的準(zhǔn)確率。Song Sijie等人提出了一個(gè)端到端空間和節(jié)奏注意模型的人體動(dòng)作識(shí)別骨架數(shù)據(jù)和一種正則化的交叉熵?fù)p失來(lái)驅(qū)動(dòng)模型學(xué)習(xí)過(guò)程，并相應(yīng)地制定聯(lián)合訓(xùn)練策略。Du等人利用在大規(guī)模監(jiān)督視頻數(shù)據(jù)集上訓(xùn)練的深度三維卷積網(wǎng)絡(luò)(3D ConvNets)進(jìn)行時(shí)空特征學(xué)習(xí)，同時(shí)證明了使用線性分類器的C3D特征可以在不同的視頻分析基準(zhǔn)上優(yōu)于或接近之前最好的方法。Diba等人提出了一種視頻卷積網(wǎng)絡(luò)名為時(shí)域3D ConvNet (T3D)及其新的時(shí)域?qū)訒r(shí)域過(guò)渡層(TTL)，引入了一種新的時(shí)間層來(lái)模擬可變時(shí)間卷積核深度。Yang等人提出了一種時(shí)間保持卷積(TPC)網(wǎng)絡(luò)，在每幀動(dòng)作預(yù)測(cè)和分段級(jí)時(shí)間動(dòng)作定位上取得了顯著改善。Mabrouk等人綜述了行為表示的特征提取和描述相關(guān)技術(shù)，對(duì)視頻監(jiān)控系統(tǒng)的行為表示和行為建模方面進(jìn)行了研究，給出了行為建模的分類方法和框架。

上述使用深度學(xué)習(xí)方法進(jìn)行的行為識(shí)別主要是針對(duì)多種常規(guī)行為進(jìn)行識(shí)別，缺少對(duì)于特定且不常見行為的識(shí)別，下面是針對(duì)不同場(chǎng)景對(duì)于翻越行為進(jìn)行檢測(cè)并識(shí)別的方法。Yu等人設(shè)計(jì)了一種基于塊的隱馬爾可夫訓(xùn)練方法組成翻越行為識(shí)別系統(tǒng)，通過(guò)2SS算法計(jì)算人體星形骨架特征，并通過(guò)該特征訓(xùn)練一個(gè)HMM模型，將視頻中人體的動(dòng)作分為行走、攀爬、跨越、下降四種狀態(tài)。當(dāng)攀爬、跨越、下降三種狀態(tài)連續(xù)出現(xiàn)的時(shí)候，就判定發(fā)生了翻越行為，該方法是一種新型的翻越行為識(shí)別方法。類似地，Yu等人利用時(shí)間序列表示的隱馬爾可夫模型(HMM)技術(shù)進(jìn)行識(shí)別，在包含步行和攀爬等混合動(dòng)作的圖像序列上的實(shí)驗(yàn)結(jié)果證明了所提方法的有效性。之后，Yu等人又提出了效果更好的VSS算法。

基于以上提到的翻越行為識(shí)別方法，張?zhí)┑热颂岢隽艘环N視頻監(jiān)控中人員翻越行為檢測(cè)算法。該算法通過(guò)訓(xùn)練前景判斷分類器與頭部檢測(cè)分類器Adaboost來(lái)實(shí)現(xiàn)目標(biāo)檢測(cè)，將混合高斯模型法得到的運(yùn)動(dòng)前景區(qū)域與KLT算法得到的特征點(diǎn)的運(yùn)動(dòng)信息結(jié)合起來(lái)，得到了一個(gè)僅使用灰度圖像作為輸入，能夠一定程度上適應(yīng)目標(biāo)形變及遮擋的，魯棒性強(qiáng)、實(shí)時(shí)性強(qiáng)的跟蹤算法，最后基于先驗(yàn)知識(shí)對(duì)跟蹤軌跡進(jìn)行分析，得到最終是否發(fā)生翻越行為的結(jié)果。

由于此方法針對(duì)性較強(qiáng)，準(zhǔn)確率較高，因此文中采用該過(guò)程進(jìn)行翻越行為的判定，但該方法使用的Adaboost頭肩檢測(cè)方法在實(shí)際應(yīng)用中標(biāo)注的人物邊界框大小固定不變，無(wú)法適應(yīng)人物大小，并且檢測(cè)速率過(guò)慢，有時(shí)人物過(guò)小則無(wú)法檢測(cè)到目標(biāo)人物，既無(wú)法達(dá)到實(shí)時(shí)性，也不能更準(zhǔn)確地得到人物框坐標(biāo)，存在極大的缺陷。

該文提出了一種基于Yolo和GOTURN的景區(qū)游客翻越行為識(shí)別方法，通過(guò)繪制與人物大小相同的邊界框，克服了傳統(tǒng)目標(biāo)檢測(cè)方法中實(shí)時(shí)性不高以及邊界框大小固定的缺點(diǎn)；采用Yolo目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行圖像特征類別預(yù)測(cè)，采用GOTURN網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤；最后通過(guò)先驗(yàn)知識(shí)的方法快速運(yùn)用欄桿與軌跡點(diǎn)集合的相對(duì)位置關(guān)系來(lái)判定是否為翻越行為，若是翻越行為則輸出翻越標(biāo)簽并發(fā)起警告，最終達(dá)到93.7%的準(zhǔn)確率。

1 系統(tǒng)模型架構(gòu)

該文提出了一種基于Yolo和GOTURN的景區(qū)游客翻越行為識(shí)別方法，解決了旅游景區(qū)場(chǎng)景下的翻越行為識(shí)別問(wèn)題，系統(tǒng)模塊如圖1所示。

由圖1可知，系統(tǒng)主要分為輸入層、視頻分割層、模型處理層和輸出層，在模型處理層中分為Yolo模塊、GOTURN模塊、軌跡分析模塊。

圖1 系統(tǒng)模塊

2 基于Yolo和GOTURN的景區(qū)游客翻越行為識(shí)別方法

該文采用視頻分割、目標(biāo)檢測(cè)、目標(biāo)跟蹤、軌跡分析的步驟對(duì)翻越行為進(jìn)行分析與識(shí)別。其中目標(biāo)檢測(cè)部分通過(guò)Yolo方法進(jìn)行人員目標(biāo)檢測(cè)，再通過(guò)GOTURN方法實(shí)現(xiàn)目標(biāo)跟蹤，最后根據(jù)軌跡集合與欄桿線的相對(duì)位置關(guān)系運(yùn)用先驗(yàn)知識(shí)判定是否為翻越行為。

2.1 視頻分割方法

該步驟主要是對(duì)視頻數(shù)據(jù)進(jìn)行處理：篩選和分割，篩選出有翻越欄桿的行為及在欄桿附近其他行為的視頻，并將視頻分割為視頻幀的圖片。

一般來(lái)說(shuō)，視頻分割方法主要分為基于時(shí)域的視頻對(duì)象分割方法、基于運(yùn)動(dòng)的視頻對(duì)象分割方法、交互式視頻對(duì)象分割方法。該文主要應(yīng)用交互式分割方法，該方法主要是通過(guò)圖形界面對(duì)視頻圖像進(jìn)行初始分割，然后對(duì)后續(xù)幀利用基于運(yùn)動(dòng)和空間的信息進(jìn)行分割。

2.2 Yolo目標(biāo)檢測(cè)方法

Yolo方法是One-stage方法之一，它基于一個(gè)單獨(dú)的End-to-end網(wǎng)絡(luò)，將物體檢測(cè)作為回歸問(wèn)題求解，完成從原始圖像的輸入到物體位置和類別的輸出。該方法比一般Two-stage方法在速度上快很多，整個(gè)檢測(cè)網(wǎng)絡(luò)管道簡(jiǎn)單。測(cè)試證明，Yolo對(duì)于背景圖像的誤檢率低于Two-stage中Fast R-CNN方法誤檢率的一半。因此，該文采用此方法進(jìn)行目標(biāo)檢測(cè)。

Yolo檢測(cè)網(wǎng)絡(luò)包括24個(gè)卷積層和2個(gè)全連接層，Yolo網(wǎng)絡(luò)借鑒了GoogLeNet分類網(wǎng)絡(luò)結(jié)構(gòu)。不同的是，Yolo使用1×1卷積層+3×3卷積層的簡(jiǎn)單替代。Yolo全連接層將輸入圖像分成

S

×

S

個(gè)格子，每個(gè)格子負(fù)責(zé)檢測(cè)‘落入’該格子的物體，

S

表示單元格數(shù)量，如

S

=7時(shí)，

S

×

S

表示把圖像劃分成7×7個(gè)單元格。若某個(gè)物體的中心位置坐標(biāo)落入到某個(gè)格子，那么這個(gè)格子就負(fù)責(zé)檢測(cè)出這個(gè)物體。每個(gè)格子輸出

B

個(gè)邊界框信息，以及

C

個(gè)物體屬于某種類別的概率信息。邊界框信息包含5個(gè)數(shù)據(jù)值，分別是

x

,

y

,

w

,

h

和confiden-ce。其中

x

和

y

是指當(dāng)前格子預(yù)測(cè)得到的物體邊界框的中心位置的坐標(biāo)，

w

和

h

是邊界框的寬度和高度。注意：在實(shí)際訓(xùn)練過(guò)程中，

w

和

h

的值使用圖像的寬度和高度進(jìn)行歸一化到[0,1]區(qū)間；

x

和

y

是邊界框中心位置相對(duì)于當(dāng)前格子位置的偏移值，并且被歸一化到[0,1]。confidence反映當(dāng)前邊界框是否包含物體以及物體位置的準(zhǔn)確性，計(jì)算方式如下：confidence=

P

(object)×IOU

(1)

其中，若邊界框包含物體，則

P

(object)=1；否則

P

(object)=0。IOU(intersection over union)為預(yù)測(cè)邊界框。Yolo使用均方和誤差作為loss函數(shù)來(lái)優(yōu)化模型參數(shù)，即Yolo檢測(cè)網(wǎng)絡(luò)輸出的

S

×

S

×(5

B

+

C

)維向量與真實(shí)圖像對(duì)應(yīng)該向量的均方和誤差：

(2)

其中，coordError、iouError、classError分別表示預(yù)測(cè)值與真實(shí)值之間的坐標(biāo)誤差、IOU誤差和分類誤差。

該文通過(guò)Yolo目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)視頻分割得到的視頻幀進(jìn)行檢測(cè)。具體而言，Yolo網(wǎng)絡(luò)包括三個(gè)部分：Backbone部分、Neck部分、Head部分，如圖2所示。

圖2 Yolo模型結(jié)構(gòu)

通過(guò)Backbone將輸入視頻幀通過(guò)CSPResNext50神經(jīng)網(wǎng)絡(luò)聚合并形成圖像特征，以實(shí)現(xiàn)圖像特征提?。煌ㄟ^(guò)Neck部分將圖像特征運(yùn)用SPP-block和PANet組合并傳遞圖像特征到預(yù)測(cè)層；通過(guò)Head部分對(duì)圖像特征進(jìn)行預(yù)測(cè)，生成邊界框并預(yù)測(cè)類別，若預(yù)測(cè)類別為‘person’則進(jìn)入下一步的目標(biāo)跟蹤，否則繼續(xù)檢測(cè)下一個(gè)視頻幀，直到找到該預(yù)測(cè)類別。

2.3 GOTURN目標(biāo)跟蹤方法

GOTURN方法是一種離線學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法，該方法訓(xùn)練一組帶標(biāo)簽的訓(xùn)練視頻和圖像，但不需要任何類級(jí)別的標(biāo)簽或關(guān)于被跟蹤對(duì)象類型的信息。同時(shí)，該方法建立了一個(gè)新的跟蹤框架，在這個(gè)框架中，外觀和動(dòng)作之間的關(guān)系以一種通用的方式離線學(xué)習(xí)。

GOTURN網(wǎng)絡(luò)的卷積層采用的是5層結(jié)構(gòu)，該結(jié)構(gòu)參照了CaffeNet里面的結(jié)構(gòu)，其中激勵(lì)函數(shù)都采用了Relu，部分卷積層后面添加了池化層，而全連接層是由3層組成，每層4 096個(gè)節(jié)點(diǎn)，各層之間采用Dropout和Relu激勵(lì)函數(shù)，以防過(guò)擬合和梯度消失。將上一幀的目標(biāo)和當(dāng)前幀的搜索區(qū)域同時(shí)經(jīng)過(guò)CNN的卷積層，然后將卷積層的輸出通過(guò)全連接層，用于回歸當(dāng)前幀目標(biāo)的位置。

(3)

(4)

其中，Δ

x

和Δ

y

都可以用均值為0的拉普拉斯分布建模。同樣，跟蹤器模型的大小也會(huì)發(fā)生變化。

ω

=

ω

·

γ

(5)

h

=

h

·

γ

(6)

其中，

γ

和

γ

由均值為1的拉普拉斯分布模擬。通過(guò)交叉驗(yàn)證，本實(shí)驗(yàn)最終選定的分布參數(shù)為：

(7)

另外，軌跡點(diǎn)由每一幀邊界框組成，其公式如下：

(8)

然后，每個(gè)視頻幀中的軌跡由tra,組成，公式如下：

trajectory={tra,,tra,,…,tra,}

(9)

文中給出了軌跡坐標(biāo)識(shí)別算法，如算法1所示。

算法1：軌跡坐標(biāo)識(shí)別。

輸入：視頻地址

v

，初始邊界框坐標(biāo)(

c

,

c

)1.設(shè)置參數(shù):Δ,

γ

,

b

,

b

2.初始化trajectory=list

3.Do each frame

4. for frame in

v

7.trajectory←{tra,,…}

8. end for

9. end Do

輸出:軌跡坐標(biāo)trajectory

在該方法中，將邊界框、預(yù)測(cè)類別為人、當(dāng)前視頻幀傳遞到GOTURN網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤。首先，從當(dāng)前幀向GOTURN網(wǎng)絡(luò)輸入邊界框坐標(biāo)，將當(dāng)前視頻幀和邊界框進(jìn)行裁剪得到帶目標(biāo)的中心區(qū)域，然后，將得到的上一幀目標(biāo)和當(dāng)前幀的搜索區(qū)域同時(shí)經(jīng)過(guò)CNN的卷積層，然后回歸當(dāng)前幀目標(biāo)的邊界框位置，并繪制當(dāng)前幀坐標(biāo)框中心點(diǎn)作為軌跡點(diǎn)，輸出軌跡坐標(biāo)。

2.4 軌跡分析方法

在上一步的目標(biāo)跟蹤過(guò)程中，對(duì)處理的每一幀視頻都會(huì)得到一個(gè)跟蹤軌跡。首先，去除太短或太長(zhǎng)的軌跡。然后，確定軌跡是否與標(biāo)記的軌線位置的線段相交。另外，軌跡的最高點(diǎn)應(yīng)在軌跡的中間，也就是說(shuō)，軌跡的中間點(diǎn)高于坐標(biāo)系中的起始點(diǎn)和終點(diǎn)。軌跡的最高點(diǎn)和最低點(diǎn)滿足以下條件：

(10)

其中,

c

,

c

分別表示該軌跡點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，

A

,

A

分別表示橫縱坐標(biāo)平均值。軌跡點(diǎn)滿足以下條件：

A

(,)<50

%

×trajectory

(11)

其中，trajectory表示軌跡點(diǎn)集合。軌跡的高度

H

和寬度

L

滿足以下條件：

(12)

其中，angle表示軌跡線與欄桿線之間的夾角。

以上條件作為條件1。

另外，距離

D

的起始點(diǎn)和終點(diǎn)之間的軌跡滿足以下條件：

(13)

(14)

上面的條件分別表示為條件2和條件3，如果滿足上述3個(gè)條件則判定該軌跡是翻越行為。

該文給出了翻越行為的判定算法，如算法2所示。

算法2：翻越行為判定。

輸入:軌跡坐標(biāo)trajectory，欄桿坐標(biāo)line

1.設(shè)置參數(shù):閾值

M

，最大檢測(cè)數(shù)量

N

2.初始化 str(label)

3.Do list←trajectory

4. fortra,in trajectory

5. if條件1, then

6. if條件2 or條件3, then

7.label ← ‘crossing’

8. end if

9. end if

10. end for

11. end Do

輸出: 標(biāo)簽label

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)設(shè)置

文中實(shí)驗(yàn)的硬件環(huán)境：CPU為Intel i7 9700K，內(nèi)存為16G RDD4，GPU為兩塊Nvidia RTX 2080ti，運(yùn)行環(huán)境為L(zhǎng)inux操作系統(tǒng)(Ubuntu 16.04.6)。編程語(yǔ)言為Python3.7。神經(jīng)網(wǎng)絡(luò)由Pycaffe框架搭建，并使用Django作為后端框架。

3.2 數(shù)據(jù)集構(gòu)建

3.2.1 目標(biāo)跟蹤模型數(shù)據(jù)集構(gòu)建

由于在GOTURN模型中的分類標(biāo)簽較多，為使模型更適用于本實(shí)驗(yàn)，增加了部分有翻越行為的視頻數(shù)據(jù)并刪除了部分不符合監(jiān)控場(chǎng)景的視頻數(shù)據(jù)。另外，由于原始數(shù)據(jù)集中的視頻序列過(guò)少，該文采用數(shù)據(jù)增強(qiáng)方法(隨機(jī)裁剪、翻轉(zhuǎn)、鏡像等)增加視頻序列。

實(shí)驗(yàn)的目標(biāo)跟蹤任務(wù)采用整理后的ALOV300數(shù)據(jù)集的1 575個(gè)視頻序列與ILSVRC2014數(shù)據(jù)集的134 821張靜態(tài)圖片數(shù)據(jù)進(jìn)行訓(xùn)練。其中在ALOV300數(shù)據(jù)集中每個(gè)視頻大約每五幀都標(biāo)記了被跟蹤對(duì)象的位置，這些視頻通常很短，從幾秒鐘到幾分鐘不等。本實(shí)驗(yàn)將這些視頻中的1 281個(gè)作為訓(xùn)練集，294個(gè)作為驗(yàn)證集，在選擇超參數(shù)之后，使用整個(gè)訓(xùn)練集(訓(xùn)練+驗(yàn)證)來(lái)訓(xùn)練該模型，另外，測(cè)試集由來(lái)自VOT 2014年跟蹤挑戰(zhàn)的175個(gè)視頻組成。

3.2.2 軌跡分析方法數(shù)據(jù)構(gòu)建

由于在公開數(shù)據(jù)集中缺少翻越行為相關(guān)視頻，本實(shí)驗(yàn)使用自行模擬監(jiān)控場(chǎng)景拍攝的翻越行為視頻數(shù)據(jù)。

在整個(gè)翻越行為識(shí)別過(guò)程中，為檢測(cè)在不同監(jiān)控場(chǎng)景下對(duì)該行為識(shí)別的準(zhǔn)確性，運(yùn)用4個(gè)場(chǎng)景對(duì)該行為進(jìn)行檢測(cè)，如圖3所示，由上到下分別為場(chǎng)景1、場(chǎng)景2、場(chǎng)景3、場(chǎng)景4。場(chǎng)景1有7個(gè)視頻數(shù)據(jù)，場(chǎng)景2、3、4分別有6個(gè)視頻數(shù)據(jù)，合計(jì)有25個(gè)視頻數(shù)據(jù)，其中每個(gè)場(chǎng)景有1個(gè)走路行為，其余都為翻越行為。同樣地，該文采用數(shù)據(jù)增強(qiáng)方法增加視頻序列，合計(jì)175個(gè)視頻數(shù)據(jù)，如表1所示。

圖3 場(chǎng)景展示圖

表1 各視頻場(chǎng)景下視頻數(shù)量

3.3 性能評(píng)估

3.3.1 目標(biāo)檢測(cè)模型評(píng)估與分析

將文中方法與文獻(xiàn)[11]提出的Adaboost目標(biāo)檢測(cè)方法進(jìn)行比較，選取表1中的175個(gè)視頻數(shù)據(jù)，當(dāng)檢測(cè)方法能夠完整描繪人物邊界框則視為檢測(cè)準(zhǔn)確，以平均幀率FPS和準(zhǔn)確率Accuracy(表示描繪出完整人物邊界框)作為評(píng)價(jià)指標(biāo)。

表2 Yolo模型性能評(píng)估

由表2可知，Yolo方法相較于Adaboost方法在FPS上更高，實(shí)時(shí)性更好，準(zhǔn)確率上也高出近43%。在實(shí)際測(cè)試中，由圖4可知，Adaboost方法描繪的人物邊界框大小不可改變，實(shí)用性較差，而Yolo方法描繪的邊界框貼近人物實(shí)際大小，能更好地適用于后續(xù)的跟蹤部分。

圖4 Adaboost方法(上)與Yolo方法(下)實(shí)測(cè)圖

相較于文獻(xiàn)[11]提出的方法，該文在目標(biāo)檢測(cè)中使用實(shí)時(shí)性和準(zhǔn)確率更高的Yolo方法，而不使用前景判斷分類器與頭部檢測(cè)分類器Adaboost相結(jié)合的方式，簡(jiǎn)化了目標(biāo)檢測(cè)的步驟，提高了實(shí)時(shí)性與人物邊界框的準(zhǔn)確率。

3.3.2 目標(biāo)跟蹤模型評(píng)估與分析

圖5為該模型在Iteration=200 000次時(shí)的loss函數(shù)的變化。由圖5可知，當(dāng)?shù)?0 000到60 000之間，loss值有顯著波動(dòng)趨勢(shì)，之后，隨著迭代次數(shù)的增多，呈現(xiàn)梯度下降趨勢(shì)，損失值穩(wěn)定在30左右。

圖5 GOTURN目標(biāo)跟蹤模型的損失變化

表3 GOTURN模型性能評(píng)估 %

該模型采用Overall errors、Accuracy errors以及Robustness errors來(lái)評(píng)估模型性能。由表3可見，“僅訓(xùn)練視頻”比“僅訓(xùn)練圖像”時(shí)模型的誤差率更低，并且，通過(guò)同時(shí)訓(xùn)練圖像和視頻的方式，該跟蹤器學(xué)會(huì)了在不同條件下跟蹤各種移動(dòng)對(duì)象，實(shí)現(xiàn)了性能最大化。

3.3.3 軌跡分析方法評(píng)估與分析

由于實(shí)驗(yàn)標(biāo)簽為二分類任務(wù)，第一種分類表示預(yù)測(cè)值與真實(shí)值不同(識(shí)別失敗)，第二種分類表示預(yù)測(cè)值與真實(shí)值相同(識(shí)別成功)，因此該方法采用Accuracy來(lái)度量軌跡方法的性能。

表4 軌跡分析方法性能評(píng)估

由表4可知，在4種場(chǎng)景下，該方法基本都能夠?qū)崿F(xiàn)對(duì)翻越行為的精確判定，在場(chǎng)景1和場(chǎng)景3各有1次錯(cuò)誤識(shí)別，出現(xiàn)該錯(cuò)誤識(shí)別可能是由于拍攝的視頻中鏡頭有抖動(dòng)，導(dǎo)致軌跡分析中軌跡點(diǎn)不準(zhǔn)確。總的來(lái)說(shuō)，該方法達(dá)到了93.7%的準(zhǔn)確率，能夠?qū)崿F(xiàn)對(duì)各種旅游景區(qū)場(chǎng)景中的翻越行為識(shí)別。

將文中方法與現(xiàn)有方法相比較，使用準(zhǔn)確率(Accuracy)指標(biāo)評(píng)估模型性能，如圖6所示。

圖6 翻越行為識(shí)別不同模型比較

在使用軌跡分析方法數(shù)據(jù)的情況下，提出的基于Yolo和GOTURN方法的準(zhǔn)確率達(dá)到93.71%。將2SS+HMM方法作為基線，則混合高斯+KLT方法比基線高出近3%，這表明該方法比基線更有效，而文中方法比混合高斯+KLT方法高出近1%，能更快速、更準(zhǔn)確地定位人物框，從而更有效地完成翻越行為識(shí)別任務(wù)。

4 結(jié)束語(yǔ)

隨著旅游市場(chǎng)的快速發(fā)展，景區(qū)監(jiān)管制度不斷完善，對(duì)于各種違規(guī)行為和危險(xiǎn)行為的識(shí)別變得越來(lái)越重要，通過(guò)對(duì)這類行為進(jìn)行識(shí)別并提出預(yù)警已成為社會(huì)關(guān)注點(diǎn)之一。該文提出了基于Yolo和GOTURN的景區(qū)游客翻越行為識(shí)別方法，主要通過(guò)視頻分割方法得到每一幀視頻，然后通過(guò)Yolo目標(biāo)檢測(cè)方法得到視頻幀中的人員坐標(biāo)，再通過(guò)GOTURN目標(biāo)跟蹤方法得到軌跡點(diǎn)集合，最后通過(guò)軌跡分析得到“crossing”或“no”標(biāo)簽，以形成完整的翻越行為識(shí)別過(guò)程。實(shí)驗(yàn)表明，提出的基于Yolo和GOTURN的景區(qū)游客翻越行為識(shí)別方法應(yīng)用到監(jiān)控場(chǎng)景下可以達(dá)到93.7%的準(zhǔn)確率。另外，在旅游景區(qū)實(shí)時(shí)監(jiān)控場(chǎng)景下的單一行為識(shí)別任務(wù)中，還可以通過(guò)人員與邊界線之間的相對(duì)位置關(guān)系判定其他行為，例如湖邊的落水行為，這些還有待進(jìn)一步研究。