李克祥，邵衛(wèi)華，鄭國(guó)華，朱忠和，周昌智

（浙江索思科技有限公司，浙江 溫州 325000）

作為一種特殊的交通工具，電扶梯具有長(zhǎng)時(shí)間不間斷運(yùn)行、負(fù)載動(dòng)態(tài)不斷變化的特性，且由于乘客搭乘扶梯時(shí)安全防范意識(shí)不夠，導(dǎo)致扶梯上的安全事故層出不窮，若未能及時(shí)緊急制動(dòng)，將會(huì)對(duì)人身造成持續(xù)嚴(yán)重傷害。

傳統(tǒng)的電扶梯檢測(cè)局限于諸如梯級(jí)變形、電氣安全裝置失效等對(duì)當(dāng)時(shí)運(yùn)行狀態(tài)進(jìn)行安全檢測(cè)，無(wú)法對(duì)電扶梯正常運(yùn)行狀態(tài)下的乘客危險(xiǎn)行為做出預(yù)測(cè)。深度學(xué)習(xí)的出現(xiàn)使得人體檢測(cè)相關(guān)算法的準(zhǔn)確度與性能逐年提升，經(jīng)過(guò)優(yōu)化的圖像識(shí)別算法可以在高速GPU平臺(tái)上對(duì)視頻進(jìn)行實(shí)時(shí)分析，對(duì)于畫(huà)面中可能存在的人身安全事故作出及時(shí)報(bào)警，最大限度減輕扶梯事故中的傷害。相比人工檢測(cè)與傳統(tǒng)檢測(cè)方法，此方法能有效應(yīng)對(duì)復(fù)雜多變環(huán)境，在減少人力支出成本的同時(shí)具有更高的準(zhǔn)確率及抗干擾能力。

本文是基于圖嵌入學(xué)習(xí)和粒子群優(yōu)化的人體穩(wěn)定捕捉和跟蹤的基礎(chǔ)上，對(duì)人體的行為進(jìn)行分析和理解。

1 行為理解算法

行為理解是指對(duì)人的行為作分析和識(shí)別，可以簡(jiǎn)單地認(rèn)為是時(shí)變數(shù)據(jù)的分類(lèi)問(wèn)題，即將測(cè)試序列與預(yù)先標(biāo)定的代表典型行為的參考序列進(jìn)行匹配。由此可見(jiàn)，行為理解的關(guān)鍵問(wèn)題是如何從學(xué)習(xí)樣本中獲取參考行為序列，并且學(xué)習(xí)和匹配的行為序列必須能夠處理在相似的運(yùn)動(dòng)模式類(lèi)別中空間和時(shí)間尺度上輕微的特征變化。行為理解的主要方法如下。

（1）主成分分析PCA(Principal Component Analysis)。PCA是一種用于目標(biāo)行為識(shí)別的統(tǒng)計(jì)學(xué)方法。

（2）動(dòng)態(tài)時(shí)間規(guī)整DTW(Dynamic Time Warping)。DTW具有概念簡(jiǎn)單、算法魯棒的優(yōu)點(diǎn)，可以用于匹配人的運(yùn)動(dòng)模式。

（3）有限狀態(tài)機(jī)FSM(Finite State Machine)。FSM最大的特點(diǎn)是有一個(gè)狀態(tài)轉(zhuǎn)移函數(shù)，它可以確定最佳狀態(tài)，并用該狀態(tài)確定測(cè)試序列與參考序列是否匹配。

（4）隱馬爾可夫模型HMMs(Hidden Markov Models)。HMMs的使用涉及訓(xùn)練和分類(lèi)兩個(gè)階段，確認(rèn)隱藏狀態(tài)數(shù)和優(yōu)化匹配序列，其被廣泛地應(yīng)用于行為識(shí)別中。

除了上述提到的幾種行為分析算法，基于骨架建模的深度學(xué)習(xí)行為識(shí)別方法不斷涌現(xiàn)，如使用循環(huán)神經(jīng)網(wǎng)絡(luò)、時(shí)域卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取骨架信息并對(duì)行為進(jìn)行端到端識(shí)別。本文利用形狀上下文來(lái)表述人體的輪廓特征，再通過(guò)主導(dǎo)級(jí)方法算法對(duì)所有特征學(xué)習(xí)，統(tǒng)計(jì)圖像類(lèi)的行為類(lèi)分布情況，得到圖像類(lèi)到動(dòng)作類(lèi)的轉(zhuǎn)換概率表，從而建立魯棒的行為模型，依靠此行為模型來(lái)判斷乘梯的異常行為。

2 基于局部時(shí)空特征的人體行為理解

人體行為理解主要通過(guò)人的跟蹤來(lái)分析其自身行為及與其它目標(biāo)的交互行為。人體是一個(gè)具有高自由度的非剛體，因此難以找到一個(gè)合適的特征來(lái)描述人體行為，并且同一個(gè)人做同一個(gè)動(dòng)作所用的時(shí)間也是變化的。此外，人體自遮擋，模糊的視頻，不統(tǒng)一的攝像機(jī)參數(shù)等等都會(huì)給行為理解帶來(lái)很多困難?，F(xiàn)有人的行為理解系統(tǒng)都依賴已知的特定場(chǎng)景，在這些場(chǎng)景下，人是以預(yù)先定義好的方式運(yùn)動(dòng)的。這種方法對(duì)環(huán)境的適應(yīng)性不強(qiáng)，一方面，對(duì)每個(gè)場(chǎng)景都要定義一套人的行為模式，一旦人的行為模式有了變化，又要重新定義；另一方面，在某些實(shí)際應(yīng)用中，人的行為模式有時(shí)無(wú)法很好地預(yù)定義。這就需要建立一個(gè)通用的、無(wú)須手工定義人行為模式的行為理解方法。針對(duì)上述問(wèn)題，本項(xiàng)目提取人體動(dòng)作局部時(shí)空特征的本征結(jié)構(gòu)，從而顯著改善時(shí)空特征的區(qū)分力，實(shí)現(xiàn)有效的人體行為識(shí)別。具體內(nèi)容如下：

（1）研究基于時(shí)空流形學(xué)習(xí)的人體動(dòng)作本征結(jié)構(gòu)特征提取問(wèn)題；（2）研究基于多特征聯(lián)合稀疏編碼的人體動(dòng)作識(shí)別方法；（3）研究提取人體輪廓的形狀上下文特征，通過(guò)主導(dǎo)級(jí)學(xué)習(xí)建立行為模式的方法。

2.1 基于時(shí)空流形學(xué)習(xí)的人體動(dòng)作本征結(jié)構(gòu)特征提取

在視頻監(jiān)控中，由于人體受到視角變化、方位變化、光照變化等因素的影響，即便是同一人體，其動(dòng)作特征也會(huì)千差萬(wàn)別，從而給識(shí)別和分類(lèi)帶來(lái)巨大挑戰(zhàn)。因此，人體動(dòng)作時(shí)空特征的本征結(jié)構(gòu)提取是人體行為識(shí)別的關(guān)鍵，通過(guò)有效的特征降維理論提取人體動(dòng)作時(shí)空特征的本征結(jié)構(gòu)，能夠顯著改善時(shí)空特征的區(qū)分力，為后續(xù)識(shí)別和分析提供可靠的特征輸入。本課題針對(duì)人體目標(biāo)的非剛體運(yùn)動(dòng)、外觀表現(xiàn)的多變性（動(dòng)作執(zhí)行者不同、環(huán)境不同）和人體動(dòng)作的高時(shí)空復(fù)雜性和長(zhǎng)時(shí)空相關(guān)性等特點(diǎn)，采用非線性降維方法，將傳統(tǒng)的空間流形學(xué)習(xí)算法向時(shí)空域擴(kuò)展，從而提取不依賴物理意義的數(shù)學(xué)新特征。

如圖1所示，首先，將人體跟蹤的圖像區(qū)域分離出來(lái)，并這些圖像塊放縮到統(tǒng)一的尺度上，然后把每個(gè)圖像塊按照列的方式串聯(lián)起來(lái)形成列向量其中，p是每幀所包含的像素?cái)?shù)。令表示所有的個(gè)人體跟蹤圖像塊，其中列向量ix描述該人體動(dòng)作幀的空間信息。

算法具體實(shí)施步驟分成以下3步：

（1）對(duì)原始動(dòng)作序列空間提出一種新的距離度量，以確保：①引起動(dòng)作變化的本質(zhì)變量鄰近的動(dòng)作樣本彼此鄰近；②在同一種動(dòng)作序列下的動(dòng)作彼此鄰近；③不同動(dòng)作序列樣本集之間的距離最大。假定動(dòng)作ix的變化可 描 述 為，其中是造成動(dòng)作變化的本質(zhì)變量，如角度、光照等，則按上述要求定義的距離度量D應(yīng)同時(shí)滿足下述條件：

可以想象，按照這種原則可以建立不同的距離測(cè)度，其評(píng)價(jià)系統(tǒng)和選擇應(yīng)取決于對(duì)檢測(cè)和跟蹤的試驗(yàn)結(jié)果的分析。

（2）結(jié)合現(xiàn)有的非線性降維算法理論，在給定原始高維空間的基礎(chǔ)上，尋找保持最優(yōu)條件（1）的低維特征空間，從而獲得高維空間到特征空間的非線性顯性表達(dá)。原始高數(shù)據(jù)空間到低維空間的映射f應(yīng)滿足如下相似性要求：

式中，S是根據(jù)新的距離度量D定義的相似性度量，如可定義為

（3）進(jìn)一步，將把非線性降維方法提取的新的本質(zhì)特征與物理特征進(jìn)行有效融合，共同幫助實(shí)現(xiàn)準(zhǔn)確的動(dòng)作識(shí)別。

2.2 基于多特征聯(lián)合稀疏編碼的人體動(dòng)作識(shí)別

近年來(lái)，詞袋模型在人體動(dòng)作識(shí)別任務(wù)中取得了較好的結(jié)果，并已成為人體動(dòng)作識(shí)別的主流方法。但是，基于詞袋模型的表示有2個(gè)主要缺點(diǎn)：（1）詞袋模型在特征編碼的時(shí)候，將局部特征量化到最近的一個(gè)視覺(jué)單詞（硬編碼），這將帶來(lái)較大的量化誤差，量化誤差會(huì)隨著后續(xù)進(jìn)一步的建模而傳播，使得表示不可靠，最終降低識(shí)別效果；（2）詞袋模型中用到的特征往往是單一的，即使用到了幾種不同的特征，也只是將這些特征進(jìn)行簡(jiǎn)單疊加，而沒(méi)有探究各個(gè)特征間的一致關(guān)系。由于不同特征在表示形式、意義、量綱方面的差異，使得難以將不同特征在進(jìn)行有效的融合。為了解決上述問(wèn)題，本課題擬提出基于多特征聯(lián)合稀疏表示框架，來(lái)有效融合動(dòng)作的多種特征，從而實(shí)現(xiàn)動(dòng)作的準(zhǔn)確識(shí)別。

該模型的主要流程如圖3所示。具體分為以下幾步：

（1）在基于人體跟蹤獲得人體的動(dòng)作圖像序列后，我們采用Laptev等人提出的Harris3D檢測(cè)器檢測(cè)時(shí)空興趣點(diǎn)。

（2）在每個(gè)興趣點(diǎn)處抽取視頻立方塊來(lái)計(jì)算動(dòng)作的局部時(shí)空描述，它們包含若干幀該興趣點(diǎn)處的局部運(yùn)動(dòng)，即每個(gè)視頻立方塊都是一個(gè)三維張量，大小為其中為興趣點(diǎn)圖像塊的尺寸，n3為視頻的幀數(shù)。

（3）針對(duì)每個(gè)視頻立方塊，提取K種不同特征(比如顏色、形狀、紋理等)，對(duì)于第k個(gè)特征，其對(duì)應(yīng) 的 特 征 字 典 可 以表 示 為其中n是字典原子的個(gè)數(shù)，其中字典可以通過(guò)K-means聚類(lèi)算法來(lái)對(duì)訓(xùn)練數(shù)據(jù)中提取的大量視頻立方塊的第k個(gè)特征進(jìn)行聚類(lèi)獲得，令第k個(gè)特征表示下的一個(gè)立方塊為它可以表示為：其中為第k個(gè)特征下該立方塊的表示系數(shù)，為殘差項(xiàng)。我們希望用盡可能少的模板對(duì)該立方塊進(jìn)行重構(gòu)，這可以通過(guò)對(duì)加上L0范數(shù)的約束來(lái)實(shí)現(xiàn)。為了實(shí)現(xiàn)不同特征之間的共享和互補(bǔ)，我們將屬于同一立方塊但對(duì)應(yīng)于不同特征的表示系數(shù)加上2L范數(shù)的約束，從而使得該立方塊在多特征表示下達(dá)到共同系數(shù)。綜上所述，多特征聯(lián)合系數(shù)表示的優(yōu)化問(wèn)題可以表示為：其中上 式 中L2,0混合范 數(shù) 的具體 計(jì)算表達(dá)式為：。然而優(yōu)化問(wèn)題（3）是NP難問(wèn)題，因此我們用L2,p范數(shù)(0

2.3 基于主導(dǎo)級(jí)學(xué)習(xí)的人的行為理解

現(xiàn)有的人的行為理解系統(tǒng)都依賴已知的特定場(chǎng)景，在這些場(chǎng)景下，目標(biāo)是以預(yù)先定義好的方式運(yùn)動(dòng)的。然而，在實(shí)際應(yīng)用中，人的行為模式有時(shí)無(wú)法很好地預(yù)定義，這就限制了此類(lèi)方法對(duì)環(huán)境的適應(yīng)性。針對(duì)這個(gè)問(wèn)題，本課題擬采用提取人的形狀上下文特征，通過(guò)基于圖論的主導(dǎo)級(jí)學(xué)習(xí)方法對(duì)特征進(jìn)行分類(lèi)。具體來(lái)說(shuō)，行為理解的過(guò)程分為以下兩個(gè)階段：

（1）第一階段：訓(xùn)練樣本庫(kù)。樣本的動(dòng)作種類(lèi)由人工標(biāo)定，每一類(lèi)行為作為一種類(lèi)別，這樣每一幀圖像都有了自己的行為類(lèi)。在實(shí)現(xiàn)人的跟蹤后，提取每一幀圖像上的目標(biāo)輪廓信息作為特征，并用形狀上下文進(jìn)行描述。這樣一個(gè)視頻序列就被解析成了一個(gè)特征序列。然后，用主導(dǎo)級(jí)方法對(duì)所有特征進(jìn)行學(xué)習(xí)，所獲得的類(lèi)別作為圖像類(lèi)。統(tǒng)計(jì)每一圖像類(lèi)序列中的行為類(lèi)分布情況，就可以得到一個(gè)圖像類(lèi)到行為類(lèi)的轉(zhuǎn)換概率表。

（2）第二階段：識(shí)別測(cè)試視頻。對(duì)于測(cè)試視頻段，在實(shí)現(xiàn)人的跟蹤提取后，同樣使用形狀上下文將其表述成一個(gè)特征序列，然后，用主導(dǎo)級(jí)方法將每一幀圖像進(jìn)行分類(lèi)。當(dāng)測(cè)試視頻幀序列轉(zhuǎn)化成了圖像類(lèi)序列后，通過(guò)訓(xùn)練時(shí)得到的圖像類(lèi)到行為類(lèi)的轉(zhuǎn)換概率表，可以得到每一幀到所有行為類(lèi)的轉(zhuǎn)換概率，這樣在視頻幀序列上做局部統(tǒng)計(jì)，就得到了這個(gè)局部里的幀所屬的行為類(lèi)別，實(shí)現(xiàn)了行為理解。

3 實(shí)驗(yàn)和結(jié)果分析

針對(duì)上述的研究?jī)?nèi)容，在扶梯的進(jìn)出口安裝網(wǎng)絡(luò)攝像頭，采集現(xiàn)場(chǎng)扶梯的視頻，另外，再結(jié)合網(wǎng)上搜集的扶梯意外視頻進(jìn)行實(shí)驗(yàn)，對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析和總結(jié)。

乘客危險(xiǎn)行為識(shí)別結(jié)果及分析。為分析扶梯乘客危險(xiǎn)行為識(shí)別算法的效果，對(duì)16段離線采集的扶梯監(jiān)控視頻進(jìn)行實(shí)驗(yàn)，其中包含10個(gè)人員摔倒視頻、6個(gè)扶梯逆行視頻，并對(duì)其指標(biāo)進(jìn)行分析。算法在i7-7700 3.6GHz CPU、GTX1660 GPU、16G RAM、Ubuntu1604操作系統(tǒng)的計(jì)算機(jī)上用Python編程實(shí)現(xiàn),視頻圖像大小為749像素×720像素，處理速度達(dá)到15幀/秒。

實(shí)驗(yàn)數(shù)據(jù)結(jié)果如表1所示，其中人體目標(biāo)檢測(cè)及運(yùn)動(dòng)檢測(cè)率達(dá)100%，目標(biāo)運(yùn)動(dòng)跟蹤率達(dá)93.75%，人員摔倒檢測(cè)率達(dá)100%，逆行行為檢測(cè)率為83.3%，可見(jiàn)逆行的判斷準(zhǔn)確率還是比較低。

表1 乘客行為識(shí)別結(jié)果

4 結(jié)語(yǔ)

實(shí)驗(yàn)結(jié)果表明，在GTX1660GPU的運(yùn)行環(huán)境下，文中提出的識(shí)別算法的處理速度能達(dá)到15fps，異常行為識(shí)別準(zhǔn)確率達(dá)93.75%，能夠?qū)崟r(shí)準(zhǔn)確地識(shí)別電扶梯乘坐人員的危險(xiǎn)行為，滿足智能視頻監(jiān)控系統(tǒng)實(shí)時(shí)性、準(zhǔn)確性和魯棒性的要求。但算法仍然存在不足，比如，人員逆行檢出率較低，且當(dāng)扶梯中乘客過(guò)多時(shí)，擁擠的乘客會(huì)出現(xiàn)嚴(yán)重的遮擋使得不能很好地描述人體的行為，從而增加異常行為誤檢率，造成算法效果不佳。下一步將會(huì)在多人異常行為檢測(cè)與識(shí)別方面改善算法的性能，增強(qiáng)算法在多人情況下的魯棒性。