趙小虎 黃程龍

摘? ?要：由于煤炭生產(chǎn)的特殊性與危險(xiǎn)性，煤炭生產(chǎn)過(guò)程中安全事故常有發(fā)生，其中人為因素占極高的比例，因此研究礦井工作人員的違規(guī)行為十分必要. 針對(duì)人體行為識(shí)別中傳統(tǒng)的動(dòng)態(tài)時(shí)間規(guī)整算法經(jīng)常出現(xiàn)的奇異點(diǎn)和時(shí)間復(fù)雜度問(wèn)題，提出一種分段線性逼近結(jié)合自適應(yīng)權(quán)重動(dòng)態(tài)時(shí)間規(guī)整算法. 對(duì)該算法進(jìn)行了仿真以及實(shí)驗(yàn)，該算法在 SDU Fall Dataset 數(shù)據(jù)集的平均識(shí)別率達(dá)到了 95.33%，平均識(shí)別時(shí)間減少了 46.47%，在煤礦井下使用該系統(tǒng)進(jìn)行測(cè)試，結(jié)果表明所提出的算法在識(shí)別速度和準(zhǔn)確率上均有一定程度的提高.

關(guān)鍵詞：礦井監(jiān)控;行為分析;人機(jī)交互;違規(guī)行為識(shí)別;動(dòng)態(tài)時(shí)間規(guī)整算法

中圖分類(lèi)號(hào)：TP391.1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)志碼：A

Abstract：Due to the particularity and danger of coal production， safety accidents often occur in the coal production process. Human factors account for a very high proportion. Therefore， it is necessary to study the violations of mine workers. Aiming at the singular point and time complexity problems often found in traditional dynamic time warping algorithms in human behavior recognition， a piecewise linear approximation algorithm combined with adaptive weight dynamic time warping algorithm is proposed. Then， the algorithm is simulated and experimented. The average recognition rate of the algorithm in the SDU Fall Dataset data set is 95.33%， and the average recognition time is reduced by 46.47%. Finally， we use the system to test in the coal mine. The results show that the proposed algorithm has a certain degree of improvement in recognition speed and accuracy.

Key words：mine monitoring;behavior analysis;human interaction;violation behavior identification;dynamic time warping（DTW） algorithm

在中國(guó)可用的能源中，煤炭占有非常重要的地位，其在國(guó)民經(jīng)濟(jì)發(fā)展中具有舉足輕重的作用. 然而，由于煤炭生產(chǎn)的特殊性以及危險(xiǎn)性，在煤炭生產(chǎn)過(guò)程中死亡事故常有發(fā)生，給作業(yè)人員、企業(yè)負(fù)責(zé)人帶來(lái)嚴(yán)重的傷害和損失. 統(tǒng)計(jì)這些煤礦死亡事故，80%以上是由于作業(yè)人員的不合理行為直接或間接導(dǎo)致的[1].

如今，我國(guó)絕大部分煤炭企業(yè)在井下已經(jīng)安裝了視頻監(jiān)控系統(tǒng)，調(diào)度中心的工作人員通過(guò)傳輸?shù)降孛嫔系谋O(jiān)控視頻查看以及調(diào)度井下的生產(chǎn)情況. 目前，井下作業(yè)人員的違規(guī)行為是通過(guò)傳統(tǒng)的 RGB 攝像頭進(jìn)行監(jiān)控，監(jiān)控方式仍是依靠人工[2]. 鑒于此，會(huì)產(chǎn)生兩個(gè)突出的問(wèn)題，第一是隨著監(jiān)控時(shí)間的增加，監(jiān)控人員可能會(huì)產(chǎn)生視覺(jué)疲勞，由于井下工作人員的違規(guī)行為可能是一瞬間，監(jiān)控人員可能無(wú)法發(fā)現(xiàn)違規(guī)行為，這樣很可能會(huì)導(dǎo)致安全事故的發(fā)生;第二是井下使用傳統(tǒng)的 RGB 攝像頭進(jìn)行視頻監(jiān)控，由于井下某些區(qū)域照度極低或是無(wú)光源，監(jiān)控人員無(wú)法在該區(qū)域的監(jiān)控視頻中發(fā)現(xiàn)井下工作人員的違規(guī)行為，產(chǎn)生了礦井安全監(jiān)控的一個(gè)監(jiān)控盲點(diǎn). 由于 Kinect 可以在沒(méi)有光源的環(huán)境下獲取目標(biāo)的骨骼圖像，并且可以進(jìn)行骨骼跟蹤，因此本文研究的內(nèi)容就是通過(guò) Kinect 體感傳感器，對(duì)礦井下的監(jiān)控盲區(qū)進(jìn)行井下作業(yè)人員的行為監(jiān)控，實(shí)現(xiàn)礦井下的作業(yè)人員全覆蓋及智能化監(jiān)控，以保證煤礦的安全高效生產(chǎn).

目前在人體行為識(shí)別研究中，大部分研究基于傳統(tǒng)的單目視覺(jué)展開(kāi)[3]. 這些傳統(tǒng)的研究使學(xué)者認(rèn)為人體行為識(shí)別過(guò)程中易受光照、背景等因素的干擾，并且得到的結(jié)果準(zhǔn)確性和魯棒性均不佳，在井下光源微弱的情況下對(duì)人體行為的識(shí)別無(wú)疑是致命的. 微軟發(fā)明了一款可以在 Windows 平臺(tái)下使用的 Kinect 攝像機(jī)，它不僅能給出傳統(tǒng)的彩色圖像，還能給出有關(guān)對(duì)象的深度信息[4]. 在官方提供的 Kinect for Windows SDK 支持下，研究人員能夠得到人體骨架中的 20 個(gè)骨架關(guān)節(jié)點(diǎn)的位置信息[5].人體動(dòng)作行為識(shí)別若使用 Kinect 得到人體骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)數(shù)據(jù)，不僅能有效防止光照變化的干擾，還能免除在復(fù)雜的背景情況下對(duì)研究對(duì)象采取分割提取等一些預(yù)處理過(guò)程.

把 Kinect 攝像機(jī)用于研究人體行為識(shí)別已然發(fā)展成了行為識(shí)別領(lǐng)域范圍內(nèi)的一個(gè)研究熱點(diǎn)，Thanh 等[6]利用 Kinect 關(guān)節(jié)點(diǎn)數(shù)據(jù)得到 3 維形狀直方圖并使用 TF-IDF 算法分析人的行為;Lin 等[7]提出了基于 Kinect 的物理康復(fù)輔助系統(tǒng)，使用計(jì)算標(biāo)準(zhǔn)行為和學(xué)習(xí)行為相應(yīng)關(guān)節(jié)點(diǎn)間歐氏距離的平均值以及骨骼關(guān)節(jié)間角度差的平均值，來(lái)評(píng)價(jià)恢復(fù)者學(xué)習(xí)太極動(dòng)作的準(zhǔn)確率. 就目前而言，在人體行為識(shí)別領(lǐng)域內(nèi)使用較多的識(shí)別算法有隱馬爾可夫算法（HMM）、神經(jīng)網(wǎng)絡(luò)算法（ANN）、支持向量機(jī)算法（SVM）以及動(dòng)態(tài)時(shí)間規(guī)整算法（DTW）. 上述算法中 DTW 算法在分類(lèi)長(zhǎng)短不同的時(shí)間序列上有天然的優(yōu)勢(shì)，這是其他算法無(wú)法達(dá)到的. 因此文中選用 DTW 算法進(jìn)行礦工的違規(guī)行為識(shí)別.

1? ?傳統(tǒng) DTW 算法的缺點(diǎn)

1.1? ?奇異點(diǎn)問(wèn)題

傳統(tǒng)的 DTW（Dynamic Time Warping）算法對(duì)時(shí)間軸進(jìn)行規(guī)整會(huì)考慮到數(shù)值的相似性，能夠有效地解決時(shí)間軸上偏移以及尺度伸縮等問(wèn)題. 但是，這樣的操作僅單一考慮了時(shí)間軸上數(shù)值的相似性，并未考慮到數(shù)值軸上的問(wèn)題，因此數(shù)值軸上的偏移問(wèn)題沒(méi)有得到解決，從而產(chǎn)生一個(gè)時(shí)間序列中的某點(diǎn)映射到另一個(gè)時(shí)間序列中大部分區(qū)域的現(xiàn)象，即奇異點(diǎn)問(wèn)題，這樣會(huì)影響行為識(shí)別的準(zhǔn)確率.

假設(shè)兩條時(shí)間序列 P 和 D 上分別有點(diǎn) pm 和 dn，兩個(gè)點(diǎn)在時(shí)間序列上的值相等. 但是，pm在時(shí)間序列的上坡部分，dn在時(shí)間序列的下坡部分，兩點(diǎn)距離式中：DTW（P，D）表示兩個(gè)時(shí)間序列規(guī)整的最小路徑;u0代表一個(gè)包括矩陣元素的連續(xù)集合，定義P和D的映射關(guān)系;O用于彌補(bǔ)因不同路徑所產(chǎn)生的不同長(zhǎng)度;η（pm，dn）表示累積距離.

最優(yōu)的規(guī)整路徑必經(jīng)過(guò)（pm，dn），DTW 算法將會(huì)把這兩點(diǎn)進(jìn)行映射，但實(shí)際上這兩點(diǎn)未存在映射關(guān)系. 一條時(shí)間序列上的某點(diǎn)和另一條時(shí)間序列上的多個(gè)點(diǎn)發(fā)生映射，是因?yàn)檫@個(gè)點(diǎn)和另一條時(shí)間序列的多個(gè)點(diǎn)“太近”，這種現(xiàn)象叫做“奇異點(diǎn)”如圖1所示.

1.2? ?時(shí)間復(fù)雜度問(wèn)題

擁有較高的時(shí)間復(fù)雜度是DTW 算法面臨的又一主要問(wèn)題. 隨著時(shí)間序列長(zhǎng)度的增加，DTW 算法的計(jì)算時(shí)間增加，算法的時(shí)間復(fù)雜度增加. 這種情況在大多數(shù)分類(lèi)算法中是不被允許的. 雖然絕大多數(shù)的分類(lèi)算法沒(méi)有實(shí)時(shí)性的要求，但是時(shí)間復(fù)雜度會(huì)極大影響到算法的性能. 因此如何減少DTW 算法的時(shí)間復(fù)雜度十分關(guān)鍵.

目前，學(xué)者們提出了多種方法來(lái)減小DTW 算法的時(shí)間復(fù)雜度. 根據(jù)改進(jìn)思路的不同將其分為3類(lèi)：

1）直接約束法.? 直接在原始DTW 算法的動(dòng)態(tài)規(guī)劃中加入邊界限制，將規(guī)整路徑的訪問(wèn)范圍進(jìn)行限制，可以極大壓縮算法的搜尋空間，進(jìn)而減小時(shí)間復(fù)雜度.

2）數(shù)據(jù)抽象法.? 將原始時(shí)間序列進(jìn)行一系列的數(shù)據(jù)處理，如降維和特征提取，將原始時(shí)間序列的長(zhǎng)度變短，減少DTW 的時(shí)間復(fù)雜度. 這種方法只是對(duì)數(shù)據(jù)進(jìn)行了處理，縮短了時(shí)間序列的長(zhǎng)度，DTW 算法本身沒(méi)有變化.

3）索引法. 使用下界函數(shù)（lower bounding functions）來(lái)減小DTW 算法在時(shí)間序列分類(lèi)時(shí)的計(jì)算次數(shù). 該方法只是直接減少算法的計(jì)算次數(shù)，算法本身也沒(méi)有發(fā)生修改.

上述3類(lèi)方法中，直接約束法使用得最多. 該方法在最優(yōu)路徑與線性規(guī)整路徑偏差很小的情況下，減少時(shí)間復(fù)雜度的效果非常好;對(duì)于最優(yōu)路徑與線性規(guī)整偏差比較大的情況，該方法減少時(shí)間復(fù)雜度的效果一般.

2? ?改進(jìn)的DTW 算法

產(chǎn)生奇異點(diǎn)的原因是動(dòng)態(tài)時(shí)間規(guī)整算法在計(jì)算時(shí)只考慮空間維度，未考慮時(shí)間維度. 因此下文介紹的解決方法均加入時(shí)間維度上的信息（即梯度特征）來(lái)解決奇異點(diǎn)問(wèn)題. 如DDTW 算法僅使用梯度特征來(lái)計(jì)算，完全忽視了數(shù)值信息[8]. WDDTW 算法中使用了數(shù)值特征以及一階和二階梯度特征的加權(quán)和來(lái)運(yùn)算[9].

DDTW 中單純考慮梯度特征是不嚴(yán)謹(jǐn)?shù)?，?shù)值信息和梯度信息都要考慮到，才能得到更好的效果. 一般來(lái)說(shuō)，兩個(gè)特征項(xiàng)綜合使用求和方式一般比乘積好. WDDTW 中使用加權(quán)求和的方式進(jìn)行兩者的融合，雖然考慮了數(shù)值信息以及梯度信息，但是需要額外優(yōu)化權(quán)重系數(shù)，加大了算法的求解難度. 此外，WDDTW 中二階梯度特征是多余的，因?yàn)橐浑A梯度特征已經(jīng)擁有了充足的時(shí)間維度信息，再有二階梯度反而會(huì)有冗余信息以及噪聲信息.

本文提出的改進(jìn)算法為自適應(yīng)權(quán)重動(dòng)態(tài)時(shí)間規(guī)整算法（Self-adaption Weight Dynamic Time Warping，SWDTW），該方法同時(shí)兼顧了時(shí)間序列的數(shù)值信息以及時(shí)間信息. 定義新的特征Msw（pm） 如式（3）所示：

式中：max（|Δp|）為時(shí)間序列 pm中全部時(shí)間點(diǎn)的最大梯度. 這里某點(diǎn)的梯度用相鄰點(diǎn)的差分來(lái)表示，即用 pm - pm - 1表示 pm 的梯度;max（|Δp|）的用處在于把各個(gè)梯度的值限制在[-1，1]之內(nèi)，方便以比值的形式把梯度信息放入到特征之中;g表示常量系數(shù);局部距離 l（pm，dn）可以表示為.

由式（3）可知，新的特征同時(shí)包含了數(shù)值信息以及梯度信息，梯度信息以比值的方式融入到特征中. 因?yàn)閿?shù)值信息和梯度信息所產(chǎn)生的偏差，都可以讓DTW 的距離增大. 所以，SWDTW 的優(yōu)點(diǎn)就在于可以同時(shí)改善時(shí)間軸及數(shù)值軸上的偏移以及尺度伸縮. 數(shù)值信息的比值為1，大于梯度信息的比值，數(shù)值信息占主要地位，梯度信息為次要地位. 因此，SWDTW 對(duì)數(shù)值較小的誤差不會(huì)特別敏感.

從時(shí)間維度及空間維度方面分析，數(shù)值代表的是空間維度的信息，其 pm 的梯度代表的是時(shí)間維度的信息. 所以，式（3）新的特征對(duì)兩種維度的信息都考慮在內(nèi)，且均可以改善數(shù)值軸及時(shí)間軸上的偏移和尺度伸縮.

時(shí)間序列的特點(diǎn)是維度長(zhǎng)、特征重復(fù)以及包含噪聲，如開(kāi)始就將時(shí)間序列進(jìn)行特征提取和降維處理，會(huì)縮短時(shí)間序列的長(zhǎng)度，還可以獲得更好的特征表示，再使用 SWDTW 計(jì)算距離，既可以減小產(chǎn)生奇異點(diǎn)的可能性，又可以在一定程度上減少時(shí)間復(fù)雜度. PLA 是一種對(duì)時(shí)間序列分段線性表示、還可以特征提取和降維的方法，其特點(diǎn)為計(jì)算便捷、提取的特征明顯以及原始信息損耗小等.

分 段 線 性 逼 近 （ Piecewise Linear Approximation，PLA）是一種利用分段線性近似的方式對(duì)非線性時(shí)間序列進(jìn)行降維和去噪的方法. 設(shè)定非線性時(shí)間序列Q = {t1，t2，…，tm}，使用 PLA 進(jìn)行表示，可得式（5）：

式中： xa（1≤a≤p）代表第 a 段分段的時(shí)間下標(biāo); p 代表分段的數(shù)目;S表示PLA分段的距離;L表示時(shí)間序列分段的長(zhǎng)度;QPLA是一個(gè)時(shí)間序列，由每段線段的起點(diǎn)及終點(diǎn)組成.

總體來(lái)說(shuō)，PLA 可以分為3類(lèi)算法：

1）滑動(dòng)窗口（Window-Sliding）算法. 從最左邊出發(fā)，一次增加一個(gè)數(shù)據(jù)點(diǎn)進(jìn)入窗口，線性擬合當(dāng)前窗口的點(diǎn)，窗口會(huì)在最大誤差達(dá)到某個(gè)閾值后結(jié)束，當(dāng)前數(shù)據(jù)點(diǎn)將會(huì)作為新的開(kāi)始窗口，進(jìn)行下一分段，反復(fù)進(jìn)行該操作直到序列結(jié)束. 最大誤差是指目前分段中數(shù)據(jù)點(diǎn)到線段的最大距離.

2）自底向上（Bottom-Up）算法. 把全部相鄰的點(diǎn)兩兩連接起來(lái)作為起始分段，再依賴(lài)合并以后最大誤差最小化原理，順序合并相鄰的分段，當(dāng)全部相鄰分段合并以后最大誤差都大于閾值時(shí)才會(huì)停止.

3）自頂向下（Top-Down）算法. 將整個(gè)原始時(shí)間序列近似整合成一條直線，把距離直線最遠(yuǎn)的點(diǎn)（誤差最大的點(diǎn)）當(dāng)作劃分點(diǎn)，分成兩部分. 對(duì)劃分以后的兩部分分別再合成直線，依舊選擇最遠(yuǎn)點(diǎn)為劃分點(diǎn)，再分成兩部分. 反復(fù)進(jìn)行該操作直到所有部分的最大誤差都小于閾值.

對(duì)比3種方法，滑動(dòng)窗口算法優(yōu)劣勢(shì)均較明顯，其優(yōu)勢(shì)在于時(shí)間復(fù)雜度是3種算法中最小的，可以實(shí)現(xiàn)在線運(yùn)算，但其分段效果是最差的;自頂向下算法雖然時(shí)間復(fù)雜度不是最小的，但分段結(jié)果是3者中最好的，而且實(shí)現(xiàn)也較為簡(jiǎn)單. 所以本文選擇PLA 實(shí)現(xiàn)算法為自頂向下算法.

在提出 SWDTW 算法的基礎(chǔ)上提出了一種把 PLA 和 SWDTW 融合的新算法，先使用 PLA 對(duì)初始的時(shí)間序列進(jìn)行特征提取以及降維，大大減小初始時(shí)間序列的長(zhǎng)度，最后使用 SWDTW 對(duì)處理后的序列計(jì)算距離. 該算法稱(chēng)為 PLA-SWDTW，從下文的實(shí)驗(yàn)結(jié)果以及分析中可以得出，這種算法在解決奇異點(diǎn)問(wèn)題的同時(shí)，可以一定程度地減小時(shí)間復(fù)雜度.

3? ?實(shí)驗(yàn)結(jié)果及分析

本文使用傳統(tǒng)的 DTW、DDTW 以及PLA-SWDTW算法對(duì)最優(yōu)規(guī)整路徑已知的時(shí)間對(duì)序列進(jìn)行映射實(shí)驗(yàn)，來(lái)測(cè)試 PLA-SWDTW 算法在解決奇異點(diǎn)問(wèn)題和正確找出最優(yōu)規(guī)整路徑時(shí)是否具有更好的性能. 為了得到這樣的時(shí)間序列對(duì)，從數(shù)據(jù)集中任意選擇一個(gè)時(shí)間序列樣本 A，將它進(jìn)行復(fù)制得到 A′. 然后將 A′不同部分的數(shù)值隨意增加或刪減，并且增加刪減的值足夠小，以保證這兩對(duì)時(shí)間序列對(duì)在產(chǎn)生偏差的同時(shí)，A′的“形狀”不會(huì)變化太大. 因此A 和 A′不存在規(guī)整. 再將這兩個(gè)序列分別進(jìn)行 PLA 降維，得到一對(duì)新的時(shí)間序列 P和P′. 如圖 3就是初始序列 P（實(shí)線）及修改后的序列 P′（虛線）的示例.

在清楚時(shí)間序列 P 和 P′間的正確映射后，規(guī)定符號(hào) y′（x）代表時(shí)間序列 P 里的點(diǎn)px 和時(shí)間序列P′里的點(diǎn) p′y 相互映射. 由于時(shí)間序列 P 和P′間不存在規(guī)整，所以有 y′（x）=x. 再規(guī)定符號(hào) Wi表示時(shí)間序列 P 中的點(diǎn) px 對(duì)應(yīng)實(shí)際算法結(jié)果中時(shí)間 P′中的點(diǎn)集. Q 表示兩個(gè)時(shí)間序列間錯(cuò)誤映射的度量如式（6）所示：

式中：Q是兩個(gè)時(shí)間序列之間錯(cuò)誤映射的次數(shù)，Q越大表示映射錯(cuò)誤的情況越多，算法的性能也就越差.

實(shí)驗(yàn)采用山東大學(xué)SDUFall Dataset 數(shù)據(jù)集進(jìn)行算法性能的驗(yàn)證. 該數(shù)據(jù)集包括彎腰、跌倒、躺下、坐下、蹲下以及行走等6個(gè)動(dòng)作，這6個(gè)動(dòng)作由20個(gè)人分別完成，每個(gè)實(shí)驗(yàn)者對(duì)這6個(gè)動(dòng)作都執(zhí)行10次，每個(gè)動(dòng)作都將拍攝角度、身體部分被遮擋以及光照強(qiáng)弱等因素考慮在內(nèi). 拍攝視頻格式的幀數(shù)是 30 幀/s，像素分辨率為 640×480，動(dòng)作長(zhǎng)度為 5.6 s. 圖 2（a）為數(shù)據(jù)集中初始時(shí)間序列（實(shí)線）及其變形序列（虛線）. 圖 2（b）～2（d）分別代表 DTW、 DDTW 和 PLA-SWDTW 對(duì)圖 2（a）中序列的映射結(jié)果. 圖 3 顯示了該數(shù)據(jù)集中不同動(dòng)作的幀序列圖像. 使用 DTW、DDTW 和 PLA-SWDTW 3種算法分別對(duì)該數(shù)據(jù)集的6個(gè)動(dòng)作進(jìn)行映射實(shí)驗(yàn). 表 1 為3種算法的平均錯(cuò)誤映射數(shù)量.

由圖4可知，DDTW 和 PLA-SWDTW 這兩種算法的識(shí)別準(zhǔn)確率明顯高于傳統(tǒng)的 DTW 算法，印證表 1 所得出的結(jié)論，這兩種算法顯著改善了傳統(tǒng) DTW 算法奇異點(diǎn)問(wèn)題，且后者的準(zhǔn)確率還略高于前者，表明在解決奇異點(diǎn)問(wèn)題上，后者的性能為最佳. 表 2 中，DTW、DDTW、PLA-SW算法的識(shí)別時(shí)間分別為1.305 s、1.208 s、0.896 s，PLA-SWDTW 算法在識(shí)別時(shí)間上小于前兩者，也證明了該算法在一定程度上減少了時(shí)間復(fù)雜度.

4? ?實(shí)驗(yàn)過(guò)程以及結(jié)果分析

4.1? ?實(shí)驗(yàn)設(shè)計(jì)及環(huán)境

本文實(shí)驗(yàn)硬件平臺(tái)為： Kinect for windows 攝像機(jī)一臺(tái)，彩色圖像和骨骼圖像的分辨率均為 640×? 480;使用 PC 機(jī)作為實(shí)驗(yàn)計(jì)算機(jī)，主要的配置包含Intel （R） Core （TM） i5-6260U，1.8 GHz 主頻雙核處理器，內(nèi)存為 8 GB，顯卡為英特爾Iris Graphics 540;系統(tǒng)的開(kāi)發(fā)環(huán)境為 Windows 7 操作系統(tǒng)，Visual Studio 2010 和 Kinect SDK v1.8.

4.2? ?實(shí)驗(yàn)過(guò)程

基于礦井人員的違規(guī)行為建立識(shí)別系統(tǒng)，是為了對(duì)礦井人員在井下環(huán)境中可能產(chǎn)生的違規(guī)行為進(jìn)行監(jiān)控，設(shè)定的3個(gè)井下違規(guī)行為，分別是摘安全帽、脫工作服以及坐下睡覺(jué). 由于本文使用改進(jìn)的DTW 算法，因此系統(tǒng)分為兩大板塊，第一個(gè)板塊是模板錄制及訓(xùn)練板塊，通過(guò)此模塊可以隨時(shí)加入違規(guī)行為模板，從而識(shí)別出違規(guī)行為;第二個(gè)板塊是行為識(shí)別板塊，此模塊可以實(shí)時(shí)識(shí)別出違規(guī)行為. 在違規(guī)行為識(shí)別過(guò)程中，由于違規(guī)行為的動(dòng)作訓(xùn)練板塊是基于改進(jìn)的 DTW 算法所構(gòu)建的，同時(shí)也是影響系統(tǒng)識(shí)別準(zhǔn)確率的重要環(huán)節(jié).

模板訓(xùn)練過(guò)程如下：

1）按下“動(dòng)作捕捉”按鈕，將會(huì)等待3 s，開(kāi)始模板錄制，模板錄制 30 幀，需在 30 幀內(nèi)做出不同的違規(guī)行為;

2）按下“保存數(shù)據(jù)到緩沖區(qū)”按鈕，把已經(jīng)捕捉好的模板數(shù)據(jù)保存到內(nèi)存緩沖區(qū)中;

3）按下“保存到模板”按鈕，動(dòng)作序列被寫(xiě)入 bin 目錄下以當(dāng)前時(shí)間點(diǎn)命名的 txt 文件中，違規(guī)行為訓(xùn)練結(jié)束.

訓(xùn)練過(guò)程中系統(tǒng)完成了深度數(shù)據(jù)修正、坐標(biāo)的變換及加權(quán)處理，同時(shí)使用了基于 DTW 的聚類(lèi)算法使得模板訓(xùn)練的時(shí)間大大減少. 訓(xùn)練好的違規(guī)行為訓(xùn)練集如圖 5 所示.

圖5中第一行“#”后存儲(chǔ)違規(guī)行為的名稱(chēng);“～”表示一幀數(shù)據(jù)已經(jīng)保存完畢. 由行為序列可知，每一個(gè)坐標(biāo)數(shù)值都是 double 類(lèi)型的，一幀存儲(chǔ)所有關(guān)節(jié)點(diǎn)骨骼坐標(biāo)數(shù)據(jù).

違規(guī)行為識(shí)別的過(guò)程其實(shí)是一個(gè)動(dòng)態(tài)行為過(guò)程. 以“摘安全帽”為例，“摘安全帽”的行為可以描述為：伸手拿起帽子，然后將帽子摘下. 識(shí)別過(guò)程中，首先點(diǎn)擊“加載動(dòng)作模板”按鈕，從 bin 文件夾中選擇“摘安全帽”的 txt 文件，模板將會(huì)自動(dòng)載入系統(tǒng)并且進(jìn)入行為識(shí)別狀態(tài). 測(cè)試者按照“摘安全帽”的行為，首先伸手拿起帽子，然后將帽子摘下，系統(tǒng)將會(huì)在下方實(shí)時(shí)顯示骨骼圖像及彩色圖像，并且在結(jié)果欄顯示識(shí)別結(jié)果以及 DTW 距離.

在實(shí)驗(yàn)室環(huán)境下進(jìn)行實(shí)驗(yàn)，找到10名同學(xué)分別做出摘安全帽、脫工作服以及坐下睡覺(jué)這 3 個(gè)違規(guī)動(dòng)作各 50 次（為了仿真井下低照度場(chǎng)景，將室內(nèi)光源全部關(guān)閉，測(cè)量照度為 2 lux）. 對(duì)得到的原始數(shù)據(jù)進(jìn)行均值濾波處理，把處理得到的數(shù)據(jù)分別作為訓(xùn)練數(shù)據(jù)以及測(cè)試數(shù)據(jù). 本文選取兩種實(shí)驗(yàn)方案，用來(lái)測(cè)試兩種改進(jìn)算法的準(zhǔn)確率以及識(shí)別時(shí)間. 其中測(cè)試結(jié)果如圖 6 所示.

實(shí)驗(yàn)方案的描述如下：分別將傳統(tǒng) DTW 算法以及 PLA-SWDTW 算法寫(xiě)進(jìn)系統(tǒng)中，使用傳統(tǒng) DTW 算法系統(tǒng)時(shí)，實(shí)驗(yàn)者在摘安全帽、脫工作服、坐下睡覺(jué)各 50 個(gè)動(dòng)作中，取一半數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，一半數(shù)據(jù)作為測(cè)試數(shù)據(jù)進(jìn)行實(shí)驗(yàn). 同理在使用 PLA-SWDTW 算法的系統(tǒng)時(shí)也是取一半數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，一般數(shù)據(jù)作為測(cè)試數(shù)據(jù)進(jìn)行實(shí)驗(yàn). 兩者實(shí)驗(yàn)結(jié)果如表 3 所示.

4.3? 結(jié)果分析

由表 3 可知，PLA-SWDTW 算法在識(shí)別時(shí)間上與傳統(tǒng)的 DTW 算法相比有一定的減少，這是算法中融合了分段線性逼近的結(jié)果. 然而在識(shí)別率上，PLA-SWDTW 算法相較于 DTW 算法有較明顯的提升，說(shuō)明了提出的算法可以改進(jìn)奇異點(diǎn)問(wèn)題，從而提高算法的識(shí)別準(zhǔn)確率.

5? ?結(jié)? ?論

本文提出了分段線性逼近結(jié)合自適應(yīng)權(quán)重動(dòng)態(tài)時(shí)間規(guī)整算法（ PLA-SWDTW），來(lái)解決奇異點(diǎn)問(wèn)題以及時(shí)間復(fù)雜度問(wèn)題，實(shí)驗(yàn)結(jié)果顯示，該算法具有良好的適應(yīng)性和魯棒性，且識(shí)別的準(zhǔn)確率和速度均有一定的提高.

本文不足之處體現(xiàn)在以下兩點(diǎn)：（1）對(duì)于礦工速度過(guò)快的違規(guī)行為，識(shí)別率比較低;（2）識(shí)別動(dòng)作比較單一，并且只能識(shí)別單人的違規(guī)動(dòng)作.

參考文獻(xiàn)

[1]? ? 韋釗. 煤礦事故隱患排查與管控關(guān)鍵技術(shù)及應(yīng)用研究[D]. 北京：中國(guó)礦業(yè)大學(xué)（北京）資源與安全工程學(xué)院，2018：1—4.WEI Z. Key technology and application of potential accident hazards investgation and control in coal mine [D]. Beijing：School of Resources and Safety Engineering，China University of Mining and Technology，2018：1—4. （In Chinese）

[2]? ? 賈偉. 煤礦井下視頻多目標(biāo)軌跡跟蹤方法研究與應(yīng)用[D]. 西安：西安科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，2017：1—2.JIA W. Research and application of multi-target trajectory tracking method for coal mine underground video [D]. Xian：School of Computer Science and Technology，Xian University of Science and Technology，2017：1—2. （In Chinese）

[3]? ? 胡瓊，秦磊，黃慶明. 基于視覺(jué)的人體動(dòng)作識(shí)別描述[J]. 計(jì)算機(jī)學(xué)報(bào)，2013，36（7）：1—14.HU Q，QIN L，HUANG Q M. A summary of human action recognition based on visual [J].Chinese Journal of Computers，2013，36（7）：1—14.（In Chinese）

[4]? ? BISWAS K K，BASU S K. Gesture recognition using Microsoft Kinect [C] //5th International Conference on Automation，Robotics and Applications. New Zeland：IEEE，2011：100—103.

[5]? ? SHOTTON J，SHARP T，KIPMAN A，et al. Real-time human pose recognition in parts from single depth images [J]. Communications of the ACM，2013，56（1）：116-124.

[6]? THANH T T，CHEN F，KOTANI K，et al. Extraction of discriminative patterns from skeleton sequences for human action recognition [C]//IEEE International Conference on Computing and Communication Technologies，Research，Innovation，and Vision for the Future. Piscataway，USA：IEEE，2012：6pp.

[7]? ? LIN T Y，HSIEH C H，LEE J D. A Kinect-based system for physical rehabilitation：Utilizing tai chi exercises to improve movement disorders in patients with balance ability[C]// Proceedings of the 7th Asia Modelling Symposium. Hong Kong：IEEE Computer Society，2013：149—153.

[8]? ? KEOGH E J，PAZZANI M J. Dervative Dynamic Time Warping[C]//Proceedings of the 1st SIAM International Conferernce on Data mining. Chicago：SIAM，2002.

[9]? ? KULBACKI M，BAK A. Unsupervised learning motion models using dynamic warping [J]. Adcances in Soft Computing，2002，17：217—226.