王俊峰

摘 要： 提出以圖像識(shí)別為基礎(chǔ)分解識(shí)別人體武術(shù)動(dòng)作的方法。首先，通過(guò)形態(tài)學(xué)梯度操作使大部分噪聲背景可以消除，進(jìn)而取得人體輪廓邊緣，將視頻中每幀圖像輪廓邊緣提取出來(lái)并在同一幅圖像中實(shí)現(xiàn)累積，利用累積邊緣圖像計(jì)算出以網(wǎng)格為基礎(chǔ)的HOG，獲取圖像動(dòng)作特征向量；其次，運(yùn)用改良動(dòng)態(tài)時(shí)間規(guī)整理論結(jié)合動(dòng)作時(shí)間序列下各關(guān)節(jié)角度變化的特征，即可識(shí)別出各類(lèi)武術(shù)動(dòng)作間關(guān)節(jié)變化序列的相似性，再設(shè)計(jì)分類(lèi)器并向其輸入圖像中人體動(dòng)作時(shí)變特征數(shù)據(jù)，從而實(shí)現(xiàn)基于圖像識(shí)別的武術(shù)動(dòng)作分解過(guò)程。實(shí)驗(yàn)結(jié)果表明，利用圖像識(shí)別可有效分解武術(shù)動(dòng)作。

關(guān)鍵詞： 人體動(dòng)作； 圖像識(shí)別； 動(dòng)作時(shí)間序列； 動(dòng)作分解

中圖分類(lèi)號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）15?0033?04

Abstract： A method based on image recognition to identify and decompose the human?body Wushu action is proposed. The operation of morphological gradient is used to eliminate most of background noise to obtain the edge of the human?body contour. The contour edge of each frame image is extracted in the image， and accumulated in the same image. The cumulative edge image is used to calculate the HOG based on grid， and acquire the action feature vector of the image. The improved dynamic characteristics of time warping theory is combined with the change characteristic of the angle of each joint under movement time series to recognize the similarity of joint change sequence among various Wushu movements. The classifier was designed， and the time?varying characteristic data of human?body movement in the image is input into it to realize the Wushu movement decomposition based on image recognition. The experimental results show that the image recognition can decompose the Wushu movement effectively.

Keywords： human?body movement； image recognition； movement time series； movement decomposition

0 引 言

文獻(xiàn)[1]中提到使計(jì)算機(jī)擁有與人類(lèi)相同的視覺(jué)感知功能，并像人類(lèi)一樣可以識(shí)別外界事物、感知場(chǎng)景、解析周?chē)挛锘顒?dòng)情況是計(jì)算機(jī)視覺(jué)研究的最終目標(biāo)。運(yùn)用計(jì)算機(jī)分析和理解人體動(dòng)作具有挑戰(zhàn)性，這一課題涉及多個(gè)學(xué)科領(lǐng)域，包括認(rèn)知科學(xué)、模式識(shí)別、機(jī)器學(xué)習(xí)等，具有一定學(xué)術(shù)研究?jī)r(jià)值。該技術(shù)應(yīng)用會(huì)使計(jì)算機(jī)具備觀察外部世界的能力，然后通過(guò)圖像信息的自動(dòng)分析和理解做出決策響應(yīng)，計(jì)算機(jī)將具備更優(yōu)秀的適應(yīng)環(huán)境能力[2?4]。

文獻(xiàn)[5]指出分析與理解視頻中人的動(dòng)作可以總結(jié)為：通過(guò)在視頻中提取運(yùn)動(dòng)及表現(xiàn)特征，對(duì)動(dòng)作類(lèi)別以及動(dòng)作發(fā)生方位給出合理判斷，細(xì)致分析出與動(dòng)作相對(duì)應(yīng)的語(yǔ)義信息，最終確定人的行為意圖。動(dòng)作表示、動(dòng)作分割、動(dòng)作識(shí)別和動(dòng)作定位是人體動(dòng)作分析與理解過(guò)程中最為重要的幾項(xiàng)研究。動(dòng)作表示指的是通過(guò)提取輸入視頻中表現(xiàn)運(yùn)動(dòng)和結(jié)構(gòu)等信息，獲得描述該視頻的特征向量。文獻(xiàn)[6]中定義動(dòng)作分割是通過(guò)分割連續(xù)視頻流，使其成為若干組只包含一個(gè)動(dòng)作事例的子視頻段。通過(guò)建立視頻內(nèi)容與動(dòng)作類(lèi)別之間的關(guān)聯(lián)實(shí)現(xiàn)人體動(dòng)作識(shí)別。

因此文中運(yùn)用此項(xiàng)技術(shù)，提出以圖像識(shí)別為基礎(chǔ)實(shí)現(xiàn)分解識(shí)別人體武術(shù)動(dòng)作的方法。首先，利用形態(tài)學(xué)梯度操作去除掉大部分噪聲背景，獲取人體輪廓邊緣界限，在視頻中獲得每幀圖像的形狀邊緣同時(shí)累積在一幅圖像中，通過(guò)累積邊緣圖像計(jì)算出以網(wǎng)格為基礎(chǔ)的HOG，得出圖像動(dòng)作特征向量；其次，結(jié)合動(dòng)作時(shí)間序列下各關(guān)節(jié)角度的變化特征，運(yùn)用改進(jìn)動(dòng)態(tài)時(shí)間規(guī)整理論對(duì)各類(lèi)武術(shù)動(dòng)作間關(guān)節(jié)變化序列的相似性進(jìn)行識(shí)別，通過(guò)設(shè)計(jì)分類(lèi)器并將圖像中人體動(dòng)作時(shí)變特征數(shù)據(jù)輸入其中，最終完成基于圖像識(shí)別的武術(shù)動(dòng)作分解過(guò)程[7?8]。

1 基于圖像的武術(shù)動(dòng)作分解識(shí)別過(guò)程

1.1 基于累積邊緣圖像的動(dòng)作特征提取

利用組合形態(tài)學(xué)操作能夠消除視頻圖像上部分背景，形態(tài)特征能夠完好保留，獲得人體側(cè)影輪廓圖像，其與背景相減技術(shù)的作用非常相似。則組合形態(tài)學(xué)操作公式可表述為：

式中：表示通過(guò)組合形態(tài)學(xué)操作處理完成的圖像；表示原視頻中一幀圖像；表示結(jié)構(gòu)元素；表示閉合操作。通過(guò)式（1）閉合操作可將原始圖像中比背景暗，且尺寸比結(jié)果元素尺寸小的區(qū)域去除，選擇合適的結(jié)構(gòu)元素，通過(guò)閉合操作得到剩余背景圖像，使其與原始圖像相減就能夠完成目標(biāo)提取。

人體武術(shù)動(dòng)作視頻圖像中一幀圖像并不能充分表述一個(gè)動(dòng)作，一般都需要提取多幀圖像特征才能完整展示一個(gè)人體動(dòng)作。由于存在動(dòng)作速率差異，即便是同一動(dòng)作，每個(gè)視頻圖像的幀數(shù)也可能不同。為了處理這兩種速率的變化，考慮到速率變化特征，文中將同一時(shí)間窗口上每一幀邊緣圖像灰度特征累積到同一幅圖像當(dāng)中，利用建立的累積邊緣圖像提取出其特征，用于表示人體武術(shù)動(dòng)作。

累積邊緣圖像操作流程為：視頻圖像中通過(guò)形態(tài)學(xué)梯度操作處理后的一幀圖像用表示；運(yùn)用邊緣檢測(cè)算子在上獲取的邊緣檢測(cè)圖像用表示，此圖像是二值圖像；通過(guò)和在每個(gè)像素點(diǎn)上相乘得到的邊緣圖像即為，灰度圖像由表示，灰度信息處在邊緣點(diǎn)上，若像素點(diǎn)處于邊緣之外，則灰度值為0；累積邊緣圖像用表示，其尺度與大小一致，獲取是為了累積視頻圖像中所有處于某一時(shí)間窗口上的到一幅圖像上。

針對(duì)進(jìn)行初始化，設(shè)置所有像素為0，時(shí)間條件為=0；基于邊緣檢測(cè)能夠在視頻時(shí)間窗口的第一幀形態(tài)學(xué)梯度圖像上得出邊緣圖像；灰度圖像通過(guò)梯度圖像和邊緣圖像相乘獲得；在全部像素點(diǎn)上比較和上一幀取得的累積邊緣圖像，灰度值較大的像素點(diǎn)其灰度值將作為的新值；重復(fù)邊緣檢測(cè)步驟，直至全部圖像操作完成。

本文方法的主要思想是壓縮視頻序列中的信息成為一幀圖像來(lái)表達(dá)動(dòng)作，累積邊緣圖像中信息含量巨大，時(shí)刻在點(diǎn)上累積邊緣圖像的公式可描述為：

累積邊緣圖像是在每個(gè)像素點(diǎn)讓二值圖像和形態(tài)學(xué)梯度圖像相乘，獲得具有灰度信息的邊緣圖像后，累積全部邊緣圖像到一幅圖像中，并不是累積每一幀二值圖像到一幅圖像中。0和1是二值圖像像素灰度值僅有的兩個(gè)值，若邊緣圖像所對(duì)應(yīng)的二值圖像中像素值為1，則該點(diǎn)處灰度值范圍相比二值圖像信息更多。

針對(duì)目標(biāo)圖像進(jìn)行累積邊緣圖像，則圖像信息中心已包含了較多幀圖像的邊緣信息，因此不需再提取邊緣特征，可在累積邊緣圖像的每一點(diǎn)上直接求解方向梯度直方圖。

計(jì)算以網(wǎng)格為基礎(chǔ)的方向梯度直方圖就是求解在累積邊緣圖像上所有點(diǎn)的方向梯度。將累積邊緣圖像分為個(gè)空間網(wǎng)格，計(jì)算每個(gè)網(wǎng)格上的直方圖向量，將其中一個(gè)尺度特征向量提取出來(lái)并作為動(dòng)作特征，統(tǒng)計(jì)該目標(biāo)獲取的局部形狀，進(jìn)而獲得累積邊緣圖像的特征向量。

1.2 基于動(dòng)態(tài)時(shí)間規(guī)整的人體武術(shù)動(dòng)作識(shí)別

動(dòng)作表達(dá)具有時(shí)間上的持續(xù)性，即動(dòng)作可在某一時(shí)段上是一系列靜態(tài)動(dòng)作的集合。人體運(yùn)動(dòng)過(guò)程可以通過(guò)關(guān)節(jié)角度曲線變化反映出動(dòng)作的變化趨勢(shì)，隨著時(shí)間變化關(guān)節(jié)產(chǎn)生角度變化曲線可稱之為關(guān)節(jié)角度時(shí)間序列。人體運(yùn)動(dòng)特征利用關(guān)節(jié)角度時(shí)間序列描述，若某一武術(shù)動(dòng)作持續(xù)時(shí)間設(shè)為則可定義運(yùn)動(dòng)特征為：

式中：某一關(guān)節(jié)角度時(shí)間序列由行向量表示；運(yùn)動(dòng)特征數(shù)量為時(shí)的行向量由表示；運(yùn)動(dòng)特征數(shù)量由表示，且范圍為。

行向量可理解為時(shí)變一維信號(hào)，則演化成以簡(jiǎn)單動(dòng)作識(shí)別歸類(lèi)為時(shí)變特征數(shù)據(jù)的分類(lèi)問(wèn)題。由先驗(yàn)數(shù)據(jù)能夠看出，當(dāng)測(cè)試者自由展示武術(shù)動(dòng)作時(shí)，相同動(dòng)作具有不同的波形和幅值，無(wú)法排除與相近的可能性。因此，動(dòng)作識(shí)別利用對(duì)比時(shí)間序列的相似度來(lái)實(shí)現(xiàn)，即武術(shù)動(dòng)作分解判斷通過(guò)比較不同長(zhǎng)度向量之間的距離來(lái)實(shí)現(xiàn)。

曲線之間相似度的比較是時(shí)間序列變化趨勢(shì)關(guān)注的重點(diǎn)，因?yàn)橐曨l反饋系統(tǒng)與測(cè)試者等都存在不確定性因素，會(huì)導(dǎo)致數(shù)據(jù)的偏差與波動(dòng)，所以利用下式對(duì)序列完成光滑處理：

式中：序列中第個(gè)時(shí)間點(diǎn)的關(guān)節(jié)角度值由表示；分別為及階時(shí)關(guān)節(jié)角度值；為大于0的整數(shù)。

基于動(dòng)態(tài)規(guī)劃思想的動(dòng)態(tài)時(shí)間規(guī)整理論，其目的是找出2個(gè)不同長(zhǎng)度的測(cè)試樣本與參考模板間的最優(yōu)匹配路徑以及最短距離。參考時(shí)間序列設(shè)為測(cè)試樣本設(shè)為。時(shí)間的關(guān)節(jié)角度值分別用和表示；與表示向量長(zhǎng)度，若向量和非線性匹配，則可描述累計(jì)距離矩陣為：

若要使時(shí)間序列上的點(diǎn)和具有不同的關(guān)節(jié)角度軸值，需要基于點(diǎn)和構(gòu)建一個(gè)三維向量重新定義替代原來(lái)的歐氏距離，即和，下面依次描述參考序列一階導(dǎo)數(shù)與參考序列二階導(dǎo)數(shù)：

式中：表示第個(gè)時(shí)間點(diǎn)關(guān)節(jié)角度值；表示第個(gè)時(shí)間點(diǎn)關(guān)節(jié)角度值。由于構(gòu)造了上述向量有利于映射的準(zhǔn)確性，則可定義為：

式中：表示測(cè)試樣本序列關(guān)節(jié)角度一階導(dǎo)數(shù)值；表示測(cè)試樣本序列關(guān)節(jié)角度二階導(dǎo)數(shù)值；分別表示調(diào)節(jié)關(guān)節(jié)角度值最短距離的權(quán)值、調(diào)節(jié)關(guān)節(jié)角度一階導(dǎo)數(shù)值最短距離權(quán)值及調(diào)節(jié)關(guān)節(jié)角度二階導(dǎo)數(shù)值最短距離權(quán)值。

根據(jù)式（4），存在運(yùn)動(dòng)模板特征矩陣和待測(cè)樣本若為與的改進(jìn)距離，則與的距離可描述為：

式中：表示樣本間的改進(jìn)距離；表示改進(jìn)距離的運(yùn)動(dòng)特征數(shù)量；是運(yùn)動(dòng)特征數(shù)量為時(shí)與的改進(jìn)距離。

計(jì)算期望距離值為：

式中：為期望距離的權(quán)重值。給定一個(gè)武術(shù)動(dòng)作圖像測(cè)試樣本，使期望距離ED獲得最小值的模板對(duì)應(yīng)的武術(shù)動(dòng)作即為識(shí)別結(jié)果：

式中表示參考庫(kù)中的已知模板。

綜上所述，通過(guò)累積邊緣圖像對(duì)視頻圖像中的武術(shù)動(dòng)作特征進(jìn)行特征向量提取，然后運(yùn)用動(dòng)態(tài)時(shí)間規(guī)整理論對(duì)武術(shù)動(dòng)作時(shí)間序列進(jìn)行計(jì)算，對(duì)待識(shí)別的武術(shù)動(dòng)作與參考時(shí)間序列樣本進(jìn)行匹配后，完成武術(shù)動(dòng)作分解識(shí)別過(guò)程。

2 仿真實(shí)驗(yàn)與結(jié)果分析

為準(zhǔn)確分解武術(shù)動(dòng)作，文中利用基于累積邊緣圖像的動(dòng)態(tài)時(shí)間規(guī)整方法對(duì)武術(shù)動(dòng)作進(jìn)行識(shí)別，通過(guò)仿真實(shí)驗(yàn)驗(yàn)證本文方法的可行性。

實(shí)驗(yàn)1：文中給出兩幅武術(shù)動(dòng)作圖像為實(shí)驗(yàn)對(duì)象，為將目標(biāo)輪廓從圖像中有效提取出來(lái)，利用文中的形態(tài)學(xué)操作及活動(dòng)輪廓模型法對(duì)圖像目標(biāo)輪廓進(jìn)行提取，具體圖像處理效果如圖1～圖6所示。

由第一組圖像（圖1～圖3）可以看出，圖1為原圖像，圖2為利用文中形態(tài)學(xué)操作對(duì)圖像進(jìn)行輪廓提取后的效果圖，通過(guò)觀察圖2形態(tài)學(xué)操作，首先是將圖像變換為二值圖像后進(jìn)行武術(shù)動(dòng)作輪廓提取，從圖2中可清晰地識(shí)別出動(dòng)作的邊緣圖像；將圖2與圖3進(jìn)行比較后，可以看出，圖3是運(yùn)用活動(dòng)輪廓模型法對(duì)武術(shù)動(dòng)作輪廓實(shí)現(xiàn)提取，但該方法對(duì)輪廓邊緣提取并不準(zhǔn)確，不能清楚地識(shí)別出動(dòng)作的輪廓。

由第二組實(shí)驗(yàn)的圖像（圖4～圖6）同樣可以證明運(yùn)用本文形態(tài)學(xué)操作對(duì)圖像進(jìn)行處理時(shí)，可有效地提取武術(shù)動(dòng)作輪廓邊緣，表明文中形態(tài)學(xué)操作是提取圖像輪廓邊緣的有效方法。

實(shí)驗(yàn)給出5組圖像，運(yùn)用本文形態(tài)學(xué)操作及活動(dòng)輪廓模型法對(duì)5組圖像實(shí)現(xiàn)輪廓提取處理，比較圖像輪廓提取耗時(shí)及清晰度，具體數(shù)據(jù)如表1所示。

通過(guò)觀察表1可以看出，通過(guò)給定圖像數(shù)量運(yùn)用本文形態(tài)學(xué)操作及活動(dòng)輪模型法對(duì)5組圖像實(shí)現(xiàn)輪廓邊緣特征提取，采用本文方法對(duì)5組圖像進(jìn)行處理，平均圖像輪廓提取時(shí)間在1.2 s；而利用活動(dòng)輪廓模型法對(duì)圖像進(jìn)行處理，平均圖像輪廓提取時(shí)間耗時(shí)嚴(yán)重，都在10 s以上。比較圖像輸出清晰度可以看出，本文形態(tài)學(xué)操作處理后的圖像清晰度明顯要比活動(dòng)輪廓模型法處理后的圖像清晰度高出很多，顯示本文形態(tài)學(xué)操作的性能優(yōu)越。

實(shí)驗(yàn)2：實(shí)驗(yàn)給出一組不同武術(shù)動(dòng)作樣本集，每組樣本集中包括4個(gè)動(dòng)作，通過(guò)運(yùn)用本文動(dòng)態(tài)時(shí)間規(guī)整法及運(yùn)動(dòng)歷史圖像識(shí)別法對(duì)武術(shù)動(dòng)作樣本進(jìn)行動(dòng)作識(shí)別，對(duì)比兩種方法識(shí)別動(dòng)作的成功率，具體數(shù)據(jù)如表2所示。

通過(guò)運(yùn)用本文動(dòng)態(tài)時(shí)間規(guī)整法及運(yùn)動(dòng)歷史圖像法對(duì)武術(shù)動(dòng)作集中的動(dòng)作進(jìn)行識(shí)別，從表2可以看出，采用本文方法識(shí)別動(dòng)作的成功率為95%以上，而利用運(yùn)動(dòng)歷史圖像法識(shí)別動(dòng)作的成功率為50%以下，表明本文動(dòng)態(tài)時(shí)間規(guī)整法可以有效地對(duì)武術(shù)分解動(dòng)作進(jìn)行識(shí)別。

3 結(jié) 論

由于人體動(dòng)作識(shí)別技術(shù)可廣泛地應(yīng)用于很多領(lǐng)域，因此本文提出基于圖像識(shí)別對(duì)武術(shù)分解動(dòng)作實(shí)現(xiàn)有效識(shí)別。利用基于累積邊緣圖像的形態(tài)學(xué)梯度操作對(duì)武術(shù)圖像進(jìn)行輪廓邊緣圖像特征提取，累積成為一幅圖像，計(jì)算該圖像的方向梯度直方圖，獲取圖像特征向量；運(yùn)用動(dòng)態(tài)時(shí)間規(guī)整法，計(jì)算出不同武術(shù)動(dòng)作的關(guān)節(jié)動(dòng)作變化序列，形成參考樣本集；最后將待測(cè)樣本與參考樣本進(jìn)行比照，實(shí)現(xiàn)武術(shù)分解動(dòng)作的圖像識(shí)別。

參考文獻(xiàn)

[1] 李榮，徐燕華.基于視覺(jué)信息的圖像特征提取算法研究[J].電子設(shè)計(jì)工程，2016，24（9）：188?190.

[2] 許麗娟，劉大龍.公交車(chē)危險(xiǎn)動(dòng)作視覺(jué)圖像識(shí)別仿真[J].計(jì)算機(jī)仿真，2015，32（6）：150?153.

[3] 王明良，孫懷江.基于分層運(yùn)動(dòng)姿態(tài)協(xié)方差的人體動(dòng)作識(shí)別[J].計(jì)算機(jī)應(yīng)用研究，2015，32（12）：3794?3797.

[4] 白琛，孫軍華.基于局域性約束線性編碼的人體動(dòng)作識(shí)別[J].北京航空航天大學(xué)學(xué)報(bào)，2015，41（6）：1122?1127.

[5] 萬(wàn)劍鋒，黎洪松.基于圖像識(shí)別的生產(chǎn)線零件分揀系統(tǒng)[J].現(xiàn)代電子技術(shù)，2016，39（12）：62?65.

[6] 余萍，趙繼生，張潔.基于非線性修正函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別研究[J].科學(xué)技術(shù)與工程，2015，15（34）：221?225.

[7] 林濤，柳孝云，張相芬，等.基于新的形態(tài)學(xué)梯度參數(shù)的DTI圖像分割算法[J].電視技術(shù)，2015，39（6）：5?7.

[8] 汪成峰，陳洪，張瑞萱，等.帶有關(guān)節(jié)權(quán)重的DTW動(dòng)作識(shí)別算法研究[J].圖學(xué)學(xué)報(bào)，2016，37（4）：537?544.

[9] 黃菲菲，曹江濤，姬曉飛.基于多通道信息融合的雙人交互動(dòng)作識(shí)別算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2016，26（3）：58?62.

[10] 宋健明，張樺，高贊，等.基于深度稠密時(shí)空興趣點(diǎn)的人體動(dòng)作描述算法[J].模式識(shí)別與人工智能，2015，28（10）：939?945.