霍宇飛，于隨然

(上海交通大學(xué)機(jī)械工程學(xué)院，上海200240)

1 引言

動(dòng)作識(shí)別是計(jì)算機(jī)對(duì)于人類(lèi)動(dòng)作進(jìn)行分析與理解，從而完成人體動(dòng)作識(shí)別化劃分的技術(shù)[1-2]。隨著科學(xué)技術(shù)的逐步發(fā)展，人類(lèi)已由信息匱乏的時(shí)代逐漸走向信息高度集成發(fā)展的時(shí)期，人們對(duì)于個(gè)人信息安全的重視程度逐漸提升，也成為人類(lèi)高度信息化時(shí)代發(fā)展的迫切要求。身份認(rèn)證技術(shù)成為保證個(gè)人信息安全的重要技術(shù)之一，已經(jīng)被廣泛地應(yīng)用到生活中的各種環(huán)境。尤其是人員流動(dòng)量較多或是公共安全要求較高的地區(qū)。在此技術(shù)的使用過(guò)程中，大致可分為3部分，為了提升信息安全保障技術(shù)的使用效果，多將此三部分內(nèi)容融合使用。

特征融合技術(shù)作為人工智能中的關(guān)鍵技術(shù)，具有巨大的創(chuàng)新空間與應(yīng)用價(jià)值，吸引了越來(lái)越多的企業(yè)與科研機(jī)構(gòu)的關(guān)注與研究。從動(dòng)作識(shí)別角度分析可知，人體骨骼識(shí)別大致可分為姿態(tài)數(shù)據(jù)獲取、骨架動(dòng)態(tài)數(shù)據(jù)獲取以及關(guān)鍵姿態(tài)挖掘。針對(duì)個(gè)人信息安全的要求，將姿態(tài)特征中的骨骼動(dòng)作視作人體生理骨架關(guān)節(jié)點(diǎn)之間的硬連接段的集合。目前，國(guó)內(nèi)外各類(lèi)組織和知名大學(xué)花費(fèi)了大量的精力與時(shí)間用于此技術(shù)的研究之中。許艷等人[3]為發(fā)揮深度圖像與骨骼數(shù)據(jù)的優(yōu)越性，將深度特征與骨骼特征結(jié)合進(jìn)行人體行為識(shí)別，研究特征融合的人體行為提取方法，在深度圖像方面捕捉行為線(xiàn)索，提取人體行為梯度，輪廓曲率的幾何特征;在骨骼數(shù)據(jù)方面提取運(yùn)動(dòng)節(jié)點(diǎn)的多種特征，用人體行為輪廓比，角度差和距離差表征行為形態(tài)，達(dá)到結(jié)果只與行為分布有關(guān)的目的；運(yùn)用一種多模型概率投票的識(shí)別分類(lèi)機(jī)制，減小噪聲對(duì)實(shí)驗(yàn)結(jié)果的影響，該方法能夠有效識(shí)別人體行為；但是耗費(fèi)時(shí)間較長(zhǎng)；楊凱歌等人[4]提出迭代學(xué)習(xí)控制算法追蹤人體髖關(guān)節(jié)和膝特征提取方法，結(jié)合人體下肢結(jié)構(gòu)分析，建立下肢外骨骼機(jī)器人動(dòng)力學(xué)模型，基于迭代學(xué)習(xí)控制算法建立下肢外骨骼機(jī)器人隨動(dòng)控制模型，分析收斂速度與譜半徑的關(guān)系，提取得到人體下肢髖關(guān)節(jié)和膝關(guān)節(jié)期望軌跡，但是提取準(zhǔn)確率不理想。

針對(duì)上述問(wèn)題，將數(shù)據(jù)網(wǎng)格化技術(shù)應(yīng)用于下肢骨骼提取中，以此提升下肢骨骼數(shù)據(jù)的獲取效果。在此次研究中，將完成基于特征融合的下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法設(shè)計(jì)過(guò)程，并設(shè)定相應(yīng)的案例驗(yàn)證其使用效果。

2 下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法

針對(duì)目前下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法在應(yīng)用中的不足，在此次研究中將使用特征融合技術(shù)對(duì)其進(jìn)行優(yōu)化。此次研究將下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法優(yōu)化過(guò)程設(shè)定為3部分，具體內(nèi)容如下所示。

2.1 下肢骨骼動(dòng)力學(xué)分析

通過(guò)文獻(xiàn)研究可知，人體下肢主要關(guān)節(jié)主要可分為3部分，具體功能可具體顯示如下。

表1 人體下肢主要關(guān)節(jié)功能

根據(jù)上述分析結(jié)果，在此次研究中構(gòu)建相應(yīng)的下肢骨骼動(dòng)力學(xué)模型[5]，得到相應(yīng)的動(dòng)力學(xué)分析結(jié)果。當(dāng)人體站立時(shí)，下肢呈平行直立狀態(tài)，下肢以上身體重量與下肢的壓力可設(shè)定為A1，下肢自身的重力可設(shè)定為A2，地面對(duì)下肢的支撐力可表示為B。當(dāng)人體自然站立時(shí)，下肢合力為零，則有

B=A1+A2

(1)

人體下肢肌肉的合力設(shè)定為Bj1，則有

Bj1=B=A1+A2

(2)

當(dāng)人體步行或奔跑時(shí)，下肢受力出現(xiàn)相應(yīng)的變化，此時(shí)下肢除需要承受身體的重力、自身重力以及地面支撐力外，還需要承受一個(gè)與前進(jìn)方向相反的阻力B2以及人體前進(jìn)方向的靜摩擦力c(c>B2)，此時(shí)任意下肢肌肉承受的合力可表示為

Bj2=B+c=A1+A2+c

(3)

當(dāng)人體在坡度環(huán)境中活動(dòng)時(shí)，下肢受力情況出現(xiàn)變化。當(dāng)在坡度環(huán)境運(yùn)動(dòng)時(shí)，地面對(duì)下肢的支持力B大于人體壓力A1與下肢自身重量的合力A2；當(dāng)下坡時(shí)，地面的支撐力B小于人體壓力A1與下肢自身重量的合力A2，此時(shí)則有

Bj3=B+c

(4)

根據(jù)上述公式，可對(duì)人體下肢骨骼運(yùn)動(dòng)時(shí)的做功情況進(jìn)行分析，在此部分分析中使用希爾肌肉三元素模型作為分析藍(lán)本，將E表示下肢肌肉單元所受的合力，設(shè)定并聯(lián)骨骼彈性單元上的合力為E1，串聯(lián)骨骼彈性單元上的合力為E2，骨骼運(yùn)動(dòng)單元的合力為E3則有

E3=E1

(5)

E=E2+E3

(6)

通過(guò)上述公式，對(duì)下肢運(yùn)動(dòng)時(shí)的骨骼合力進(jìn)行分析，并以此作為此次研究中的數(shù)據(jù)基礎(chǔ)。

2.2 下肢骨骼特征數(shù)據(jù)提取

在此次研究中，將使用Kinect V1設(shè)備[6-7]獲取相應(yīng)的人體圖像數(shù)據(jù)，并使用上文中設(shè)定的動(dòng)力學(xué)分析模型，獲取相應(yīng)的骨骼數(shù)據(jù)。為了保證下肢骨骼特征數(shù)據(jù)提取數(shù)據(jù)來(lái)源的穩(wěn)定性與真實(shí)性，將技術(shù)參數(shù)與運(yùn)行環(huán)境設(shè)定如下。

表2 Kinect V1設(shè)備技術(shù)參數(shù)與運(yùn)行環(huán)境設(shè)定

使用上述設(shè)備獲取人體下肢骨骼數(shù)據(jù)，針對(duì)原有方法在使用中的問(wèn)題，在此次研究中主要針對(duì)人體位移特征進(jìn)行分析與提取。設(shè)定人體下肢關(guān)節(jié)點(diǎn)為Gt=(x，y，z)t，在當(dāng)前的運(yùn)動(dòng)圖像與上一個(gè)時(shí)間點(diǎn)的位置可設(shè)定為Gt-1=(x，y，z)t-1，并計(jì)算兩點(diǎn)之間的位移。同時(shí)，計(jì)算Gt對(duì)于動(dòng)作初始狀態(tài)G0=(x，y，z)0之間的相對(duì)位移，則有

G(t1，t2)=(x，y，z)t1-(x，y，z)t2

(7)

為了降低時(shí)間延遲對(duì)數(shù)據(jù)處理結(jié)果的影響，在此次研究中使用節(jié)點(diǎn)移動(dòng)機(jī)體積[8-9]作為特征表達(dá)方式。設(shè)定下肢骨骼關(guān)節(jié)點(diǎn)為i，在人體運(yùn)動(dòng)的過(guò)程中，首先尋找對(duì)應(yīng)的關(guān)節(jié)點(diǎn)j在x，y，z軸上中的最近距離與最遠(yuǎn)距離，然后關(guān)節(jié)點(diǎn)j在坐標(biāo)系中的移動(dòng)范圍可采用下述公式體現(xiàn)

Lx=[max(xj)-min(xj)]

(8)

Ly=[max(yj)-min(yj)]

(9)

Lz=[max(zj)-min(zj)]

(10)

因此，關(guān)節(jié)點(diǎn)j的移動(dòng)體積可顯示為

Vi=LzLyLx

(11)

根據(jù)此公式，可得到人體下肢關(guān)節(jié)點(diǎn)i與關(guān)節(jié)點(diǎn)j之間的位移可通過(guò)下述公式計(jì)算

Hi，j=(x，y，z)i-(x，y，z)j

(12)

通過(guò)上述公式計(jì)算人體位移，并獲取相應(yīng)的特征數(shù)據(jù)，提高數(shù)據(jù)處理精度。

2.3 實(shí)現(xiàn)下肢骨骼數(shù)據(jù)網(wǎng)格化提取

通過(guò)處理后，得到下肢骨骼數(shù)據(jù)預(yù)處理結(jié)果。在原有方法的使用過(guò)程中，通過(guò)對(duì)數(shù)據(jù)進(jìn)行網(wǎng)格劃分，提取相應(yīng)的骨骼數(shù)據(jù)，但此方法在使用過(guò)程中，時(shí)常出現(xiàn)骨骼數(shù)據(jù)走樣的問(wèn)題，因此在此次算法設(shè)計(jì)中網(wǎng)格中值平滑濾波方法[10-11]對(duì)骨骼數(shù)據(jù)展開(kāi)處理，以此保證骨骼數(shù)據(jù)的提取精度。某關(guān)節(jié)點(diǎn)(x，y，z)作為濾波窗口的中心，并將相鄰的數(shù)據(jù)按照由大到小的順序排列，將排序后的中間值作為關(guān)節(jié)點(diǎn)(x，y，z)處的數(shù)據(jù)值。同時(shí)，將數(shù)據(jù)二維化處理，將關(guān)節(jié)點(diǎn)(x，y，z)轉(zhuǎn)化為關(guān)節(jié)點(diǎn)(x，y)，并使用高斯函數(shù)[12]對(duì)其進(jìn)行計(jì)算，具體公式如下所示

(13)

通過(guò)上述公式，完成數(shù)據(jù)濾波過(guò)程。使用原有的網(wǎng)格數(shù)據(jù)提取方法作為設(shè)計(jì)藍(lán)本，將此濾波過(guò)程與原有數(shù)據(jù)提取方法相結(jié)合。在數(shù)據(jù)提取過(guò)程中，將濾波過(guò)程中涉及的數(shù)據(jù)采用矩陣的形式體現(xiàn)，則數(shù)據(jù)濾波過(guò)程可體現(xiàn)為

(14)

其中，N為網(wǎng)格數(shù)據(jù)濾波系數(shù)，則濾波矩陣可顯示為

(15)

使用此部分優(yōu)化后的提取算法，結(jié)合上文中設(shè)計(jì)預(yù)處理部分，實(shí)現(xiàn)骨骼數(shù)據(jù)提取。至此，基于特征融合的下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法設(shè)計(jì)完成。

3 實(shí)驗(yàn)論證分析

3.1 實(shí)驗(yàn)環(huán)境設(shè)計(jì)

在上文中介紹了基于特征融合的下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法設(shè)計(jì)過(guò)程，在此部分中將上文提出方法應(yīng)用于公共數(shù)據(jù)庫(kù)中，驗(yàn)證方法對(duì)于實(shí)際問(wèn)題是否擁有處理效果，并將其與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法進(jìn)行對(duì)比。在此次實(shí)驗(yàn)過(guò)程中，將構(gòu)建相應(yīng)的實(shí)驗(yàn)平臺(tái)以便于將所提方法與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法應(yīng)用于同一環(huán)境中，控制實(shí)驗(yàn)中的變量，確保實(shí)驗(yàn)結(jié)果的可靠性。因此，選定實(shí)驗(yàn)平臺(tái)的硬件與軟件部分如下：

硬件：CPU: Dual-Core 2.66GHz

硬盤(pán)：1T

圖像捕捉設(shè)備：Kinect V1

顯卡：GeForce RTX 3090 GAMING OC 24G

軟件：控制系統(tǒng)：Windows8

數(shù)據(jù)庫(kù)：MY SQL 2016

編譯器：Visual Studio 2012

使用上述內(nèi)容，完成實(shí)驗(yàn)平臺(tái)的組裝工作，并將其應(yīng)用于此次實(shí)驗(yàn)中。將所提方法與原有方法所需的圖像預(yù)處理軟件以及數(shù)據(jù)處理軟件安裝其中。

3.2 實(shí)驗(yàn)方案設(shè)計(jì)

在此實(shí)驗(yàn)過(guò)程中，選擇動(dòng)作數(shù)據(jù)庫(kù)作為研究的對(duì)象，為此次研究提供深入圖形以及3D骨骼動(dòng)作數(shù)據(jù)。在此數(shù)據(jù)中包含10個(gè)類(lèi)別的動(dòng)作的運(yùn)動(dòng)數(shù)據(jù)，具體內(nèi)容如下：draw x、draw tick、draw circle、hand clap、forward kick、side kick、higharm wave、horizontal arm wave，hammer、hand catch。使用所提方法與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法對(duì)draw x、draw tick、draw circle、side kick、forward kick動(dòng)作中的下肢骨骼數(shù)據(jù)進(jìn)行提取，完成對(duì)比過(guò)程。

設(shè)定此次實(shí)驗(yàn)中的對(duì)比對(duì)象分為3部分，分別為：提取結(jié)果準(zhǔn)確率、數(shù)據(jù)預(yù)處理可靠性以及網(wǎng)格劃分精度，使用上述三部分完成方法與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法的對(duì)比過(guò)程。并且對(duì)比文獻(xiàn)[3]方法、文獻(xiàn)[4]方法，在此次實(shí)驗(yàn)過(guò)程中，將實(shí)驗(yàn)環(huán)境設(shè)定為光感良好與光感不佳兩部分，以此提升實(shí)驗(yàn)結(jié)果的真實(shí)性。

3.3 實(shí)驗(yàn)結(jié)果分析

圖1 提取結(jié)果準(zhǔn)確率實(shí)驗(yàn)結(jié)果

通過(guò)上述實(shí)驗(yàn)結(jié)果可知，所提方法與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法對(duì)于骨骼數(shù)據(jù)均具有較高的提取率，但提取結(jié)果的準(zhǔn)確性具有一定的差異。根據(jù)上述實(shí)驗(yàn)結(jié)果可以看出，所提方法在兩種實(shí)驗(yàn)環(huán)境中得到的提取結(jié)果準(zhǔn)確率較高且穩(wěn)定。對(duì)文獻(xiàn)[3]方法、文獻(xiàn)[4]方法在兩種不同的實(shí)驗(yàn)環(huán)境中提取的骨骼數(shù)據(jù)準(zhǔn)確性波動(dòng)較大，由此可知看出，文獻(xiàn)[3]方法、文獻(xiàn)[4]方法對(duì)于原始圖像的要求較高，且適用性較差。綜合上述實(shí)驗(yàn)結(jié)果可知，針對(duì)數(shù)據(jù)提取準(zhǔn)確度，所提方法的使用效果優(yōu)于文獻(xiàn)[3]方法、文獻(xiàn)[4]方法。

圖2 數(shù)據(jù)預(yù)處理可靠性實(shí)驗(yàn)結(jié)果

對(duì)上述圖像進(jìn)行分析可以看出，所提方法的使用效果明顯優(yōu)于傳統(tǒng)方法。在骨骼數(shù)據(jù)的預(yù)處理中，所提方法在不同的環(huán)境下，均可得到較好的數(shù)據(jù)處理結(jié)果，且數(shù)據(jù)處理時(shí)長(zhǎng)較短。文獻(xiàn)[3]方法、文獻(xiàn)[4]方法在兩種不同的實(shí)驗(yàn)環(huán)境中對(duì)骨骼數(shù)據(jù)預(yù)處理后數(shù)據(jù)可靠性出現(xiàn)波動(dòng)，且處理時(shí)間較長(zhǎng)，對(duì)于后續(xù)的數(shù)據(jù)處理與提取具有一定的影響。使用所提方法完成數(shù)據(jù)的預(yù)處理工作不會(huì)對(duì)數(shù)據(jù)提取結(jié)果造成影響。

圖3 網(wǎng)格劃分精度實(shí)驗(yàn)結(jié)果

通過(guò)上述實(shí)驗(yàn)結(jié)果可知，在此次實(shí)驗(yàn)過(guò)程中，三種不同的方法采用了不同的網(wǎng)格劃分精度。通過(guò)文獻(xiàn)研究可知，網(wǎng)格劃分密度對(duì)于數(shù)據(jù)提取精度具有一定的影響。當(dāng)網(wǎng)格密度劃分過(guò)細(xì)時(shí)，數(shù)據(jù)提取精度得到提升，但計(jì)算速度下降；當(dāng)網(wǎng)格密度劃分過(guò)粗時(shí)，數(shù)據(jù)提取精度較差，其計(jì)算速度得到提升但效果不佳。綜合分析可以看出，所提方法的網(wǎng)格劃分精度適中，且數(shù)據(jù)提取能力較佳。與此同時(shí)，所提方法可根據(jù)動(dòng)作的特征，對(duì)網(wǎng)絡(luò)劃分精度進(jìn)行調(diào)整。文獻(xiàn)[3]方法、文獻(xiàn)[4]方法網(wǎng)格劃分結(jié)果為固定精度，對(duì)于不同動(dòng)作數(shù)據(jù)提取過(guò)程的適配性較低。由此可知，此方法網(wǎng)格劃分精度較佳。

綜合提取結(jié)果準(zhǔn)確率實(shí)驗(yàn)結(jié)果、數(shù)據(jù)預(yù)處理可靠性實(shí)驗(yàn)結(jié)果以及網(wǎng)格劃分精度實(shí)驗(yàn)結(jié)果可知，所提方法在使用過(guò)程中可獲得較好的實(shí)驗(yàn)結(jié)果且其適配性較高，可使用此方法作為骨骼數(shù)據(jù)提取的主要方法。

4 結(jié)束語(yǔ)

人體的動(dòng)作識(shí)別在計(jì)算機(jī)視覺(jué)領(lǐng)域中是一項(xiàng)具有挑戰(zhàn)性的重要研究項(xiàng)目。深度相機(jī)的出現(xiàn)與特征融合技術(shù)的進(jìn)步很好地解決了下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法在日常使用過(guò)程中的不足。為了更好、更精確地識(shí)別出人體動(dòng)作，在此次研究中完成了基于特征融合的下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法。通過(guò)算法測(cè)試可以看出此次研究設(shè)計(jì)結(jié)果具有一定的使用效果，在日后研究中可使用此方法提取人體下肢骨骼數(shù)據(jù)，為人體的動(dòng)作識(shí)別提供更加精確的數(shù)據(jù)。