王 琦，王慶明，周志勇，楊 杰

(1. 上海電機學(xué)院設(shè)計與藝術(shù)學(xué)院，上海 200240；2. 華東理工大學(xué)機械與動力工程學(xué)院，上海 200237)

1 引言

軀干的肌肉活動能反映行為控制意圖、病變、疲勞等多類信息，用途廣泛。但對軀干部位的表面肌電測量受到出汗和體表延展影響，很難保持穩(wěn)定。而內(nèi)層軀干肌肉更難測量。因此，在應(yīng)用領(lǐng)域，常根據(jù)運動信息，采用有限元模型預(yù)測軀干肌肉行為。由于軀干肌肉結(jié)構(gòu)和神經(jīng)控制機制非常復(fù)雜、相關(guān)預(yù)測一直是人體仿真領(lǐng)域的難點[1]。

專用力學(xué)模型和有限元分析方案，包括主要人體有限元分析軟件，是根據(jù)基于逆向力學(xué)規(guī)則的推理思路建立的。部分軟件針對彎腰放松等人體現(xiàn)象進(jìn)行過矯正，能在非對稱條件下預(yù)測全身肌肉、骨骼、筋膜的力學(xué)狀態(tài)。ANYBODY等軟件提供的假人可預(yù)測深層肌肉和其它人體組織的發(fā)力狀態(tài)，這是包括人工神經(jīng)網(wǎng)絡(luò)在內(nèi)的其它方法很難實現(xiàn)的[2]。

但軀干的肌肉控制方式在拮抗和彎腰放松兩種機制間轉(zhuǎn)換。轉(zhuǎn)換原因與手部操作目的和個體特性密切相關(guān)。ANYBODY提供的全細(xì)節(jié)有限元假人雖然可以分別模擬拮抗?fàn)顟B(tài)和彎腰放松狀態(tài)下的軀干肌肉發(fā)力，但無法確認(rèn)軀干肌肉在某一時刻處于哪一種狀態(tài)。事實上，基于逆向動力學(xué)的有限元分析方法在預(yù)判個體軀干行為的發(fā)力方式時，偏差普遍較大。僅憑運動信號預(yù)測彎腰工作時段內(nèi)椎旁肌的活動程度，其曲線形態(tài)可能與實測曲線有很大差異。

手部操作、維持平衡，甚至對精確操作的心理預(yù)期，都會造成軀干肌肉發(fā)力狀態(tài)切換[3]。而這些觸發(fā)條件很難通過運動信號監(jiān)測獲得。因此，如果基于長短時人工神經(jīng)網(wǎng)絡(luò)的方法，記憶個體行為特征，識別并標(biāo)注一組軀干肌肉的發(fā)力狀態(tài)，選出特定行為時段作為針對性的訓(xùn)練集，則可望提高軀干肌肉行為的預(yù)測精度。

長短時記憶網(wǎng)絡(luò)(Long Short Term Memory，LSTM)和條件隨機場(conditional random field，CRF)可記憶長時間內(nèi)的行為特征，對軀干肌肉活動進(jìn)行分類和標(biāo)注，解決長時間軀干肌肉行為監(jiān)測過程中的梯度失控問題。LSTM無法對標(biāo)注標(biāo)簽的轉(zhuǎn)移關(guān)系進(jìn)行建模，可能造成錯誤的動作排列編碼[4]。CRF被用來限定動作內(nèi)部的編碼排列規(guī)則。在中文識別領(lǐng)域，此構(gòu)架可以限制句內(nèi)的詞排列，實現(xiàn)最合理的條件概率分配。類似的，LSTM-CRF被用于識別并標(biāo)注由聚類號碼組成的軀干肌肉行為[5]。

但LSTM-CRF構(gòu)架難以直接基于高頻肌電信號識別軀干行為。軀干肌肉具有多重角色和多層結(jié)構(gòu)。肌電信號采樣率較高，又涉及多通道，信號含義不直觀，計算量隨記憶內(nèi)容的迭代而快速累積[6]。

本研究的目的是利用LSTM-CRF構(gòu)架，分別并標(biāo)注出軀干肌肉發(fā)力狀態(tài)，再根據(jù)分類結(jié)果，調(diào)整有限元假人速度，來模擬不同細(xì)分時段內(nèi)的軀干肌肉活動狀態(tài)，校正軀干肌肉發(fā)力狀態(tài)。為此，先利用兩步聚類完成肌電信號分組，把通過實驗測得的4通道椎旁肌肌電信號預(yù)簡化成時序編碼，為引入LSTM-CRF構(gòu)架提供含義明確的低頻輸入信號。

2 方法

2.1 數(shù)據(jù)采集

考慮到軀干肌肉發(fā)力機制會因為手部動作而轉(zhuǎn)換，選擇了伴有單手準(zhǔn)確操作的彎伸腰動作。7名男性實驗對象按照預(yù)設(shè)工作目標(biāo)，把重物從支架上的120cm處位置，依次拿到80cm和37cm處，再送回80cm處和120cm高度的出發(fā)點。單次實驗中，3個位置共被觸碰5次，水平位置不變。以右手砝碼重量、腳前后間距和左手支撐為自變量，測量4處椎旁肌肌電信號和右斜方肌。

實驗對象在助手的協(xié)助下完成法律程序、人體定位、測量步驟和最大自主收縮測量測量。改換右手持物重(0-2kg)、足前后間距(5-40cm)、及左手支撐條件等自變量。同步測量肌電信號和全身共23處反光點的運動信號。測量位置為ANYBODY全筋骨假人的腰最長肌肌束的中間束和髂肋肌中間束，其位置如圖1。

圖1 腰部肌束及測量位置示意

實驗測量以上肌肉時，最長肌的測量電極放置在L1腰椎棘突位置中線的外側(cè) 3cm處，方向與最長肌肌束一致。髂肋肌的測量電極處于距L3腰椎棘突外側(cè)6cm處，平行于髂后上棘突與第12 肋骨外側(cè)緣的連線。盡量讓實測與預(yù)測的肌束位置完全相同。實測場景如圖2。

圖2 實測場景

各點運動信號和肌電信號以C3D格式被導(dǎo)入KineAnalyser(6.5)。用該軟件提供的骨骼假人連接各人體反光點，建立描述脊椎彎曲的角度1和描述上臂部位姿態(tài)的角度2。Clementine提供的肌電信號成因分析結(jié)果說明，角1和角2與彎伸動作中的所測肌電信號聚類結(jié)果有較高的相關(guān)性。

對比不同肌電數(shù)據(jù)特征的聚類精度，研究選用快速傅立葉變換中值(FFT-Median)作為肌電數(shù)據(jù)特征。補償系統(tǒng)延時6ms、高低通范圍設(shè)為30-500HZ。為除去心電干擾，此高通值比正常肌電信號采集略高。每秒每個肌電采集信道產(chǎn)生1000個時間序列[7]。

輸入已測好的各椎旁肌和右斜方肌的最大自主收縮值(MVC)，利用KineAnalyser(6.5)軟件完成肌電信號歸一化。根據(jù)KineAnalyser輸出的人體各點運動坐標(biāo)驅(qū)動ANYBODY筋骨假人的關(guān)節(jié)位置，令筋骨假人的行為與人體實驗行為一致。運行ANYBODY，計算兩側(cè)最長肌、兩側(cè)髂肋肌、右側(cè)斜方肌的激活百分比。

2.2 兩步聚類

Peter Kent等人的對比研究把聚類方法的可重復(fù)性、易用性和結(jié)果的可解釋性被分別作為對比標(biāo)準(zhǔn)。在SNOB 聚類、SPSS modeler LCA、Latent-Gold三種聚類算法中，兩步聚類具有最高的可重復(fù)性、高可解釋性[8]。

利用Clementine軟件的兩步聚類模塊完成聚類步驟，把4通道的高頻椎旁肌肌電信號簡化為1維低頻信號，作為LSTM層的輸入，令LSTM分類可以在盡量久的時間內(nèi)保持記憶信息。雖然動作速度不限，全部7人在所有彎腰操作任務(wù)中，表現(xiàn)出完全相同的聚類分組結(jié)果。這種高可重復(fù)性的分組，便于不同實驗對象間的數(shù)據(jù)對比，不受時間軸差異困擾。

經(jīng)驗證，通過調(diào)整聚類分組數(shù)，實現(xiàn)了意義直觀的分組。聚類結(jié)果邊界點與軀干肌電曲線的關(guān)鍵點有實時對應(yīng)關(guān)系，說明可以從兩步聚類步驟中直觀解讀出彎伸腰動作的不同階段，這些階段的邊界意義明確，可以理解各階段間的邏輯關(guān)系，對LSTM-CRF步驟的應(yīng)用有重要意義。

各被測肌肉的肌電曲線拐點與聚類結(jié)果邊界存在準(zhǔn)確無延時的對應(yīng)關(guān)系，且各段含義明確，因此可以挑選并去掉沒有明顯軀干肌肉活動的時段，在通過LSTM和CRF步驟確認(rèn)所有行為含義并完成標(biāo)注后，去除表示無關(guān)行為的時段。

把4處椎旁肌肌電信號作為聚類的輸入信號，并調(diào)節(jié)前述聚類分組數(shù)量，直到分組結(jié)果符合劃分期望。圖3說明了兩步聚類結(jié)果和肌肉活動之間的關(guān)系。當(dāng)最小聚類分組數(shù)為3-7時，聚類邊界點與軀干行為輸出可見實時對應(yīng)關(guān)系，聚類邊界點與各肌肉發(fā)力曲線拐點的關(guān)系如圖3。

圖3 右髂肋肌信號預(yù)測

每0.2秒對全部信號重復(fù)兩步聚類計算一次。兩對側(cè)的4個椎旁肌的肌電信號作為兩步聚類步驟的輸入，圖3中的聚類分組號為2時段的代表無動作，被去除。剩余時段內(nèi)的各聚類分組號被作為LSTM的輸入信號。

圖4表述的是兩個彎伸循環(huán)內(nèi)的不同細(xì)分程度的聚類結(jié)果。增加分組數(shù)設(shè)定產(chǎn)生的聚類結(jié)果可呈現(xiàn)更多細(xì)節(jié)，但也會造成其含義難以理解。

兩個彎伸循環(huán)內(nèi)，最小聚類數(shù)設(shè)定為3和4的聚類結(jié)果如圖4所示。

圖4 不同分組數(shù)設(shè)定產(chǎn)生的聚類結(jié)果

應(yīng)用中，使用Clementine的兩步聚類模塊，令最小聚類分組數(shù)由3逐步增加，直到無法理解聚類結(jié)果。

2.3 LSTM-CRF行為標(biāo)注

基于對4處椎旁肌肌電信號的聚類結(jié)果，使用Keras預(yù)測框架實現(xiàn)對軀干行為的LSTM-CRF標(biāo)注。在最小聚類分類數(shù)設(shè)為5的情況下，第一層級分組號在去除無動作部分信號后，還有5個標(biāo)簽。某一時刻的一組聚類分組號作為LSTM層的輸入信號，用wi表示。聚類每0.2秒重復(fù)1次，因此wi每0.2秒刷新1次。

經(jīng)過標(biāo)注獲得5種行為標(biāo)簽，分別由5種聚類分組號表示，對應(yīng)彎腰開始類、彎腰非開始類、觸摸工作類、伸腰類、放松類。用A1、A3、A4、A5、A6來表示。圖3所示的動作標(biāo)簽為613541。LSTM-CRF構(gòu)架的基本流程如圖5。

圖5 聚類分組號標(biāo)注流程

由圖5可見，以聚類分組號(wi)作為輸入，隨著時間推移，由LSTM層提供這些分組號劃分入各A1-A6各類的概率。各個聚類分組號被標(biāo)注為某類動作的概率，被用作CRF的輸入。CRF層可以在訓(xùn)練過程中自動學(xué)習(xí)獲得單個行為中聚類分組號的排列規(guī)則，來確保該排列結(jié)果是正確的。比如分組號4和分組號5不能相鄰。動作中的第一個分組號1、4，不能是代表伸腰的分組號5。

CRF層的真實路徑就是動作預(yù)測中實際選用的動作類，一個動作類由5種聚類分組號排列組合而成，真實路徑就是符合規(guī)則的所有路徑中，概率最大的一條。將 LSTM-CRF 的輸出概率作為5維狀態(tài)特征向量，表示為式(1)

(1)

其中Pij表示字xi分類到第j個標(biāo)簽的打分值，Aij表示從第i個標(biāo)簽到第j個標(biāo)簽的轉(zhuǎn)移得分。H為LSTM的輸出。

Score(w，y)可以分解為兩個部分，一部分是狀態(tài)特征，一部分是轉(zhuǎn)移特征，將LSTM 的輸出概率作為狀態(tài)特征向量。

通常，利用Softmax進(jìn)行歸一化求出某個標(biāo)注結(jié)果的概率Softmax：使用式(2)

(2)

式(2)表示所有可能路徑對應(yīng)分?jǐn)?shù)的指數(shù)和，將得分轉(zhuǎn)化為代表這個聚類分組號屬于某個行為的概率，概率和為1。

基于Keras模型的實現(xiàn)步驟框架如圖6。

圖6 基于Keras的LSTM-CRF實現(xiàn)步驟

2.4 結(jié)果及其評價

對3個實驗對象的9次非對稱單手操作實驗的標(biāo)注，以F1值(F-Measure)為結(jié)果評價指標(biāo)。F1值的均值是91.37%。Precision的均值為90.27%，recall的均值92.51%。

以上結(jié)果是基于限定的工作任務(wù)獲得的。在改變實驗各自變量設(shè)置的情況下，聚類結(jié)果和最終標(biāo)注結(jié)果始終保持穩(wěn)定。但實驗已經(jīng)給定手部操作任務(wù)，無失衡現(xiàn)象發(fā)生，以確認(rèn)軀干肌肉的具備發(fā)力方式未發(fā)生意外變化。實驗和文獻(xiàn)都證明手操作和失衡可能直接通過切換神經(jīng)系統(tǒng)控制方式，令軀干肌肉發(fā)力方式發(fā)生迅速變化，引起難以預(yù)料的軀干肌肉行為，改變彎腰行為時段內(nèi)的聚類結(jié)果。

預(yù)先聚類步驟完成后，LSTM的總參數(shù)量大大降低，參數(shù)量隨迭代次數(shù)增長和積累的速度得到極明顯減低，且聚類分組號組成的行為類別符合特定排列規(guī)則。由于兩步聚類結(jié)果具有明確含義，可依照各時段含義去除冗余時段。這一特點十分適合長時間跨度內(nèi)的低頻軀干行為識別。

2.5 有限元模型校正

2.5.1 有限元預(yù)測

ANYBODY 軟件提供的筋骨假人基于逆向動力學(xué)平衡公式和多類校正模型建立，具有全部骨骼、骨骼肌、韌帶等細(xì)分組織結(jié)構(gòu)，骨骼肌還細(xì)分為不同層級的肌束，這種全面深入的預(yù)測能力是直接測量等其它方法無法實現(xiàn)的。該假人已根據(jù)彎腰放松現(xiàn)象進(jìn)行過優(yōu)化。運行ANYBODY假人的人體平衡公式，可獲得全身肌肉狀態(tài)。預(yù)測結(jié)果對個體行為特征的敏感度差，僅反映基本的逆向力學(xué)計算結(jié)果。未校正情況下，部分軀干肌肉在連續(xù)彎伸動作中的預(yù)測結(jié)果如圖7。

圖7 未校正的右側(cè)肌肉狀態(tài)有限元預(yù)測結(jié)果

彎腰動作的模擬結(jié)果按照肌肉狀態(tài)分兩類。所謂第一類狀態(tài)指靜態(tài)控制狀態(tài)，筋骨假人的肌肉發(fā)力處于緊張的拮抗?fàn)顟B(tài)，研究中直接按照LSTM-CRF的劃分出的時段，模擬16個靜止平衡姿態(tài)獲得。伸腰時各時段示意如圖8：

圖8 伸腰各靜態(tài)平衡狀態(tài)下的姿態(tài)

隨著彎伸速度增加，筋骨假人的軀干肌肉表現(xiàn)出彎腰放松現(xiàn)象，達(dá)到極限情況時用于平衡軀干的力完全由軟組織和筋膜承擔(dān)，也就是完全由彎腰放松現(xiàn)象主導(dǎo)，這種狀態(tài)下軀干肌肉放松，稱為第二類狀態(tài)。狀態(tài)間的轉(zhuǎn)化過程是連續(xù)漸進(jìn)的。第一類狀態(tài)用各聚類分組時段內(nèi)的靜止?fàn)顟B(tài)來模擬，其結(jié)果是離散的。在每一個平衡狀態(tài)，完全靠肌肉平衡彎腰力矩。肌肉發(fā)力百分比與脊椎彎曲角度正相關(guān)。而第二類模擬連續(xù)彎腰過程，曲線形態(tài)正相反。左側(cè)最長肌和髂肋肌的實測和兩類預(yù)測結(jié)果如圖9、10。

圖9 左最長肌與兩類模擬結(jié)果對比

圖10 左髂肋肌實測與兩類模擬結(jié)果比對

實測彎伸動作中，全部4處被測肌肉的肌電信號曲線處于預(yù)測的“u”形和“n”形之間。因為手部操作，還造成的肌肉活動的短暫峰值。

2.5.2 模型校正

在各單一聚類號所代表的時段內(nèi)，通過調(diào)整假人的彎伸腰速度，以實現(xiàn)肌肉發(fā)力調(diào)節(jié)的目的。保持動作過程中的假人運動路徑，由實測的運動狀態(tài)開始，逐步調(diào)節(jié)假人的整體動作速度，直到各椎旁肌發(fā)力預(yù)測結(jié)果符合該時段聚類分組號表示的肌肉發(fā)力狀態(tài)。

預(yù)測采用步驟如下：首先，按照LSTM-CRF步驟給出的以聚類分組號，逐個號碼時段校正軀干行為。操作中，根據(jù)標(biāo)注結(jié)果調(diào)節(jié)全筋骨假人的彎伸腰速度，該速度分為5種水平，分別對應(yīng)前述5種由聚類分組號代表的發(fā)力水平。

彎伸動作實測曲線與標(biāo)準(zhǔn)的“n”或“u”形曲線的Spearman相關(guān)系數(shù)低于0.75時，說明控制方式不確定。相關(guān)系數(shù)高于0.75的情況下，則已確認(rèn)發(fā)力模式。但考慮到手部操作的劇烈影響，仍需要完成校正步驟。

2.5.2 校正結(jié)果驗證

右斜方肌被用于驗證此方法對其它肌肉的校正效果。斜方肌呈扇形。前述實驗過程中，已選取第3主要肌束的中間位置進(jìn)行測量，也就是肩峰和C7頸椎連線上的肌腹最豐滿處，這與有限元預(yù)測肌束一致，如圖11所示。

圖11 右斜方肌預(yù)測肌束

右手持1kg重物，在一個彎伸運動循環(huán)中，經(jīng)過標(biāo)準(zhǔn)化的斜方肌活動實測曲線與經(jīng)過矯正及未經(jīng)校正的預(yù)測值如圖12所示。

圖12 單循環(huán)內(nèi)右斜方肌預(yù)測與實測對比

可見，校正后的右斜方肌預(yù)測值雖僅能用各段離散值表示，但如果連為曲線，與實測肌電曲線的相關(guān)性遠(yuǎn)高于未校正的預(yù)測曲線，對于手部行為特征敏感，可明顯可反映個體特征。

3 結(jié)語

在實驗給定自變量變化范圍內(nèi)，兩步聚類步驟和分類步驟令肌電信號的時段、頻率和通道數(shù)得到極大降低。因而可以在更長時間跨度內(nèi)記憶一組軀干肌肉行為特征。全部實驗對象的兩步聚類結(jié)果反映出很強的可重復(fù)性，基于LSTM-CRF構(gòu)架的標(biāo)注結(jié)果直觀可理解。研究方法兼具長時間內(nèi)的多軀干肌電信號分類能力和全肌肉骨骼受力預(yù)測能力?？梢栽陬A(yù)定任務(wù)內(nèi)校正肌肉或其軟組織受的力狀態(tài)。尤其適合在長時間跨度內(nèi)識別低頻人體行為，可用于人機交互設(shè)計、交互診斷等廣泛領(lǐng)域。