張燕,王銘玥,王婕,姜愷寧,張筠晗
1.河北工業(yè)大學人工智能與數(shù)據科學學院,天津市 300130;2.鄭州大學國際學院,河南鄭州市450001
我國老齡化問題日趨顯著[1]。預計到2050 年,老年人口將超4 億。大部分老年人會出現(xiàn)嚴重的運動障礙,步態(tài)特征發(fā)生明顯變化[2-3],通過評估下肢能力可為配備相應的助行設備提供參考。有必要對老年人下肢運動能力進行量化評估[4]。
目前,一般采用評價量表和步態(tài)指數(shù)對運動能力進行評估。大部分評價量表基于《國際功能、殘疾和健康分類》標準演化而來,根據國情改進評估內容并進行等級劃分[5-6]。如日本根據身體功能、精神行動障礙等方面評估老年人活動能力,美國的評估工具最小數(shù)據庫(Minimum Data Set,MDS)和澳大利亞的養(yǎng)老護理評估表(Aged Care Funding Instrument,ACFI)等[7-9]。這些量表存在耗時長、主觀性強等弊端,且準確性主要依靠醫(yī)師的經驗和水平。此外,一些研究提出采用步態(tài)指數(shù)來實現(xiàn)病理步態(tài)的定量分析,如吉萊特步態(tài)指數(shù)(Gillette Gait Index,GGI)、步態(tài)偏差指數(shù)(Gait Deviation Index,GDI)、步態(tài)外形分數(shù)(Gait Profile Score,GPS)、步態(tài)變異指數(shù)(Gait Variability Index,GVI)和分類定向步態(tài)評分(Classifier Oriented Gait Score,COGS)等[10-13]。這些步態(tài)指數(shù)能夠準確評估運動能力,但由于采集過程和特征提取過程復雜,并不適合老年人下肢運動能力的評估。
本研究提出一種基于Xception、長短期記憶網絡(long short-term memory,LSTM) 并聯(lián)的Xception-LSTM 網絡與核主成分分析(kernel principal component analysis,KPCA)相結合的下肢運動能力評估方法。在此基礎上,建立融合步態(tài)圖像特征、膝關節(jié)角度和地面反作用力(ground reaction force,GRF)的下肢運動能力評估指標步行能力評分(gait ability score,GAS)。
2016 年8 月至2017 年3 月,選取學校和周邊社區(qū)自愿參與本研究的中老年人和年輕健康人共40例。通過威斯康辛步態(tài)量表(Wisconsin Gait Scale,WGS)對受試者進行評估。WGS 是基于步行視頻的用于評定步態(tài)異常的半主動評定方法,總分45分,分數(shù)越高,表明步態(tài)異常越嚴重。根據專業(yè)醫(yī)師的評分建議,本研究將試驗對象分為不具有任何運動障礙的20~39 歲的年輕健康人作為對照組,共20 例,WGS 評分14 分;40~59 歲的中年組共10 例,WGS 評分15~30 分;60~70 歲的老年組共10 例,WGS 評分31~45 分。中年組、老年組作為試驗組。對所有受試者進行不借助任何儀器或協(xié)助的步態(tài)信息采集。
采用Vicon MX三維步態(tài)采集設備(英國VICON公司)進行數(shù)據采集。將反光標記球固定在人體下肢的各個標記點處,通過視頻捕捉設備記錄受試者的運動狀況,得到受試者在三維空間的運動信息;通過測力板采集腳底的壓力信息。得到受試者行走時步態(tài)視頻、膝關節(jié)角度和GRF。
采用ViBe 算法對步態(tài)視頻進行預處理,提取步態(tài)輪廓圖像。采用Xception-LSTM 網絡提取步態(tài)輪廓圖像特征,并與膝關節(jié)角度、GRF 串聯(lián)成融合特征。最后經KPCA降維處理,生成GAS。
1.3.1Xception-LSTM網絡特征提取
Xception-LSTM 網絡結構是由在ImageNet 上預訓練的Xception 和LSTM 并聯(lián)結合。其中,Xception 包括14個卷積塊(Block_1~Block_14)。見圖1。
經網絡訓練,采用遷移學習,將在ImageNet數(shù)據庫上預訓練的模型參數(shù)作為Xception 的初始化參數(shù)。首先,Xception 網絡的所有卷積塊參數(shù)不動,僅訓練LSTM 網絡;然后訓練整個Xception-LSTM 模型;再根據采集的步態(tài)圖像數(shù)據集對網絡參數(shù)進行微調,以提高模型準確率和泛化能力;最后,利用神經網絡注意機制合并由Xception 和LSTM 產生的兩個特征,得到全連接層特征FC,并與膝關節(jié)角度、GRF 數(shù)據經特征歸一化后串聯(lián)融合成融合特征。見圖2。
1.3.2特征歸一化
圖1 Xception-LSTM網絡結構
圖2 Xception-LSTM特征提取與特征融合
對Xception-LSTM 提取的步態(tài)圖像特征與膝關節(jié)角度、GRF 串聯(lián)成的融合特征矩陣M=[m1,m2,...,mk]l×k歸一化,l為特征融合后的維度,k為實驗對象的人數(shù),mi為第i個受試者的融合特征。計算每一名受試者的均值μi和方差σi,將M歸一化為[0,1]范圍內的MG,公式為:
1.3.3特征降維與GAS建立
在KPCA 中,通過定義閾值(E)和方差貢獻度(VAF),確定降維后的特征維度。利用降維后的特征[c1,c2,...,ck]r×k建立GAS。
任意受試者的融合特征cα與年輕健康組融合特征向量平均值偏差為:
計算原始的GAS:
對年輕健康組的均值與方差進行Z-Score標準化:
對所有受試者,可用下式進行定量評估:
GAS ≥100,運動能力正常;GAS越小,運動障礙越嚴重。
采用SPSS 19.0 軟件進行統(tǒng)計學分析。組間GAS比較采用t檢驗,WGS 評分與GAS 進行Pearson 相關性分析。顯著性水平α=0.05。
中年組和老年組的GAS 均明顯低于年輕健康組(P<0.01),且老年組明顯低于中年組(P<0.01)。見表1。GAS與WGS評分呈負相關(r=-0.91,P <0.01)。見圖3。
表1 三組間GAS比較
圖3 GAS與WGS的相關性分析
本研究利用視頻信息和運動信息,實現(xiàn)人體運動能力客觀評價,為康復訓練方案的制定和輔助行走設備的控制奠定基礎。
人體衰老后,多種因素相互作用,造成肌肉萎縮和身體功能下降。大部分運動功能評價方法在步態(tài)分析中只用到矢狀面的下肢關節(jié)運動信息或部分關節(jié)在特定姿態(tài)下的運動信息,而人體步行過程涉及中樞命令和下肢各關節(jié)的協(xié)同運作,任何正常步態(tài)產生環(huán)節(jié)或各環(huán)節(jié)的相互聯(lián)系出現(xiàn)問題都會引起異常步態(tài)[14-15]。老年人肌肉力量下降,身體控制能力減弱,平衡穩(wěn)定性不足,行走時為避免跌倒損傷,足跟著地時會加倍小心。這種身體保護機制,導致足底壓力分布發(fā)生變化[16-17]。隨著年齡增長,膝關節(jié)和小腿的靈活性顯著下降,膝關節(jié)活動范圍變小,小腿離地擺動角速度下降,發(fā)生步態(tài)變化[18]。
卷積神經網絡(convolutional neural network,CNN)在計算機視覺、圖像識別和心電圖分類等領域成效卓然,通過大量數(shù)據訓練的CNN 能夠提取具有代表性的數(shù)據特征[19-22]。與傳統(tǒng)特征相比,高層的深度特征與低層特征結合能夠得到更具表達能力的特征信息。文獻[23]用CNN 自動提取乳腺圖像特征并結合形態(tài)和紋理特征,建立一個乳腺腫瘤分類模型,準確性很高。LSTM 作為循環(huán)神經網絡(recurrent neural network,RNN)的一種變體結構,能更好地挖掘序列時間信息[24-26]。文獻[27]將CNN 和LSTM 結合用于手勢識別,性能優(yōu)于單獨使用CNN 或LSTM。考慮到步態(tài)視頻能夠直觀反映人體運動狀態(tài),且步態(tài)圖像前后信息之間存在時序相關性,為能提取步態(tài)圖像中包含的時空特征,并有效地學習步態(tài)圖像的結構特征,本研究將CNN與LSTM結合提取步態(tài)圖像特征。
本研究提出一種基于Xception 與LSTM 結合的下肢運動能力評價方法,通過效果最優(yōu)的Xception-LSTM提取步態(tài)視頻圖像的步態(tài)特征,與膝關節(jié)角度、GRF 融合后建立步態(tài)指標對老年人的下肢運動能力進行評估。結果顯示,年齡對膝關節(jié)、GRF 等影響顯著,隨著年齡增長,各項功能均有顯著下降,GAS也明顯降低,說明GAS可以客觀量化老年人下肢運動能力。GAS 與WGS 呈顯著負相關,說明GAS 在老年人下肢運動能力評估方面的有效性與臨床相關性。
本算法通過提取步態(tài)特征并由此建立指標,使得針對老年人下肢運動能力系統(tǒng)、量化的評估成為可能。但本研究仍存在不足之處。在未來的研究當中可以增加受試者的數(shù)量,顯示各年齡段的運動能力;針對不同障礙程度的老年人,提供不同的康復指導。