邱妍妍,高 增
(1. 蘭州財經(jīng)大學隴橋?qū)W院,甘肅 蘭州 730000;2. 蘇丹依德利斯師范大學,馬來西亞 35900)
步態(tài)主要是指人們行走時的姿態(tài),是在遠距離可監(jiān)視的唯一行為特征[1]。異常步態(tài)活動圖像序列識別技術(shù)的研究主要用于人體行為檢測及預(yù)測,或記錄行走路徑,防止走丟等。通常步態(tài)行為特征具有明顯的協(xié)同性,因此當步態(tài)處在一定的異常行為狀態(tài),如摔倒、疾病突發(fā)、走失等情況發(fā)生,常伴有明顯的行為特征變化。
常規(guī)改變的主要有動作、位置、表情等生理參數(shù),因此對異常步態(tài)活動圖像進行收集和整理和分析,有利于正確判斷異常行為狀態(tài),對人體起到保護作用[2]。目前具有代表性的識別方法主要有以下幾種:張昊[3]提出基于動態(tài)二維圖像序列的三維步態(tài)識別方法探究。利用動態(tài)二維圖像序列指代當前三維步態(tài)的不同部分,完成異常步態(tài)識別。該方法步驟較為復(fù)雜;何正義[4]等專家提出一種集成卷積神經(jīng)網(wǎng)絡(luò)和深信網(wǎng)的步態(tài)識別與模擬方法。根據(jù)步態(tài)信號方向和角度變化處理圖像序列,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)識別圖像序列,該方法識別精度相比前一種方法較好,但仍不理想。宋相法[5]等專家提出基于L(2,1)范數(shù)稀疏特征選擇和超法向量的深度圖像序列行為識別方法。將行為特征轉(zhuǎn)化為L(2,1)范數(shù)稀疏特征,計算L(2,1)范數(shù)稀疏特征的超法向量,識別深度圖像的序列。該方法在計算過程中,易出現(xiàn)誤差,導(dǎo)致識別精度較低。
針對上述問題,提出一種基于低秩分解的異常步態(tài)活動圖像序列識別方法。并進行仿真,驗證了該方法的優(yōu)越性。
為了描述步態(tài)運動過程,需要提前設(shè)定步態(tài)歷史圖像序列,作為標準運動序列。
設(shè)當前用B(x,y,t)用于表示當前檢測獲取的二值化圖像序列,在此次設(shè)計中,步態(tài)歷史運動軌跡圖像可表示為
(1)
式中,n為軌跡點標準整數(shù),t為運動時間。由此可見步態(tài)歷史圖像序列中每個像素數(shù)據(jù)均可以看做是當前目標點運動歷史函數(shù)。而且越趨近于原始像素,其函數(shù)值越大。圖像序列灰度的變化可以體現(xiàn)出當前步態(tài)運動方向[6]。步態(tài)歷史圖像的生成可以較好地將空間特征和時間信息體現(xiàn)在活動圖像上,也就是在空間上較好地表達了當前步態(tài)活動的位置和區(qū)域,也可以在實踐軌跡上描述當前步態(tài)運動的發(fā)生情況[7]。
根據(jù)上述建立的步態(tài)運動圖像,圖像序列中的運動行為就可以進行數(shù)據(jù)量化,用圖像向量表示[8]。根據(jù)這一特性可對當前圖像序列特征進行提取。目前常用的圖像特征提取方法一般需要基于矩函數(shù)的特征向量[9],這種方法不僅需要計算當前圖像序列下的輪廓像素點,還需要計算當前形狀的所有像素點。
對于像素點矩函數(shù)特征的識別,需選擇Zernike矩作為識別方法[10]。對于當前計算機獲取的數(shù)字圖像,可以用積分用求代替,設(shè)p(x,y)是圖像的基礎(chǔ)序列,則結(jié)合式(1)得到歷史運動軌跡圖像序列特征提取結(jié)果為
(2)
其中x2+y2≤1,Vmn(x,y)為像素值多項式,m的取值范圍為非0的正整數(shù)。Zermike矩的計算公式必須將圖像中心進行平移,最終需要與向量數(shù)據(jù)的原點坐標重合,以此將圖像像素點映射到單位圓內(nèi),完成特征向量數(shù)據(jù)提取。
在圖像序列的特征向量數(shù)據(jù)提取完畢后,當前步態(tài)活動圖像序列已經(jīng)完成了初步數(shù)據(jù)篩選,且所有數(shù)據(jù)格式均為向量格式時,還需充分考慮異常步態(tài)活動圖像中數(shù)據(jù)所受的噪聲因素,由此提高識別精度。導(dǎo)致傳統(tǒng)識別方法識別精度較低的核心原因就是缺乏結(jié)構(gòu)化的步態(tài)活動圖像序列特征向量數(shù)據(jù)去噪過程。對此考慮,完成圖像序列特征向量數(shù)據(jù)的去噪。
在矩陣低秩表示理論中,給定輸入的步態(tài)活動圖像特征矩陣F,它可以分解為以下兩個部分:表示背景區(qū)域的低秩矩陣L和表示當前目標區(qū)域的稀疏矩陣S。在進行序列目標檢測過程中,用于消解圖像序列噪點,檢測顯著性目標矩陣的低秩表示模型可以轉(zhuǎn)換為非凸優(yōu)化問題。
假設(shè)當前輸入圖像x被劃分為n個非重疊像素序列P={P1,P2,…Pn}。從每個圖像序列中提取當前步態(tài)的特征維向量,xi∈R。則x可以有多個特征向量表示為F={x1,x2,…xn}。設(shè)計矩陣低秩表示模型,可以將當前的異步特征數(shù)據(jù)矩陣進行低秩分解,獲取低秩矩陣L也就是當前圖像的背景區(qū)域和稀疏矩陣S也就是當前異步顯著目標。
因此通過最小化獲取更小矩陣R的核范數(shù),構(gòu)建結(jié)構(gòu)化矩陣低秩表示模型
D(z)=F(min(L)Pn+λS)
s.t.F=L+S
(3)
其中,S表示當前矩陣的核范數(shù),λ為矩陣奇異值的和值。根據(jù)非結(jié)構(gòu)化的稀疏誘導(dǎo)范數(shù)例對目標區(qū)域的稀疏矩陣S進行圖像序列系數(shù)約束,將系數(shù)約束應(yīng)用到結(jié)構(gòu)化矩陣低秩表示模型中,充分完成了圖像序列特征向量數(shù)據(jù)的去噪過程。
對去噪后的圖像序列特征向量數(shù)據(jù)進行Curvelet特征轉(zhuǎn)化,能夠得到異常步態(tài)活動圖像序列識別進行關(guān)鍵細節(jié)處理后的形變約束,根據(jù)形變約束可實現(xiàn)最終的圖像序列識別。其具體步驟如下:
利用Curvelet算法選取出異常步態(tài)活動圖像序列的待識別樣本
(4)
其中,Svj為當前步態(tài)旋轉(zhuǎn)角度信息,Vk為當前轉(zhuǎn)換函數(shù),ω為結(jié)構(gòu)化系數(shù),d為超像素對數(shù),b為相鄰超像素值的數(shù)據(jù)對集合。在數(shù)據(jù)轉(zhuǎn)化過程中,需要填入當前步態(tài)空間數(shù)據(jù)位置在笛卡爾空間坐標中的系統(tǒng)描述,一般取值范圍為u1>0,u2>p,p表示當前空間位置參數(shù)值。則經(jīng)過Curvelet轉(zhuǎn)換待識別樣本公式如下
(5)
式中,DE(k,m,l)是Curvelet轉(zhuǎn)換參數(shù),E屬于動態(tài)數(shù)據(jù)系數(shù),k屬于當前步態(tài)相關(guān)數(shù)據(jù)的權(quán)值參數(shù)。想要完成全步態(tài)動作的數(shù)據(jù)轉(zhuǎn)換,則需要利用US轉(zhuǎn)換和WS轉(zhuǎn)換。
利用上述兩種轉(zhuǎn)換方式進行Curvelet特征轉(zhuǎn)化可以用同一的描述模型,空間坐標相互關(guān)系均可以使用P(q2)表示,轉(zhuǎn)換計算步驟的系數(shù)可以使用P(q2lnq)表示。這兩種轉(zhuǎn)換方法的區(qū)別在于US轉(zhuǎn)換所包含的背景區(qū)域圖像會存在步態(tài)轉(zhuǎn)角的偏度,其可靠系數(shù)數(shù)值一般較大,而WS轉(zhuǎn)換方式則不會出現(xiàn)角度偏轉(zhuǎn)具體過程如下:
其次需要對全部步態(tài)數(shù)據(jù)相關(guān)數(shù)據(jù)值和圖像坐標系統(tǒng)的分類量進行區(qū)域化處理,利用以下公式獲取數(shù)值
g=δE(l)X(Vk,u,g)[q1,q2]
(6)
(7)
(8)
因為異常步態(tài)的不可避免會出現(xiàn)形變因素,上述利用Curvelet和2DPCA完成了數(shù)據(jù)的轉(zhuǎn)換,將轉(zhuǎn)換數(shù)據(jù)組成一個參數(shù)集合,{Yj,zj}表示,其中j=1,2,…,e,Yj是指在動態(tài)圖像序列中,序列號是j圖像的實際系數(shù),如果zj的實際取值是1,那么代表該圖像的序列為特征序列,反之則不是。根據(jù)3D渲染依靠數(shù)據(jù)系數(shù)排列可以劃分為紅色約束區(qū)域和綠色約束區(qū)域,制定特征數(shù)據(jù),輸入對當前數(shù)據(jù)進行圖像的SVW處理,將步態(tài)關(guān)鍵點轉(zhuǎn)換為坐標系統(tǒng)點,獲取關(guān)鍵細節(jié)特征,理想平面圖像的數(shù)據(jù)參數(shù),其求解出的圖像序列識別值如下
(9)
將上述參數(shù)作為圖像數(shù)據(jù)的衡量標準,從而獲取數(shù)據(jù)約束
zj=[X,γ(Yj)-c]-ψj>1
(10)
其中,ψ>0,j=1,2,…e,最終可以求出理想的異常步態(tài)活動圖像序列識別函數(shù)如下
(11)
綜上所述,通過實現(xiàn)當前異常步態(tài)活動圖像序列的關(guān)鍵特點和去噪處理,即可提取點空間坐標參數(shù)內(nèi)積,完成圖像序列的識別。
為了驗證基于低秩分解的異常步態(tài)活動圖像序列識別方法的有效性,進行仿真測試。在當前異常步態(tài)活動圖像序列特征數(shù)據(jù)集MSR ACTION3D_0.1行為數(shù)據(jù)集上進行實驗。該數(shù)據(jù)集共包括20種步態(tài)行為數(shù)據(jù),每種行為數(shù)據(jù)均由5位表演者表演2次所取得平均值。為了保證序列數(shù)據(jù)識別的公平性,實驗設(shè)置與文獻中的數(shù)據(jù)方法完全相同,數(shù)據(jù)集中一般作為訓(xùn)練樣本,一般作為測試樣本。采用以往所最長用的超法向量特征參數(shù)作為參數(shù)設(shè)置,其中字典D中的數(shù)據(jù)值為100,正參數(shù)取值為0.17。圖2給出了實驗原始圖像。根據(jù)圖1所示的歷史軌跡圖像進行如下測試實驗。
圖1 原始歷史軌跡圖像
選取文獻[3]方法、文獻[4]方法與所提方法進行對比實驗,測試方法的識別精度。圖像序列特征向量數(shù)據(jù)的識別率直接影響識別精度,識別率越高,識別精度越高。經(jīng)過實驗,得到測試對比結(jié)果如圖2所示:
圖2 三種不同方法的識別率對比結(jié)果
根據(jù)圖2數(shù)據(jù)可知,文獻[3]方法的圖像序列特征向量數(shù)據(jù)的識別率約為45%,最大識別率為58%;文獻[4]方法的圖像序列特征向量數(shù)據(jù)的識別率約為23%,最大識別率為35%;所提方法的圖像序列特征向量數(shù)據(jù)的識別率約為90%,最大識別率為96%。對比實驗結(jié)果得出,所提方法的識別率近乎是文獻[3]方法和文獻[4]方法識別率的一倍。充分說明所提方法的識別率更高,識別精度更高,具有優(yōu)越性。
所提方法中基于Zermike矩的圖像序列特征提取這一步驟,其提取準確度對整個方法的識別精度起到?jīng)Q定性的作用。為此,分別對文獻[3]方法、文獻[4]方法和所提方法的序列提取準確度進行測試,得到三種不同方法的對比結(jié)果如圖3所示。
圖3 三種不同方法序列提取準確度對比
根據(jù)圖3中的數(shù)據(jù)可以分析出,采用文獻[3]方法對圖像序列進行提取,在第10次實驗時出現(xiàn)最大提取準確度為58%,10次實驗的平均序列提取準確度約為40%;采用文獻[4]方法對圖像序列進行提取,也是在第10次實驗時出現(xiàn)最大提取準確度為61%,10次實驗的平均序列提取準確度約為45%;采用所提方法對圖像序列進行提取,依然是在第10次實驗時出現(xiàn)最大提取準確度為80%,10次實驗的平均序列提取準確度約為76%。對比三種不同方法的序列提取準確度可得出,所提方法的圖像序列提取準確度遠遠高于文獻[3]方法和文獻[4]方法的序列提取準確度,說明所提方法的識別過程具有更準確地步驟基礎(chǔ),驗證出所提方法的識別精度更高。這是由于本文方法在選取序列特征時,選擇Zernike矩識別像素點矩函數(shù)特征,選擇并提取圖像序列有效特征,排除無效圖像序列特征的干擾,一定程度上提升了序列數(shù)據(jù)提取的準確度。
所提方法構(gòu)建的結(jié)構(gòu)化矩陣低秩表示模型主要用于解決圖像序列特征向量數(shù)據(jù)的噪聲問題,以信噪比為測試指標,分別測試文獻[3]方法、文獻[4]方法和所提方法的去噪效果。得到對比結(jié)果如圖4所示。
圖4 三種不同方法的信噪比對比結(jié)果
分析圖4結(jié)果得出,文獻[3]方法和文獻[4]方法在模型去噪的100s時間內(nèi),信噪比大幅度變化,從1dB低至0.05dB,在90s時再緩慢上升到1dB。所提方法的信噪比則較為穩(wěn)定,只在40s到70s時,出現(xiàn)了一次1dB,整體上穩(wěn)定在0.02dB。對比結(jié)果可看出,所提方法信噪比最穩(wěn)定,去噪效果最理想。
基于低秩分解的異常步態(tài)活動圖像序列識別方法,在經(jīng)過仿真驗證得出,其序列向量數(shù)據(jù)的識別率可高達90%,識別精度高,且去噪效果好。但未對所提方法的識別效率進行測試,接下來會對識別效率進行深入研究。