鄭建偉,劉新妹,殷俊齡

(中北大學(xué) 電子測試技術(shù)國家重點實驗室,太原 030051)

在臨床醫(yī)療中,疼痛是病人一個極其常見的問題.鑒于疼痛給病人所帶來的傷害,它被定義為繼四大生命體征—體溫、脈搏、呼吸、血壓之后的第五大生命體征[1].然而,如果在醫(yī)療機(jī)構(gòu)中沒有一個有效的疼痛評估方式,盲目地采取一些治療手段,那么極有可能導(dǎo)致醫(yī)療事故的產(chǎn)生.疼痛評估是控制疼痛的重要一環(huán)[2],對于那些有語言功能障礙的人群(如癡呆癥患者、腦損傷病人等)來說,正確的疼痛評估直接會影響治療的選擇和治療的效果.在疼痛評估中,針對健康的人自我評估作為最有效的方法,為了最大化治療人群,尤其對難以表達(dá)自我感受的特別人群,科學(xué)的對疼痛程度做出估計具有重要的臨床意義[2].

2007年,Littlewort 等[3]則應(yīng)用一個聯(lián)合Gabor 特征和支持向量機(jī)(SVM)面部表情的識別系統(tǒng)去區(qū)分疼痛的真假,并給出了與疼痛最相關(guān)的臉部運動單元(Action Units,AU);2009年,Ashraf 等[4]利用主動表觀模型(Active Appearance Models,AAM)提取出形狀和表觀特征,并利用SVM 來對這些特征進(jìn)行分類.國內(nèi)南京郵電大學(xué)盧官明等[5]在2008年提出利用支持向量機(jī)(SVM)技術(shù)對新生兒疼痛與非疼痛面部表情進(jìn)行分類識別,比較了不同核函數(shù)的分類器性能;2015年,該團(tuán)隊提出一種基于加權(quán)局部二元模式(LBP)特征描述符和稀疏表示分類器的新生兒疼痛表情識別方法[6].在其自建的新生兒面部圖像數(shù)據(jù)庫上進(jìn)行了實驗.

疼痛表情是疼痛評估的可靠指標(biāo)之一[7,8].在疼痛表情的識別中,人臉表情分析最主要的環(huán)節(jié)是特征提取和分類識別.目前,常用的特征提取方法有主成分分析(Principal Component Analysis,PCA)[9]、線性判別分析(Linear Discriminant Analysis,LDA)[10,11]、AAM[12]、Gabor 小波變換[13]、局部二元模式(Local Binary Pattern,LBP)[14]和LBP的改進(jìn)方法[5,6,11,12,15]等.其中,基于PCA的方法忽略了整體的關(guān)聯(lián)信息,且需要參數(shù)化數(shù)據(jù)來達(dá)到高效的結(jié)果,效率較低;基于LDA的方法要花費時間來進(jìn)行圖像矩陣特征值的計算,耗時較長;基于AAM的方法計算量大、其中的參數(shù)需要人為的計算[13];基于Gabor 小波變換的方法在獲取多個方向尺度的信息時,所用時間太長,占用的內(nèi)存較其他方法明顯大,且提取的向量多余信息較多[16];相比之下,基于LBP的方法以其運算速度快、所占內(nèi)存小、旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點,已在面部識別領(lǐng)域廣泛使用[17,18].

本文在多尺度分區(qū)結(jié)合局部加權(quán)的LBP 特征基礎(chǔ)上對疼痛表情進(jìn)行識別.將預(yù)處理后的灰度圖像通過級聯(lián)分塊加權(quán)的LBP 特征直方圖和多尺度分區(qū)的特征直方圖,用PCA 降維得到整體的特征向量,輸入SVM分類器進(jìn)行訓(xùn)練和測試,判斷樣本所處的表情類別.

1 圓形鄰域LBP 特征提取

1.1 圓形LBP 相關(guān)理論

LBP 由Ojala 等人提出[14],用于提取圖像的局部的紋理特征,對光照變化和灰度變化有很好的魯棒性;LBP 特征能有效快速地提取待測圖像的紋理信息,所需存儲空間小、計算速度快.

針對原始的LBP 算子只是由一個半徑不變的區(qū)域構(gòu)成的缺陷,Ojala 等[14]對LBP 算子進(jìn)行了改進(jìn),將方形鄰域擴(kuò)展到圓形鄰域,并且在該圓形鄰域內(nèi)可以包含任意個像素點,以適應(yīng)不同頻率和不同尺度的紋理特征,改進(jìn)后的LBP 算子可以計算半徑為R大小的鄰域內(nèi)所包含的任意多個像素點的特征值.改進(jìn)后的LBP 算子鄰域半徑為R,采樣點個數(shù)為P,如圖1為不同的圓形鄰域圖.

圖1 不同和的算子的圓形鄰域圖

用不同半徑的圓編碼鄰近像素可得到它的近鄰圖,如圖2.

圖2 近鄰圖

對于點(xc,yc),它的近鄰點用以下公式計算:

其中,R圓形鄰域的半徑,p是像素點的個數(shù).使用雙線性插值對計算結(jié)果進(jìn)行處理,確保上述結(jié)果處于像素所在的坐標(biāo).用以下公式計算:

1.2 特征提取

圖像的LBP 特征圖就是將原始圖像的像素值用LBP 特征值表示,這種對每個像素都求取特征值的做法,如果直接用來作為特征向量進(jìn)行分類識別的話會丟失局部的空間結(jié)構(gòu)信息.而在表情分類、人臉識別等更加注重局部的紋理特征的實際應(yīng)用中,都不能直接將LBP 特征圖作為整幅圖像的特征向量用于后續(xù)的分類.為提取有效的局部紋理特征,擬采用分塊LBP 灰度直方圖的方法完成后續(xù)的工作.

按以下步驟進(jìn)行:對預(yù)處理后的表情圖像采用LBP算子進(jìn)行運算,得到LBP 特征圖,將LBP 特征圖劃分為若干個子塊,計算出每個子塊的LBP 特征灰度直方圖,將圖像所有子塊的局部LBP 灰度直方圖串接起來,作為整個圖像的特征向量.圖3是原始LBP和圓形LBP對同一幅圖像的紋理特征提取前后圖像,對比可看出圓形LBP的紋理特征提取效果明顯優(yōu)于原始LBP.

圖3 紋理特征提取效果對比圖

2 多尺度分區(qū)融合分塊加權(quán)LBP的疼痛表情識別

本文疼痛表情識別主要過程是獲取圖像、提取不同尺度分區(qū)LBP 灰度統(tǒng)計特征和分塊加權(quán)的灰度直方圖、串接得到完整特征向量、輸入分類器進(jìn)行訓(xùn)練、最終得到分類結(jié)果,流程框圖如圖4.

2.1 融合多尺度分區(qū)和分塊的特征提取方法

由于圖像中的關(guān)鍵信息可能存在位置距離等幾何性質(zhì)的偏差,以免僅用單一尺度的分區(qū)可能造成缺失而得不到完整的特征信息,加之,人臉疼痛表情本身就是多個尺度的特征細(xì)節(jié)相關(guān)聯(lián)的,所以本文綜合表情的多個細(xì)節(jié)和總體特征來提高分類識別的準(zhǔn)確率,采用多尺度的特征提取結(jié)合LBP 分塊加權(quán)獲得一種更好的特征提取方法.

本方法特征提取步驟為:

(1)將一幅圖像劃分為若干塊區(qū)域,采用固定值加權(quán)方法給予不同區(qū)域不同的權(quán)重,如圖5.

(2)分塊提取LBP 灰度直方圖后,對按步驟(1)的設(shè)置的權(quán)重加權(quán)各子塊的直方圖.

(3)串接所有子塊的直方圖特征,生成整幅圖像的特征向量.

(4)再對整幅圖像進(jìn)行不同尺度的分區(qū),由小尺度分區(qū)逐步擴(kuò)展到大尺度分區(qū),具體如圖6.

(5)串接各個層級的灰度直方圖特征,組成整幅圖像的特征向量.

(6)級聯(lián)步驟(3)和步驟(5)生成的特征向量,用PCA 降維之后作為下一步要識別的特征向量.

圖4 圖像特征提取與結(jié)果分類流程框圖

圖5 5×3 分塊中每個子塊的權(quán)重設(shè)置

圖6 多尺度分區(qū)圖

圖5中,對嘴、鼻這類分類識別貢獻(xiàn)較大的區(qū)域給予權(quán)值3,對眼睛、眉這類分類識別貢獻(xiàn)一般的區(qū)域給予權(quán)值2,對于額頭這類分類識別貢獻(xiàn)較小的其他區(qū)域權(quán)值為1.

以圖6為例,先對圖像進(jìn)行3×3 小尺度分區(qū),再由2×2個3×3 尺度分區(qū)窗口組成一個個6×6 尺度窗口得到下一層級的灰度統(tǒng)計直方圖;要注意選擇合適的尺度窗口搭配,首先不可以擴(kuò)展到整個圖像大小的尺度窗口,以剛好大于分塊之后的子塊大小為最佳,可以在不增加太多冗余信息的同時最大程度的包括整體相關(guān)信息;其次,最小的尺度分區(qū)也不宜過小,以分塊的尺度為最佳,可以很好的表述局部信息;最后,尺度窗口的數(shù)目不宜太多,太多會導(dǎo)致維數(shù)太大,不利于下一步的工作.

通過本方法提取的特征向量在加強(qiáng)局部重點區(qū)域的同時又不忽略整體的相關(guān)性,較好地改善了單一尺度LBP 造成的整體信息可能被切割的缺點,并且較好地增強(qiáng)了局部信息.若避免所生成的特征向量維數(shù)過大,可采用PCA的方法進(jìn)行降維,來降低計算的復(fù)雜度.

2.2 分類器的選擇

SVM是在1995年由Corinna Cortes 等首次提出的一種學(xué)習(xí)能力很強(qiáng)的淺層學(xué)習(xí)算法,在解決高維識別上具備明顯優(yōu)勢,比神經(jīng)網(wǎng)絡(luò)能在學(xué)習(xí)樣本比較少的情況下實現(xiàn)很好的機(jī)器學(xué)習(xí),訓(xùn)練速度快.因此,本文采用SVM 用于疼痛表情分類,同時為保證實驗結(jié)果不因分類器而出現(xiàn)誤差,將所有的實驗都是在多項式核函數(shù)階數(shù)d=3的SVM 分類器下完成分類.

3 實驗與結(jié)果分析

為驗證本文設(shè)計的方法可行與有效,仿真的實驗條件為Windows 8.1 操作系統(tǒng)、Intel Pentium Dual CPU、主頻為1.86 GHz、內(nèi)存8 GB,用Visual Studio 2015+OpenCV 3.4.0 進(jìn)行編程.然后利用本文設(shè)計的特征提取方法,在自建的疼痛表情數(shù)據(jù)庫進(jìn)行實驗,分別使用疼痛表情和平靜表情特征數(shù)據(jù)樣本,進(jìn)行10 組實驗,得到每一組的識別率后求得其平均識別率.最后分析采用本文的特征提取方法與傳統(tǒng)的特征提取方法、不同的分塊模式、不同的分區(qū)模式以及后兩者結(jié)合對疼痛表情識別率的影響的情況.

3.1 數(shù)據(jù)庫的建立

依據(jù)被測人員表情程度的變化來判斷外部刺激力度的變化,因此獲取準(zhǔn)確的實驗表情是本課題的關(guān)鍵技術(shù)的一個重要指標(biāo).因此課題組將使用本實驗室的開通經(jīng)絡(luò)頭痛治療儀治療在過程中,對被測人員拍攝了一系列的視頻,讀取視頻幀圖像,并對照面部編碼系統(tǒng)(FACS)和疼痛強(qiáng)度(PSPI)分?jǐn)?shù)的表達(dá)式篩選出了不同狀態(tài)下的面部表情圖像,建立了一個痛苦表情數(shù)據(jù)庫.

疼痛強(qiáng)度計算的數(shù)學(xué)模型表達(dá)式為:

式中,AU4表示眉毛聚攏、AU6和AU7為眼窩收緊、AU9和AU10為提肌收縮以及AU43為閉眼;其中AU43 取值為0 或1表示睜眼或者閉眼,其他運動單元取值范圍均是0～5,PSPI的取值范圍為0～16.

圖7是一個評分示例,在該圖中可看出疼痛強(qiáng)度PSPI=4+max(4,3)+max(2,4)+1=13.

圖7 面部活動單元疼痛評分

所建數(shù)據(jù)庫包含3 類圖像:平靜、一般疼痛、非常疼痛,每類包括10 名男性和10 名女性,每個人每類表情各由10 張圖像構(gòu)成,共計600 張圖像.這些視頻是在有充足光照的密閉房間里拍攝的,將所有人臉圖像經(jīng)過眼睛定位、標(biāo)準(zhǔn)、剪切、去噪,最后歸一化到112×92,預(yù)處理后的圖像作為實驗的數(shù)據(jù)樣本.需要指出的是,人的面部表情很豐富,為了實驗結(jié)果的精確,在視頻幀圖像的篩選階段就需要最大化的去篩選出其他出現(xiàn)的表情的干擾(尤其是與疼痛表情特征相似的表情如哭、生氣等).列出3 類表情圖像,如圖8.

3.2 實驗方法與步驟

實驗使用90個疼痛表情和180個平靜表情圖像用于下面的實驗.

具體如下:

(1)從自建表情庫中隨機(jī)選取90 張?zhí)弁幢砬閳D像和180 張平靜表情圖像,等分成10 份,每份包含9個疼痛表情圖像和18個平靜表情圖像,取其中的9 份作為訓(xùn)練樣本集,剩下的1 份作為測試樣本集.

(2)對每一個樣本提取LBP 特征,對得到LBP 特征圖進(jìn)行分塊,將其分成X×Y個子塊,對每一個子塊求取灰度直方圖并加權(quán)后串接各子塊的灰度直方圖,得到該樣本的特征向量,采用LBP 算子提取的特征向量維數(shù)為59×X×Y,若該維數(shù)大于2×(90+180)=540,采用PCA 方法降維到d(d<540).

(3)將圖像進(jìn)行多尺度的分區(qū),統(tǒng)計特征直方圖后,串接各分區(qū)特征直方圖作為特征向量.當(dāng)其特征維數(shù)大于整幅圖像維數(shù)的1/4 時,截止到當(dāng)前的分區(qū)尺度.

(4)串接步驟(2)和(3)的特征直方圖作為整幅圖像的特征向量,直至得到所有表情樣本的特征向量.

(5)將步驟(4)得到的9 組訓(xùn)練樣本集的特征向量作為訓(xùn)練樣本輸入SVM 分類器訓(xùn)練,再用最后一組測試樣本輸入SVM 分類器觀察計算出分類識別率,并記錄識別耗費的時間.如27個測試樣本中有22個樣本被正確分類,則識別率為22/27=81.48%.

(6)對步驟(5)重復(fù)10 次,計算10 次實驗的平均識別率和平均識別時間.

圖8 自建表情庫中的3 類表情圖像樣例

3.3 結(jié)果與分析

本方法和部分傳統(tǒng)的特征提取方法的分類識別率情況,見表1.

由表1中的數(shù)據(jù)結(jié)果可看出:

(1)采用原始的LBP、Gabor 小波、AAM 特征提取方法對疼痛和安靜的平均分類識別率分別是82.59%、86.30%、91.48%,而本文的特征提取方法的平均分類識別率是95.56%,優(yōu)于單獨的LBP和Gabor 小波以及AAM 特征提取方法.

(2)不足之處,表中識別率在88.89%～100%,表明本方法的識別率有一定的波動.

表1 平靜與疼痛的幾種分類識別率(%)

通過分析研究,由于人的表情很豐富,出現(xiàn)了與疼痛表情相近的其他表情,需在篩選樣本的表情時參考專業(yè)醫(yī)護(hù)人員的判斷,融合被測人員的主觀表達(dá)和疼痛度量公式以及疼痛度量表等方法,更準(zhǔn)確的對樣本做出篩選,挑選出精確地有利于實驗的疼痛表情數(shù)據(jù)樣本.

表1中4 種方法的平均時間分別為:5.27 s,3.25 s,4.26 s,8.93 s,可看出采用本文的特征提取方法平均識別的時間長于其它方法.原因是在采用特征融合時,計算比單獨的特征提取方法更耗時,包括多個尺度分區(qū)的直方圖的計算,分塊加權(quán)直方圖的計算,均花費了一定的時間,但由于進(jìn)行了PCA 特征降維,其識別時間在可接受范圍內(nèi),表明可行性和優(yōu)越性.

本方法結(jié)合LBP 分塊加權(quán)和多尺度分區(qū)來獲得比單一方法更好的特征提取,表2是通過不同分塊和不同尺度分區(qū)搭配獲取的識別率情況表.

由表2中識別的結(jié)果可看出:

(1)不分塊不分區(qū)識別率是82.59%,為最低;采取5×3 分塊加權(quán)級聯(lián)10×6和40×24 多尺度分區(qū)可得到95.56%的識別率為最高;

原因:主要是不分區(qū)不分塊的LBP的直方圖只用一個59 維的特征直方圖表示待測圖像的面部表情,由于維數(shù)較低不可避免的造成一些細(xì)節(jié)信息的丟失.

(2)只分塊不分區(qū)的識別率最高為88.30%,只分區(qū)不分塊的識別率最高為90.32%,都低于兩者級聯(lián)后的識別率95.56%.

原因:在兩者級聯(lián)后的特征既能很好的描述局部信息,又包括相關(guān)聯(lián)區(qū)域的整體信息,彌補(bǔ)了單一特征提取的造成的信息損失.

(3)多尺度分區(qū)的窗口不宜太多,太多會使信息冗余,特征維數(shù)增大,會造成識別時間和識別錯誤的增加.

通過以上實驗本方法在基于階數(shù)d=3的多項式核函數(shù)SVM 分類器上取得了95.56%的平均識別率,高于單獨的LBP和Gabor 小波以及AAM 特征提取方法;并且采取分塊加權(quán)級聯(lián)多尺度分區(qū)可得到的識別率與單獨的分塊加權(quán)方法和單獨的多尺度分區(qū)特征提取方法相比較是最高的.表明文中所采取的基于LBP和SVM的疼痛表情識別方法是有效、可行的.

表2 不同分塊和分區(qū)結(jié)合的識別情況匯總表

4 結(jié)論與展望

文中采用的基于LBP和SVM的疼痛表情識別方法,是在LBP 特征提取方法的基礎(chǔ)上加以改進(jìn),融合了多尺度分區(qū)和加權(quán)分塊的優(yōu)點而設(shè)計,且在自建的疼痛表情數(shù)據(jù)庫中,對平靜和疼痛進(jìn)行了分類識別,通過對表情庫中選取的270 張圖片的實驗,得到的平均識別率高于3 種傳統(tǒng)和融合之前單一的特征提取方法,并且在采取分塊加權(quán)融合多尺度分區(qū)的特征提取方法后,得到的識別率為最高.結(jié)果表明:所采取的基于LBP和SVM的疼痛表情識別方法是行之有效,為課題組的進(jìn)一步研究工作打下了基礎(chǔ),也為目前對疼痛表情的識別與研究提供了一條有效的途徑,且在對表達(dá)主觀意識有障礙病人的臨床輔助診斷起到重要的作用.下一步的工作是,引入多分類器進(jìn)行疼痛程度分級識別,并提高魯棒性,對識別過程中出現(xiàn)的其他表情如哭泣等表情有效的區(qū)分.