李 雯，郭 湘，秦林雨，何 凌，鄭秀娟，李元媛

(1.四川大學(xué) 生物醫(yī)學(xué)工程學(xué)院，四川 成都 610065；2.四川大學(xué) 電氣工程學(xué)院，四川 成都 610065；3.四川大學(xué) 華西心理衛(wèi)生中心，四川 成都 610041)

0 引 言

精神分裂癥癥狀[1，2]多樣，認(rèn)知功能障礙是其核心癥狀之一，表現(xiàn)信息加工能力下降、語言表達(dá)障礙、抽象思維困難等功能損傷[2]。目前臨床上該病的診斷主要取決于醫(yī)生的主觀判斷，效率低且缺少客觀的輔助診斷指標(biāo)[3]。

研究表明，精神分裂癥患者的認(rèn)知表達(dá)能力障礙常表現(xiàn)在視覺閱讀、面部表情、運(yùn)動(dòng)趨勢(shì)等非語言行為[2，4-6]。

眼動(dòng)信息反映人的視覺閱讀能力，因精神分裂癥患者注意功能與信息處理功能的下降，其眼動(dòng)信息與正常人存在差異[1，7，8]，并被用于精神分裂癥的分類檢測(cè)。如Huang等[9]通過眼動(dòng)儀獲取自由觀看任務(wù)中掃視速度、注視時(shí)間等眼動(dòng)特征，在隨機(jī)森林分類器中實(shí)現(xiàn)87.1%的分類正確率?，F(xiàn)研究多借助眼動(dòng)儀提取眼動(dòng)特征[8，9]，成本高、受試者負(fù)擔(dān)重。

言語表達(dá)過程伴隨嘴部區(qū)域等面部表情的變化，言語功能損傷可從患者的面部行為觀測(cè)[4，10，11]。如Birnbaum等[10]提取精神分裂癥患者視頻中的面部運(yùn)動(dòng)單元(facial action unit，F(xiàn)AU)的強(qiáng)度信息進(jìn)行分析，指出唇角拉肌表情單元等嘴部區(qū)域在交叉實(shí)驗(yàn)中分類準(zhǔn)確率達(dá)72%。面部運(yùn)動(dòng)單元可用于面部肌肉變化強(qiáng)度分析，但缺乏對(duì)嘴部關(guān)鍵點(diǎn)及其動(dòng)態(tài)變化的進(jìn)一步研究。

頭部異動(dòng)是精神分裂癥患者運(yùn)動(dòng)障礙的表現(xiàn)之一[6，12，13]。Abbas等[12]通過計(jì)算機(jī)視覺模型量化患者的頭部幀間運(yùn)動(dòng)距離，以實(shí)現(xiàn)精神分裂癥的分類。Dean等[13]對(duì)訪談視頻中精神疾病超高風(fēng)險(xiǎn)青年的頭部區(qū)域幀間灰度變化進(jìn)行運(yùn)動(dòng)能量分析，得到高風(fēng)險(xiǎn)患者表現(xiàn)出更大的運(yùn)動(dòng)幅度的結(jié)論。對(duì)患者的頭部運(yùn)動(dòng)信號(hào)進(jìn)行分析對(duì)精神分裂癥診斷有臨床意義[9]，但現(xiàn)有研究缺少對(duì)其動(dòng)態(tài)過程的分析，或基于觀察者主觀的評(píng)分，缺乏客觀表征。

針對(duì)研究現(xiàn)狀，提出基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別算法，根據(jù)患者在文本朗讀過程中眼部、嘴部、頭部姿態(tài)的異動(dòng)，綜合眼動(dòng)周期特性、嘴部運(yùn)動(dòng)幅度特性、頭部姿態(tài)角度變化特性構(gòu)建融合特征，結(jié)合分類器實(shí)現(xiàn)精神分裂癥患者與正常對(duì)照組的分類識(shí)別，為精神分裂癥提供輔助診斷指標(biāo)。

1 基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別算法

1.1 系統(tǒng)總流程

受認(rèn)知功能障礙的影響，精神分裂癥患者的注意功能和對(duì)信息的處理能力降低、言語意識(shí)變差，表現(xiàn)與正常人在視覺信息整合、言語表達(dá)能力、頭部姿態(tài)上的差異[4-6]。為實(shí)現(xiàn)精神分裂癥自動(dòng)識(shí)別，針對(duì)文本朗讀過程中精神分裂癥患者非言語行為異常，提出基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別算法，系統(tǒng)總流程如圖1所示。

圖1 基于人臉關(guān)鍵點(diǎn)的多特征精神分裂癥自動(dòng)識(shí)別算法流程

1.2 人臉關(guān)鍵點(diǎn)自動(dòng)檢測(cè)

精神分裂癥患者情感遲鈍、言語匱乏，具有明顯的認(rèn)知功能障礙[1-3]。在讀話過程中，其面部各區(qū)域伴有不同程度的運(yùn)動(dòng)，表現(xiàn)眼動(dòng)、讀話、頭部姿態(tài)的異常。為研究讀話過程中精神分裂癥患者臉部運(yùn)動(dòng)特征，獲取各部位的特征點(diǎn)信息，應(yīng)用Dlib庫提取人臉關(guān)鍵點(diǎn)。

Dlib基于梯度增強(qiáng)的回歸樹方法[14]，將提取的圖像特征映射為人臉關(guān)鍵點(diǎn)，實(shí)現(xiàn)對(duì)人臉區(qū)域中眉、眼、鼻、嘴等部位共68個(gè)關(guān)鍵點(diǎn)的定位檢測(cè)。實(shí)驗(yàn)對(duì)精神分裂癥患者讀話視頻幀應(yīng)用Dlib人臉檢測(cè)方法，對(duì)圖像中人臉關(guān)鍵點(diǎn)集D位置信息進(jìn)行提取。

在讀話過程中，精神分裂癥患者伴有眼部視線移動(dòng)、嘴部開合運(yùn)動(dòng)以及頭部姿態(tài)變化。為表征精神分裂癥患者面部運(yùn)動(dòng)特征，分別提取眼部、嘴部、頭部3個(gè)區(qū)域的特征點(diǎn)集D39-41、D48-67、D6，8，10，27， 人臉關(guān)鍵點(diǎn)區(qū)域劃分如圖2所示。

圖2 人臉關(guān)鍵點(diǎn)區(qū)域劃分

1.3 基于輪廓信息與區(qū)域極值的眼部特征提取算法

現(xiàn)有眼動(dòng)特征多使用眼動(dòng)儀進(jìn)行提取，給受試者帶來負(fù)擔(dān)，且測(cè)量成本較高[8，9，16]。因此，通過無接觸式的相機(jī)拍攝受試者讀話視頻，提出基于輪廓信息與區(qū)域極值的眼部運(yùn)動(dòng)特征提取算法，提取眼動(dòng)軌跡，分析其眼動(dòng)周期特性。

1.3.1 基于單尺度(Retinex)增強(qiáng)與輪廓特性的瞳孔中心點(diǎn)提取算法

為提取眼動(dòng)軌跡，需對(duì)眼睛的瞳孔中心進(jìn)行定位?；谳喞畔⒌耐字行狞c(diǎn)提取算法應(yīng)用基于單尺度(Retinex)增強(qiáng)的圖像增強(qiáng)處理，消除光照影響。實(shí)現(xiàn)對(duì)眼部區(qū)域圖像的預(yù)處理后，提出基于輪廓特征的瞳孔中心點(diǎn)提取算法，通過輪廓信息特性獲得瞳孔中心點(diǎn)位置信息。

(1)基于單尺度增強(qiáng)的圖像預(yù)處理

數(shù)據(jù)拍攝環(huán)境的光照條件不同，拍攝所得圖像光照不均勻，造成實(shí)驗(yàn)對(duì)象眼部區(qū)域陰影，需消除光照影響。

單尺度增強(qiáng)算法可增強(qiáng)圖像中的暗處細(xì)節(jié)，改善圖像受光照不均勻部分[17]。算法將圖像分解為RGB三通道，分別去除利用高斯變換得到的光照分量，將各通道合成得到增強(qiáng)結(jié)果。

圖3為基于單尺度增強(qiáng)的圖像增強(qiáng)處理效果。根據(jù)眼部特征點(diǎn)集D39-41定位信息，提取眼部ROI區(qū)域(如圖3(a)所示)，其眼睛大部分區(qū)域被陰影覆蓋，為定位瞳孔中心帶來困難，需消除圖像中的光照陰影。算法將圖像分解為R、G、B三通道圖像后(如圖3(b)～圖3(d)所示)，3個(gè)通道分別經(jīng)過單尺度增強(qiáng)，每個(gè)通道圖像的對(duì)比度都得到明顯增強(qiáng)(如圖3(e)～圖3(g)所示)，最后將各通道增強(qiáng)圖像進(jìn)行合并(如圖3(h)所示)得到預(yù)處理結(jié)果。經(jīng)過單尺度增強(qiáng)處理后，眼部區(qū)域圖像中的光照不均勻得到有效改善，暗處的眼部細(xì)節(jié)得到增強(qiáng)，對(duì)比度得到有效提高。

圖3 基于單尺度增強(qiáng)的圖像增強(qiáng)處理效果

(2)基于輪廓信息的瞳孔中心點(diǎn)提取算法

對(duì)精神分裂癥患者眼部圖像進(jìn)行預(yù)處理后，提出基于輪廓信息的瞳孔中心點(diǎn)坐標(biāo)提取算法，利用圖像的輪廓特性實(shí)現(xiàn)對(duì)瞳孔中心點(diǎn)坐標(biāo)的提取。

基于白色鞏膜與深色虹膜的顏色差異大的特點(diǎn)，應(yīng)用全局閾值處理方法，得到眼部區(qū)域的粗分割二值圖像，實(shí)現(xiàn)眼睛的虹膜部分的初步提取。為去除眼瞼等其它小連通域?qū)Ψ指罱Y(jié)果的影響，利用形態(tài)學(xué)方法去除小連通域、平滑二值區(qū)域的邊緣，得到虹膜二值區(qū)域。

不同實(shí)驗(yàn)對(duì)象在讀話過程中眼睛的睜開程度不同，難以實(shí)現(xiàn)虹膜二值區(qū)域的完整提取。為表征瞳孔中心點(diǎn)信息，對(duì)虹膜二值區(qū)域進(jìn)行輪廓信息分析，提取輪廓的外接圓圓心，外接圓能囊括二值區(qū)域，外接圓圓心能描述區(qū)域中心。為進(jìn)一步完善對(duì)中心點(diǎn)的描述，對(duì)二值區(qū)域進(jìn)行質(zhì)心的提取，質(zhì)心描述了二值區(qū)域分布的平均位置。取兩者坐標(biāo)的平均值，作為中心點(diǎn)坐標(biāo)信息C(x，y)， 如式(1)所示

(1)

式中：C0(x，y) 為二值區(qū)域輪廓外接圓圓心，M(x，y) 為二值區(qū)域的質(zhì)心。

圖4為瞳孔中心點(diǎn)提取算法效果，對(duì)經(jīng)過增強(qiáng)處理后的眼部區(qū)域圖像進(jìn)行閾值處理，實(shí)現(xiàn)眼睛的虹膜部分的初步提取，并利用形態(tài)學(xué)方法去除眼瞼等深色區(qū)域造成的孤立點(diǎn)?；诤缒ざ祬^(qū)域的輪廓信息特點(diǎn)，實(shí)現(xiàn)對(duì)精神分裂癥患者眼睛中心點(diǎn)坐標(biāo)C(x，y) 的提取。

圖4 基于輪廓信息的瞳孔中心點(diǎn)提取算法效果

1.3.2 基于眼動(dòng)軌跡序列極值的眼動(dòng)周期特征提取算法

精神分裂癥患者注意功能受損，信息處理功能下降，其視覺閱讀更加困難[7，8]。為提取精神分裂癥患者視線閱讀特征，提出基于眼動(dòng)軌跡序列極值的眼動(dòng)周期特征提取方法，將連續(xù)幀的瞳孔中心點(diǎn)位置信息表征眼動(dòng)軌跡后，分析序列的極值特性，提取眼動(dòng)平均周期特征。

(1)相對(duì)眼動(dòng)軌跡序列表征

通過基于輪廓信息的瞳孔中心點(diǎn)提取算法，得到每幀圖像中右眼的中心點(diǎn)位置信息C(x，y) 后，根據(jù)連續(xù)幀圖像中相對(duì)位置移動(dòng)變化來表征眼動(dòng)軌跡，如圖5所示。

圖5 相對(duì)軌跡特征點(diǎn)

人臉檢測(cè)點(diǎn)集D中的36、39點(diǎn)表示右眼的內(nèi)外眼角點(diǎn)，兩眼角點(diǎn)之間的距離是固定不變的。計(jì)算中心點(diǎn)C(x，y) 與內(nèi)眼角點(diǎn)D39(x，y) 的相對(duì)距離d，如式(2)所示，表征每張圖片中右眼瞳孔中心點(diǎn)與內(nèi)眼角點(diǎn)之間的相對(duì)距離

(2)

式中：d1為中心點(diǎn)C到點(diǎn)D39之間的距離，d2為36點(diǎn)D36與點(diǎn)D39之間的距離。

dx表征中心點(diǎn)C(x，y) 與內(nèi)眼角點(diǎn)D39(x，y) 的水平方向上的相對(duì)眼動(dòng)距離，如式(3)所示

(3)

dy表征中心點(diǎn)C(x，y) 與內(nèi)眼角點(diǎn)D39(x，y) 的垂直方向上的相對(duì)眼動(dòng)距離，如式(4)所示

(4)

提取每段讀話中所有連續(xù)幀的特征值d、dx、dy，得到眼動(dòng)軌跡Leye、 眼動(dòng)軌跡水平分量Leyex、 眼動(dòng)軌跡垂直分量Leyey。

(2)基于序列區(qū)域極值的眼動(dòng)特征EMC(eye movement cycle)提取

患者在讀話過程中，視線隨文字分布水平移動(dòng)，中心點(diǎn)隨時(shí)間變化而產(chǎn)生的序列的峰值和谷值反映了其視線閱讀規(guī)律。將提取出的精神分裂癥患者眼動(dòng)序列Leye， 對(duì)其進(jìn)行中值濾波，去除序列中的突變值，得到眼動(dòng)序列Leye′。 進(jìn)行濾波后，提取局部谷值點(diǎn)Ri并設(shè)置閾值T，縮小谷值范圍，得到Qk， 如式(5)所示

(5)

式中：Riy為點(diǎn)集y方向上的值，LN為序列Leye′的長(zhǎng)度。

根據(jù)谷值點(diǎn)集Qk中的時(shí)域特點(diǎn)，將其分為N組，每組點(diǎn)集為每個(gè)谷值附近的極小值點(diǎn)，Qk={Q′1，Q′2，…，Q′N}。 分別提取每一組極小值點(diǎn)集中的最小值代表序列谷值，如式(6)所示

Q″n=min(Q′n)

(6)

計(jì)算每組點(diǎn)集最小值之間的幀差并取平均值，得到周期特征值EMC，如式(7)所示

(7)

式中：N為Q″n的個(gè)數(shù)，Q″nx為Q″n點(diǎn)集x方向上的坐標(biāo)，fs為提取序列視頻對(duì)應(yīng)的幀率。

1.4 基于垂直運(yùn)動(dòng)單元與小波能量熵的嘴部特征提取算法

言語障礙是認(rèn)知障礙中的重要領(lǐng)域，精神分裂癥患者聽覺言語加工、視覺閱讀和言語產(chǎn)生存在一定的缺陷，導(dǎo)致語言認(rèn)知功能下降，閱讀能力降低、閱讀意識(shí)變差[4]。為研究精神分裂癥患者嘴部運(yùn)動(dòng)特征，提出基于小波能量熵的嘴部運(yùn)動(dòng)特征提取算法。

1.4.1 基于垂直運(yùn)動(dòng)單元的嘴部狀態(tài)特征MR(mouth ratio)提取

通過嘴巴的開合程度來表示讀話過程中測(cè)試者的讀話狀態(tài)，從而實(shí)現(xiàn)對(duì)精神分裂癥患者嘴部運(yùn)動(dòng)特征的描述。由人臉檢測(cè)得到的特征點(diǎn)集D可知，D48-67均為嘴部特征點(diǎn)，可通過這些嘴部特征點(diǎn)表征讀話過程中嘴的開合程度，嘴部運(yùn)動(dòng)特征點(diǎn)如圖6所示。

圖6 嘴部運(yùn)動(dòng)特征點(diǎn)

提出基于垂直運(yùn)動(dòng)單元的嘴部狀態(tài)特征MR(mouth ratio)，表示讀話過程中嘴巴的開合程度，如式(8)所示

(8)

式中：BD為D51到D57點(diǎn)之間的距離，AC為D48到D54之間的距離，BD與AC的比值即為嘴部特征值MR。

1.4.2 基于小波能量熵的運(yùn)動(dòng)序列特征提取算法

通過提取讀話視頻中所有連續(xù)幀的特征值MR，得到嘴部運(yùn)動(dòng)時(shí)間序列為MR(n)(n=1，…，N)。 為對(duì)序列進(jìn)行不同尺度分析，提取讀話過程中實(shí)驗(yàn)者讀話特性，提出基于小波能量熵的嘴部運(yùn)動(dòng)序列特征提取算法。

算法通過小波變換對(duì)信號(hào)進(jìn)行多尺度分解，實(shí)現(xiàn)對(duì)信號(hào)的局部化分析；再將各頻率系數(shù)進(jìn)行重構(gòu)，進(jìn)行能量熵計(jì)算。應(yīng)用小波變換對(duì)嘴部運(yùn)動(dòng)時(shí)間序列MR(n)進(jìn)行3層小波分解，通過小波變換分解為低頻信息MRa1和高頻信息MRd1，MRa1繼續(xù)分解為低頻信息MRa2和高頻信息MRd2， 低頻信息MRa2再繼續(xù)分解為低頻信息MRa3和高頻信息MRd3， 完成三層小波分解，如式(9)所示

MR(n)=MRa1+MRd1=MRa2+MRd2+MRd1=MRa3+MRd3+MRd2+MRd1

(9)

對(duì)分解所得各頻率信息進(jìn)行重構(gòu)并計(jì)算能量值Ei與總能量值E，如式(10)所示

(10)

式中：Fi為每個(gè)頻率的能量占比，Si為每個(gè)頻率重構(gòu)信息的能量熵，i=a1，a2，a3，d1，d2，d3。

1.5 基于角度變化與短時(shí)幅度特征的頭部姿態(tài)特征提取算法

精神分裂癥患者具有運(yùn)動(dòng)功能障礙[12]，表現(xiàn)行為遲緩等差異，其閱讀文本時(shí)思維靈敏性低、反應(yīng)遲鈍。在相同讀話環(huán)境下，患者視線移動(dòng)受阻，借助頭部姿態(tài)變化完成閱讀。為表征其頭部姿態(tài)變化特點(diǎn)，提出基于角度變化與序列幅度特征的頭部姿態(tài)特征提取算法，基于角度變化表征頭部姿態(tài)特征后，應(yīng)用短時(shí)幅度差函數(shù)分析其序列特征。

1.5.1 基于向量角度變化的頭部旋轉(zhuǎn)特征HRAR(head rotation angle ratio)提取

為了描述頭部姿態(tài)變化，提出基于向量角度變換的頭部旋轉(zhuǎn)特征提取算法。根據(jù)人臉檢測(cè)結(jié)果中特征點(diǎn)提供的位置信息，選取表征頭部姿態(tài)的特征點(diǎn)集D6，8，10，27， 特征點(diǎn)集幾何分布如圖7所示。

圖7 頭部運(yùn)動(dòng)特征點(diǎn)

提出特征值HRAR，表示讀話過程中精神分裂癥患者頭部姿態(tài)特征，其公式為式(11)

(11)

1.5.2 基于短時(shí)幅度特征的姿態(tài)序列特征提取算法

提取連續(xù)圖像幀中的頭部旋轉(zhuǎn)特征HRAR，得到頭部姿態(tài)變化時(shí)間序列HR(n)(n=1，…，N)。 對(duì)序列HR(n) 進(jìn)行一階差分處理，表示其前后增量變化。應(yīng)用短時(shí)平均幅度差函數(shù)表征其幅度特征，衡量信號(hào)幅度的變化，如式(12)所示

(12)

式中：HR(m) 是頭部運(yùn)動(dòng)時(shí)間序列，HR′(j) 是短時(shí)平均幅度差函數(shù)序列。

經(jīng)過短時(shí)平均幅度差函數(shù)處理后的序列呈直線分布，對(duì)HR′(j) 進(jìn)行線性最小二乘擬合，設(shè)n為1，得到擬合系數(shù)p1、p2， 構(gòu)成P，即序列特征值，如式(13)所示

(13)

1.6 SVM(support vector machine)分類器

支持向量機(jī)(SVM)是一種經(jīng)典的二值分類器[3，9]，其通過在特征空間尋找一個(gè)最優(yōu)超平面，實(shí)現(xiàn)兩類樣本數(shù)據(jù)到超平面的距離最大化。SVM模型存儲(chǔ)空間小，算法魯棒性較高，是小樣本訓(xùn)練常用的學(xué)習(xí)方法。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)數(shù)據(jù)來源于四川大學(xué)華西醫(yī)院心理衛(wèi)生中心和眉山市精神衛(wèi)生中心，共采集20位精神分裂癥患者和20位正常對(duì)照組的文本朗讀視頻，數(shù)據(jù)信息見表1。

表1 實(shí)驗(yàn)數(shù)據(jù)采集情況

受試者按要求在平靜狀態(tài)下，正對(duì)顯示屏進(jìn)行文本朗讀任務(wù)，朗讀文本為一段科普性陳述語句。朗讀開始后，使用專業(yè)的錄像設(shè)備對(duì)文本朗讀過程進(jìn)行數(shù)據(jù)錄制。實(shí)驗(yàn)共采集40段文本朗讀視頻，視頻幀分辨率為1920×1080。

2.2 基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別算法結(jié)果與分析

針對(duì)精神分裂癥患者在文本朗讀過程中眼動(dòng)、嘴部讀話與頭部姿態(tài)的異常，提出基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別方法，對(duì)面部區(qū)域中眼部、嘴部以及頭部姿態(tài)3個(gè)區(qū)域的特征進(jìn)行提取分析：①基于輪廓信息與區(qū)域極值的眼部特征提取算法提取眼動(dòng)周期EMC。②基于小波能量熵的嘴部運(yùn)動(dòng)特征提取算法提取能量熵Si。 ③基于角度變化與序列幅度特征的頭部姿態(tài)特征提取算法提取姿態(tài)系數(shù)P。將眼動(dòng)周期EMC、能量熵分量Sa1、 頭部姿態(tài)系數(shù)P構(gòu)建融合特征向量，實(shí)現(xiàn)對(duì)精神分裂癥患者的自動(dòng)識(shí)別檢測(cè)。

實(shí)驗(yàn)提取每段視頻的融合特征，結(jié)合SVM分類器進(jìn)行精神分裂癥的自動(dòng)分類識(shí)別，實(shí)驗(yàn)結(jié)果見表2。實(shí)驗(yàn)使用5個(gè)指標(biāo)對(duì)分類結(jié)果進(jìn)行評(píng)價(jià)：正確率(accuracy)為被正確識(shí)別的樣本數(shù)在總樣本數(shù)中的占比；精確率(precesion)為被正確識(shí)別的正樣本在所有被識(shí)別為正樣本的數(shù)目中的占比；召回率(recall)為被正確識(shí)別的正樣本在所有真實(shí)情況下為正樣本的數(shù)目中的占比；F1-score為精確率與召回率的調(diào)和平均；AUC(area under the curve)為ROC(receiver operating characteristic)曲線下的面積，AUC越大表明其分類性能越好。

表2 基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別結(jié)果

由表2可知，實(shí)驗(yàn)對(duì)特征EMC、Sa1、P進(jìn)行了十折交叉驗(yàn)證，3組特征在實(shí)驗(yàn)中均表現(xiàn)較好的分類結(jié)果，分別得到87.5%、87.5%、75.0%的分類正確率，91.7%、85.8%、70.0%的分類精確率。

基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別方法提取的特征向量EMC+Sa1+P， 在十折交叉驗(yàn)證實(shí)驗(yàn)中得到92.5%的分類正確率，在各組特征中獲得最高的實(shí)驗(yàn)結(jié)果。

實(shí)驗(yàn)結(jié)果表明，本文提出的基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別方法，即對(duì)精神分裂癥患者在文本朗讀過程中各區(qū)域表現(xiàn)差異進(jìn)行多參數(shù)表征，構(gòu)建的融合特征實(shí)現(xiàn)分類檢測(cè)，實(shí)現(xiàn)了92.5%的分類正確率，分類性能優(yōu)于單區(qū)域特征。融合特征綜合分析了精神分裂癥患者的眼動(dòng)障礙、言語障礙與頭部姿態(tài)異動(dòng)，反映了患者視覺信息處理能力下降、言語表達(dá)淡漠的特點(diǎn)，特征表現(xiàn)較好的分類檢測(cè)能力、魯棒性強(qiáng)，實(shí)現(xiàn)了對(duì)精神分裂癥患者的自動(dòng)分類檢測(cè)。

2.3 眼動(dòng)周期EMC與眼動(dòng)周期分量EMC_x對(duì)分類結(jié)果的討論與分析

為分析不同方向眼動(dòng)特征對(duì)實(shí)驗(yàn)的影響，實(shí)驗(yàn)基于輪廓信息與區(qū)域極值的眼部特征提取算法，分別提取眼動(dòng)軌跡Leye和眼動(dòng)軌跡水平分量Leyex， 并將對(duì)應(yīng)的眼動(dòng)周期EMC、眼動(dòng)周期分量EMC_x。

精神分裂癥患者與正常對(duì)照組在不同方向眼動(dòng)特征的差異如圖8所示。結(jié)合SVM分類器進(jìn)行十折交叉驗(yàn)證，將兩組特征的分類檢測(cè)結(jié)果進(jìn)行比較，對(duì)比結(jié)果見表3。

表3 基于輪廓信息與閾值特點(diǎn)的眼部特征提取算法實(shí)驗(yàn)結(jié)果

圖8 精神分裂癥患者與正常對(duì)照組的眼動(dòng)周期差異

由實(shí)驗(yàn)結(jié)果可知，眼動(dòng)周期水平分量EMC_x在交叉驗(yàn)證實(shí)驗(yàn)中實(shí)現(xiàn)80.0%的正確率、86.7%的精確率，眼動(dòng)周期EMC在交叉驗(yàn)證實(shí)驗(yàn)中實(shí)現(xiàn)87.5%的正確率、91.7%的精確率。實(shí)驗(yàn)結(jié)果說明，不同方向提取的眼動(dòng)特征直接影響分類結(jié)果，眼動(dòng)周期EMC結(jié)合了垂直方向上的眼動(dòng)細(xì)節(jié)，提取的眼動(dòng)信息更加精確，表現(xiàn)更好的分類性能，實(shí)現(xiàn)對(duì)精神分裂癥眼動(dòng)特性的良好表征。

2.4 小波能量熵Si對(duì)分類結(jié)果的討論與分析

精神分裂癥患者言語認(rèn)知功能下降，閱讀意識(shí)低，語言表達(dá)淡漠[2]，從嘴部運(yùn)動(dòng)反映其表達(dá)特性。實(shí)驗(yàn)通過提出基于小波能量熵的嘴部特征提取算法，提取特征MR表征讀話過程中嘴巴的開合程度，得到嘴部運(yùn)動(dòng)時(shí)間序列MR(n)， 利用三層小波變換分解特征值序列MR(n)， 根據(jù)重構(gòu)信息MRi提取能量熵Si(i=a1，a2，a3，d1，d2，d3)。Sa1、Sa2、Sa3為嘴部運(yùn)動(dòng)特征中的低頻能量熵，Sd1、Sd2、Sd3為嘴部運(yùn)動(dòng)特征中的高頻能量熵。

為討論能量熵Si對(duì)實(shí)驗(yàn)結(jié)果的影響，實(shí)驗(yàn)提取20位精神分裂癥患者和20位正常對(duì)照組的能量熵特征Sa1、Sa2、Sa3、Sd1、Sd2、Sd3， 并將其與P、EMC進(jìn)行特征組合，在SVM中進(jìn)行十折交叉驗(yàn)證實(shí)驗(yàn)，對(duì)比實(shí)驗(yàn)結(jié)果見表4。

表4 嘴部特征中不同頻率能量熵特征的實(shí)驗(yàn)結(jié)果

由表4可知，能量熵分量Sa1、Sa2、Sa3、Sd1、Sd2、Sd3在實(shí)驗(yàn)中分別得到87.5%、77.5%、72.5%、82.5%、82.5%、82.5%的分類正確率。其中，能量熵特征Sa1得到最高87.5%的識(shí)別正確率。實(shí)驗(yàn)將能量熵Sa1、Sa2、Sa3、Sd1、Sd2、Sd3分別與頭部姿態(tài)系數(shù)P、眼動(dòng)周期EMC進(jìn)行兩組特征組合。在組合特征的實(shí)驗(yàn)結(jié)果中，與頻率能量熵Sa1進(jìn)行組合的特征向量Sa1+P、Sa1+P+EMC分別得到87.5%、92.5%的分類正確率，在Si+P、Si+P+EMC的特征組合中分類正確率最高。

由實(shí)驗(yàn)結(jié)果可知，在基于小波能量熵的嘴部特征提取算法提取的嘴部運(yùn)動(dòng)特征中，不同頻率能量熵特征影響精神分裂癥的識(shí)別結(jié)果，低頻重構(gòu)信息的能量熵特征反映了精神分裂癥患者在文本朗讀過程中的嘴部運(yùn)動(dòng)能量特性，其中能量熵Sa1在嘴部特征中表現(xiàn)患者與正常對(duì)照組嘴部運(yùn)動(dòng)差異，在所有頻率能量熵中獲得較高的分類正確率，能有效實(shí)現(xiàn)對(duì)精神分裂癥患者和正常志愿者的分類檢測(cè)。

2.5 對(duì)比實(shí)驗(yàn)結(jié)果與分析

2.5.1 國(guó)內(nèi)外精神分裂癥自動(dòng)識(shí)別算法的對(duì)比實(shí)驗(yàn)結(jié)果與分析

近年來國(guó)內(nèi)外研究學(xué)者通過視頻信號(hào)，從面部運(yùn)動(dòng)單元、頭部運(yùn)動(dòng)變化中提取特征[10，11，13]，實(shí)現(xiàn)對(duì)精神分裂癥的自動(dòng)分類檢測(cè)。面部運(yùn)動(dòng)單元由面部表情編碼系統(tǒng)(facial action coding system，F(xiàn)ACS)定義，精神分裂癥患者表情淡漠、反應(yīng)遲鈍，研究學(xué)者通過計(jì)算面部運(yùn)動(dòng)單元的強(qiáng)度信息[10，11]，分析精神分裂癥患者的面部特征，從而實(shí)現(xiàn)分類、病情檢測(cè)的目的。同時(shí)，研究者根據(jù)視頻信號(hào)中精神分裂癥患者頭部等運(yùn)動(dòng)差異，提取前后幀灰度差異特征分析患者的身體運(yùn)動(dòng)異常[13]。

針對(duì)本實(shí)驗(yàn)數(shù)據(jù)，提取視頻信號(hào)中的面部運(yùn)動(dòng)單元特征與頭部運(yùn)動(dòng)特征，對(duì)國(guó)內(nèi)外技術(shù)進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果見表5。

表5 國(guó)內(nèi)外特征與本文特征對(duì)比結(jié)果

由表5可知，基于本實(shí)驗(yàn)數(shù)據(jù)提取的AU12、AU17、頭部運(yùn)動(dòng)特征在十折交叉驗(yàn)證實(shí)驗(yàn)中獲得57.5%～62.5%的分類正確率，精神分裂癥患者在文本朗讀過程中表現(xiàn)了面部運(yùn)動(dòng)與頭部運(yùn)動(dòng)異常。面部運(yùn)動(dòng)單元AU12、AU17分別表征了嘴角拉起程度和下巴提起程度，在與正常對(duì)照組的分類實(shí)驗(yàn)中實(shí)現(xiàn)62.5%的分類正確率?；谖墨I(xiàn)[13]提取的頭部運(yùn)動(dòng)特征實(shí)現(xiàn)57.5%的分類正確率。而提出的基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別方法，從視頻圖像出發(fā)，綜合分析了精神分裂癥患者在眼動(dòng)、嘴部開合、頭部姿態(tài)在動(dòng)態(tài)過程中的微小運(yùn)動(dòng)差異，獲得92.5%的分類正確率，優(yōu)于其它特征的分類結(jié)果，具有良好的魯棒性。

2.5.2 本文特征在不同分類器中的實(shí)驗(yàn)結(jié)果對(duì)比

在對(duì)提取的精神分裂癥特征進(jìn)行分類實(shí)驗(yàn)時(shí)，國(guó)內(nèi)外研究學(xué)者多采用支持向量機(jī)(SVM)[3，9]、隨機(jī)森林(random forest)[3，9]、K最近鄰規(guī)則(K-nearest neighbor，KNN)[3，15]等機(jī)器學(xué)習(xí)算法，實(shí)現(xiàn)對(duì)精神分裂癥的分類識(shí)別。實(shí)驗(yàn)使用上述3種分類器對(duì)提取的融合特征EMC+Sa1+P進(jìn)行分類實(shí)驗(yàn)，對(duì)比實(shí)驗(yàn)結(jié)果見表6。

表6 本文特征在不同分類器中的實(shí)驗(yàn)結(jié)果對(duì)比

由表6結(jié)果可知，實(shí)驗(yàn)提取的特征在3個(gè)分類器中實(shí)現(xiàn)了較好的分類結(jié)果，隨機(jī)森林、KNN、SVM分別實(shí)現(xiàn)了87.5%、95.0%和92.5%的分類正確率，以及0.94、0.95、0.98的AUC。隨機(jī)森林算法通過訓(xùn)練多個(gè)決策樹模型，將測(cè)試數(shù)據(jù)放入模型進(jìn)行投票得到預(yù)測(cè)結(jié)果[3，9]，對(duì)本實(shí)驗(yàn)數(shù)據(jù)實(shí)現(xiàn)87.5%的分類正確率。KNN分類算法不需參數(shù)估計(jì)[15]，算法復(fù)雜度低，對(duì)本實(shí)驗(yàn)數(shù)據(jù)實(shí)現(xiàn)95.0%的分類正確率。SVM分類器在兩類數(shù)據(jù)分類中具有較好的表現(xiàn)[3，9]，其在特征空間尋找最優(yōu)超平面，對(duì)實(shí)驗(yàn)精神分裂癥患者與正常對(duì)照組兩類數(shù)據(jù)進(jìn)行分類，實(shí)現(xiàn)92.5%的分類正確率。其評(píng)估指標(biāo)AUC在3個(gè)分類器中得到最高的0.98，表明分類器具有較好的泛化能力，適用于本實(shí)驗(yàn)小樣本的分類。實(shí)驗(yàn)結(jié)果表明，基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別方法提出的融合特征在多個(gè)分類器中表現(xiàn)良好的分類性能，能有效實(shí)現(xiàn)對(duì)精神分裂癥的分類檢測(cè)。

3 結(jié)束語

為尋找精神分裂癥客觀輔助診斷指標(biāo)，提出基于人臉多特征融合的精神分裂癥自動(dòng)識(shí)別算法，針對(duì)文本朗讀視頻提取眼部、嘴部、頭部姿態(tài)區(qū)域特征，并構(gòu)建融合特征進(jìn)行分類識(shí)別。實(shí)驗(yàn)對(duì)采集的20位精神分裂癥患者與20位正常對(duì)照組的視頻進(jìn)行特征提取，構(gòu)建的融合特征在SVM分類器中實(shí)現(xiàn)92.5%的分類正確率，其中眼動(dòng)特征EMC與嘴部特征Sa1對(duì)精神分裂癥患者面部區(qū)域運(yùn)動(dòng)特性的良好表征，分別實(shí)現(xiàn)91.7%和87.5%的分類正確率。與國(guó)內(nèi)外其它特征進(jìn)行對(duì)比，提出的融合特征獲得最高的分類結(jié)果。