楊煥新，于艷紅，呂曉敏，王慶祥，喬明琦△

(1.山東中醫(yī)藥大學中醫(yī)學院，濟南 250355;2.山東省精神衛(wèi)生中心，濟南 250014; 3.齊魯工業(yè)大學，濟南 250355)

抑郁癥肝氣郁癥患者面部表情及眼神的識別?

楊煥新1，于艷紅1，呂曉敏2，王慶祥3，喬明琦1△

(1.山東中醫(yī)藥大學中醫(yī)學院，濟南 250355;2.山東省精神衛(wèi)生中心，濟南 250014; 3.齊魯工業(yè)大學，濟南 250355)

目的:建立基于計算機的抑郁癥肝氣郁證患者面部表情及眼神模式識別系統(tǒng)，初步探索抑郁面部表情及眼神與抑郁情緒內心體驗關系，尋求直接、準確地測評抑郁情緒的方法。方法:構建抑郁癥肝氣郁證患者和正常人的基本表情庫，采集基本表情和視頻，人工標記面部特征點，獲得針對特定人的主動外觀模型。使用主動外觀模型對視頻進行處理，跟蹤每幀的面部特征點位置。結果:抑郁癥肝氣郁證患者的偏度值主要集中在0.5～7之間，中位數(shù)3.4左右，正常人在1.2`15之間，中位數(shù)6.3左右。結論:抑郁癥肝氣郁證患者的瞳孔波動較弱(目光呆滯)，瞳孔內眼角距的絕對值的偏度在3.9以下，有較大概率患有抑郁癥肝氣郁證，是抑郁面部表情及眼神的主要特征。

抑郁癥;肝氣郁證;面部表情;眼神

1 引言

抑郁癥作為一種以心情低落、主動性降低、思維遲緩以及興趣降低等精神運動性遲緩癥狀為主要臨床表現(xiàn)的常見精神障礙，明顯影響患者的生活質量［1］。中醫(yī)對抑郁癥的診斷、治療等方面有一定的優(yōu)勢，抑郁癥與肝主疏泄功能關系密切，研究［2］表明，肝氣郁結證是抑郁癥的基礎證候。

抑郁癥的客觀測評是國內外醫(yī)學界多年研究尚未解決的難題。目前國內外對抑郁情緒的測評均主要采用自評和他評量表(問卷)。尋求直接、真實、準確地測評抑郁情緒的方法是醫(yī)學、心理和神經(jīng)科學家一直在探索的前沿領域。本研究建立基于計算機的抑郁癥肝氣郁證患者面部表情及眼神模式識別系統(tǒng)，探索出抑郁面部表情及眼神與抑郁情緒內心體驗關系，開創(chuàng)面部表情及眼神表達內心情緒體驗研究新領域。

2 資料與方法

2.1 病例選擇

選取山東省精神衛(wèi)生中心住院患者18例，其中男性10例，女性8例，年齡18～60歲，平均年齡(38.9±7.8)歲。入組時納入標準符合抑郁癥國際疾病分類第十次修訂本(ICD－10)診斷標準［3］中抑郁癥輕、中、重度診斷標準，符合抑郁癥中醫(yī)肝氣郁證診斷標準。主癥:抑郁寡歡，興趣減低甚或喪失，工作理家能力降低。次癥:胸悶、善太息、胸脅脹痛、噯氣、納呆、抑郁面容、倦怠乏力、性欲減低。舌脈:舌有瘀點或齒痕，脈弦、弦細，或緩弱。診斷標準:具備主癥2項，次癥3項或以上結合舌脈診斷為抑郁癥肝氣郁證;年齡在18～60歲，近2周未經(jīng)過系統(tǒng)抗抑郁的藥物治療;雖有其他內外科疾病與抑郁癥無直接聯(lián)系，且這些疾患的治療藥物均非精神藥物。排除標準:妊娠期、哺乳期婦女;同時患有其他精神類疾病，如躁狂癥、精神分裂癥等;目前患有嚴重呼吸、心腦血管、消化、血液系統(tǒng)等疾病者。

對照組18例(男10例，女8例)來自招募，年齡20～60歲，平均年齡(36.4±7.2)。所有被試者均自愿參加本研究，并由本人或法定監(jiān)護人簽署知情同意書，2組間年齡、性別比較差異無統(tǒng)計學意義。

2.2 儀器設備

相機采用Canon600D，攝像機采用索尼HDRXR550E/JVC GC－PX10，記錄研究對象面部表情和動作。相機分辨率1000w像素，攝像機視頻記錄分辨率1080P，大于等于30fps。實驗程序用VC++編制。設備布置方案:攝像機和相機位于被試前方，角度＜10度，被試者頭部與采集設備等高，實驗環(huán)境光照充足，藍色背景。

2.3 刺激任務

2.3.1 模仿表情 播放中立表情以及6種基本表情(憤怒、恐懼、快樂、傷心、厭惡、驚訝)，要求被試模仿其表情，由相機拍攝記錄(基本表情圖片的來源，Paul Ekman(保羅·艾克曼)，METT(Micro－Expression Training Tool，微表情訓練工具))。

2.3.2 回答特定問題 每個被試者均完成HAMD量表(漢密頓抑郁量表)問題，并記錄其回答問題時的面部表情。

2.3.3 觀看情感圖片 每個被試者均完成國際情感圖片系統(tǒng)測試，選取愉悅度評估為1～3(負性情緒圖片)、4～6(中性情緒圖片)、5～7(正性情緒圖片)圖片各10張。在每次情緒誘發(fā)過程中，每張負性、正性和中性情緒圖片均呈現(xiàn)6 s，每一類圖片隨機呈現(xiàn)1次，每一類情緒刺激時間均為1 min。

2.4 實驗流程

實驗流程分為3個階段，第一階段采集被試面部基本表情，第二階段進行回答特定問題任務，第三階段進行觀看情感圖片任務。

2.4.1 第一階段采集被試面部基本表情 實驗前向被試者講解規(guī)則，通過提問確認理解并簽署知情同意書;被試進入實驗室適應環(huán)境;坐在距離采集設備120 cm處的被試椅上;播放中立表情以及6種基本表情，要求被試者模仿其表情，由相機拍攝記錄。

2.4.2 第二階段回答特定問題任務 被試者坐在距離采集設備120 cm處的被試椅上;醫(yī)生對其進行HAMD測試，采集設備記錄相應視頻。

2.4.3 第三階段觀看情感圖片任務(同2.3.3)

2.5 數(shù)據(jù)處理

對采集的面部圖像按FACS編碼系統(tǒng)要求特征點進行人工標記，標記后圖像集使用AAM(Active Appearance Model，主動外觀模型)進行訓練。對視頻數(shù)據(jù)按10 s一段進行分割，使用特定被試對象AAM模型對其進行自動匹配，確定每幀的FACS參數(shù)，確定每段內FACS參數(shù)變化和段間參數(shù)變化率。

3 結果

3.1 抑郁癥患者基本表情的采集和面部特征點標記

圖1顯示，每個被試對象觀看Ekman的7種基本表情并進行模仿。

圖1 7種表情比較

圖2 特征點標記

圖3 部分對齊后用于訓練的人臉圖像

圖2 ～4顯示，標記完成后依據(jù)特征點集對齊圖像，使用主動外觀模型對其進行訓練，生成特定人的主動外觀模型以提高匹配精度。

3.2 視頻中面部特征點的跟蹤

圖5顯示，對每段視頻進行逐幀處理，首先使用viola jones face detector檢測幀中人臉，并對包含該被試對象的特定主動外觀模型進行初始化，然后依次對每幀中的人臉使用主動外觀模型匹配獲取各特征點的當前位置。

圖4 主動外觀模型的紋理(第一幅為平均臉，之后為紋理變化模式)

圖5 匹配結果(視頻中的一幀來自抑郁癥患者)

共處理100段視頻，抑郁癥及正常人各50段，每段1～5 min共約15萬幀。每幀中匹配結果記錄格式:{幀序號，x0，y0，……，xn，yn}，(xn，yn)表示第n個點的橫縱坐標(原點在左上角共68點，左右瞳孔分別為第31和36點)。

3.3 眼球運動分析

圖6～圖9顯示，為避免頭部運動的影響，使用瞳孔特征點和內眼角特征點的距離(簡稱瞳孔內眼角距)作為分析對象，并使用兩內眼角距離進行平衡，消除不同人臉和相機拍攝距離產(chǎn)生的尺度差異，對每段視頻中連續(xù)幀中的瞳孔位置進行記錄并繪制其位置變動得到以下曲線。

以5幀為滑動窗口對瞳孔內眼角距進行平滑，并消除異常幀，得到以下曲線。

從圖中可以發(fā)現(xiàn)，抑郁癥患者的瞳孔波動較弱(目光呆滯)，為衡量兩類被試者的差異，通過對數(shù)據(jù)的分析，在相鄰幀變化量的絕對值樣本偏度值(skewness)上，抑郁癥患者和正常人存在差異(見圖10、表1、2)。

圖6 抑郁癥患者(編號1)的瞳孔內眼角距的變化

圖7 正常人(編號2)的瞳孔內眼角距的變化

圖8 平滑后抑郁癥患者(編號1)的瞳孔內眼角距的變化

表1 組統(tǒng)計量

4 討論

表情是情緒的外部表現(xiàn)，情志是中醫(yī)學對情緒的特有稱謂［4］。所以對于抑郁癥的研究，必然離不開對表情的研究。如宋煒熙［5］等將表情沮喪作為抑郁癥肝郁痰阻證的主證。喬明琦團隊［6］構建了基于顏色空間的獼猴面部膚色模型，并實現(xiàn)了面部器官的精確定位，提取了面部區(qū)域眼睛的精確信息。研究表明，眼睛是識別情緒的關鍵部位。建立了《雌性實驗獼猴模型表情行為評價量表》［7］，并用作經(jīng)前期綜合征肝氣逆證［8］、肝氣郁證［9］實驗獼猴模型造模前后表情行為的判定，對獼猴表情行為進行量化并用作證候診斷依據(jù)。

圖9 平滑后正常人(編號2)的瞳孔內眼角距的變化

圖10 相鄰幀的瞳孔內眼角距變化量

表2 獨立樣本檢驗

抑郁癥是一種常見的和缺陷的心理健康障礙，客觀測量技術的缺失使診斷和治療困難。本研究從ekman的基礎表情理論［10］出發(fā)，構建抑郁癥患者和正常人的基本表情庫，并采集基本表情和視頻?；颈砬榘ㄖ辛?、憤怒、恐懼、快樂、傷心、厭惡、驚訝，經(jīng)過人工標記面部特征點后，通過主動外觀模型對其進行訓練，獲得針對特定人的主動外觀模型。在采集完成后，使用主動外觀模型對視頻進行處理，跟蹤每一幀的面部特征點位置并記錄，然后分析特征點的位置變化，包括瞳孔的位置。

通過分析瞳孔運動數(shù)據(jù)我們發(fā)現(xiàn)，抑郁癥肝氣郁證患者和正常人的瞳孔運動存在差異，抑郁癥肝氣郁證患者的瞳孔運動比正常人偏弱。通過對數(shù)據(jù)的分析我們發(fā)現(xiàn)，在相鄰幀變化量的絕對值樣本偏度值(skewness)上，抑郁癥肝氣郁證患者和正常人存在差異。抑郁癥肝氣郁證患者的偏度值主要集中在0.5～7之間，中位數(shù)3.4左右，而正常人在1.2～15之間，中位數(shù)6.3左右。因此，我們可以依據(jù)瞳孔內眼角距絕對值的偏度來初步識別抑郁癥肝氣郁證患者，其值在3.9以下的可被認為有較大概率患有抑郁癥肝氣郁證，是抑郁面部表情及眼神的主要特征，初步揭示抑郁面部表情及眼神與抑郁情緒內心體驗關系。

綜上所述，抑郁癥肝氣郁證患者和正常人的瞳孔運動存在差異。運用圖像識別及機器學習精確辨識表情，提供抑郁癥肝氣郁證自動檢測的可行性，為有效地識別抑郁癥提供了新途徑。抑郁表情是非常重要且又亟待開展研究的問題，中醫(yī)學對面部表情仍然只是現(xiàn)象學描述，無法揭示表情產(chǎn)生于變化的根本原因，應當發(fā)掘整理中醫(yī)學已有的認識基礎上，發(fā)揮中醫(yī)“以象測臟”方法之長，借鑒現(xiàn)代科學方法，開展抑郁面部表情的基礎和臨床研究，以提供理論導向和臨床指導。

［1］SAARNI SI，SUVISAARI J，SINTONEN H，etal.Impactof psychiatric disorders on health－related quality of life:general population survey［J］.British Journal of Psychiatry，2007，190 (4):326－332.

［2］陳澤奇，胡隨瑜，張海男.抑郁癥常見中醫(yī)證候標準的研究［J］.中醫(yī)雜志，2005，46(1):47－49.

［3］董景武.疾病和有關健康問題的國際統(tǒng)計分類:ICD－10(第十次修訂本)［J］.北京:人民衛(wèi)生出版社，2010.

［4］孫廣仁.中醫(yī)基礎理論［M］.北京:中國中醫(yī)藥出版社，2002: 225.

［5］宋煒熙，胡隨瑜，張海男，等.抑郁癥肝郁氣滯、肝郁痰阻證證候標準第二輪專家問卷分析［J］.中國臨床康復，2004，8(3): 488－489.

［6］ DENGYI ZHANG，CHENGZHANG QU，JIANHUI ZHAO，et al. Eye Contour Extraction Method from Monocular Image with Monkey Face，2008.

［7］王海軍，喬明琦，張惠云.《雌性實驗獼猴情緒評價量表》建立及信度檢驗與效度估計［J］.中國中醫(yī)基礎醫(yī)學雜志，2006，12(8):60－63.

［8］王海軍，喬明琦，張惠云.經(jīng)前期綜合征(PMS)肝氣逆證獼猴造模及用藥血清中雌激素檢測與分析［J］.中藥藥理與臨床，2006，22(5):58－59.

［9］高冬梅，喬明琦，張惠云，等.經(jīng)前期綜合征肝氣郁證獼猴模型評價指標［J］.中醫(yī)雜志，2005，46(12):931－933.

［10］P.EKMAN.Strong Evidence for Universals in Facial Expressions: Areply toRussell.s Mistaken Critique［J］.Psychological Bulletin，1994，112(2):268－287.

Recognition of Facial Expressions and Eye in the Patients with Liver-qi Stagnation of Depression

YANG Huan－xin1，YU Yan－h(huán)ong1，LV Xiao－min2，WANG Qing－xiang3，QIAO Ming－qi1△
(1．Shandong University of Traditional Chinese Medicine，Jinan 250355，China; 2．Shandong Provincial Mental Health Center，Jinan 250014，China;3．Qilu University of Technology，Jinan 250355，China)

Objective:Establishing a recognition system based on the computer of depression of Liver－qi stagnation syndrome patients with facial expressions and eye pattern，preliminary exploration depression facial expression and eyesight and depressive emotion experience，seeking method of direct and accurate evaluation of depression.Method:Construction of basic facial expressions of depression of Liver－qi stagnation patients and normal persons，collecting basic facial expressions and video，manually labeled facial feature points，and obtaining the active appearance model for a specific person.Results:the skewness of value of depression of Liver－qi stagnation mainly concentrated in between 0.5～7，median 3.4%，and between 1.2～15 median 6.3 normal people around.Conclusion:Patients with depression of Liver－qi stagnation pupil fluctuation is weak，(dull eyes)，from the inside corner of the eye pupil of absolute value of skewness in 3.9 below，there is a greater probability of suffering from depression of Liver－qi stagnation is depression facial expressions and the eyes of the main features.

Depression;Liver－qi stagnation;Facial expressions;Eye

R749.4

A

1006－3250(2017)02－0230－04

2016－08－11

國家自然科學基金青年基金項目(81102738)－抑郁癥肝氣郁證抑郁眼神識別及其關鍵指標探索;國家自然科學基金面上項目(81573829)－抑郁癥肝氣郁證患者抑郁眼神，面部表情和姿態(tài)多模態(tài)識別及其腦區(qū)功能定位

楊煥新(1985－)，男，山東煙臺人，講師，醫(yī)學博士，從事肝藏象生理病理與情志致病機理研究。

△

喬明琦(1955－)，教授，泰山學者，博士研究生導師，從事肝藏象生理病理與情志致病機理研究，Tel:0531－89628079，E－mail:qmingqi@163.com。