周神美　朱屹誠(chéng)　李星燁　張大秀

摘? 要：在信息爆炸的時(shí)代，針對(duì)人們常伴有焦慮抑郁等不良情緒會(huì)對(duì)其生理和心理造成不可逆轉(zhuǎn)傷害的問(wèn)題，文章設(shè)計(jì)了一款私人心理“醫(yī)生”。該私人心理“醫(yī)生”通過(guò)所收集的用戶面部表情的照片或視頻，運(yùn)用面部識(shí)別技術(shù)來(lái)識(shí)別人臉;繼而通過(guò)微表情技術(shù)，精準(zhǔn)地識(shí)別微表情中隱藏和壓抑的情緒信號(hào);最后通過(guò)情感識(shí)別技術(shù)推測(cè)和初步判斷用戶的情緒，并對(duì)其心理問(wèn)題做出診斷。

關(guān)鍵詞：面部情感識(shí)別;微表情;心理健康;緩解推薦

中圖分類號(hào)：TP391.4? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）20-0011-05

Design and Implementation of Private Psychological “Doctor”

ZHOU Shenmei， ZHU Yicheng， LI Xingye， ZHANG Daxiu

（Bengbu University， Bengbu? 233030， China）

Abstract： In the era of information explosion， aiming at the problem that people are often accompanied by adverse emotions such as anxiety and depression， which will cause irreversible damage to their physiology and psychology， this paper designs a private psychological “doctor”. The private psychological “doctor” uses face recognition technology to recognize faces through the collected photos or videos of users facial expressions; then， through micro expression technology， it can accurately identify the hidden and repressed emotional signals in micro expression; finally， the emotion of users is inferred and preliminarily judged through emotion recognition technology， and their psychological problems are diagnosed.

Keywords： facial emotion recognition; micro expression; mental health; mitigation recommendation

0? 引? 言

2020年初，受新冠肺炎疫情的影響，人們需要居家隔離減少社會(huì)活動(dòng)，網(wǎng)絡(luò)的過(guò)度使用以及身體活動(dòng)受限，影響了人們的心理狀態(tài)，使其更容易產(chǎn)生負(fù)面情緒。由于出行受限，許多群眾不能及時(shí)前往醫(yī)院就醫(yī)。近幾年出現(xiàn)了如好醫(yī)生、健康小屋、欣九康健康等一系列網(wǎng)絡(luò)問(wèn)診平臺(tái)，這些平臺(tái)具有智能診斷、智能病例分析、快速?gòu)?fù)診等功能，使醫(yī)生可以方便快捷地為患者診療，為出行不便的患者就醫(yī)提供便利。然而，這些網(wǎng)絡(luò)問(wèn)診平臺(tái)基本上只關(guān)注生理方面的診斷治療，心理方面的診療卻寥寥無(wú)幾。本文提出的私人心理“醫(yī)生”可以完成對(duì)患者心理問(wèn)題的初步診斷，給出科學(xué)的建議，從而達(dá)到輔助治療、緩解壓力的效果。

1? 系統(tǒng)設(shè)計(jì)

私人心理“醫(yī)生”的整體結(jié)構(gòu)如圖1所示，主要包括圖像采集、人臉識(shí)別系統(tǒng)、情感匹配數(shù)據(jù)庫(kù)、控制系統(tǒng)等部分。其整體工作流程為：首先自動(dòng)打開(kāi)攝像頭，對(duì)用戶進(jìn)行圖像采集，通過(guò)攝像頭讀取用戶的臉部模型和臉部表情;然后通過(guò)人臉識(shí)別系統(tǒng)對(duì)用戶的微表情進(jìn)行識(shí)別分析，并將分析結(jié)果傳送至情感匹配數(shù)據(jù)庫(kù)進(jìn)行匹配，從而得到用戶當(dāng)前的情感狀態(tài);隨后將情緒匹配結(jié)果傳送至控制系統(tǒng)，控制系統(tǒng)對(duì)聽(tīng)覺(jué)、視覺(jué)、空氣條件三大模塊發(fā)布指令，通過(guò)智能設(shè)備調(diào)節(jié)出一個(gè)相對(duì)舒適的環(huán)境，從而達(dá)到改善用戶心情的目的。用戶也可以依照自己的生活習(xí)慣，通過(guò)操作系統(tǒng)自行設(shè)置待啟動(dòng)的模塊，從而實(shí)現(xiàn)更加人性化、個(gè)性化的調(diào)節(jié)。

1.1? 圖像采集

圖像采集是指相機(jī)將采集到的光學(xué)圖像轉(zhuǎn)換成視頻信號(hào)，然后把視頻信號(hào)送入圖像采集卡，進(jìn)行數(shù)字化處理，再轉(zhuǎn)換成圖像數(shù)據(jù)的過(guò)程，最后通過(guò)計(jì)算機(jī)對(duì)這些數(shù)據(jù)進(jìn)行處理和存儲(chǔ)。圖像采集有灰度和采集分辨率兩個(gè)指標(biāo)，將視覺(jué)傳感器采集到的光信號(hào)轉(zhuǎn)換為電信號(hào)，經(jīng)過(guò)空間采樣和幅度轉(zhuǎn)換后，信號(hào)被轉(zhuǎn)換成數(shù)字圖像。

1.2? 人臉識(shí)別系統(tǒng)

二十世紀(jì)六十年代，西方國(guó)家德國(guó)、日本、美國(guó)率先開(kāi)始研究人臉識(shí)別，到九十年代后期，人臉識(shí)別技術(shù)才開(kāi)始在中國(guó)起步。人臉識(shí)別是一項(xiàng)復(fù)雜的技術(shù)，人體面部檢測(cè)和面部身份認(rèn)證都屬于面部識(shí)別技術(shù)的范疇，并涉及許多領(lǐng)域的知識(shí)內(nèi)容，例如人工智能、圖像數(shù)字化處理、計(jì)算機(jī)視覺(jué)層面和神經(jīng)網(wǎng)絡(luò)。人臉識(shí)別通過(guò)人臉特征采集、人臉部位檢測(cè)、人臉匹配等環(huán)節(jié)，快速識(shí)別和獲取目標(biāo)的身份信息，從而達(dá)到解鎖設(shè)備、人臉支付、考察考勤、偵查犯罪分子等目的，具有無(wú)須接觸、侵?jǐn)_性弱、采集便捷等優(yōu)點(diǎn)。

人臉識(shí)別系統(tǒng)[1-3]有兩個(gè)模塊：人臉檢測(cè)模塊和人臉識(shí)別模塊。人臉檢測(cè)模塊采用自帶人臉檢測(cè)器的dlib庫(kù)，并采用經(jīng)典的方向梯度直方圖加線性分類器的方案，提高人臉識(shí)別的準(zhǔn)確性。人臉識(shí)別模塊需要用到兩個(gè)模型，一個(gè)是人臉關(guān)鍵點(diǎn)檢測(cè)模型，另一個(gè)是人臉識(shí)別模型。人臉關(guān)鍵點(diǎn)檢測(cè)模型用于檢測(cè)和收集面部的68個(gè)特征點(diǎn)。為了使人臉識(shí)別更加精準(zhǔn)，同時(shí)使不同表情的人臉置于相同的位置時(shí)，系統(tǒng)均會(huì)對(duì)整個(gè)五官和面部輪廓進(jìn)行有效識(shí)別，在繪制完68個(gè)特征點(diǎn)之后，人臉識(shí)別模型可以將面部信息提取成128維的向量空間，并對(duì)所收集的信息進(jìn)行分析。編碼人臉識(shí)別過(guò)程如圖2所示。

1.3? 微表情

人們通過(guò)觀察某人面部表情、肢體語(yǔ)言或者聽(tīng)聞其聲音達(dá)到認(rèn)識(shí)了解該人的目的，其中通過(guò)表情分析情緒在心理學(xué)領(lǐng)域受到廣泛的關(guān)注[2]。但由于人類的自我保護(hù)意識(shí)較強(qiáng)，在很多情況下習(xí)慣于通過(guò)偽裝或者抑制自己的真實(shí)情感來(lái)自我保護(hù)，這將導(dǎo)致通過(guò)正常的面部表情分析所得到的情感并不準(zhǔn)確。然而，在人們偽裝的情緒下會(huì)產(chǎn)生一種局部、瞬間的面部表情，即微表情。微表情是指人們?cè)谠噲D隱藏或壓抑情緒信號(hào)，卻又無(wú)法做到完全隱藏或壓抑情緒信號(hào)而不自覺(jué)流露出來(lái)的不易覺(jué)察的表情。此外，由于微表情呈現(xiàn)時(shí)間極短，只會(huì)在臉上持續(xù)1/25到1/5秒的時(shí)間，而且無(wú)法被有意識(shí)地壓制，所以通常它又被視為揭示人類隱藏真實(shí)情緒的重要途徑。

1.4? 情感識(shí)別

情感識(shí)別有兩種方式：一種是通過(guò)給定圖片路徑對(duì)獲取的圖片進(jìn)行情感識(shí)別;另一種是通過(guò)攝像頭獲取圖片進(jìn)行識(shí)別并且實(shí)時(shí)顯示識(shí)別結(jié)果。情感識(shí)別的主要流程如圖3所示，即先用dlib庫(kù)的人臉檢測(cè)算法獲取圖片中的人臉，將人臉圖片部分截取下來(lái)后進(jìn)行大小調(diào)整以及灰度化，接著通過(guò)已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖片進(jìn)行情感識(shí)別，最后顯示識(shí)別的結(jié)果[4，5]。

因?yàn)槊娌勘砬榫哂胸S富性和復(fù)雜性等特征，所以采用了客觀的編碼標(biāo)準(zhǔn)，即采用面部動(dòng)作編碼系統(tǒng)（Facial Action Coding System， FACS）對(duì)面部表情進(jìn)行客觀的編碼。根據(jù)面部的運(yùn)動(dòng)強(qiáng)度分解面部表情，分析各個(gè)面部肌肉。

1.5? 識(shí)別功能實(shí)現(xiàn)

1.5.1? 圖片剪輯

圖片剪輯是利用dlib.get_frontal_face_detector（）初始化人臉檢測(cè)器detector，檢測(cè)人臉在圖片中的位置，再進(jìn)行圖片裁剪，只保留圖片中的人臉部分，具體代碼為：

gray = cv2.cvtColor（image， cv2.COLOR_BGR2GRAY）

clahe = cv2.createCLAHE（clipLimit=2.0， tileGridSize=（8， 8））

clahe_image = clahe.apply（gray）

detections = detector（clahe_image， 1）

for k， d in enumerate（detections）：

1.5.2? 提取特征

圖片剪輯后，通過(guò)提取人臉的坐標(biāo)特征、動(dòng)作單位（AUs）、動(dòng)作特征獲取整個(gè)人臉的主要特征：

Step1：提取人臉坐標(biāo)特征，圖片剪輯后利用dlib.shape_predictor（）初始化predictor，提取出68個(gè)人臉坐標(biāo)。

for k， d in enumerate（detections）：

shape = predictor（clahe_image， d）

xlist = []

ylist = []

for i in range（0， 68）：

cv2.circle（clahe_image， （shape.part（i）.x， shape.part（i）.y）， 1， （0， 0， 255）， thickness=2）

xlist.append（float（shape.part（i）.x））

ylist.append（float（shape.part（i）.y））

Step2：提取動(dòng)作單位（AUs），利用68個(gè)人臉坐標(biāo)特征，通過(guò)幾何法運(yùn)算得出動(dòng)作單位。

Step3：提取動(dòng)作特征，結(jié)合opencv2的Video Capture? （），遍歷視頻的每一幀圖像，得到整個(gè)人臉表情特征。

def getVideoFeature（path_video， path_feature）：

1.6? 控制模塊

檢測(cè)識(shí)別面部表情之后，需要對(duì)檢測(cè)出的對(duì)應(yīng)情感進(jìn)行緩解治療，具體的控制模塊如圖4所示。

1.6.1? 聽(tīng)覺(jué)調(diào)節(jié)模塊

聽(tīng)覺(jué)是影響人們情緒變化的重要因素，人們的喜怒哀樂(lè)等情緒可以通過(guò)音樂(lè)來(lái)表達(dá)，音樂(lè)對(duì)人的心理具有一定的調(diào)節(jié)作用。例如，悠長(zhǎng)的音樂(lè)會(huì)讓管理人類情緒和感覺(jué)的大腦產(chǎn)生自主反應(yīng)，從而引起個(gè)人情緒上的變化。人的不同意識(shí)和狀態(tài)會(huì)產(chǎn)生不同頻率的腦電波，頻率在8～12 Hz之間的α波通常出現(xiàn)在人們輕松、愉悅、舒適時(shí);大腦處于β波狀態(tài)時(shí)，說(shuō)明人們感到焦慮或不安。利用這些特征，對(duì)不同的音樂(lè)進(jìn)行相應(yīng)的分類，將其保存在系統(tǒng)數(shù)據(jù)庫(kù)中，以便為處于不同情感狀態(tài)的個(gè)人給出相應(yīng)的音樂(lè)。系統(tǒng)成功識(shí)別出用戶情緒后，由控制系統(tǒng)發(fā)出指令，控制音樂(lè)播放器播放適當(dāng)?shù)囊魳?lè)（甚至是控制音樂(lè)的頻率和波形），通過(guò)控制聲樂(lè)，達(dá)到調(diào)節(jié)用戶心情的目的。

1.6.2? 視覺(jué)調(diào)節(jié)模塊

人的視力也是影響情緒的重要因素之一，不同的顏色會(huì)對(duì)人產(chǎn)生不同的影響。比如，充滿活力的紅色，可以讓人富有激情;藍(lán)色可以讓人的內(nèi)心平靜下來(lái)，使人放松。外在的意象豐富，內(nèi)在的心理復(fù)雜，外在意象對(duì)內(nèi)在心理的影響是神奇而微妙的。同一人不同境況下對(duì)于相同的景物，產(chǎn)生的情緒可能大有不同。比如，某人看到一朵花，當(dāng)其處于高興狀態(tài)時(shí)就會(huì)覺(jué)得花在嬌艷中透著可愛(ài)，難過(guò)時(shí)不禁覺(jué)得花在美麗中暗含幾分憂傷;同樣的景色，初次觀看的人欣賞它的秀美，經(jīng)常過(guò)目的人感受它的平淡。與聽(tīng)覺(jué)模塊類似，系統(tǒng)在接收到來(lái)自控制系統(tǒng)的命令后，可以根據(jù)當(dāng)前的情緒匹配結(jié)果控制視頻播放不同的畫(huà)面，達(dá)到色彩控制的目的，從而調(diào)節(jié)用戶的情緒。

1.6.3? 空氣條件調(diào)節(jié)模塊

除了聽(tīng)覺(jué)和視覺(jué)會(huì)影響情緒外，觸覺(jué)和嗅覺(jué)也會(huì)在一定程度上影響情緒。例如，新鮮的空氣可以為大腦帶來(lái)更多的氧氣，使人體細(xì)胞擁有大量的氧氣，從而確保其能夠高效運(yùn)行。悶熱的空氣會(huì)使人心煩意亂、無(wú)精打采，沮喪和困倦。當(dāng)一個(gè)人的情緒處于緊張、焦慮狀態(tài)時(shí)，淡淡的清香可以使其大腦放松，情緒逐漸得以改善?？諝鈼l件調(diào)節(jié)模塊主要利用空調(diào)、加濕器等裝置來(lái)改變空氣環(huán)境，控制系統(tǒng)發(fā)出指令后，可以根據(jù)用戶的情緒匹配情況調(diào)整溫度和濕度。同時(shí)，芳香精油被設(shè)置在加濕器內(nèi)部，如有必要，可以將其自動(dòng)添加到加濕器的水中，飄出一絲絲淡淡的芳香，協(xié)助調(diào)整用戶的情緒[6]。

2? 程序流程設(shè)計(jì)

2.1? 初始化

產(chǎn)品的開(kāi)啟可以通過(guò)微信一鍵登錄功能實(shí)現(xiàn)，在用戶同意授權(quán)后即可完成微信號(hào)免密登錄（無(wú)須驗(yàn)證），給用戶帶來(lái)更高的安全性和更好的使用體驗(yàn)，也可使用賬號(hào)密碼登錄。為提高識(shí)別的準(zhǔn)確性，首次使用時(shí)，用戶需要在喜、怒、哀、樂(lè)四個(gè)圖標(biāo)中分別上傳對(duì)應(yīng)的表情，作為四種基礎(chǔ)表情，如圖5所示。

2.2? 識(shí)別

初始化完成后，進(jìn)入識(shí)別頁(yè)面，用戶需點(diǎn)擊一鍵識(shí)別，并將手機(jī)的前置攝像頭正對(duì)面部，穩(wěn)定地保持一會(huì)，即可得到表情分析報(bào)告。情感報(bào)告以六邊形的模塊實(shí)現(xiàn)，體現(xiàn)用戶的情感區(qū)間，再點(diǎn)擊解決方案。私人心理“醫(yī)生”將會(huì)根據(jù)用戶的表情分析報(bào)告給出適當(dāng)?shù)慕ㄗh，同時(shí)控制系統(tǒng)會(huì)控制智能家居對(duì)室內(nèi)環(huán)境進(jìn)行調(diào)節(jié)，讓用戶處在一個(gè)更加舒適的環(huán)境之中，具體識(shí)別過(guò)程如圖6所示。

2.3? 個(gè)人

如圖7所示，在個(gè)人頁(yè)面中用戶可以綁定自己佩戴的手環(huán)、智能家居等健康監(jiān)測(cè)設(shè)備。用戶佩戴設(shè)備，系統(tǒng)可以記錄其每日的運(yùn)動(dòng)消耗，睡眠質(zhì)量等參數(shù)。借助藍(lán)牙可以將參數(shù)上傳到該應(yīng)用，用戶可以隨時(shí)在該應(yīng)用中查看自己的身體狀況。智能家居則會(huì)根據(jù)所識(shí)別的用戶情感情況，從舒適度方面適度調(diào)節(jié)室內(nèi)環(huán)境，從而更好地調(diào)節(jié)用戶情緒。

2.4? 其他功能設(shè)計(jì)

2.4.1? 青少年模式和老年模式

老年模式與子女賬號(hào)綁定，子女可以實(shí)時(shí)查看了解老年人心理狀況，有助于將老年人的生活起居照顧周全。青少年模式與父母賬號(hào)綁定，便于父母隨時(shí)了解孩子的心理健康狀況，有利于青少年身心健康發(fā)展。

2.4.2? 交流社區(qū)

用戶可以通過(guò)社區(qū)交流功能，與社區(qū)其他用戶進(jìn)行必要的交流和分享。用戶通過(guò)分享自己的生活意趣，激勵(lì)自己多做一些感興趣的事情，調(diào)動(dòng)其生活的積極性。適當(dāng)?shù)慕涣骱头窒砑瓤梢詭椭脩臬@得和諧的人際關(guān)系，交到志同道合的朋友，又對(duì)舒緩用戶焦慮的心情和治療起到積極的作用。

2.4.3? 智能家居環(huán)境

私人心理“醫(yī)生”可以與智能家居綁定，智能家居可以根據(jù)用戶的狀態(tài)智能調(diào)節(jié)環(huán)境，從視覺(jué)、聽(tīng)覺(jué)、空氣質(zhì)量三個(gè)方面為用戶營(yíng)造舒適的環(huán)境，協(xié)助調(diào)理用戶的情緒，同時(shí)解放雙手，給用戶帶來(lái)更好的體驗(yàn)。

2.4.4? 用戶反饋

好的產(chǎn)品并非是一蹴而就的，為了提高用戶體驗(yàn)感，以為用戶提供更加有效的幫護(hù)，設(shè)置用戶反饋模塊，用戶在使用過(guò)程中有任何問(wèn)題或建議都可以隨時(shí)進(jìn)行反饋，產(chǎn)品也會(huì)根據(jù)用戶反饋不斷地予以完善。

3? 測(cè)試

如圖8所示，私人心理“醫(yī)生”設(shè)計(jì)完成之后，進(jìn)行了相應(yīng)的測(cè)試。主要包括對(duì)登錄注冊(cè)、人臉識(shí)別分析等功能進(jìn)行測(cè)試：

測(cè)試1：正確注冊(cè)的賬號(hào)和密碼登錄。

測(cè)試2：注冊(cè)的賬號(hào)和錯(cuò)誤的密碼登錄。

測(cè)試3：未注冊(cè)賬號(hào)和已注冊(cè)賬號(hào)密碼登錄。

測(cè)試4：只輸入賬號(hào)不輸入密碼登錄。

測(cè)試5：不輸入賬號(hào)只輸入密碼登錄。

結(jié)果：測(cè)試2、測(cè)試3、測(cè)試4、測(cè)試5如圖9測(cè)試結(jié)果所示，均無(wú)法登錄。

測(cè)試1可以登錄，測(cè)試1的結(jié)果如圖10所示。

測(cè)試6：打開(kāi)攝像頭，正常檢測(cè)正臉，觀察能否在人臉檢測(cè)中識(shí)別到人臉。

測(cè)試7：打開(kāi)攝像頭，正常檢測(cè)側(cè)臉，觀察能否在人臉檢測(cè)中識(shí)別到人臉。

結(jié)果：測(cè)試6可以識(shí)別到人臉，測(cè)試6的結(jié)果如圖11所示。

測(cè)試7無(wú)法識(shí)別到人臉，測(cè)試7的結(jié)果如圖12所示。

經(jīng)過(guò)測(cè)試可知，私人心理“醫(yī)生”基本可以實(shí)現(xiàn)需求的功能，具有一定的可行性。

4? 結(jié)? 論

基于在重大災(zāi)難之際人們出行不便，許多人對(duì)便利的心理問(wèn)題診療平臺(tái)有剛性需求的狀況，本文設(shè)計(jì)并實(shí)現(xiàn)了私人心理“醫(yī)生”，能夠在用戶足不出戶的情況下對(duì)其進(jìn)行心理診斷和治療。本項(xiàng)目投入實(shí)踐，將為不方便出行的群眾帶來(lái)諸多便利，節(jié)約醫(yī)生方對(duì)患者心理問(wèn)題診斷的時(shí)間和成本，及時(shí)緩解和輔助心理問(wèn)題的治療，且能夠提高用戶對(duì)心理問(wèn)題的重視。

參考文獻(xiàn)：

[1] 巫春玲，馮志文，鐘沈豪，等.基于人臉識(shí)別技術(shù)的高校課堂自動(dòng)考勤管理系統(tǒng) [J].智能建筑與智慧城市，2020（5）：20-24.

[2] 張人，何寧.微表情識(shí)別研究綜述 [J].計(jì)算機(jī)工程與應(yīng)用，2021，57（1）：38-47.

[3] 鄭浩鑫，林楷焱，陶銘.視覺(jué)情感識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) [J].計(jì)算機(jī)時(shí)代，2021（3）：33-36.

[4] 何正軒.基于面部識(shí)別的情感輔助調(diào)節(jié)系統(tǒng) [J].中國(guó)新技術(shù)新產(chǎn)品，2017（1）：10-11.

[5] 許嘉誠(chéng).基于并行算法的快速人臉識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) [J].無(wú)線互聯(lián)科技，2020，17（6）：63-65.

[6] Kotsia I， Pitas I. Facial Expression Recognition in Image Sequences Using Geometric Deformation Features and Support Vector Machines [J].IEEE Transactions on Image Processing，2007，16（1）：172-187.

作者簡(jiǎn)介：周神美（2000—），男，漢族，安徽合肥人，本科在讀，研究方向：計(jì)算機(jī)與信息技術(shù);

朱屹誠(chéng)（2001—），男，漢族，安徽宣城人，本科在讀，研究方向：計(jì)算機(jī)與信息技術(shù);

李星燁（2000—），女，漢族，安徽淮南人，本科在讀，研究方向：計(jì)算機(jī)與信息技術(shù);

張大秀（1992—），女，漢族，安徽宿州人，助教，碩士研究生，研究方向：移動(dòng)邊緣計(jì)算、深度學(xué)習(xí)、計(jì)算機(jī)技術(shù)。