牛犇 滕運江

（金陵科技學(xué)院電子信息工程學(xué)院 江蘇省南京市 211169）

人臉表情能夠快速、準確傳遞出當(dāng)事人的狀態(tài)、思想和態(tài)度等內(nèi)在心理，成為眾多情感表達中最自然、最直接有效的方式?；诜墙佑|式圖像和視頻序列的人臉表情識別成為人機交互及人工智能領(lǐng)域不可或缺的環(huán)節(jié)，具有重要的研究意義。人臉表情識別在生活中的應(yīng)用非常廣泛，如情感機器人能夠通過捕捉人臉表情來感知人類的喜怒哀樂；醫(yī)療服務(wù)方面，可以通過對病患的人臉表情識別判斷其痛苦情況，輔助醫(yī)生進行診斷；交通安全方面，通過對車輛駕駛員進行實時人臉表情識別，可以在疲勞駕駛和突發(fā)情況時及時給予提示；公共安全方面，通過人臉表情識別可以預(yù)測人們的心理變化，從而預(yù)防惡性事件的發(fā)生；教育方面，可以通過實時的人臉表情識別來反映學(xué)生的學(xué)習(xí)狀態(tài)[1]。

著名心理學(xué)家Ekman 定義了6 種基本表情和1 種無表情狀態(tài)，即：生氣、厭惡、恐懼、高興、悲傷和驚訝，無表情狀態(tài)也稱為“自然表情”。Ekman 等根據(jù)面部肌肉的運動將人臉劃分成不同區(qū)域，建立了“面部動作編碼系統(tǒng)”（Facial Action Coding System，F(xiàn)ACS）。不同的肌肉運動過程，能夠產(chǎn)生不同的表情，從而實現(xiàn)人臉表情識別[2]。研究人員在此基礎(chǔ)上開展了大量的研究工作。目前人臉表情識別主要基于兩種方法：傳統(tǒng)的特征提取方法和深度學(xué)習(xí)方法。傳統(tǒng)的人臉表情識別方法依賴于特征提取的有效性及分類器設(shè)計的合理性，常用的特征提取方法主要有局部二值模式（Local Binary Pattern, LBP）、Gabor 小波變換、方向梯度直方圖（Histogram of Oriented Gradients, HOG）、尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）等，常用的分類器主要包括K 近鄰分類器（K Nearest Neighbor，KNN）、樸素貝葉斯分類器（Naive Bayes， NB）、支持向量機（Support Vector Machine, SVM）、隨機森林（Random Forest， RF）、決策樹（Decision Tree, DT）等[3]。對于傳統(tǒng)人臉表情識別方法，特征提取具有較強的人為干擾因素，且分類器選取也決定了識別精度，因此魯棒性不強。深度學(xué)習(xí)方法能夠自動地提取更深層次的表情特征，排除了人工選取特征的不利因素，從而大大提高了識別率。使用卷積神經(jīng)網(wǎng)絡(luò)進行人臉表情識別，通常是將整張圖片作為輸入，通過網(wǎng)絡(luò)模型的訓(xùn)練以達到分類識別的目的[4]。本文主要研究基于深度學(xué)習(xí)的人臉表情識別方法，并在樹莓派中實現(xiàn)實時人臉表情識別。

1 樹莓派簡介

2012年3月，樹莓派是由英國的“Raspberry Pi基金會”研發(fā)成功，被譽為最小的臺式機，因為外形的大小跟信用卡相近，所以又被稱為卡片式電腦。

樹莓派自發(fā)售以來，風(fēng)靡全球，受到廣大計算機愛好者的廣泛追捧。樹莓派具有圖形化的操作界面，可以作為一臺微型電腦使用，實現(xiàn)常用的文檔編輯、網(wǎng)頁瀏覽、音視頻播放等功能。樹莓派也可以用于硬件智能化，實現(xiàn)智能小車、電子相框、人臉識別、語音識別等嵌入式開發(fā)工作。

圖1：較弱光照條件下的人臉表情識別

樹莓派4B 使用1.5GHz 四核ARM Cortex-A72 處理器，4G 內(nèi)存，并引入USB3.0 接口，支持雙頻無線Wi-Fi，5V/3A 的USB-C 接口供電，具有良好的性能和豐富的接口[5]。

2 基于樹莓派的實時人臉表情識別系統(tǒng)設(shè)計

本文所設(shè)計的基于樹莓派的實時人臉表情識別系統(tǒng)采用樹莓派4B 作為載體，軟件平臺及版本為Python3.7+OpenCV4.2.0+Tensorfl low2.0.0+Keras2.3.1，人臉檢測采用Haar-like 特征算法，分類器模型為深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型，該模型具有訓(xùn)練簡單、權(quán)值損失小、能夠并行學(xué)習(xí)、復(fù)雜度低等優(yōu)點。基于樹莓派的實時人臉表情識別系統(tǒng)主要分為以下幾個部分。

獲取圖像：圖像的獲取可以直接上傳拍攝的照片，也可以選擇用攝像頭實時捕捉畫面，本系統(tǒng)采用攝像頭進行實時人臉檢測。代碼實現(xiàn)主要通過語句cv2.VideoCapture(0)獲取視頻幀，然后傳入一個變量cap，最后調(diào)用語句cap.set()繪制視頻窗口，通過獲取的視頻幀圖像形成視頻流，從而達到實時檢測的目的。

人臉檢測：該系統(tǒng)調(diào)用OpenCV 自帶的基于Haar-like 特征的人臉檢測模型對當(dāng)前幀圖像進行檢測，對人臉區(qū)域進行標注。代碼實現(xiàn)使用cv2.CascadeClassifier()語句導(dǎo)入OpenCV 的haarcascade_frontalface_default.xml 模型，然后使用cap.read()語句讀取視頻幀圖像，使用face_classifier.detectMultiScale()語句進行檢測參數(shù)的設(shè)置，最后把檢測到的人臉特征傳入faces 變量，即完成了人臉檢測部分的功能。

特征提取：該階段通過事先訓(xùn)練好的人臉表情分類器提取視頻幀圖像的人臉表情特征。首先安裝Tensorflow 框架，然后再安裝一個Keras 模塊來加載訓(xùn)練模型，完成環(huán)境的搭建后，使用load_model()語句加載事先訓(xùn)練好的模型，將檢測到的人臉特征即上文提到的faces 變量導(dǎo)入人臉表情分類器模型即可。

表情分類：使用訓(xùn)練好的深度學(xué)習(xí)模型檢測提取到的人臉表情特征。通過將所提取的人臉表情特征進行分類，即可得到當(dāng)前圖像中的人臉表情類別。代碼實現(xiàn)需要定義一個字典表示7 種表情，因為從表情分類器模型中返回值是0～6 的數(shù)字，然后把數(shù)字傳入字典后得到所定義的表情類型。

輸出結(jié)果：將識別結(jié)果在原圖像中進行標注。代碼實現(xiàn)主要是先從faces 變量中提取四個參數(shù)，然后使用cv2.rectangle()語句繪制人臉區(qū)域，之后使用cv2.putText()語句在繪制出的人臉區(qū)域上方輸出對應(yīng)的人臉表情標簽。

3 實驗結(jié)果與分析

3.1 實驗測試

本文采用攝像頭在真實環(huán)境下進行面部表情采集，通過改變光照條件、膚色條件等對基于樹莓派的實時人臉表情識別系統(tǒng)進行測試。

3.1.1 正面人臉的實時表情識別測試

正面人臉表情采集環(huán)境為大學(xué)宿舍室內(nèi)，具有簡單的室內(nèi)家具環(huán)境，測試對象性別均為男性，年齡22-25 歲，黃種人，人臉正對設(shè)備，共測試自然（neutral）、高興（happy）、驚訝（surprise）、悲傷（sad）、生氣（angry）、恐懼（fear）、厭惡（disgust）七種表情。在正常光照情況下，該系統(tǒng)能夠成功檢測出人臉區(qū)域，進行實時人臉表情識別，并顯示表情類別標記。考慮到光照對于圖像檢測的影響，改變光照條件，在光照較為微弱的環(huán)境下進行測試。測試對象為男性，23 歲，黃種人，人臉正對設(shè)備，共測試七種表情。人臉表情識別結(jié)果如圖1所示，在室內(nèi)較弱光照環(huán)境下，雖然圖像對比度較低，但該系統(tǒng)仍能成功檢測出人臉區(qū)域，正確識別出人臉表情，并顯示表情類別標記。

本文所設(shè)計的基于樹莓派的人臉表情識別系統(tǒng)在不同光照條件下均能夠達到較好的識別效果。不同測試對象在不同的表情下具有非常強烈的個人特征，本系統(tǒng)可以正確識別不同人臉的表情。共進行十組實驗，人臉表情的平均識別率為93.4%，其中厭惡和生氣兩種表情在識別過程中容易發(fā)生混淆，需要測試者做出較為夸張的表情才能夠正確識別，可能的原因是該兩種表情在面部肌肉的運動表現(xiàn)較為相似，從而造成一定的識別誤差。

3.1.2 非正面人臉及部分遮擋人臉的實時表情識別測試

在實際應(yīng)用場景中，所采集到的人臉圖像可能并不是正面人臉，本文對非正面人臉進行測試。實驗分別測試了人臉旋轉(zhuǎn)45 度和旋轉(zhuǎn)90 度的人臉表情圖像，從實驗結(jié)果可以看出，本文所設(shè)計的基于樹莓派的實時人臉表情識別系統(tǒng)對于角度較大的非正面人臉表情識別效果并不理想，需要進一步改進完善。

在實際應(yīng)用場景中，所采集到的人臉圖像可能會發(fā)生遮擋，比如測試對象佩戴帽子、眼鏡等，本文對部分遮擋人臉進行表情識別測試。如圖2左邊兩個圖像為佩戴眼鏡的人臉表情識別結(jié)果，右邊三個圖像為使用紙張對人臉進行部分遮擋情況下的表情識別結(jié)果。從實驗結(jié)果可以看出，對于佩戴眼鏡的人臉表情識別效果較為理想，但是對于紙張遮擋部分人臉的表情識別效果較差。

3.1.3 不同種族及多人臉情況下的實時表情識別測試在實際應(yīng)用場景中，所采集到的可能是不同種族的人臉圖像，比如白種人，黑種人和黃種人，本文對于不同種族的人臉進行表情識別測試。實驗結(jié)果表明，對于不同膚色的人臉表情同樣能夠正確識別。在實際應(yīng)用場景中，可能會出現(xiàn)多張人臉的情況，本文對于多張人臉進行實時表情識別。在實際的實驗過程中，會出現(xiàn)個別人臉表情無法正確識別的情況。

3.2 結(jié)果分析

通過以上實驗結(jié)果可以看出，由于硬件限制，識別結(jié)果會出現(xiàn)一定的延時。此外，受攝像頭像素和光照條件等因素的影響，部分人臉表情識別結(jié)果不夠準確，人臉的偏轉(zhuǎn)角度也對人臉表情識別結(jié)果具有一定的影響。

在實驗過程中，每個測試對象的表情強度各不相同，從而引起面部變化的不同，因此可能造成不同的識別結(jié)果。實驗結(jié)果表明，在背光、昏暗的室內(nèi)進行人臉檢測時，由于人臉的陰影面積較大，造成人臉檢測較為困難，從而無法進行后續(xù)的表情識別。在光照良好的條件下，當(dāng)人臉一側(cè)背光時，則無法準確檢測出人臉，造成表情識別錯誤，而當(dāng)人臉曝光良好時，識別結(jié)果較為準確。實驗結(jié)果表明，生氣和厭惡這兩種表情識別較為困難，可能的原因是該兩種表情在面部肌肉的運動表現(xiàn)較為相似，同時也與表情強度有關(guān)。

復(fù)雜情況下人臉檢測難度較大，造成人臉表情識別困難，人臉轉(zhuǎn)動一定角度時無法正確檢測到人臉，從而導(dǎo)致了人臉表情識別錯誤。在人臉被部分遮擋時，佩戴透明或透光性較差鏡片的眼鏡時能夠正確識別人臉表情，而使用不透光的紙片遮擋眼部、眼鼻部、嘴部等情況下都無法識別人臉表情。

通過對不同種族的人臉表情進行識別，發(fā)現(xiàn)人臉表情識別仍較為準確。但在多個人臉表情識別時會發(fā)生個別人臉檢測不到，無法進行表情識別的情況。

通過對實驗中所使用的表情進行分類對比，不難發(fā)現(xiàn)，現(xiàn)實生活中最常見的表情更容易識別，如開心、驚訝、悲傷。另外幾種表情在實驗過程中識別較為困難，可能是因為面部肌肉運動較難區(qū)分，同時表情強度較弱。

從實驗結(jié)果可以看出，人臉表情識別受環(huán)境因素影響很大，在后續(xù)的研究中可以通過優(yōu)化分類模型來改善識別效果，同時也可以通過調(diào)整實驗環(huán)境來達到識別效果的最優(yōu)化。

4 結(jié)語

本文設(shè)計了一種基于樹莓派的實時人臉表情識別系統(tǒng)，對人臉表情識別的主要方法進行了分析，使用深度學(xué)習(xí)框架Tensorfllow在樹莓派上實現(xiàn)對人臉表情的實時識別。實驗結(jié)果表明，本文設(shè)計的基于樹莓派的實時人臉表情識別系統(tǒng)對于正面人臉表情識別具有較好的識別精度和較高的魯棒性，但對于旋轉(zhuǎn)角度較大的非正面人臉表情和低分辨率多人臉表情識別效果不佳。后續(xù)將圍繞非正面人臉表情和低分辨率多人臉表情實時識別開展研究工作，對深層網(wǎng)絡(luò)模型進行優(yōu)化。