劉業(yè)輝 宋玉娥 朱賀新

摘? 要：在信息技術應用逐漸成熟的背景條件下，機器人視覺方案開始走入各行各業(yè)。為使機器人視覺面部表情識別達到理想的識別效果，研究了采用機器人視覺方式進行處理，對人類面部表情進行精準識別，進而為相關功能實現(xiàn)提供支撐，如學校課堂管理、安防工作等。該文主要針對基于機器人視覺的面部表情識別技術進行深入研究，以供參考。

關鍵詞：機器人視覺;面部表情;識別技術

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? 文獻標識碼：A文章編號：2096-4706（2021）16-0102-03

Analysis of Facial Expression Recognition Technology Based on Robot Vision

LIU Yehui， SONG Yu’e， ZHU Hexin

（Beijing Polytechnic College， Beijing? 100042， China）

Abstract： Under the background of the gradual maturity of information technology application， robot vision scheme begin to enter all walks of life. In order to achieve the ideal recognition effect of robot visual facial expression recognition， the robot visual processing method is studied to accurately recognize human facial expression， so as to provide the supports for the realization of relevant functions，， such as school classroom management， security work， etc. This paper mainly studies the facial expression recognition technology based on robot vision for reference.

Keywords： robot vision; facial expression; identification technology

0? 引? 言

智能化解決方案正在廣泛應用，對面部表情進行識別的技術需求日益增多。為達到理想識別效果，需要合理采用機器人視覺面部表情識別技術，通過相關技術手段對人類表情進行深入分析，最終以高識別效率輸出高質量結果。通過研究相關技術細節(jié)，可以為后續(xù)應用機器人視覺方案打下堅實基礎，具有正面影響意義。

1? 表情識別方法分類

在機器人視覺方案應用階段，面部表情自動化識別屬于常用類型之一，其主要針對人類面部狀態(tài)進行采集，并對比數(shù)據(jù)庫內部表情數(shù)據(jù)，獲得特征加以分析。通過此類方式，可有效識別目標情緒傾向，有利于相關內容的聯(lián)想、整合與分析，快速識別特征面部表情。常規(guī)情況下，完整識別系統(tǒng)需要包含人臉檢測、定位跟蹤、特征提取、表情識別四個模塊[1]。

在針對人臉進行檢測的過程中，需要首先通過圖像采集模塊獲取數(shù)據(jù)信息，隨后利用序列處理方法，檢測目標人臉位置，并開展定位與跟蹤活動如圖1所示。

針對人臉進行檢測與定位的措施主要分為兩種，即知識措施與特征措施。知識措施需要對人臉存在的基礎條件進行規(guī)則化處理，使后續(xù)能夠利用知識數(shù)據(jù)庫完成粗檢測、精檢測流程，實現(xiàn)定位目標人臉位置的目標。粗檢測與精檢測的主要區(qū)別與分辨率、幀率存在關聯(lián)，因此需要根據(jù)環(huán)境條件與硬件條件的差異進行針對化處理。目前，主流應用方案采用灰度圖像積分投影曲線處理方式進行操作，其能夠根據(jù)局部區(qū)域極值數(shù)據(jù)，判斷人臉器官所處位置，整體魯棒性較高[2]。除此之外，基于特征的檢測方法也具有理想應用價值，其在處理階段需要借助人臉所具備的相關特征進行操作，如膚色情況、紋理狀態(tài)、邊緣位置等。但是，相對于知識檢測方法，特征檢測可能會受到其他條件干擾，因此應當避免在精細化要求較高的場合應用。為達到理想識別效果，應當針對面部表情信息進行分類處理。通常情況下，分類工作主要利用設計機制展開預先定義的類別處理。常用分類措施主要分為兩種，即模板匹配、神經網絡[3]。

2? 人臉圖形獲取與預處理

對針對人臉圖形進行獲取并完成預處理操作時，需要首先補償光照條件，避免信息出現(xiàn)亮度過低、模糊等影響識別的問題。通常情況下，人類面部膚色容易受到光源顏色、采集設備色差等問題影響，出現(xiàn)偏離實質色彩的情況。因此，需要利用參考白算法完成圖像補償措施，使光照條件產生的負面影響能夠得到有效控制。

光照條件補償糾正結束后，應當對圖像信息進行中值濾波平滑處理。中值濾波屬于非線性濾波類型，其能夠有效排除噪聲像素，為后續(xù)進一步識別提供重要基礎。在實踐階段，應當對圖像內部像素周邊灰度差距較大的位置進行糾正，使其能夠與周邊像素實現(xiàn)平均化表現(xiàn)狀態(tài)。

3? 面部表情識別系統(tǒng)的實現(xiàn)與實驗結果

3.1? 面部表情識別系統(tǒng)設計

面部表情識別系統(tǒng)設計基本結構如圖2所示。

在設計面部表情識別系統(tǒng)的過程中，需要首先準備系統(tǒng)應用設備并合理規(guī)劃界面布局。本次應用實驗平臺為臺式計算機設備，并結合USB攝像頭裝置完成視頻圖像采集。臺式計算機配置為AMD RYZEN 5600X處理器，內存配置為16 GB，能夠有效承載面部識別計算壓力與數(shù)據(jù)存儲需求。表情識別系統(tǒng)采用C++編寫，并基于開源視覺庫OPEN GL完成處理模塊設計[4]。在界面規(guī)劃階段，中央顯示窗口應當與攝像頭連接，顯示視頻信息內容。窗口內采用紅色矩形標記目標人臉位置，為調試跟蹤模塊提供基礎條件。表情識別信息需要顯示于紅色矩形標記下方，并在界面右側控制區(qū)域輸出幀數(shù)狀態(tài)與識別結果保存位置。面部表情識別處理如圖3所示。

首先利用檢測定位方式對視頻圖像幀進行檢查、處理，隨后將人臉區(qū)域從攝像頭信息中分離（割）。若在單幀內成功檢測到目標人臉，則啟動人臉跟蹤處理模塊。

3.2? 人臉檢測定位及跟蹤實驗

人臉檢測與定位屬于機器人視覺識別方案的核心模塊，通過從人類基本表情視頻流內抽取相關圖像進行對比，并采用雙眼定位與視覺瞳孔拾取方法進行處理，能夠有效明確定位方案應用效果。實驗過程中，主要針對X與Y方向的雙眼瞳孔定位進行分析，并明確誤差情況。結果顯示，瞳孔定位誤差極限數(shù)據(jù)不超過4像素，具有應用可靠性。同時，對虹膜半徑識別誤差極限不超過5像素，單幀定位耗時僅523毫秒，實時性良好。

在跟蹤實驗開展階段，主要應用中值濾波、開啟閉合等像素操作方案，整體時間消耗較長。通過采用1 000幀人臉識別圖像數(shù)據(jù)進行粗定位實時檢測，對結果進行分析能夠發(fā)現(xiàn)，針對單幀圖像的定位耗時極限達到了72毫秒，實用性較低。為解決此類問題，應當采用粒子濾波跟蹤應用算法，使人臉檢測與識別裝置能夠得到有效補充，進一步強化實時性特征，跟蹤計算時采用式（1）進行處理[5]。

yt=2yt-1-yt-2? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

本式中，y代表二維向量{r，c}，r，c分別代表此粒子在目標圖像內的行列坐標狀態(tài)。yt代表第t次粒子濾波初始階段所處位置，yt-1代表第t-l次確定的跟蹤目標位置，yt-2代表第t-2次確定的跟蹤目標位置。完成改造后再次進行相關識別測試發(fā)現(xiàn)，跟蹤算法耗時僅為人臉粗定位算法耗時的二分之一。人臉區(qū)域檢測定位與跟蹤主要算法流程如圖4所示。

3.3? 面部表情識別實驗

在針對面部表情進行識別時，為明確系統(tǒng)應用效果，需要展開相關測試實驗。實驗工作主要依靠訓練分類表情數(shù)據(jù)進行處理，相關數(shù)據(jù)內容來源于5名隨機人員在穩(wěn)定環(huán)境條件下展現(xiàn)面部表情。通過對比相關實驗數(shù)據(jù)能夠發(fā)現(xiàn)，本次構建的表情識別系統(tǒng)能夠對特定目標面部情況實現(xiàn)高效識別，與人工鑒定表情類型結果具有趨同性，可判定為準確度較高。同時，針對實驗結果進行分析能夠發(fā)現(xiàn)，本次應用系統(tǒng)對相關特征表情的識別率超過85%，平均可識別效果相對接近，均處于85%以上。針對特定表情進行識別時，由于面部特征明顯，因此識別率會產生上升趨勢，如開心、驚訝、憤怒等，識別率能夠達到95%以上。此類面部表情特征與其他常見表情存在顯著差異，在面部器官位置出現(xiàn)改變時，識別敏感區(qū)域相對位置與狀態(tài)變化顯著，如面部眉毛、眼睛、嘴部等。因此，針對相關表情的識別效果較為良好，能夠在特定要求下進行應用。除此之外，針對厭煩、害怕、悲傷三種表情的識別效果相對較差，容易出現(xiàn)判斷錯誤或結果混淆等情況。導致此類問題出現(xiàn)的主要原因與三種表情敏感區(qū)域變化不顯著有關，同時此類負面表情共同特征較多，容易導致人臉識別系統(tǒng)出現(xiàn)誤判斷問題。因此，需要重視對負面表情識別的優(yōu)化工作，確保不同類型面部特征能夠得到有效區(qū)分，避免影響整體識別準確率與穩(wěn)定性。

除常規(guī)識別實驗外，還應當展開非特定人類表情識別實驗工作。通過此類實驗方式，能夠明確本次設立的表情識別系統(tǒng)能否使用多種差異人群類型識別需求場景。通過選擇四名非特定人選開展識別工作，并利用與常規(guī)面部識別系統(tǒng)完全一致的分類裝置進行處理，能夠在排除特定圖像信息的情況下展開客觀識別活動。四名非特定測試人員需要在穩(wěn)定環(huán)境條件下展現(xiàn)多種面部表情，如厭煩、害怕、開心、悲傷等[6]。在表情分類裝置內部不存在對應樣本的情況下，整體工作穩(wěn)定性大幅降低，但是整體分析表情識別效果與人工識別仍然存在顯著趨同性，平均識別率達到了80%，可以認為非特定人類表情識別效果仍然較為理想，能夠明確整體識別效果具有較為穩(wěn)定的趨勢。因此，本次識別系統(tǒng)具有顯著實用性，能夠在多種情況條件下進行應用。用訓練過和為訓練過的人分別做測試，初步結果如表1所示。

4? 結? 論

綜上所述，在針對人類面部表情進行識別的過程中，機器人視覺解決方案具有良好應用效果。在落實系統(tǒng)處理架構時，需要重視相關技術應用細節(jié)，確保面部表情能夠得到穩(wěn)定識別，盡可能提高應用質量與效率，為后續(xù)多種場景應用打下堅實基礎，進一步拓展計算機識別應用功能推廣范圍。

參考文獻：

[1] 潘光良.機器人人臉表情識別技術研究 [J].智能機器人，2019（1）：50-52.

[2] 李蕭瑋.基于智能服務機器人表情識別技術研究 [J].中國新通信，2018，20（23）：76.

[3] 王鍇.挑戰(zhàn)條件下的人臉表情識別 [D].中國科學院大學（中國科學院深圳先進技術研究院），2020.

[4] 何志超，趙龍章，陳闖.用于人臉表情識別的多分辨率特征融合卷積神經網絡 [J].激光與光電子學進展，2018，55（7）：370-375.

[5] 姚麗莎，徐國明，趙鳳.基于卷積神經網絡局部特征融合的人臉表情識別 [J].激光與光電子學進展，2020，57（4）：338-345.

[6] 崔鳳焦.表情識別算法研究進展與性能比較 [J].計算機技術與發(fā)展，2018，28（2）：145-149.

作者簡介：劉業(yè)輝（1969.12—），男，漢族，四川省開縣人，教授，碩士研究生，主要研究方向：電子通信、移動互聯(lián)應用、人工智能應用;宋玉娥（1981.02—），女，漢族，山東省曹縣人，副教授，信號處理學博士，主要研究方向：移動通信工程、信息安全與對抗、人工智能應用;朱賀新（1983.06—），女，漢族，河南省南陽人，副教授，通信與信息系統(tǒng)碩士，主要研究方向：移動通信工程、移動互聯(lián)應用、人工智能應用。