王 桔，丁 銳，洪 梅

(長(zhǎng)春大學(xué)電子信息工程學(xué)院，長(zhǎng)春130011)

基于LabVIEW 的面部表情識(shí)別系統(tǒng)的設(shè)計(jì)

王 桔，丁 銳，洪 梅

(長(zhǎng)春大學(xué)電子信息工程學(xué)院，長(zhǎng)春130011)

針對(duì)傳統(tǒng)界面表現(xiàn)不清晰，編程語句繁瑣的問題，基于LabVIEW軟件設(shè)計(jì)了系統(tǒng)的面部表情識(shí)別界面。對(duì)面部表情識(shí)別系統(tǒng)設(shè)計(jì)中的關(guān)鍵問題進(jìn)行探討，利用Matlab，應(yīng)用離散小波理論算法進(jìn)行表情圖像特征提取，并采用彈性模版匹配算法進(jìn)行情緒識(shí)別。實(shí)驗(yàn)結(jié)果表明，基于LabVIEW的面部表情識(shí)別系統(tǒng)，應(yīng)用LabVIEW軟件簡(jiǎn)單的語句設(shè)計(jì)了清晰互動(dòng)的界面，其識(shí)別率可達(dá)到85%以上。

面部表情;情緒識(shí)別;小波算法;彈性模版匹配;界面設(shè)計(jì)

0 引 言

隨著信息技術(shù)不斷發(fā)展，心理學(xué)領(lǐng)域中的計(jì)算機(jī)技術(shù)應(yīng)用亦取得了長(zhǎng)足進(jìn)步。其中根據(jù)表情識(shí)別判斷人們的情緒，實(shí)施心理分析，是計(jì)算機(jī)模式識(shí)別技術(shù)中一個(gè)最重要突破［1，2］。情緒是人類心理活動(dòng)的綜合反映，在影響和控制個(gè)人的行為中具有舉足輕重的作用，人類的一切言行在很大程度上受情緒左右［3］。心理學(xué)家Mehrabian認(rèn)為，情緒表達(dá)=7%語言+38%語調(diào)+55%面部表情，可見人臉表情與情緒表達(dá)具有十分密切的關(guān)系［4］。應(yīng)用計(jì)算機(jī)技術(shù)將人臉面部表情量化處理，提取能反映情緒的量化因子，進(jìn)行情緒識(shí)別，以研究人類行為的規(guī)律與導(dǎo)向，這正是表情識(shí)別研究的意義所在［5，6］。

目前表情識(shí)別技術(shù)成為心理學(xué)，應(yīng)用計(jì)算機(jī)技術(shù)領(lǐng)域的研究熱點(diǎn)，表情識(shí)別系統(tǒng)的關(guān)鍵特征算法多種多樣，層出不窮，而且界面全都是基于傳統(tǒng)編程語言編輯進(jìn)行設(shè)計(jì)的，既繁瑣累贅，系統(tǒng)界面也不鮮明，不夠人性化［7，8］。筆者對(duì)面部表情識(shí)別系統(tǒng)設(shè)計(jì)中的關(guān)鍵問題展開探討，應(yīng)用離散小波變換提取表情特征，可更好地將面部細(xì)微表情紋理提取，保留更多的細(xì)結(jié)。界面設(shè)計(jì)并應(yīng)用目前最為流行的LabVIEW軟件設(shè)計(jì)此表情識(shí)別系統(tǒng)界面，使該系統(tǒng)界面更加形象、生動(dòng)。

1 表情識(shí)別系統(tǒng)設(shè)計(jì)

表情識(shí)別技術(shù)的流程如圖1所示。圖像的獲取采用日本JAFFE(Japanese Female Facial Expression Database)表情數(shù)據(jù)庫的圖像做為依據(jù)，為解決因光線強(qiáng)弱不同造成的圖像清晰度問題，首先要進(jìn)行預(yù)處理;獲得較清晰的表情圖像效果，在Matlab下用離散小波算法提取圖像中含有表情信息的特征因子;最后通過分類識(shí)別，輸出圖像表情結(jié)果。

圖1 表情識(shí)別系統(tǒng)流程圖Fig.1 Facial expression recognition chart

1.1 圖像的預(yù)處理

由于光照或其他噪聲干擾等問題而引起圖像質(zhì)量不高，所以，在進(jìn)行表情識(shí)別前要對(duì)表情圖像進(jìn)行預(yù)處理。此識(shí)別系統(tǒng)分別加入了表情圖片的灰度提取，對(duì)灰度進(jìn)行二值化轉(zhuǎn)換，并通過直方圖均衡化能自適應(yīng)地有效改善圖像對(duì)比度不足問題。筆者主要在Matlab軟件下應(yīng)用直方圖的均衡化進(jìn)行表情圖像預(yù)處理［9］。以憤怒表情為例，處理前后的直方圖如圖2所示。通過比較可以看到，歸一化的直方圖不再均勻，直方圖均衡化后的圖像增強(qiáng)，排列變得不再均勻，使圖像的細(xì)節(jié)更加清晰。

圖2 未處理的直方圖和處理后的直方圖Fig.2 Unprocessed and procassed histogram

1.2 圖像表情的特征提取

圖像表情的特征提取是表情識(shí)別系統(tǒng)中最關(guān)鍵步驟。筆者應(yīng)用小波變換對(duì)表情圖像進(jìn)行特征提取。利用離散小波變換對(duì)數(shù)字圖像進(jìn)行多分辨率觀察和處理時(shí)，除了可有效、高度直觀地描述框架以及分辨率圖像存儲(chǔ)外，還有利于深入了解圖像的空間域和頻域特性［10］。

當(dāng)系統(tǒng)輸入一個(gè)大小為M×N的圖像時(shí)，其離散變換T(u，v，…)，可表示為

其中x，y是空間變量，u，v，…是變換域變量。若給定T(u，v，…)，則f(x，y)可用一般的離散反變換

得到。其中g(shù)u，v和hu，v分別稱為正變換核和反變換核。它們決定了變換對(duì)的性質(zhì)、計(jì)算復(fù)雜度和主要用途。變換系數(shù)T(u，v，…)可看做f關(guān)于{hu，v，…}的一系列展開系數(shù)。反變換核對(duì)于f的序列展開定義一組展開函數(shù)。因此，任意函數(shù)的離散小波變換為

對(duì)憤怒、高興、悲傷、驚訝、厭惡和恐懼6種基本表情進(jìn)行離散小波變換處理后得到的特征圖像如圖3所示。處理后的特征表情為后期的表情分類工作提供了更好的表征表情特征的特征向量。

圖3 表情特征圖像Fig.3 Expression feature image

2 表情識(shí)別系統(tǒng)的實(shí)現(xiàn)

2．1 彈性圖識(shí)別

筆者對(duì)提取出的表情特征圖像進(jìn)行分類識(shí)別應(yīng)用的算法為彈性圖匹配識(shí)別法。彈性圖匹配是面部關(guān)鍵特征定位的一種重要算法。其基本思想是:在圖像上選取一些特征點(diǎn)建立具有一定拓?fù)浣Y(jié)構(gòu)的彈性模板，提取每個(gè)節(jié)點(diǎn)的特征矢量，定義相似度函數(shù)計(jì)算特征矢量以及拓?fù)浣Y(jié)構(gòu)的相似程度，通過追求相似度的最大化完成彈性圖匹配［11］。彈性圖特征點(diǎn)如圖4所示。

圖4 彈性圖特征點(diǎn)Fig.4 Elastography feature points

2．2 表情識(shí)別界面的設(shè)計(jì)

筆者應(yīng)用Matlab和LabVIEW軟件進(jìn)行混合編程實(shí)現(xiàn)表情識(shí)別系統(tǒng)。將Matlab對(duì)表情的處理程序嵌入到LabVIEW中去。目前Matlab和LabVIEW軟件是工程運(yùn)算中最流行的兩款軟件，LabVIEW是美國(guó)NI公司開發(fā)的基于圖形化編程語言的開發(fā)程序，該圖形化編程語言清晰簡(jiǎn)明，通過LabVIEW軟件設(shè)計(jì)，使表情識(shí)別系統(tǒng)界面變得更加豐富多彩，也改善了傳統(tǒng)應(yīng)用編程語言編輯界面的繁瑣和累贅。筆者應(yīng)用LabVIEW軟件設(shè)計(jì)了3個(gè)可選擇的面板，進(jìn)行圖像獲取、圖像預(yù)處理及表情識(shí)別3個(gè)步聚。圖像獲取前面板如圖5所示。圖像預(yù)處理前面板如圖6所示。表情識(shí)別前面板如圖7所示。

圖5 圖像獲取前面板Fig.5 The front panel of image acquisition

圖6 圖像預(yù)處理前面板Fig.6 The front panel of image preprocessing

圖7 表情識(shí)別前面板Fig.7 The front panel of expression acquisition

2.3 LabVIEW調(diào)用Matlab程序

筆者借助Matlab強(qiáng)大的圖像處理功能，對(duì)獲取的表情圖片進(jìn)行預(yù)處理，再應(yīng)用其內(nèi)部的小波分析工具箱中的離散小波分析得到表情圖像的特征。在 LabVIEW中調(diào)用 Matlab處理程序，調(diào)用過程為L(zhǎng)abVIEW中的Funcion(函數(shù))模塊-數(shù)學(xué)-角本與公式-腳本節(jié)點(diǎn)-Matlab腳本，LabVIEW調(diào)用Matlab程序的角本文件部分程序如圖8所示。

圖8 角本文件部分程序Fig.8 Part of scrip program

3 實(shí)驗(yàn)結(jié)果分析

筆者應(yīng)用彈性模版匹配方法而得到的特征表情識(shí)別率結(jié)果如表1所示。

表1 特征表情識(shí)別率Tab.1 Expression recognition rates

從表1可以看出，高興的識(shí)別率最高，厭惡和驚訝的識(shí)別率相對(duì)低一些，與人們?nèi)粘Ｃ娌勘砬榈姆謩e關(guān)系不大。

4 結(jié) 語

面部表情識(shí)別系統(tǒng)是一項(xiàng)有待深入研究的課題，其中表情因子提取與模式識(shí)別算法是系統(tǒng)研究中的關(guān)鍵內(nèi)容。筆者所做的工作是將LabVIEW及Matlab兩款工程軟件混合編程;在表情特征識(shí)別中應(yīng)用小波分析工具箱對(duì)表情圖像進(jìn)行預(yù)處理及表情特征提取;應(yīng)用彈性模版匹配法進(jìn)行相應(yīng)表情的識(shí)別;最后應(yīng)用LabVIEW豐富完美的圖形化軟件給出友好的界面。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)的識(shí)別率在85%以上。未來的工作將側(cè)重于在系統(tǒng)中融入生理信號(hào)，提高面部表情與心理活動(dòng)的一致性。

［1］韓金霖.一種改進(jìn)的人臉表情識(shí)別方法研究［D］.重慶:西南大學(xué)電子與通信工程學(xué)院，2012:204-206. HAN Jinlin.An Improved Method for Facial Expression Recognition Research［D］.Chongqing:Institute of Electronic and Communication Engineering，Southwest University，2012:204-206.

［2］姜銳.人臉表情識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)［D］.杭州:浙江理工大學(xué)計(jì)算機(jī)工程學(xué)院，2013:102-105. JIANG Rui.Facial Expression Recognition System Research and Implementation［D］.Hangzhou:Institute of Computer Engineering，Zhejiang University of Technology，2013:102-105.

［3］HARA F，KOBAYASHIH.State of the Art in Component Development for Interactive Communication with Humans［J］. Advanced Robotics，1997，11(6):585-604.

［4］NAGAMACHIM.Kansei Engineering:A New Ergonomic Consumer-Oriented Technology for Product Development［J］. International Journal of Industrial Ergonomics，1995，16(3):502-506.

［5］KORT B，REILLY R，PCARD R.An Affective Modelof Interplay between Emotions and Learning:Reengineering Educational Pedagogy-Building a Learning Companion［C］∥IEEE International Conference on Advanced Learning Technologies.［S.l.］: IEEE，2001:1022-1024.

［6］PINHANEZC S.The Everywhere Displays Projector:A Device to Create Ubiquitous Graphical Interfaces［C］∥Proceedings of the 3rdInternational Conference on Ubiquitous Computing.Beijing，China:China Association for Science and Technology，2001:315-331.

［7］胡陽明，周大可，鹿東.基于形變模型的三維人臉快速重建改進(jìn)算法［J］.吉林大學(xué)學(xué)報(bào):信息科學(xué)版，2012，30(6):606-609. HU Yangming，ZHOU Dake，LU Dong.Improved 3D Fast Face Reconstruction Algorithm Based on Morphable Model［J］. Journal of Jilin University:Information Science Edition，2012，30(6):606-609.

［8］馬光凱.基于多特征融合的人臉識(shí)別算法研究［D］.哈爾濱:哈爾濱工業(yè)大學(xué)計(jì)算機(jī)技術(shù)學(xué)院，2012:204-205. MA Guangkai.Face Recognition Algorithm Based on Multiple Features Fusion Research［D］.Harbin:Institute of Computer Technology，Harbin Industrial University，2012:204-205.

［9］牛曉偉.一種能識(shí)別情感狀態(tài)的遺傳算法及應(yīng)用［J］.蘭州理工大學(xué)學(xué)報(bào)，2010，36(4):94-97. NIU Xiaowei.One Can Identify the Emotional State of Genetic Algorithm and Its Application［J］.Journal of Lanzhou University of Technology，2010，36(4):94-97.

［10］崔景霞.小波變換在人臉表情識(shí)別研究中的應(yīng)用［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào):自然科學(xué)版，2011，28(3):230-214. CUI Jingxia.The Application of Wavelet Transform in Facial Expression Recognition Research［J］.Journal of Changchun University of Science and Technology:Natural Science Edition，2011，28(3):230-214.

［11］梁路宏，艾海舟，何克忠.基于多模板匹配的單人臉檢測(cè)［J］.中國(guó)圖像圖形學(xué)報(bào)，1999，4(10):825-829. LIANG Luhong，AIHaizhou，HE Kezhong.Single Face Detection Based on Template Matching［J］.Chinese Journal of Image and Graphics，1999，4(10):825-829.

(責(zé)任編輯:張潔)

Design of Facial Expression Recognition System Based on LabVIEW

WANG Ju，DING Rui，HONG Mei

(College of Electronic and Information Engineering，Changchun University，Changchun 130011，China)

The traditional interface performance is not clear，and the programming statements are tedious.We design the interface of facial expression recognition system based on the NI company LabVIEW software，and discuss the key problems in the design of facial expression recognition system，then use efficient Matlab processing software engineering，to extract expression image feature，using the theory of discrete wavelet algorithm and the of flexible templatematching algorithm is used to identify the emotion.The experimental results show that the design based on LabVIEW facial expression recognition system uses the LabVIEW software simple statement to design a clear interactive interface，and the recognition rate can reach more than 85%.

facial expression; emotion recognition; wavelet algorithms; flexible template matching; interface design

TP391

A

1671-5896(2015)06-0714-05

2015-02-06

吉林省自然科學(xué)基金資助項(xiàng)目(201215110)

王桔(1980— )，女，長(zhǎng)春人，長(zhǎng)春大學(xué)講師，博士，主要從事電子與通信工程、表情情緒識(shí)別研究，(Tel)86-18704481358(E-mail)youyou8221@aliyun.com。