繆立欣，蘇日娜，邢淑敏，段曉東

(1.大連民族大學(xué) a.計(jì)算機(jī)科學(xué)與工程學(xué)院;b.大連市民族文化數(shù)字技術(shù)重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116605；2.北方民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，寧夏 銀川 750000)

在情感研究中，研究者們對(duì)面部表情識(shí)別[1-2]、語(yǔ)音識(shí)別[3-4]和腦電信號(hào)等信息融合來(lái)識(shí)別和分析人類情感。眼睛作為面部的主要器官，也是反映人心理活動(dòng)的主要窗口，通過(guò)不同的眼神表達(dá)豐富的情感和意向。人們?cè)诮涣髦谐耸褂谜Z(yǔ)言、面部表情和肢體動(dòng)作表達(dá)情感之外，眼睛作為心靈的窗口也在交流中起著至關(guān)重要的作用[5-6]。所以眼動(dòng)信息也成為情感分析重要的一環(huán)，Schurgin和Nelson使用眼動(dòng)信息來(lái)進(jìn)行人臉情感識(shí)別的研究[7]，但缺乏融合表情和眼動(dòng)數(shù)據(jù)的相關(guān)研究。

人臉的族群特征是人臉視覺(jué)認(rèn)知中先于年齡、性別和表情識(shí)別的最重要的人臉信息之一。此外，不同民族在表現(xiàn)不同情緒時(shí)采用的方式既有共同點(diǎn)又有差別，民族屬性將會(huì)在情感計(jì)算和分析中增加重要的屬性元素，有利于數(shù)據(jù)的多樣性。因此，一個(gè)包含多民族、數(shù)據(jù)真實(shí)的情感數(shù)據(jù)庫(kù)更是多民族情感識(shí)別研究的關(guān)鍵。

1 數(shù)據(jù)集構(gòu)建過(guò)程

1.1 實(shí)驗(yàn)設(shè)備的選定

融合人臉民族、表情和眼動(dòng)數(shù)據(jù)需要由攝像機(jī)、Tobii眼動(dòng)儀兩種設(shè)備進(jìn)行數(shù)據(jù)的采集工作。

(1)攝像機(jī)：考慮到后期要把錄制的面部視頻分解成視頻幀，并截取出面部區(qū)域，如果攝像機(jī)的幀數(shù)和分辨率太低，可能會(huì)給多民族情感的研究造成不必要的情感數(shù)據(jù)誤差。本文選用佳能XC10 4K影像機(jī)動(dòng)態(tài)影像模式，分辨率為1920×1080 px的視頻。

(2)眼動(dòng)儀：眼動(dòng)數(shù)據(jù)采集使用Tobii ProX3-120眼動(dòng)儀錄制，且與關(guān)聯(lián)Tobii Studio軟件系統(tǒng)結(jié)合使用。由于Tobii Studio的誘發(fā)刺激源可以是一個(gè)序列的圖像?？刹杉?種數(shù)據(jù)內(nèi)容，分別是：文本數(shù)據(jù)(原始注視點(diǎn)坐標(biāo)及時(shí)間)、圖片(注視點(diǎn)分布圖，軌跡圖，熱點(diǎn)圖，興趣區(qū)，集簇圖)、視頻 (整個(gè)記錄視頻，特點(diǎn)片段視頻，動(dòng)態(tài)熱點(diǎn)圖，軌跡圖flash)、表格(統(tǒng)計(jì)指標(biāo)數(shù)據(jù))、柱狀圖(統(tǒng)計(jì)指標(biāo)數(shù)據(jù))。

(3)數(shù)據(jù)記錄計(jì)算機(jī)：實(shí)驗(yàn)采用臺(tái)式電腦記錄情感視頻和眼動(dòng)數(shù)據(jù)，內(nèi)存6G，主頻3.10GHz，操作系統(tǒng)Windows7旗艦版，64位系統(tǒng)。眼動(dòng)數(shù)據(jù)是由和眼動(dòng)儀配套使用的軟件Tobii Studio生成，最后從該軟件內(nèi)，導(dǎo)出軌跡視頻、熱點(diǎn)圖、表格等數(shù)據(jù)到電腦上。情感視頻數(shù)據(jù)由Cannon攝像機(jī)采集存儲(chǔ)到內(nèi)存卡中，再導(dǎo)入到電腦上進(jìn)行存儲(chǔ)備份。

(4)誘導(dǎo)視頻播放計(jì)算機(jī)：播放誘導(dǎo)素材的計(jì)算機(jī)是一臺(tái)64位、i5的英特爾處理器的臺(tái)式電腦，電腦的內(nèi)存為6G,主頻為3.10GHz，Windows7旗艦版的操作系統(tǒng)。該電腦配置兩個(gè)顯示器，一個(gè)顯示器供給實(shí)驗(yàn)人員觀看，另一個(gè)顯示器用于實(shí)驗(yàn)參與人員進(jìn)行相關(guān)操作。并使用漫步者電腦專用音箱連接電腦的USB接口，進(jìn)行播放情感誘導(dǎo)視頻的聲音。

(5)誘導(dǎo)視頻：本文中通過(guò)讓被試者觀看誘導(dǎo)視頻的方式，誘導(dǎo)被試者的情感。選定6段帶有不同情感色彩的誘導(dǎo)視頻作為最終的誘導(dǎo)材料，六種情感分別是生氣、厭惡、害怕、高興、驚奇、傷心，在測(cè)試六種情感過(guò)程中，需要在每一段中插入可以使人平靜的視頻。

1.2 數(shù)據(jù)采集環(huán)境

數(shù)據(jù)的采集在數(shù)字?jǐn)z影棚進(jìn)行，實(shí)驗(yàn)采集環(huán)境如圖1。負(fù)責(zé)播放情感誘導(dǎo)視頻的是一臺(tái)配置了兩個(gè)顯示屏電腦，桌子兩邊放了兩臺(tái)立式的柔光燈補(bǔ)光。攝像機(jī)架在被試者面對(duì)的顯示屏的后邊，根據(jù)被試者的情況調(diào)節(jié)攝像頭的角度和椅子的高度，以及調(diào)節(jié)暖光燈的位置，以達(dá)到拍攝畫(huà)面的最佳效果。

(a)實(shí)驗(yàn)整體環(huán)境 (b)數(shù)據(jù)采集場(chǎng)景

1.3 采集過(guò)程

由于不同的人心理承受能力不同，所以在實(shí)驗(yàn)開(kāi)始前，首先詢問(wèn)參與實(shí)驗(yàn)數(shù)據(jù)采集人員是否能夠承受誘發(fā)情緒視頻，實(shí)驗(yàn)參與人員幫助被試者調(diào)整好座位和相關(guān)機(jī)器的位置，校準(zhǔn)眼動(dòng)設(shè)備，以實(shí)現(xiàn)最佳的數(shù)據(jù)采集效果；并將實(shí)驗(yàn)室內(nèi)所有人的手機(jī)都設(shè)置靜音模式遠(yuǎn)置于被試者周圍。數(shù)據(jù)集總計(jì)錄制了時(shí)間為171.24 min的面部情感視頻和眼動(dòng)軌跡的情感視頻，完成了五個(gè)民族情感數(shù)據(jù)的采集，采集了與之對(duì)應(yīng)的六種情感類型的眼動(dòng)數(shù)據(jù)，每個(gè)眼動(dòng)數(shù)據(jù)包含三種數(shù)據(jù)類型，最終錄制的數(shù)據(jù)總量為86 G。

2 數(shù)據(jù)文件的命名規(guī)則

在對(duì)情感數(shù)據(jù)的源文件進(jìn)行處理前，要對(duì)文件名稱進(jìn)行規(guī)范，從而更好地進(jìn)行數(shù)據(jù)的管理工作[8]，本文制定了多民族情感數(shù)據(jù)的文件命名規(guī)則。

(1)第1位：表示情感數(shù)據(jù)來(lái)源的類型，共有兩種數(shù)據(jù)來(lái)源類型，分別表示為表情圖片F(xiàn)(Facial Expression Picture)，眼動(dòng)E(Eye)；

(2)第2位：被試人員的性別，由男女的英文首字母縮寫(xiě)組成，男性M(Male)，女性F(Female)；

(3)第3～4位：實(shí)驗(yàn)者的民族，由民族的英文縮寫(xiě)組成，分別是漢族HZ(Han Zu)、蒙古族MG(Mongolian)、回族HN(Hui Nationality)、壯族ZN(Zhuang Nationality)、滿族MC(ManChu)；

(4)第5～7位：被試人員的編號(hào)，按照情感數(shù)據(jù)錄制的先后順序從001開(kāi)始(不分男女)；

(5)第8～9位：6種基本情感類型(每種情感類型的縮寫(xiě))，高興HP，驚奇SP，厭惡DG，傷心SD，生氣AG，害怕FE；

(6)第10～11位：不同的數(shù)據(jù)類型代表的含義不一樣；情感圖片表示圖片的情感采樣點(diǎn)，例如02代表面部情感采樣片段為2的視頻片段里的圖片；眼動(dòng)的數(shù)據(jù)類型，Gazeplot 1，Heatmap 2，cluster 3，video 4；

(7)第12～14位：該圖片的編號(hào)，按照錄制的先后順序從001開(kāi)始。

面部情感圖片的命名示例如下：文件名FFMG004HP06003代表從第四個(gè)參與被試的人員的第六個(gè)情感片段中截取的第三張面部表情圖片，該參與者為女性，蒙古族；眼動(dòng)數(shù)據(jù)的命名實(shí)例如下：文件名EFHZ003HP2代表第三個(gè)實(shí)驗(yàn)參與者的眼動(dòng)視頻軌跡，該參與者為女性，蒙古族。

3 表情圖片的處理

3.1 情感圖片的截取

情感圖片截取是從錄制的情感視頻文件中截取出目標(biāo)情感片段，然后從帶有目標(biāo)情感的視頻片段中分解出關(guān)鍵幀。在每一種情感中，情感表現(xiàn)最強(qiáng)烈的地方做標(biāo)記，標(biāo)記的規(guī)則為情感的最低值到最高值再到最低值這樣一個(gè)完整的過(guò)程。五位不同編號(hào)的實(shí)驗(yàn)被試人員所表現(xiàn)出來(lái)的6種面部基本情感圖片如圖 2，圖片已經(jīng)經(jīng)過(guò)一系列的處理和篩選，符合目標(biāo)情感且情感表現(xiàn)強(qiáng)烈，以下6張圖片的名稱分別為FFHZ003HP04002、FFHN004

AG01082、FMMC007DG03097、FMHN006FE01014、FFHN004SP01044、FMHZ002SD03011。

(a)高興 (b)生氣 (c)厭惡 (d)害怕 (e)驚奇 (f)傷心

3.2 圖像的灰度處理

目前所進(jìn)行的無(wú)論是情感圖片識(shí)別的研究，還是多民族人臉識(shí)別的研究，大多數(shù)都是采用灰度表情圖片作為研究的基礎(chǔ)，需要進(jìn)一步把彩色圖片轉(zhuǎn)為灰度圖像。所謂灰度圖像是用一個(gè)采樣顏色的圖像表示每個(gè)像素，經(jīng)常使用的算法有以下三種：

(1)中值法：取彩色圖片的R、G、B的分量值，并求三者的和，然后進(jìn)行平均計(jì)算，即

R=G=B=(R+G+B)/3。

(1)

采用中值法把彩色圖像轉(zhuǎn)換為灰度數(shù)字圖像的處理，得到比較柔和的灰度圖像，如圖3(a)。

(2)加權(quán)平均值法：根據(jù)彩色圖片進(jìn)行灰度處理的指標(biāo)，分別給R、G、B三個(gè)分量值賦予不同的權(quán)重，三原色的值分別和自身對(duì)應(yīng)的權(quán)重相乘，最后除以權(quán)重總和，所得的結(jié)果分別復(fù)制給三原色的值，即

R=G=B=(Wr*R+Wg*G+Wb*B)/(Wr+Wg+Wb)。

(2)

式中，Wr、Wg、Wb為權(quán)重，分別對(duì)應(yīng)R、G、B。經(jīng)過(guò)加權(quán)平均值的算法處理過(guò)的圖像如圖3(b)。

(3)最大值法：取三原色的分量值中最大的一個(gè)，分別賦值給G、B、R，然后賦值給R、G、B，即

R=G=B=max(R,G,B)，

(3)

用最大值法對(duì)彩色圖像進(jìn)行灰度處理會(huì)使得圖像的整體亮度增強(qiáng)，如圖3(c)。

關(guān)于加權(quán)平均值算法，針對(duì)不同的權(quán)重值，加權(quán)平均值法將形成不同的灰度圖像，由于人眼對(duì)綠色的敏感度最高，對(duì)紅色的敏感度次之，對(duì)藍(lán)色的敏感度最低，因此使三個(gè)權(quán)重之間的關(guān)系定位Wg>Wr>Wb時(shí)，得到的灰度圖像將會(huì)比較合理。結(jié)合前人的理論推導(dǎo)和實(shí)踐操作證明，當(dāng)三原色的權(quán)重值分別為Wr=0.299、Wg=0.587、Wb=0.114時(shí)，得到的灰度圖像最合理,即：

R=G=B=(0.299*R+0.578*G+0.114*B)/(0.299+0.578+0.114)。

(4)

按照以上三種方法對(duì)圖2的傷心表情彩色圖片的灰度化處理結(jié)果如圖3(a)中值法、3(b)加權(quán)平均值法、3(c)最大值法。

(a)中值法 (b)加權(quán)平均值法 (c)最大值法

從圖3的三幅圖片的展示效果中可以看出，使用中值算法生成的灰度亮度最低，使用最大值法生成的灰度圖片亮度最高，而使用權(quán)值為0.299、0.578、0.114三個(gè)權(quán)值的加權(quán)平均值法生成的灰度圖片亮度適中。此外，最大值法生成的灰度圖最模糊，中值法生成的灰度圖次之，加權(quán)平均值法生成的灰度圖像比中值算法亮度高，比最大值算法生成的圖片亮度低，生成的灰度圖片效果最好，故本文選擇加權(quán)平均值法生成的灰度圖片。

3.3 人臉面部關(guān)鍵區(qū)域的截取

面部關(guān)鍵區(qū)域的截取原則是：從帶有目標(biāo)情感的圖片中通過(guò)相關(guān)算法截取出僅包含面部區(qū)域的人臉情感圖片。從源圖片中截取出僅包含人臉關(guān)鍵部分的范圍較小的面部區(qū)域圖片。眼睛、眉毛、臉頰、嘴巴、額頭、鼻子、下顎是表情識(shí)別的主要識(shí)別區(qū)域，通過(guò)人臉區(qū)域算法截取出面部關(guān)鍵區(qū)域，算法的基本步驟為，針對(duì)圖像中的人臉區(qū)域先做一個(gè)基準(zhǔn)點(diǎn)標(biāo)注，以鼻梁中點(diǎn)為中心將不是水平的的圖像旋轉(zhuǎn)至水平狀態(tài)，圖像旋轉(zhuǎn)為水平的標(biāo)準(zhǔn)是與兩眼連線之間的線段是否平行。

進(jìn)行人臉關(guān)鍵區(qū)域截取采用Openface和Face-crop[9]，算法實(shí)現(xiàn)過(guò)程如圖4。把彩色圖片轉(zhuǎn)換為灰度圖片后，截取出的人臉面部區(qū)域圖片。

圖4 人臉截取算法

3.4 眼動(dòng)數(shù)據(jù)的處理

眼動(dòng)信息就是通過(guò)使用眼動(dòng)儀記錄人在處理視覺(jué)信息時(shí)的眼動(dòng)軌跡特征，所以眼動(dòng)數(shù)據(jù)的表達(dá)方式是展現(xiàn)在視頻的每一幀上，眼動(dòng)追蹤過(guò)程中的眼動(dòng)軌跡如圖5。

圖5 眼動(dòng)追蹤過(guò)程中的眼動(dòng)軌跡

為了管理方便，情感數(shù)據(jù)分別以兩種類型存儲(chǔ)，每種類型的文件夾下包含實(shí)驗(yàn)參與者的數(shù)據(jù)文件夾，每個(gè)情感參與者的文件夾下包含6種情感的情感數(shù)據(jù)文件。

由于眼動(dòng)數(shù)據(jù)表達(dá)的情感不具有直觀性，無(wú)法使用評(píng)判面部情感視頻片段的原則一樣，直接給出眼動(dòng)軌跡所屬的情感類型，只有以截取情感圖片的視頻分段時(shí)做的標(biāo)記為參考，來(lái)截取某段眼動(dòng)軌跡視頻，然后給出此段眼動(dòng)軌跡所屬的情感類型；參考面部情感片段截取的時(shí)間標(biāo)記眼動(dòng)軌跡視頻，根據(jù)標(biāo)記好的眼動(dòng)軌跡視頻從眼動(dòng)記錄文件中截取出相應(yīng)眼動(dòng)軌跡片段存為新的視頻文件。由于眼動(dòng)軌跡是連續(xù)的，隨著誘導(dǎo)視頻的變化而變化，單獨(dú)截取一幀的眼動(dòng)軌跡圖片，經(jīng)過(guò)一系列的處理，最終共采集了196個(gè)眼動(dòng)信息。

4 總 結(jié)

介紹了在多民族情感數(shù)據(jù)庫(kù)的構(gòu)建過(guò)程中進(jìn)行情感采集實(shí)驗(yàn)的過(guò)程以及如何從情感采集實(shí)驗(yàn)的情感視頻和眼動(dòng)文件中得到面部表情圖片和眼動(dòng)軌跡這兩種多民族情感數(shù)據(jù)，分別給出了具體的數(shù)據(jù)提取和數(shù)據(jù)挑選規(guī)則，并展示了部分面部表情圖片、眼動(dòng)軌跡。在情感數(shù)據(jù)采集及處理的基礎(chǔ)上，最終建立了一個(gè)包含5個(gè)民族6種基本表情的多民族情感數(shù)據(jù)庫(kù)，其中共有11 328幅表情圖片、196個(gè)眼動(dòng)信息的多民族情感數(shù)據(jù)。本數(shù)據(jù)集雖然采集一定數(shù)量的數(shù)據(jù)，但是少數(shù)民族較少，多民族的情感類別的數(shù)據(jù)量依然需要進(jìn)一步補(bǔ)充，進(jìn)而促進(jìn)我國(guó)多民族情感識(shí)別和智能人機(jī)交互的發(fā)展。