閆靚, 周卉婷, 李爭(zhēng)光

(1.西北工業(yè)大學(xué) 航海學(xué)院, 陜西 西安 710072; 2.浙江科技學(xué)院 建筑系, 浙江 杭州 310023)

煩惱是一種消極的復(fù)雜情緒[1]。噪聲煩惱度(簡(jiǎn)稱:“煩惱度”)包含人對(duì)噪聲的體驗(yàn)、態(tài)度和行為,反映了人對(duì)噪聲的情緒認(rèn)知[2]。一直以來,學(xué)界多以基于調(diào)查或?qū)嶒?yàn)的主觀方法測(cè)量煩惱度[3-4],其本質(zhì)上屬于心理學(xué)中的“內(nèi)省法”[5]。雖然人類有能力借助語(yǔ)言自述情緒狀態(tài),但因“內(nèi)省法”存在固有缺陷(如回想準(zhǔn)確度低、潛在心理活動(dòng)無法內(nèi)省、意識(shí)到的心理活動(dòng)未必能盡數(shù)精準(zhǔn)報(bào)告以及存在不愿報(bào)告或虛假報(bào)告的情況),相關(guān)結(jié)果常受質(zhì)疑(如客觀性差、難再現(xiàn)、無法檢驗(yàn)等等)[6]。此外,噪聲自身屬性(令人討厭的、不需要的聲音)[7]引發(fā)的負(fù)性情感定向作用(消極暈輪效應(yīng))會(huì)導(dǎo)致評(píng)價(jià)結(jié)果偏差[4]。加之人類反應(yīng)的個(gè)體差異性、時(shí)變性以及情感成分和交感神經(jīng)系統(tǒng)活動(dòng)的調(diào)節(jié)機(jī)制等,都使煩惱度的評(píng)價(jià)與預(yù)測(cè)深?yuàn)W莫測(cè),舉步維艱。

了解、認(rèn)識(shí)和評(píng)價(jià)噪聲引發(fā)的情緒效應(yīng),對(duì)實(shí)現(xiàn)精準(zhǔn)高效的噪聲控制至關(guān)重要。從噪聲刺激下的生理喚醒開始,聽音者對(duì)聲環(huán)境的需求和愿望在其感受噪聲的過程中經(jīng)自我比較,形成自我體驗(yàn),最終顯現(xiàn)為可觀察的行為(或表情,如面部表情、姿態(tài)表情和語(yǔ)調(diào)表情)。表情是情緒的外部表現(xiàn),也是最有效的情緒顯示器[8]。面部表情是最自然的情感表達(dá)方式之一[9],能夠?qū)崿F(xiàn)非侵入方式下的即時(shí)觀測(cè),具有可靠指示哺乳動(dòng)物(包括人類)情緒體驗(yàn)的潛力。這種潛力不僅具有物種間的普遍性和特異性,還能適應(yīng)個(gè)體差異。面部肌肉豐富細(xì)微的變化能夠以“刺激-反應(yīng)聯(lián)結(jié)”(stimulus-response [S-R] connection)的形式表征情境中的刺激與個(gè)體情緒狀態(tài)(類型/程度)之間的關(guān)系。不僅如此,人類觀察者與生俱來的觀察偏見使其總會(huì)將注意力集中于被觀察對(duì)象的面部區(qū)域[10]。這種“精準(zhǔn)定位”的能力對(duì)實(shí)現(xiàn)高效的情緒識(shí)別和正確的心理評(píng)估十分有利[11]。在噪聲煩惱度研究中,如能將主觀的情緒評(píng)估與客觀的面部肌肉運(yùn)動(dòng)測(cè)量相結(jié)合,定會(huì)在最大程度上實(shí)現(xiàn)煩惱度的準(zhǔn)確評(píng)價(jià)性[12]。

于是,提出2點(diǎn)設(shè)想:①是否存在一種典型的面部表情與噪聲引發(fā)的煩惱情緒相互對(duì)應(yīng);②當(dāng)聽音者出現(xiàn)“煩惱”情緒時(shí),其面部肌肉的運(yùn)動(dòng)模式是否與噪聲特性密切相關(guān)。若上述2種假設(shè)均成立,即可實(shí)現(xiàn)以客觀的面部肌肉運(yùn)動(dòng)度量不同類型噪聲作用下的聽音者煩惱度,突破現(xiàn)階段研究方法的圈囿,創(chuàng)新噪聲煩惱度評(píng)價(jià)體系與評(píng)估方法。

為此,本文主要開展了以下工作:設(shè)計(jì)并完成噪聲作用下的聽音者面部表情與生理信號(hào)采集實(shí)驗(yàn),獲得10種類型噪聲作用下、30位不同國(guó)籍聽音者的面部視頻影像(時(shí)長(zhǎng)總計(jì)9 360 s)、生理數(shù)據(jù)(心率值)與自報(bào)告煩惱度。隨后,參考面部動(dòng)作編碼系統(tǒng)(facial action coding system,FACS)確定了噪聲作用下聽音者煩惱情緒的AUs組合表達(dá)。同時(shí),創(chuàng)設(shè)了集視覺情感符號(hào)(emoji表情符號(hào))、明度變化的單色相(灰色)尺度與傳統(tǒng)言語(yǔ)尺度和數(shù)字尺度于一體的煩惱度(五級(jí))量表,依托自主開發(fā)的移動(dòng)端應(yīng)用程序[13](凡響?,Awesound?)借助大規(guī)模網(wǎng)絡(luò)調(diào)查對(duì)相關(guān)技術(shù)方法的有效性進(jìn)行了驗(yàn)證。

1 融合聽音者面部表情采集的噪聲煩惱度評(píng)價(jià)實(shí)驗(yàn)

1.1 實(shí)驗(yàn)準(zhǔn)備

1.1.1 聲音的選取

目前,對(duì)噪聲的分類方法主要有:按物理特性分類、按機(jī)能意義分類、按感覺特征分類、按情感色彩分類[14]。通過對(duì)現(xiàn)有國(guó)家標(biāo)準(zhǔn)中噪聲分類方法與各類噪聲定義的全面搜集、整理與總結(jié)歸納,本文將噪聲的物理特性與機(jī)能意義結(jié)合,綜合聲音的時(shí)、頻域特征與來源,優(yōu)化現(xiàn)有分類體系并借助網(wǎng)絡(luò)資源,分類搜集了368段音頻文件。從中選取了10段極具代表性且囊括噪聲分類體系中所有類別標(biāo)簽的聲音(經(jīng)裁剪后時(shí)長(zhǎng)均為30 s)作為誘發(fā)聽音者情緒的聲刺激物(即聲樣本),見表1。實(shí)驗(yàn)過程中,聽音者聆聽噪聲的總時(shí)長(zhǎng)為300 s,最大等效連續(xù)A聲級(jí)不大于97 dB(A),符合GBZ/T 189.8-2007《工作場(chǎng)所物理因素測(cè)量 第8部分:噪聲》的要求。

表1 各聲樣本參數(shù)及分類

1.1.2 問卷設(shè)計(jì)

相比文字和數(shù)字,色彩和圖形會(huì)帶給人更加直觀的認(rèn)知體驗(yàn)與情緒共鳴[15]。本研究嘗試將色彩融入傳統(tǒng)的煩惱度評(píng)價(jià)(描述詞+數(shù)字)量表,創(chuàng)新問卷形式。具體做法如下:①調(diào)查適于表征“煩惱”情緒的色彩量表:a)探尋刻畫煩惱情緒的單色色相;b)在a)的基礎(chǔ)上,構(gòu)建“以明度變化表示感受程度”的評(píng)價(jià)量表。②實(shí)施在線調(diào)查,驗(yàn)證新量表的有效性。調(diào)查發(fā)現(xiàn):77.69%的被調(diào)查者傾向于以“明度變化的單色相尺度”衡量煩惱情緒的(程度)變化;40.9%的被調(diào)查者認(rèn)為“灰色”能夠更好地映射“煩惱”情緒。據(jù)此,決定以深淺不同的灰色構(gòu)建噪聲煩惱度評(píng)價(jià)量表。

1.2 實(shí)驗(yàn)實(shí)施

1.2.1 實(shí)驗(yàn)流程

本研究及相關(guān)實(shí)驗(yàn)程序由上海精神衛(wèi)生中心倫理委員會(huì)批準(zhǔn)(批件號(hào):2021-53),符合NMPA/GCP和《赫爾辛基宣言》。實(shí)驗(yàn)招募13～52歲之間、聽力正常的聽音者共30人(男17人,女13人;平均年齡27.5歲)。其中,中國(guó)籍25人,外籍5人。實(shí)驗(yàn)前,所有聽音者均簽署了實(shí)驗(yàn)告知書,明確告知其有權(quán)在身體不適時(shí)隨時(shí)暫?；蛲顺鰧?shí)驗(yàn)且本人同意研究者使用其個(gè)人肖像。實(shí)驗(yàn)中,聽音者先佩戴耳機(jī)聆聽純音樂(1 min),熟悉環(huán)境,平復(fù)心情,實(shí)驗(yàn)員開啟攝像機(jī)并記錄心率。隨后,隨機(jī)依次播放10段聲樣本(兩樣本間設(shè)置1 min靜默時(shí)間,以便填寫問卷),待10段聲樣本全部播放完畢,結(jié)束視頻錄制和心率采集,回收問卷,結(jié)束實(shí)驗(yàn)(見圖1)。

圖1 實(shí)驗(yàn)流程圖

1.2.2 面部表情采集

將煩惱度研究中慣用的聽音實(shí)驗(yàn)與心理學(xué)研究中的行為觀察相結(jié)合,在聽音者完成聽音評(píng)價(jià)任務(wù)的同時(shí)錄制其聽音過程中的面部表情變化。

參考中國(guó)情緒圖片系統(tǒng)[16]制作方法,以SNOY EX280攝像機(jī)錄制聽音者在整個(gè)聽音過程中的面部表情。攝像機(jī)位于聽音者正前方4.5 m處,鏡頭高度與其面部持平。聽音者座位上方天花板安裝4盞補(bǔ)光燈(其中2盞置于聽音者正上方,另外2盞分置于聽音者左右側(cè)斜上方),以提供高強(qiáng)度的穩(wěn)定照明(見圖2)。錄制視頻分辨率1 920×1 080,幀率25 frame/s。

圖2 實(shí)驗(yàn)現(xiàn)場(chǎng)

聽音室(11.2 m×7 m×2.8 m)四周及頂部均鋪設(shè)吸聲材料,本底噪聲符合NC20(《Criteria for Evaluation Room Noise》)[17]。室內(nèi)溫度21～30℃,濕度適宜,布局布置參考 GB/T 13868-1992《感官分析:建立感官分析實(shí)驗(yàn)室一般導(dǎo)則》。實(shí)驗(yàn)中,聲樣本經(jīng)Artemis軟件和雙耳耳機(jī)均衡器(HEADlab-compatible binaural headphone equalizers labP2)調(diào)制后,由動(dòng)圈式高保真立體聲頭戴式耳機(jī)(SENNHEISER HD600)回放給聽音者。

為了驗(yàn)證Ekman等人提出的:人在不同情緒狀態(tài)下會(huì)呈現(xiàn)出可觀測(cè)的生理反應(yīng)[18](如憤怒與恐懼時(shí)心率提升);實(shí)驗(yàn)中使用HUAWEI-B5手環(huán)同步采集聽音者心率(采樣頻率1次/30 s),用以探索聽音情緒的產(chǎn)生和變化與心率波動(dòng)之間的關(guān)系。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 聽音者自報(bào)告煩惱度分析

定義3種參數(shù),分析聽音者依據(jù)圖1量表判定并報(bào)告的個(gè)人煩惱等級(jí)(描述詞):

1) 平均煩惱度Am:首先,依據(jù)以下規(guī)則對(duì)聽音者個(gè)人判定并報(bào)告的煩惱等級(jí)進(jìn)行賦值:“一點(diǎn)也不”(not at all)賦分值“0”,“輕微”(a little)賦分值“1”,“中度”(moderate)賦分值“2”,“非?！?very)賦分值“3”,“極度”(extremely)賦分值“4”;計(jì)算(全部聽音者對(duì))10個(gè)聲樣本的個(gè)人煩惱度平均值,獲得每個(gè)聲樣本的Am。

2) 易感煩惱率Psensitive:某聲樣本的煩惱等級(jí)為“中度及以上(包括“中度”、“非常”或“極其”)”的結(jié)果占全部評(píng)價(jià)數(shù)據(jù)量的百分比;當(dāng)Psensitive>50%時(shí),即可判定該聲樣本“易致人煩惱”。

3) 煩惱度A:根據(jù)“易感煩惱率”判定:當(dāng)50%≤Psensitive<75%,對(duì)應(yīng)聲樣本的煩惱度為“高”;當(dāng)Psensitive≥75%,對(duì)應(yīng)聲樣本的煩惱度為“極高”;此外,聲樣本的煩惱度為“低”。據(jù)此,獲得全部聲樣本的相關(guān)評(píng)價(jià)數(shù)據(jù),見表2。

表2 聲樣本煩惱度分析結(jié)果

表3 與煩惱相關(guān)AUs及其中心點(diǎn)與關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系

2.2 聽音者面部情緒表情分析

在探究與“煩惱”情緒相關(guān)的面部表情之前,首先,將人臉面部分為眉部、眼部、鼻部、嘴部及外輪廓。結(jié)合FACS中對(duì)AUs的描述,選擇眉部:抬起眉毛內(nèi)角(AU1)、抬起眉毛外角(AU2)、降低眉毛(AU4),眼部:上眼瞼上升(AU5)、眼輪匝肌內(nèi)/外圈收緊(AU6及AU7)、眨眼(AU43)、閉眼(AU45),鼻部:皺鼻(AU9),嘴部:拉動(dòng)人中/嘴唇向上(AU10及AU11)、收緊嘴角(AU14)、拉動(dòng)嘴角向下(AU15)、拉動(dòng)下唇向下(AU16)、推動(dòng)下唇向上(AU17)、撅嘴(AU18)、嘴角拉伸(AU20)、抿嘴(AU24)、嘴唇分開(AU25)的運(yùn)動(dòng)進(jìn)行統(tǒng)計(jì)及分析。具體分析步驟如下:

1) 首先,對(duì)所采集到的300段視頻進(jìn)行圖像配準(zhǔn),以消除頭部偏轉(zhuǎn)導(dǎo)致的無關(guān)抖動(dòng)。采用dlib庫(kù)中訓(xùn)練好的人臉關(guān)鍵點(diǎn)模型進(jìn)行面部關(guān)鍵點(diǎn)提取,獲得人臉輪廓0～17號(hào)關(guān)鍵點(diǎn),眉部18～27號(hào)關(guān)鍵點(diǎn),鼻部28～36號(hào)關(guān)鍵點(diǎn),眼睛37～48號(hào)關(guān)鍵點(diǎn),嘴部49～68號(hào)關(guān)鍵點(diǎn)(見圖3)。

圖3 人臉面部圖像處理中的關(guān)鍵點(diǎn)

2) 根據(jù)既有研究[19-20]對(duì)AUs 的區(qū)域劃分(見圖4),確定其中心點(diǎn)與上述68個(gè)面部關(guān)鍵點(diǎn)間的對(duì)應(yīng)關(guān)系,并對(duì)關(guān)鍵點(diǎn)的運(yùn)動(dòng)趨勢(shì)進(jìn)行了人工標(biāo)注(見第3節(jié))。

3) 接著,根據(jù)面部關(guān)鍵點(diǎn)的位置變化,輔以人工觀察,判定并標(biāo)注與煩惱情緒密切相關(guān)的面部AUs。

4) 最后,統(tǒng)計(jì)每段視頻中各AUs運(yùn)動(dòng)的次數(shù)。

3 煩惱情緒面部表情關(guān)鍵特征提取與有效性驗(yàn)證

現(xiàn)有面部情緒分析理論與計(jì)算方法均未涉及復(fù)雜情緒面部特征的描述與表征。煩惱是一種典型的復(fù)雜情緒。為了尋找“易感煩惱”噪聲作用下聽音者面部情緒表情的顯著特征,構(gòu)建基于FACS的煩惱情緒面部AUs組合。分析30位聽音者在聆聽“高”與“極高”煩惱度聲樣本(共7個(gè))時(shí)的面部影像(時(shí)長(zhǎng)總計(jì)為6 300 s),具體做法如下:對(duì)面部變化區(qū)域進(jìn)行劃分并對(duì)其中涉及面部AUs的關(guān)鍵點(diǎn)進(jìn)行運(yùn)動(dòng)狀態(tài)變化的時(shí)間統(tǒng)計(jì)分析,完成關(guān)鍵表情特征的揀選、分類與重組。

研究發(fā)現(xiàn):聽音者面部表情可分為習(xí)慣性面部表情及情緒引發(fā)的面部表情兩類。前者為聽音者在平靜狀態(tài)及整個(gè)聽音過程中均出現(xiàn)的面部表情,包含張嘴(AU25),快速眨眼(AU45)等。習(xí)慣性面部表情具有顯著的個(gè)體性差異性。而情緒引發(fā)的面部肌肉運(yùn)動(dòng)在聽音者自報(bào)告不同煩惱度時(shí),面部表情呈現(xiàn)明顯可分的等級(jí)變化(見圖5)?？梢?利用聽音者面部情緒表情的變化模式(即面部肌肉的具體的運(yùn)動(dòng)方式和幅度)評(píng)價(jià)噪聲煩惱度是可行的。統(tǒng)計(jì)30位聽音者在不同ANOYI等級(jí)的聲樣本影響下各面部AUs的平均運(yùn)動(dòng)頻次(見圖6),發(fā)現(xiàn)眉部的AU1、AU2、AU4,眼部的AU6和AU7和嘴部的AU14及AU20隨著聲樣本的ANOYI上升呈現(xiàn)出增長(zhǎng)的趨勢(shì),由此推測(cè),上述AUs對(duì)解釋煩惱情緒具有普適性。結(jié)合FACS中用AUs對(duì)各類基本情緒的描述方法,將煩惱情緒下的面部運(yùn)動(dòng)定義為由眉毛內(nèi)角(AU1)及外角(AU2)、降低眉毛(AU4)、眼眶收緊(AU6和AU7)、收緊嘴角(AU14)和嘴角拉伸(AU20)共同描述。

圖5 煩惱度程度尺度條對(duì)應(yīng)面部情緒表情尺度

4 結(jié) 論

本研究踐行了跨領(lǐng)域融合創(chuàng)新,獲取了一個(gè)分析噪聲刺激作用下聽音者自然流露的面部情緒表情的數(shù)據(jù)集。其中,包括了30名聽音者在聆聽10段具有不同時(shí)頻特征聲樣本時(shí)的面部視頻及其對(duì)每段聲樣本的自報(bào)告煩惱度;以此為基礎(chǔ),借助面部表情識(shí)別技術(shù)并配合人工標(biāo)注,對(duì)發(fā)生運(yùn)動(dòng)的面部區(qū)域(以面部關(guān)鍵點(diǎn)的多少表征)及運(yùn)動(dòng)程度(以面部關(guān)鍵點(diǎn)運(yùn)動(dòng)頻率)進(jìn)行分析統(tǒng)計(jì),尋找與聽音(煩惱)情緒緊密相關(guān)的面部AUs。本實(shí)驗(yàn)是對(duì)噪聲煩惱度研究的理論創(chuàng)新與方法變革的初步探索與大膽嘗試,期望能夠克服領(lǐng)域研究中大量主觀因素對(duì)研究結(jié)論客觀性的影響。誠(chéng)然,面部情緒表情模型的正確構(gòu)建和運(yùn)動(dòng)模式的精準(zhǔn)識(shí)別,必須以全面、詳盡、充分的數(shù)據(jù)收集和分析為基礎(chǔ)。本文相關(guān)工作的完成,旨在促進(jìn)建立集噪聲特性、聽音者生理數(shù)據(jù)、面部表情變化與自報(bào)告煩惱度于一體的研究型數(shù)據(jù)集和深入開展后續(xù)工作。為了實(shí)現(xiàn)合理嚴(yán)謹(jǐn)、科學(xué)可靠、靈活便捷、普適性強(qiáng)的噪聲煩惱度評(píng)估,避免傳統(tǒng)描述性評(píng)估技術(shù)流程繁瑣、成本密集、耗時(shí)耗力的弊端,提高研究的信度和效度,盡量減少使用模棱兩可的主觀感受描述詞與未經(jīng)設(shè)計(jì)的心理反應(yīng)量表,采用行為心理學(xué)的觀點(diǎn)和方法,通過直接觀摩、記錄、分析聽音者在聲刺激作用下的面部表情反應(yīng),闡釋其情緒狀態(tài),用“看到的”而非“想到的”,評(píng)價(jià)“感覺”,預(yù)測(cè)“反應(yīng)”,解釋“情緒”,從實(shí)際出發(fā)開展包括煩惱度在內(nèi)的一切噪聲作用下的情緒效應(yīng)研究。