殷丹晨 郭瀅 張東良 張雅美 劉浩月

【摘要】為提高通過(guò)分析視頻或圖像中人的面部信息判斷其生理及心理表征的準(zhǔn)確性和可靠性，以O(shè)livetti Faces 人臉數(shù)據(jù)庫(kù)中人臉數(shù)據(jù)為數(shù)據(jù)源，利用紅外熱成像對(duì)溫度細(xì)微變化的感知以及卷積神經(jīng)網(wǎng)絡(luò)算法來(lái)對(duì)測(cè)謊過(guò)程中的視頻和圖像進(jìn)行分析，通過(guò)分析提取參與測(cè)試者的生理表征參數(shù)，進(jìn)而做出正確判定。實(shí)驗(yàn)結(jié)果表明：基于紅外熱成像和卷積神經(jīng)網(wǎng)絡(luò)的生理表征分析方法提高了測(cè)試分析的精確度。

【關(guān)鍵詞】視頻圖像;紅外熱成像技術(shù);卷積神經(jīng)網(wǎng)絡(luò);生理表征

【項(xiàng)目來(lái)源】本論文由大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（項(xiàng)目名稱：基于紅外熱成像技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)的多種疾病檢測(cè)系統(tǒng)）支持。

中圖分類號(hào)：G212? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ?DOI：10.12246/j.issn.1673-0348.2021.01.078

通過(guò)分析視頻或圖像中人的面部信息判斷其生理及心理表征的應(yīng)用非常廣泛，研究表明，面部捕捉到的信息越多，綜合分析后的準(zhǔn)確率就越高。

以測(cè)謊為例，人在說(shuō)謊時(shí)面部表情的變化體現(xiàn)為瞳孔、眼睛以及嘴角等微表情的變化。微動(dòng)作心理學(xué)家指出，人在撒謊時(shí)眼睛表現(xiàn)最為明顯，一般表現(xiàn)為不斷晃動(dòng)或飄忽不定;當(dāng)大腦在編織謊言時(shí)，人的眼球運(yùn)動(dòng)方向是右上方;如果是回憶確實(shí)發(fā)生過(guò)的事情，會(huì)看向左上方。同時(shí)說(shuō)謊者喜歡假笑，真正的微笑是均勻的，來(lái)的快消失得慢。偽裝的笑容來(lái)的會(huì)比較慢，而且有些不均衡，眼部肌肉沒(méi)被充分調(diào)動(dòng)。說(shuō)謊會(huì)臉紅，同時(shí)鼻子真的會(huì)變大幾毫米，肉眼極難觀察，但說(shuō)謊者會(huì)覺(jué)得鼻子不舒服，從而去觸摸它。在說(shuō)謊時(shí)，說(shuō)謊者會(huì)由于心理緊張以及其他原因?qū)е乱恍┫盗兄参锷窠?jīng)系統(tǒng)功能的變化，具體反映在身體局部體溫的變化。本文采用可見(jiàn)光攝像頭與紅外熱成像攝像頭共同對(duì)被測(cè)者進(jìn)行實(shí)時(shí)監(jiān)測(cè)，從而獲取面部微表情及局部紅外熱譜圖，采用紅外熱成像對(duì)溫度細(xì)微變化的感知以及卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)面部表情識(shí)別相結(jié)合，進(jìn)而實(shí)現(xiàn)對(duì)被測(cè)者的生理及心理表征進(jìn)行準(zhǔn)確判斷。

1. 基于紅外熱成像技術(shù)的生理表征分析

紅外熱成像將物體表面的熱輻射顯示成二維的可視圖象。正常人體的溫度分布具有一定的穩(wěn)定性和特征性，機(jī)體各部位溫度不同，形成了不同的熱場(chǎng)。當(dāng)人體某處發(fā)生疾病或功能改變時(shí)，該處血流量會(huì)相應(yīng)發(fā)生變化，導(dǎo)致人體局部溫度改變，表現(xiàn)為溫度偏高或偏低。根據(jù)這一原理，通過(guò)熱成像系統(tǒng)采集人體紅外輻射，并轉(zhuǎn)換為數(shù)字信號(hào)，形成偽色彩熱圖等。

研究結(jié)果表明：說(shuō)謊者說(shuō)謊時(shí)，大腦前部區(qū)域的活動(dòng)較為活躍，說(shuō)謊者說(shuō)謊時(shí)腦部總共有7個(gè)區(qū)域在活動(dòng)，而說(shuō)實(shí)話的人則只有4個(gè)區(qū)域在活動(dòng)，說(shuō)謊應(yīng)該比說(shuō)實(shí)話更耗費(fèi)腦力。腦部進(jìn)行高速運(yùn)轉(zhuǎn)從而導(dǎo)致腦力溫度略有升高，通過(guò)熱圖顯示出來(lái)的結(jié)果，經(jīng)過(guò)算法對(duì)圖像進(jìn)行細(xì)微之處溫度的變化進(jìn)行分析，進(jìn)而作為我們判定說(shuō)謊的依據(jù)之一;此外，說(shuō)謊者進(jìn)行說(shuō)謊時(shí)伴隨心跳加快，導(dǎo)致其機(jī)體代謝增加，調(diào)動(dòng)機(jī)體產(chǎn)能增加，會(huì)升高體溫，且說(shuō)謊時(shí)會(huì)出現(xiàn)緊張感，人在緊張的狀態(tài)下，也會(huì)出現(xiàn)臉紅臉部皮溫升高。此時(shí)若對(duì)被測(cè)者的面部進(jìn)行掃描，同樣通過(guò)觀察比較被測(cè)者面部熱圖是否溫度增高來(lái)判斷。

撒謊時(shí)人臉的紅外熱成像圖如圖1所示。在正常人體狀態(tài)下，鼻子的溫度高于我們面部的溫度，然而在撒謊時(shí)，體內(nèi)的激素分泌會(huì)導(dǎo)致人體面部周圍的溫度升高，并且高于鼻子的溫度。

2. 基于卷積神經(jīng)網(wǎng)絡(luò)的面部表情分析

2.1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)CNN由特征提取網(wǎng)絡(luò)和分類器網(wǎng)絡(luò)兩大部分組成。典型的卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、下采樣層（池化層）、全連接層和輸出層組成。CNN的優(yōu)勢(shì)主要表現(xiàn)為局部感知、權(quán)重共享和多卷積核。

測(cè)試系統(tǒng)裝有可見(jiàn)光攝像頭和紅外熱成像攝像頭，可見(jiàn)光攝像頭錄制被測(cè)試者的肢體和面部信息，通過(guò)深度學(xué)習(xí)算法分析被測(cè)者的微小生理變化，使用滑動(dòng)窗口的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行逐幀的姿態(tài)估計(jì)。比如瞳孔的放大與縮小、眼球的轉(zhuǎn)動(dòng)、嘴角的變化等。

2.2 數(shù)據(jù)采集及實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用的數(shù)據(jù)集是Olivetti Faces 人臉數(shù)據(jù)庫(kù)和IDIAP Wolf數(shù)據(jù)庫(kù)，IDIAP Wolf數(shù)據(jù)庫(kù)是首個(gè)由多個(gè)說(shuō)話人錄制的語(yǔ)料庫(kù)。瑞士IDIAP研究機(jī)構(gòu)設(shè)計(jì)了一個(gè)游戲型的數(shù)據(jù)采集場(chǎng)景，被測(cè)人均為IDIAP研究社區(qū)的志愿者，采集過(guò)程中由志愿者進(jìn)行角色扮演游戲——狼人游戲。整個(gè)游戲過(guò)程由旁白指導(dǎo)，玩家隨機(jī)分成村民和狼人，其中狼人角色玩家在游戲過(guò)程中會(huì)撒謊，村民角色玩家會(huì)說(shuō)真話，該語(yǔ)料庫(kù)的新穎之處在于，交互式對(duì)話過(guò)程中玩家并不知道對(duì)方是否撒謊，整個(gè)數(shù)據(jù)集由15次游戲錄音組成，共36個(gè)被測(cè)人，分成四組，每組8-12個(gè)人，所有的語(yǔ)音數(shù)據(jù)都由頭戴式麥克風(fēng)錄制，共生成7小時(shí)語(yǔ)音數(shù)據(jù)。

Olivetti Faces 人臉數(shù)據(jù)庫(kù)由400 張人臉圖片構(gòu)成。人臉庫(kù)的灰度級(jí)是8位，每一張人臉圖的大小為64×64

實(shí)驗(yàn)的環(huán)境為：Windows 10 下的python3.6，計(jì)算機(jī)CPU 是英特爾i5-8250，8G內(nèi)存，使用的是LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造。卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練參數(shù)如表1所示。實(shí)驗(yàn)過(guò)程中對(duì)同一人的不同表情作為變量，來(lái)進(jìn)行實(shí)驗(yàn)觀察，得到Olivetti Faces 人臉數(shù)據(jù)庫(kù)中人臉的細(xì)微變化的捕捉。

2.3 實(shí)驗(yàn)結(jié)果與分析

首先通過(guò)自己團(tuán)隊(duì)成員的五人（分別記作A、B、C、D、E）來(lái)進(jìn)行紅外的測(cè)試，通過(guò)借鑒IDIAP Wolf數(shù)據(jù)庫(kù)的來(lái)源也構(gòu)建了簡(jiǎn)易的數(shù)據(jù)采集場(chǎng)景，來(lái)進(jìn)行說(shuō)謊時(shí)候的溫度變化，得到的溫度數(shù)據(jù)如表2所示。表中數(shù)據(jù)以說(shuō)謊前測(cè)試者面部溫度為標(biāo)準(zhǔn)，表中數(shù)據(jù)為測(cè)試者說(shuō)謊后相對(duì)說(shuō)謊前的變化值，正負(fù)分別表示增加和縮小。

假設(shè)其他外部影響因素保持不變，綜合分析五位測(cè)試者的數(shù)據(jù)，由表2知：說(shuō)謊時(shí)，測(cè)試者的面部部分區(qū)域溫度會(huì)有所變化且遵循面部（鼻子周圍）溫度會(huì)升高。然而在正常人體狀態(tài)下，鼻子的溫度高于我們面部的溫度。因而證明我們的方法切實(shí)可行。

對(duì)其中一位測(cè)試者提取出來(lái)的的瞳孔放大縮小數(shù)據(jù)如圖2所示。0為初始瞳孔直徑，1-10為測(cè)試者在不同表情不同心理活動(dòng)下的瞳孔相對(duì)初始瞳孔直徑的改變值?？v坐標(biāo)表示瞳孔直徑改變的數(shù)據(jù)（單位為毫米），正負(fù)分別表示增加和縮小。

由圖2知，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)這些圖片分析訓(xùn)練出來(lái)的數(shù)據(jù)得到在不同的表情下，同一人物的瞳孔曲張程度均發(fā)生了細(xì)微變化，根據(jù)這些細(xì)微變化對(duì)測(cè)試者原有的基礎(chǔ)上進(jìn)行更詳細(xì)的分析，從而提高測(cè)試的準(zhǔn)確性。

3. 結(jié)論

本文提出的基于紅外熱成像技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)的生理表征方法，融合了紅外熱成像對(duì)測(cè)試者局部溫度動(dòng)態(tài)變化及CNN進(jìn)行面部表情分析的優(yōu)點(diǎn)，提高了對(duì)被測(cè)試者生理表征判斷的準(zhǔn)確性。

參考文獻(xiàn)：

[1]張紅軍.紅外熱成像測(cè)溫技術(shù)及其應(yīng)用[J].船舶工程，2007（02）：16-17.

[2]李彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016，36（009）：2508-2515.

[3]楊玉漣，官鈺翔，沈毅，等.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別[J].電子測(cè)試，2020，450（21）：62-63+101.