崔海生，侯晨杰

（1.重慶移通學院物理學院，重慶 401520；2.華中科技大學物理學院，湖北 武漢 430074）

作為交叉領(lǐng)域技術(shù)，面部表情識別的發(fā)展可以推動面部檢測[1]、面部重組[2]、動畫模擬[3]、人機交互[4-5]在線教育等相關(guān)技術(shù)領(lǐng)域的進步。近年來，對于面部表情識別的研究逐步從傳統(tǒng)的人工設(shè)計特征方式轉(zhuǎn)換到以人工智能為基礎(chǔ)的研究，使面部表情識別技術(shù)取得了跨越式的發(fā)展。李勇等[6]通過改進LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)，將從網(wǎng)絡(luò)中提取到的低層次特征和高層次特征相結(jié)合，構(gòu)建分類器，利用JAFFE 表情數(shù)據(jù)庫將識別率提高到了94.37%；CHANG 等[7]運用卷積神經(jīng)網(wǎng)絡(luò)提取特征，并使用復雜性感知分類算法將數(shù)據(jù)集分為簡單分類樣本子空間和復雜分類樣本子空間，降低了因情緒的不同表達和環(huán)境因素的變化而導致的面部表情識別的復雜性；GEORGESCU 等[8]將卷積神經(jīng)網(wǎng)絡(luò)學習的自動特征和由視覺文字包模型計算的手工特征相結(jié)合，采用局部學習框架來預測每個測試圖像的類標簽；CHEN 等[9]提出一種強面部特征提取方法，提取表情表達峰值與中性面部表情值之間的差值特征，保留了中性面到表情面過渡中發(fā)生變化的細微面部部分；李軍等[10]提出了一種融合多尺度卷積神經(jīng)網(wǎng)絡(luò)和雙向長短期記憶的模型，除了能提取到更加豐富的表情特征，還加強了特征信息的再利用；張雯婧等[11]針對實際情景中面部表情識別模擬和實驗數(shù)據(jù)因來源于不同情景會導致識別性能明顯下降的問題，提出了一種基于稀疏子空間遷移學習的跨域人臉表情識別的新方法；尹鵬博等[12]提出了一種基于卷積注意力的輕量級人臉表情識別方法，該方法中機器學習模型在人臉表情識別研究中對數(shù)據(jù)集需求量小、對硬件配置要求也較低。但以上方法在特定場景面部表情識別實踐中，普遍存在處理速度較慢的問題。

人工智能作為一門新興的交叉學科，研究者們希望了解所謂智能的本質(zhì)，并制造出一種能與人類智能相似的方式對各類請求做出響應的智能機器[13]，主要研究領(lǐng)域包括圖像識別、語音理解和溝通、機器人技術(shù)、基于深度學習的認知和推理專家系統(tǒng)等。目前人工智能領(lǐng)域廣泛使用的主要有Caffe、Keras 和Tensorflow 這3 個框架，本文對基于Tensorflow 卷積神經(jīng)網(wǎng)絡(luò)的面部識別技術(shù)及其應用進行了研究，與傳統(tǒng)的僅基于計算機軟件的系統(tǒng)相比，該方法可以大大提高整個系統(tǒng)的處理速度。

1 局部特征聚類損失函數(shù)與特征學習

Tensorflow 是一個采用數(shù)據(jù)流圖用于數(shù)值計算的開源框架，其計算學習過程依賴張量，張量是現(xiàn)代機器學習的基礎(chǔ)，它的核心是一個數(shù)據(jù)容器[14]。四維張量可以記錄圖像數(shù)據(jù)，五維張量就可以保存視頻數(shù)據(jù)，維度繼續(xù)增加即可以儲存更復雜的數(shù)據(jù)。在實際應用場景中，往往需要處理成千上萬甚至更多的數(shù)據(jù)信息，此種情境下通常需要頻繁地使用四維和五維張量。

Tensorflow 實現(xiàn)機器學習，其原理是通過計算機編程實現(xiàn)，主要包含2 個步驟：構(gòu)造計算圖、運行計算圖[15]。Tensorflow 使用圖表示計算任務，圖中的節(jié)點定義為op（operation），每個op 獲得0 或多個tensor進行運算，同時將得到0 個或多個tensor。圖描述了整個計算過程，為了執(zhí)行計算，計算圖在會話（Session）中啟動，將圖的op 分發(fā)到GPU 或CPU 設(shè)備上，同時執(zhí)行op 相關(guān)方法，計算后將產(chǎn)生的tensor 返回。以下通過一個簡單線性擬合說明其過程。

使用Python 語言進行Tensorflow 編程，生成隨機數(shù)訓練集對離散點進行線性擬合訓練，代碼如下：

通過100 次機器學習訓練，計算機已經(jīng)能夠很好地擬合離散點，訓練結(jié)果如圖1 所示。

圖1 訓練100 次后擬合結(jié)果示意圖

圖中擬合損失函數(shù)（loss）曲線圖用于描述模型預測值與真實值的差距大小，可以看出擬合誤差隨訓練次數(shù)（n）的增加不斷減小，到訓練結(jié)束時，模型預測值已與真實值完全相等。可以將這個過程通俗地理解為人類為完成某一任務而不斷試錯的過程，機器學習算法使計算機不斷修正試錯產(chǎn)生的偏差，以求逐漸趨近于正確。這樣的思路也可以應用于基于光顯示的面部識別技術(shù)中。

2 特征提取與特征壓縮

實現(xiàn)面部識別最重要的一點在于訓練數(shù)據(jù)集的獲取，想要使計算機成功識別出每一個人，訓練集需要上千萬人的面部數(shù)據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)算法，卷積神經(jīng)網(wǎng)絡(luò)是根據(jù)仿生學視知覺機制進行構(gòu)建的，該技術(shù)對于大型圖像處理有非常出色的表現(xiàn)，其主要包括卷積層（Convolutional layer）和池化層（Pooling layer）。

卷積層對原始輸入的數(shù)據(jù)信息進行特征提取，這一過程以小區(qū)域劃分依次執(zhí)行，卷積計算過程如圖2所示。

圖2 卷積計算過程示意圖

左側(cè)為輸入層，即輸入的圖像，經(jīng)過特征提取獲得一個深度為1 的特征圖，不同區(qū)域進行特征提取后就會得到一個特征集合，將該集合疊在一起就得到了卷積層輸出的結(jié)果。

將卷積層對特征圖進一步執(zhí)行卷積操作得到更高層次的特征。多次卷積過程如圖3 所示。

圖3 多次卷積計算示意圖

可以看出，進行一次卷積計算可以提取出的只有低層次的特征，第二次卷積計算則能夠提取出中層次的特征，第三次能夠提取出更高層次的特征。這樣不斷進行提取，最終就能夠得到較高層次特征，方能滿足各種實際應用的需要。

池化層操作執(zhí)行過程如圖4 所示。池化是對特征圖進行特征壓縮，選取原區(qū)域的max 或mean 代替該區(qū)域，整體上相當于進行了壓縮，進一步提取了必要特征，減少了學習過程中不必要的計算量。

圖4 池化層操作示意圖

3 系統(tǒng)架構(gòu)

在獲取到標準面部信息數(shù)據(jù)集對計算機進行訓練后就能夠進行面部識別應用了。整個系統(tǒng)架構(gòu)如圖5所示，主要包括特征點提取模塊、歸一化算法、編碼模塊、光學識別器及處理模塊等。該系統(tǒng)采用液晶顯示器（LCD）作為實時空間光調(diào)制器（SLMS），這也是整個特征提取模塊的關(guān)鍵。識別時首先對CCD 攝像機捕獲的實時目標輸入圖像使用計算機軟件進行預處理和編碼，然后用光學識別器與預先存儲在計算機中的編碼參考圖進行連續(xù)匹配，最后使用卷積神經(jīng)網(wǎng)絡(luò)算法給出識別結(jié)果。由于該系統(tǒng)結(jié)合了光學系統(tǒng)的大規(guī)模并行性與計算機的可編程性的優(yōu)點，與僅基于計算機軟件的混合系統(tǒng)相比，大大提高了整個系統(tǒng)的處理速度。

圖5 面部識別系統(tǒng)架構(gòu)示意圖

面部識別系統(tǒng)組成如圖6 所示，其中非相干光學相關(guān)設(shè)備包括非相干擴散源S、在液晶顯示器（LCD）上并排顯示的輸入圖像和參考圖像、成像透鏡L1 和加裝透鏡L2 的CCD 攝像機。利用非相干光源的擴散特性，將輸入圖像沿不同方向投影到參考圖像上，成像透鏡L1 從各個方向采集輸入圖像和參考圖像的疊加圖像，并對收集到的所有圖像進行疊加，以便在成像透鏡后的輸出平面上形成相關(guān)合成圖像。CCD 攝像機將光學部件和電子部件連接起來，相關(guān)結(jié)果在攝像機目標上成像，數(shù)字化后（256 灰度級），相關(guān)平面上感興趣的區(qū)域?qū)⑼ㄟ^幀捕獲器傳輸至計算機，并保存在存儲器中，用于特征提取過程。

圖6 面部識別系統(tǒng)組成示意圖

4 實驗與結(jié)果分析

本次實驗使用了3 個數(shù)據(jù)庫，分別為JAFFE 表情數(shù)據(jù)庫[16]、CK+數(shù)據(jù)庫[17]、MMI 數(shù)據(jù)庫[18]。通過改變訓練數(shù)量進行實驗并測試圖像。實驗中用于仿真的平臺是在具有2.70 GHz CPU 速度、4.00 GB RAM 和Windows1064 位版本操作系統(tǒng)的PC。

JAFFE 表情數(shù)據(jù)庫由10 位日本女性的213 張圖像組成，213 張圖像全部用于實驗中。CK+數(shù)據(jù)庫包含來自123 個對象的姿勢和非姿勢表情，總共使用了CK+數(shù)據(jù)庫中的431 張圖像。MMI 數(shù)據(jù)庫包含20 多名男女受試者。該項研究共用了MMI 數(shù)據(jù)庫中的256 張圖像。3 個數(shù)據(jù)庫合計900 張圖像，圖7 為來自3 個數(shù)據(jù)庫的樣本圖像。

圖7 3 個數(shù)據(jù)庫的樣本圖像

選擇每例人臉面部表情張量最大的表情圖像作為樣本，待檢測出人臉面部表情后再歸一化成大小為64×64 的表情圖像，然后將其裁剪成大小為60×60 的子圖像并通過鏡像翻轉(zhuǎn)將人臉面部表情樣本數(shù)量擴大至原來的40 倍。

實驗時先用全部900 張圖像通過改變訓練數(shù)量進行訓練，直至擬合訓練結(jié)束。然后從900 張圖像中隨機抽取1張圖像進行測試，進行實驗測試時利用3 折交叉測試的方法，將3 次測試平均值作為最后的結(jié)果，測試結(jié)果如表1、表2、表3 所示。

表1 使用樣本圖像集中的原始圖像實驗時間

表2 使用本征面作為圖像濾波器后實驗時間

表3 本文方法與其它方法的比較

光處理器與電子類控制模塊之間存在數(shù)據(jù)傳輸問題，例如LCD 的刷新頻率、幀捕獲器的數(shù)據(jù)傳輸速率限制等，這使得光圖像處理的高度并行性受到了一定削弱。實際實驗過程中，在一組900 張面部圖像中檢索目標人物需要約16 s 的時間，這是一個比較低的速度。利用光學相關(guān)運算可以在單位時間內(nèi)獲得更多的特征，為了提升處理速度，必需要減少操作量，通過使用本征面作為圖像濾波器而不是圖像集中的原始圖像，光學相關(guān)操作可減少至較低水平，如此一來系統(tǒng)的處理速度從16 s 減少至不到3 s，同時也保持了較高的識別精度。

5 結(jié)束語

本文主要研究了基于Tensorflow 卷積神經(jīng)網(wǎng)絡(luò)的面部識別技術(shù)。使用Python 語言進行編程，生成隨機數(shù)訓練集對離散點進行線性擬合訓練。然后將此思路應用于基于光顯示的面部識別技術(shù)中，該技術(shù)對于大型圖像處理有非常出色的表現(xiàn)，卷積層進行特征提取，池化層對特征圖進行特征壓縮。在獲取到標準面部信息數(shù)據(jù)集對計算機進行訓練后就能夠進行面部識別應用了。