李金蔓，汪劍鳴,2，金光浩

(1.天津工業(yè)大學(xué) 電子與信息工程學(xué)院，天津 300387； 2.天津工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300387)(*通信作者電子郵箱jinguanghao@tjpu.edu.cn)

0 引言

深度學(xué)習(xí)和機(jī)器學(xué)習(xí)等技術(shù)的發(fā)展，可以使網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)并選取多種特征用于分類或識(shí)別，從而達(dá)到很高的精度。在人臉檢測(cè)領(lǐng)域，因?yàn)槿四槹S富而又復(fù)雜的信息，往往會(huì)提取多種面部特征信息進(jìn)行融合并篩選，從而實(shí)現(xiàn)更高的檢測(cè)精度。在交友或面試等很多社交場(chǎng)合，人臉吸引力作為第一印象，發(fā)揮著很重要的作用。區(qū)別于簡(jiǎn)單的人臉檢測(cè)，人臉吸引力的檢測(cè)不僅涉及到人臉的多種特征的融合，更包含個(gè)人的審美和大眾審美偏好等決策因素。目前人臉可用于吸引力分析的特征可分為兩大類：一類是臉型輪廓、幾何比例、膚色、對(duì)稱性等全局特征；一類是皮膚紋理、五官尺寸等局部特征[1]。Eisenthal等[2]提出基于人臉的37個(gè)距離特征和頭發(fā)顏色、面部平滑程度、人臉對(duì)稱性作為人臉吸引力程度的表征特征，這是在人臉吸引力預(yù)測(cè)領(lǐng)域的最初探索。Mao等[3]提出了一個(gè)17維的面部吸引力幾何特征表示，在分類問題上取得了不錯(cuò)的結(jié)果。Zhang等[4]將幾個(gè)低級(jí)別的人臉特征和高級(jí)特征相結(jié)合，提出了一個(gè)基于數(shù)據(jù)驅(qū)動(dòng)的面部美麗程度分析框架。依靠手動(dòng)標(biāo)注和典型的特征，面部吸引力程度研究已經(jīng)取得了很好的效果。但是僅僅手工獲取的特征級(jí)的信息融合已經(jīng)難以對(duì)人臉吸引力這一研究達(dá)到實(shí)際的應(yīng)用需求精度。Gan等[5]則在不依賴人工特征選擇的情況下，通過卷積限制玻爾茲曼機(jī)(Convolutional Restricted Boltzmann Machine, CRBM)對(duì)面部吸引力特征進(jìn)行自動(dòng)學(xué)習(xí)。另外，Gan等[6]提出了一種基于自適應(yīng)去卷積網(wǎng)絡(luò)(Adaptive Deconvolutional Network, ADN)的面部美麗程度預(yù)測(cè)模型，通過卷積網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)圖片特征的層次化表達(dá)。上述的研究方法還僅限于單一層面上的特征融合，還沒有利用決策級(jí)融合的互補(bǔ)性，無(wú)法直接用于個(gè)性化的人臉吸引力檢測(cè)。通過決策級(jí)融合能夠充分利用多模態(tài)信息，更加精確地預(yù)測(cè)結(jié)果。Simonyan等[7]通過時(shí)空雙流網(wǎng)絡(luò)輸出兩個(gè)分?jǐn)?shù)，通過決策級(jí)融合，對(duì)動(dòng)作的識(shí)別精確度有顯著提高。何剛等[8]曾嘗試將特征級(jí)和決策級(jí)信息融合進(jìn)行場(chǎng)景分類，并且取得了不錯(cuò)的結(jié)果。

本文借鑒了多層次融合的思想，針對(duì)僅依靠特征級(jí)融合在個(gè)性化人臉吸引力預(yù)測(cè)中精度不高的問題，提出了一個(gè)基于特征級(jí)和決策級(jí)信息融合的個(gè)性化人臉吸引力預(yù)測(cè)框架。該方法能夠充分利用多模態(tài)信息，發(fā)揮信息融合在特征級(jí)和決策級(jí)的互補(bǔ)性優(yōu)勢(shì)，不僅在特征級(jí)融合了具有代表性的人臉吸引力特征，同時(shí)在決策級(jí)上融合進(jìn)大眾主流審美偏好信息進(jìn)而進(jìn)行個(gè)性化預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，所提方法相比于其他關(guān)于個(gè)性化人臉吸引力問題研究的算法，在個(gè)性化預(yù)測(cè)精確度上有顯著的提高。

1 相關(guān)工作

1.1 人臉吸引力特征提取

人臉吸引力特征提取對(duì)于最終的分類預(yù)測(cè)結(jié)果至關(guān)重要，本文主要提取17維全局特征[9]、Gabor紋理特征[10]作為面部吸引力的全局和局部特征的典型代表。17維全局特征是通過獲得72個(gè)面部特征點(diǎn)，計(jì)算一些重要的面部特征點(diǎn)之間的距離，歸一化距離特征得到的。Gabor特征則是采用多方向多尺度的濾波器對(duì)人臉圖片提取紋理信息進(jìn)行描述。由于獲得的特征維數(shù)過高，本文采用了用于降維的線性判別分析(Linear Discriminant Analysis, LDA)算法[11]，其基本思想是將數(shù)據(jù)投影到較低維空間上，將這些獲得的特征作為深度網(wǎng)絡(luò)特征提取后的特征補(bǔ)充。

1.2 信息融合

多層次信息融合分為數(shù)據(jù)級(jí)融合、特征級(jí)融合和決策級(jí)融合[12]。數(shù)據(jù)級(jí)融合作為一個(gè)正式的研究領(lǐng)域也稱為多傳感器融合，主要是通過多個(gè)來(lái)源的數(shù)據(jù)，可以比單一數(shù)據(jù)提供更有意義、準(zhǔn)確且可靠的消息，在軍事安全和民用領(lǐng)域有諸多應(yīng)用。特征級(jí)融合則是將來(lái)自于同一個(gè)對(duì)象的不同特征進(jìn)行融合，根據(jù)融合策略不同而有不同的融合方法。決策級(jí)融合則是由不同的判別器都先得到一個(gè)結(jié)果，然后再進(jìn)行融合決策。而本文則是利用了同一張圖片提取的多種代表性特征進(jìn)行特征級(jí)融合后進(jìn)行第一輪預(yù)測(cè)，再與大眾主流審美偏好信息評(píng)分進(jìn)行決策級(jí)融合，最終實(shí)現(xiàn)個(gè)性化人臉吸引力預(yù)測(cè)。

2 多層次信息融合的人臉吸引力預(yù)測(cè)框架

本文提出的基于多層次信息融合的人臉吸引力預(yù)測(cè)框架如圖1所示。首先，對(duì)輸入圖像提取全局特征和局部特征；然后，進(jìn)行特征級(jí)融合，同時(shí)通過卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的卷積層進(jìn)行自動(dòng)特征提取，再將所提取特征和第一次融合的特征進(jìn)行特征級(jí)再融合，得到圖像最終的特征表達(dá)輸入到全連接層；最后由網(wǎng)絡(luò)最終輸出的決策分?jǐn)?shù)和輸入圖像的大眾偏好評(píng)分進(jìn)行決策級(jí)融合得到預(yù)測(cè)結(jié)果。

圖1 系統(tǒng)框圖Fig.1 System framework

2.1 建立數(shù)據(jù)集

大眾審美偏好信息代表了公眾視野中具有吸引力的面孔的共同特征。由于大數(shù)據(jù)相關(guān)研究的發(fā)展，可以通過各種社交網(wǎng)站輕松獲取公共評(píng)分?jǐn)?shù)據(jù)。在本文中，已經(jīng)公開的SCUT-FBP-500數(shù)據(jù)庫(kù)[13]已經(jīng)帶有人臉吸引力標(biāo)簽；另一個(gè)FaceScrub 數(shù)據(jù)集[14]是沒有吸引力的標(biāo)簽。因此，本文設(shè)計(jì)了一個(gè)在線評(píng)分系統(tǒng)來(lái)收集FaceScrub子集的評(píng)分。

本文根據(jù)研究標(biāo)準(zhǔn)選擇了FaceScrub數(shù)據(jù)庫(kù)的圖像，這些圖像是女性的面孔，臉部沒有被遮擋，沒有強(qiáng)烈的光線變化，沒有強(qiáng)烈的表情變化。同時(shí)邀請(qǐng)了測(cè)試人員通過在線評(píng)分系統(tǒng)對(duì)子集進(jìn)行評(píng)分，獲得每張照片的評(píng)分和分布。然后通過平均所有測(cè)試者的評(píng)分來(lái)計(jì)算每張圖片的標(biāo)簽。標(biāo)簽通過整體概率密度分布進(jìn)行分析，評(píng)分分布接近高斯分布，評(píng)分在2.5附近有較高的分布。這意味著一般的面孔比非常漂亮或不引人注目的面孔更普遍，這也反映了現(xiàn)實(shí)世界的情況。事實(shí)上，在社交生活中，非常有吸引力的人臉數(shù)量是少數(shù)，普通的人臉最常見。

本文通過標(biāo)準(zhǔn)偏差分布來(lái)驗(yàn)證標(biāo)簽的有效性，如圖2所示，其中橫坐標(biāo)為平均吸引力評(píng)分，1代表非常不漂亮，5代表非常漂亮。由圖2可以看出：當(dāng)評(píng)分接近1和5時(shí)，偏差很小；在2.5和3.5之間的區(qū)間，偏差最大。這也表明人們的偏好對(duì)于非常有吸引力的、沒有吸引力的面孔是非常一致的，但是對(duì)于一般的面孔而言是非常主觀的。

圖2 標(biāo)準(zhǔn)偏差分布Fig. 2 Distribution of standard deviation

同時(shí)，數(shù)據(jù)庫(kù)通過設(shè)計(jì)實(shí)驗(yàn)進(jìn)行驗(yàn)證。另外將測(cè)試者隨機(jī)分成兩組，計(jì)算兩組之間的平均Pearson相關(guān)系數(shù)(Pearson Correlation coefficient, PC)[15]。將此過程重復(fù)多次得到平均系數(shù)為0.89，結(jié)果如表1所示。表1結(jié)果表明數(shù)據(jù)庫(kù)標(biāo)簽具有高度一致性。

表1 FaceScrub數(shù)據(jù)標(biāo)簽一致性驗(yàn)證Tab. 1 Consistency verification of FaceScrub data label

2.2 特征級(jí)融合

特征融合和信息融合已廣泛應(yīng)用于人臉識(shí)別、運(yùn)動(dòng)識(shí)別、場(chǎng)景識(shí)別和分割等領(lǐng)域[16-18]，目前也已應(yīng)用于人臉吸引力程度分析。本文提出了一種融合全局和局部特征來(lái)表示人臉吸引力的方法。為了融合特征，選擇了典型相關(guān)分析(Canonical Correlation Analysis, CCA)[19]特征融合方法。典型相關(guān)分析是對(duì)兩個(gè)變量之間相關(guān)性的統(tǒng)計(jì)研究,也是一種降維技術(shù)。典型相關(guān)分析的實(shí)質(zhì)是在兩組隨機(jī)變量中選擇幾個(gè)具有代表性的綜合指標(biāo)(變量的線性組合)。兩個(gè)指標(biāo)之間的相關(guān)性用于表示兩組變量之間的相關(guān)性。在兩組變量的相關(guān)分析中，它可以在簡(jiǎn)化變量中發(fā)揮合理的作用。當(dāng)?shù)湫拖嚓P(guān)系數(shù)足夠大時(shí)，另一組變量的線性組合可以根據(jù)回歸分析值中的一組變量值來(lái)預(yù)測(cè)。

CCA算法的具體步驟為：

1)尋找具有最高相關(guān)系數(shù)的典型變量的線性組合。這個(gè)組合不是唯一的，它可能涵蓋變量的所有特征。

2)繼續(xù)尋求每組變量的線性組合，并且這次需要兩組變量之間具有最大相關(guān)性的線性相關(guān)性，并且與1)中組合無(wú)關(guān)。

3)這兩種線性組合的關(guān)系與正交組合的關(guān)系相似。每組變量的線性組合產(chǎn)生一個(gè)新的變量。

X′=ωx1x1+…+ωxmxm=ωXTX

(1)

Y′=ωy1y1+…+ωymym=ωYTY

(2)

其中：X和Y被稱為典型變量，X′、Y′為X、Y投影到一維上的結(jié)果。然后將融合后的特征與CNN所提取的圖像特征進(jìn)行特征級(jí)再融合。

本文通過支持向量機(jī)(Support Vector Machine, SVM)、隨機(jī)森林(Random Forest, RF)和多元線性回歸(Linear)這幾種傳統(tǒng)機(jī)器學(xué)習(xí)算法驗(yàn)證了特征融合在面部吸引力預(yù)測(cè)中的有效性,同時(shí)對(duì)比了融合了典型特征的CNN和簡(jiǎn)單CNN的性能。

2.3 決策級(jí)融合

本文提出了幾種個(gè)人和大眾審美偏好信息決策級(jí)融合的方法，用于個(gè)性化人臉美學(xué)評(píng)價(jià)研究,并對(duì)其性能進(jìn)行了比較,通過大量的實(shí)驗(yàn)驗(yàn)證了所提方法的有效性和可靠性。通過CNN來(lái)自動(dòng)提取圖像的層次化特征，并將其與特征級(jí)融合后的面部吸引力典型代表特征進(jìn)行二次特征融合，然后通過網(wǎng)絡(luò)的全連接層輸出第一次的決策結(jié)果；基于所提出的決策級(jí)融合方法對(duì)第一次決策結(jié)果與大眾偏好信息進(jìn)行決策級(jí)融合，最后輸出個(gè)性化預(yù)測(cè)結(jié)果。根據(jù)對(duì)現(xiàn)有方法的研究分析，本文提出了如下幾種決策級(jí)融合方法：

1)CNN+平均(AVErage, AVE) 融合。將CNN輸出的第一次決策結(jié)果與數(shù)據(jù)庫(kù)的大眾偏好評(píng)分進(jìn)行決策級(jí)融合。AVE融合是取第一次的決策結(jié)果和大眾偏好評(píng)分的平均，也就是，第一次的決策結(jié)果和大眾偏好評(píng)分按照相同的權(quán)重參與評(píng)分決策。

2)CNN +線性自動(dòng)賦權(quán)(Linear Automatic Empowerment, LAE)融合。由于不同個(gè)體受群眾影響程度的差異，模型應(yīng)該是適應(yīng)性的。由于個(gè)人審美與大眾審美偏好高度相關(guān)，因此該模型應(yīng)具有普遍一致性。個(gè)人審美偏好評(píng)分和大眾審美偏好評(píng)分是線性的關(guān)系。基于最基本的線性模型來(lái)設(shè)計(jì)和改進(jìn)本文的模型，建立了一個(gè)稱為L(zhǎng)AE的自適應(yīng)模型，使用殘差作為損失函數(shù)，目的是為了最小化解決模型參數(shù)的殘差。損失函數(shù)的具體形式如下：

(3)

其中：m是樣本數(shù)量；yi是真實(shí)值；f(xi)是預(yù)測(cè)值。本文使用了LAE來(lái)建立決策級(jí)融合模型：

R=αRC+βRP

(4)

α+β=1

(5)

其中：α，β是權(quán)重系數(shù)，0<α,β<1；R表示最終個(gè)性化預(yù)測(cè)分?jǐn)?shù)；RC表示圖片的大眾評(píng)價(jià)分?jǐn)?shù)；RP表示圖片的第一次決策輸出的分?jǐn)?shù)。這里的權(quán)重因子根據(jù)每個(gè)不同的個(gè)體自動(dòng)選擇。

3)CNN+支持向量回歸(Support Vector Regression, SVR)融合。通過SVR建立決策級(jí)融合模型，將CNN輸出的第一次決策結(jié)果和數(shù)據(jù)庫(kù)大眾偏好評(píng)分的標(biāo)簽融合。SVR是通過構(gòu)建高維空間中的線性決策函數(shù)來(lái)構(gòu)造的，并通過核函數(shù)來(lái)實(shí)現(xiàn)，最終實(shí)現(xiàn)個(gè)性化面部吸引力評(píng)分預(yù)測(cè)。

4)CNN融合。本文嘗試直接在CNN結(jié)構(gòu)中添加了融合層，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。融合層被用來(lái)將個(gè)人審美偏好信息和大眾審美偏好信息融合在一起，并最終通過全連接層來(lái)輸出預(yù)測(cè)評(píng)級(jí)。通過這種方式，可以實(shí)現(xiàn)端到端自動(dòng)提取測(cè)量圖像的特征以進(jìn)行個(gè)性化的人臉吸引預(yù)測(cè)，比現(xiàn)有的方法更有效率。

圖3 融合CNN網(wǎng)絡(luò)架構(gòu)Fig. 3 Fusion CNN architecture

3 實(shí)驗(yàn)結(jié)果及分析

本文在兩個(gè)公開的人臉數(shù)據(jù)集上進(jìn)行了評(píng)估：第一個(gè)是SCUT-FBP[13]，其中包括500張具有吸引力評(píng)分的亞洲女性照片；第二個(gè)是FaceScrub[14]，其中包含6 195位公眾人物的141 130張人臉照片。對(duì)于這兩個(gè)數(shù)據(jù)集，利用所提的融合框架進(jìn)行實(shí)驗(yàn)。

3.1 模型評(píng)估標(biāo)準(zhǔn)

本文基于Pearson相關(guān)系數(shù)(PC)[15]、殘差(RESidual, RES)[20]和決定系數(shù)(Coefficient of Determination, R2)[21]評(píng)估不同算法的預(yù)測(cè)性能。

(6)

(7)

(8)

其中:m是樣本數(shù)量;yi是真實(shí)值;f(xi)是預(yù)測(cè)值。相關(guān)系數(shù)接近于1或-1，相關(guān)性較強(qiáng);相關(guān)系數(shù)接近0，相關(guān)性較弱。通常，相關(guān)系數(shù)為0.8～1.0是強(qiáng)相關(guān)的。殘差包含有關(guān)模型基本假設(shè)的重要信息，如果回歸模型是正確的，可以使用殘差作為誤差的觀測(cè)值，它應(yīng)該符合模型的假設(shè)并具有誤差的一些性質(zhì)。決策系數(shù)反映了因變量的整體變化，可以用回歸關(guān)系來(lái)解釋。如果R2越接近1，則表示擬合程度越好。

3.2 特征級(jí)融合對(duì)比實(shí)驗(yàn)

本文使用的機(jī)器學(xué)習(xí)方法包括SVM回歸(SVR)、線性回歸(Linear)、隨機(jī)森林(RandomForest)，比較了不同算法在預(yù)測(cè)面部吸引力評(píng)分方面的表現(xiàn)。通過用10%數(shù)據(jù)集作為測(cè)試的交叉驗(yàn)證實(shí)驗(yàn)獲得相關(guān)結(jié)果。同時(shí)，為了驗(yàn)證特征融合比僅使用單個(gè)幾何特征更有效，使用CCA算法融合F17特征和Gabor濾波器獲得的局部特征。最后，再將融合了全局和局部特征的CNN與簡(jiǎn)單CNN的性能進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如表2所示。

表2 基于SCUT-FBP數(shù)據(jù)庫(kù)特征融合結(jié)果對(duì)比Tab. 2 Comparison of feature fusion results based on database SCUT-FBP

從表2可以看出：最好的相關(guān)系數(shù)(PC)是通過CNN實(shí)現(xiàn)的；線性回歸在PC、RES和R2上也表現(xiàn)出良好的性能。此外，組合特征顯示比單特征具有更好的性能，這表明幾何特征和皮膚紋理特征對(duì)于面部美感的感知是重要的。在以后的研究中，考慮將不同信息的更多特征融合來(lái)比較它們的有效性。

3.3 決策級(jí)融合對(duì)比實(shí)驗(yàn)

本文利用CNN自動(dòng)提取特征，再與面部典型特征進(jìn)行特征級(jí)融合，并將其輸入決策級(jí)融合模型以預(yù)測(cè)最終評(píng)分。通過實(shí)驗(yàn)對(duì)比了單一方法和決策級(jí)融合方法的性能，結(jié)果如表3所示。單一方法SCNN(Single CNN),網(wǎng)絡(luò)只輸入個(gè)人主觀評(píng)分。決策級(jí)融合方法包括CNN融合、SVR融合、AVE融合和LAE融合。

從表3中看出，由CNN+SVR融合得到的Pearson相關(guān)系數(shù)(PC)是最好的。此外，實(shí)驗(yàn)驗(yàn)證了共識(shí)性和主觀性信息融合取得了更好的結(jié)果。

在驗(yàn)證了融合模型的有效性之后，再次在FaceScrub子集上進(jìn)行測(cè)試實(shí)驗(yàn)，比較了四種融合策略的性能，結(jié)果如表4所示。與SCUT-FBP不同，F(xiàn)aceScrub子集中的圖像都是西方女性的面孔，這也是模型預(yù)測(cè)的一個(gè)不確定因素。本文構(gòu)建的子集標(biāo)簽通過自洽性和一致性驗(yàn)證，數(shù)據(jù)分布符合一般人臉吸引力程度分布規(guī)律。

從表4可以看出，由FaceScrub子集結(jié)果可以得到與SCUT-FBP數(shù)據(jù)庫(kù)相同的結(jié)論，由CNN+SVR融合得到的Pearson相關(guān)系數(shù)(PC)是最好的。在單一隨機(jī)實(shí)驗(yàn)中，SVR 融合可以達(dá)到PC為0.99、RES為0.01。

表 3 不同方法在SCUT-FBP數(shù)據(jù)庫(kù)的結(jié)果對(duì)比Tab. 3 Result comparison of different methods on database SCUT-FBP

表 4 不同方法FaceScrub子集上的結(jié)果對(duì)比Tab. 4 Result comparison of different methods on subset FaceScrub

將本文所提出框架的實(shí)驗(yàn)結(jié)果和現(xiàn)有關(guān)于個(gè)性化人臉吸引力研究和共識(shí)性人臉吸引力研究的相關(guān)成果[4,13,22-26]進(jìn)行對(duì)比，結(jié)果如表5所示，表中最后兩行代表分別基于SCUT-FBP數(shù)據(jù)庫(kù)和FaceScrub子集的實(shí)驗(yàn)結(jié)果。由表5可知，在個(gè)性化人臉吸引力研究問題中，本文所提出框架能夠?qū)崿F(xiàn)更高的相關(guān)系數(shù)和更小的誤差，甚至優(yōu)于共識(shí)性人臉吸引力算法所達(dá)到的最好指標(biāo)。

表5 不同方法實(shí)驗(yàn)結(jié)果對(duì)比Tab. 5 Comparison of experimental results of different methods

4 結(jié)語(yǔ)

針對(duì)特征級(jí)融合對(duì)于個(gè)性化人臉吸引力預(yù)測(cè)這個(gè)問題預(yù)測(cè)相關(guān)性不夠的問題，本文提出了一個(gè)集合特征級(jí)融合和決策級(jí)融合的個(gè)性化人臉吸引力預(yù)測(cè)框架，有效地將關(guān)鍵性的大眾審美偏好融入模型中，提高了個(gè)性化相關(guān)性系數(shù)，從而達(dá)到了很高的個(gè)性化預(yù)測(cè)精度。在基于SCUT-FBP-500和FaceScrub兩個(gè)公開數(shù)據(jù)庫(kù)的實(shí)驗(yàn)中，該框架相比其他關(guān)于個(gè)性化人臉吸引力問題研究的算法表現(xiàn)出突出優(yōu)勢(shì)。將更典型的代表性特征納入框架并采用更有效的方法得到大眾審美及個(gè)性化預(yù)測(cè)信息，是下一步需要改進(jìn)的方向。