王冰冰,麥成源,莊杰穎,潘家輝,梁 艷

(華南師范大學(xué) 軟件學(xué)院,佛山 528225)

1 引言

1.1 研究背景

“顏值”是用來衡量外貌美丑狀態(tài)的一個流行詞匯,體現(xiàn)了人們對外貌的重視.在追求高顏值的今天,如何快速、客觀評價一個人的顏值是值得研究的課題.隨著計算機(jī)視覺的發(fā)展,人臉識別技術(shù)和深度學(xué)習(xí)算法逐漸普及,眾多研究者嘗試采用人工智能的方法對人臉顏值進(jìn)行自動評估.人臉顏值評估系統(tǒng)可為人臉顏值提供客觀的評價,具有一定的理論研究價值.此外,人臉顏值評估系統(tǒng)可應(yīng)用于美妝產(chǎn)品、圖片美化、社交網(wǎng)絡(luò)等場景,具有極大的市場應(yīng)用價值.

1.2 研究現(xiàn)狀

近年來,隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,為了滿足人們對美貌的追求,許多人臉顏值評估系統(tǒng)應(yīng)運而生.國內(nèi)推出了多款操作簡便的顏值打分器APP,僅需上傳圖片即可預(yù)測出用戶的顏值分?jǐn)?shù),但評估準(zhǔn)確率較低,對于美丑的判定與大眾審美存在較大的偏差.PrettyScale是國外推出的一款專業(yè)在線顏值點評系統(tǒng),主要根據(jù)黃金比例的美學(xué)原理對用戶的顏值進(jìn)行評估,但該系統(tǒng)操作較為復(fù)雜,需要用戶手動調(diào)整面部、眼睛、鼻子、嘴巴等各部分的位置.

早期的人臉顏值評估研究主要采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法,比如,管業(yè)鵬等人[1]根據(jù)黃金比例的標(biāo)準(zhǔn)和人臉面部的1/3 比例,提出了一種基于圖像的非監(jiān)督人臉顏值評估方法.李立琛[2]采用梯度方向直方圖、幾何特征、顏色直方圖、尺度不變特征轉(zhuǎn)換和Gist 空間包絡(luò)特征及其融合特征對人臉圖像進(jìn)行顏值評估,平均準(zhǔn)確率達(dá)63%.毛慧蕓等人[3]提出17 維特征提取方法,并結(jié)合C4.5 決策樹學(xué)習(xí)方法,對510 幅中國女性人臉圖像進(jìn)行顏值評估,分為4 個評價等級,準(zhǔn)確率達(dá)到71.6%.華南理工大學(xué)的謝多瑞[4]設(shè)計了一款顏值達(dá)芬奇系統(tǒng),主要采用基于幾何特征與基于表觀特征兩種傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行顏值評估,同時結(jié)合了角度矯正和群眾打分等功能,使得系統(tǒng)的測評結(jié)果更加合理.

傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要手工提取特征,泛化性能較弱,難以應(yīng)對復(fù)雜的情況.因此,近年來較多學(xué)者采用基于深度學(xué)習(xí)的解決方案.相較于傳統(tǒng)機(jī)器學(xué)習(xí)方法,深度學(xué)習(xí)通過對各層網(wǎng)絡(luò)逐層的學(xué)習(xí),更容易發(fā)現(xiàn)顏值評估的規(guī)律,具有廣闊的應(yīng)用空間.2015年,Xie 等人[5]公開了一個用于人臉顏值評估的數(shù)據(jù)集,并設(shè)計3 個不同網(wǎng)絡(luò)層次的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)模型進(jìn)行測試,實驗結(jié)果表明,采用CNN 模型的分類效果遠(yuǎn)高于傳統(tǒng)機(jī)器學(xué)習(xí)方法.甘俊英等人[6]則在此基礎(chǔ)上進(jìn)行了改進(jìn),通過減少網(wǎng)絡(luò)層數(shù)和減小圖像的尺寸以提高模型的實時性,并通過微調(diào)數(shù)據(jù)的方法進(jìn)一步提高預(yù)測的準(zhǔn)確性.Zhai 等人[7]提出了一種繼承不同尺度特征的顏值評估方法BeautyNet,在LSFBD 數(shù)據(jù)集[8]上進(jìn)行實驗,準(zhǔn)確率達(dá)67.48%.與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比,基于深度學(xué)習(xí)的方法在評估準(zhǔn)確率上有所提高,但訓(xùn)練更為復(fù)雜的深度學(xué)習(xí)模型,需要大量的數(shù)據(jù).

為了實現(xiàn)人臉顏值的智能評估,本文研發(fā)了一款基于深度學(xué)習(xí)的顏值評估系統(tǒng),利用圖像的方向梯度直方圖(histogram of oriented gradient,HOG)特征[9]進(jìn)行人臉檢測,采用FaceNet 預(yù)訓(xùn)練模型進(jìn)行人臉特征值的提取,提出基于Softmax 分類層和ReLU 回歸層的雙層決策模型,并綜合考慮人臉局部特征進(jìn)行人臉顏值評估,不僅提高了顏值評估的準(zhǔn)確率,還具有較高的實時性,滿足實際應(yīng)用的需求.

2 基于深度學(xué)習(xí)的人臉顏值評估系統(tǒng)

2.1 系統(tǒng)描述

本文設(shè)計了一款基于深度學(xué)習(xí)的人臉顏值評估系統(tǒng),框架圖如圖1所示,結(jié)合雙層決策模型和綜合局部特征量化值,實現(xiàn)人臉顏值的實時評估,一定程度上避免了人工干預(yù)等主觀性較強(qiáng)的評價.系統(tǒng)主要分為四個模塊:人臉檢測模塊、人臉特征提取模塊、人臉顏值評估模塊、局部特征值量化模塊.整體設(shè)計的思路如下:用戶通過拍照或者本地相冊輸入需要評估的人臉圖片,利用基于HOG 特征的人臉檢測器進(jìn)行人臉檢測,然后利用FaceNet 預(yù)訓(xùn)練模型提取人臉特征向量,并將其作為雙層決策模型的輸入,采用雙層決策模型進(jìn)行訓(xùn)練,最終將人臉局部特征進(jìn)行量化,并結(jié)合量化后的特征值得到顏值評估得分結(jié)果.

圖1 人臉顏值評估系統(tǒng)框架圖

2.2 人臉檢測處理流程

用戶通過拍照或選擇照片的方式將圖片上傳至本系統(tǒng),系統(tǒng)將會調(diào)用Dlib中的基于HOG 特征[10]的分類器對獲取到的照片進(jìn)行人臉檢測.人臉檢測的流程如下:首先讀取包含人臉矩形框閾值、滑動窗口大小和掃描濾波器參數(shù)的文件;其次選擇尺度參數(shù),利用滑動窗口對圖像的不同尺度進(jìn)行活動掃描,并計算出每個窗口的HOG 特征;再根據(jù)文件中給出的濾波器參數(shù)計算每個窗口的響應(yīng)值,對圖像進(jìn)行初步的判斷,若檢測的結(jié)果為人臉,則對其進(jìn)行標(biāo)記.經(jīng)過一輪活動掃描后,圖像的每個尺度會出現(xiàn)多次標(biāo)記的情況.針對較高重疊率的人臉,我們在圖像掃描完成后,利用非極大值抑制(non maximum suppression,NMS)方法[11],根據(jù)重疊率的閾值和計算得到的濾波響應(yīng)值來消除重疊多余且響應(yīng)值低的人臉,從而得到最終的人臉檢測區(qū)域.人臉檢測的流程圖如圖2所示.

圖2 人臉檢測流程圖

2.3 基于FaceNet 預(yù)訓(xùn)練模型的人臉特征提取方法

FaceNet 預(yù)訓(xùn)練模型能夠有效提取圖片中具有復(fù)雜特征或難以直接量化的特征,并且提取的全局特征向量不受圖片幾何隨機(jī)變換的影響,給接下來的雙層決策模型帶來較好的效果.FaceNet 框架圖如圖3所示.其中,FaceNet 主體模型采用一個由3 個帶有殘差連接的Inception 模塊和1 個Inception v4 模塊組成極深度網(wǎng)絡(luò)Inception ResNet-v2.Batch為輸入的人臉圖像樣本的批尺寸;L2為特征歸一化;Embeddings 則是經(jīng)過極深度網(wǎng)絡(luò)和特征歸一化后生成的特征向量;Triplet Loss 代表的是三元損失函數(shù),即通過學(xué)習(xí)使得類別內(nèi)部的樣本距離小于不同類別樣本的距離.

圖3 FaceNet 預(yù)訓(xùn)練模型流程圖

三元損失函數(shù)的定義如下:

其中,xai、xmi、xni分別為第i個樣本的正面人臉圖(錨點)、與樣本同類的人臉圖(正樣本)以及與樣本不同類的人臉圖(負(fù)樣本),F(xai)、F(xmi)、F(xni)為3 幅人臉圖像對應(yīng)的特征,N為樣本個數(shù),ω是為平衡收斂性與精確度設(shè)置的超參數(shù).在訓(xùn)練過程中,我們參考文獻(xiàn)[12]將 ω 設(shè)置為0.2.

2.4 人臉顏值評估模塊的原理與實現(xiàn)

人臉顏值評估模塊的目的是對人臉圖像進(jìn)行顏值測評.若直接利用分類模型進(jìn)行等級的分類,雖然可以得到較高的準(zhǔn)確率,但評估的結(jié)果相對變得模糊,難以合理地區(qū)分每個人的顏值評估結(jié)果.另一方面,若直接根據(jù)原始數(shù)據(jù)集中的連續(xù)性分?jǐn)?shù)作為標(biāo)簽,訓(xùn)練一個回歸型的模型,則會因為數(shù)據(jù)分布不均,導(dǎo)致均方根誤差(root mean square error,RMSE)、均方誤差(mean square error,MSE)等相關(guān)指標(biāo)較大,評估的結(jié)果準(zhǔn)確性不高.

因此,本文將FaceNet 模型中提取的人臉特征作為人臉顏值評估模塊的輸入,并將數(shù)據(jù)集分成“較低”“一般”“較高”3 種等級,分別訓(xùn)練3 種回歸模型:較低顏值回歸模型、一般顏值回歸模型和較高顏值回歸模型.此外,采用ReLU 激活函數(shù)增加回歸模型的非線性表達(dá)能力,通過梯度下降法對參數(shù)進(jìn)行優(yōu)化.

在人臉顏值評估模塊的具體實現(xiàn)中,我們結(jié)合分類模型和回歸模型,采用基于Softmax 分類層和ReLU回歸層的雙層決策模型評估人臉顏值.首先,將FaceNet預(yù)訓(xùn)練模型提取的人臉特征向量作為雙層決策模型的輸入,通過雙層決策模型中的Softmax 分類層預(yù)測該人臉特征所處的顏值等級,然后通過對應(yīng)等級的回歸模型(較低顏值回歸模型、一般顏值回歸模型和較高顏值回歸模型),得到連續(xù)的人臉顏值評估數(shù)值,最后將該數(shù)值轉(zhuǎn)換成百分制,即可獲得百分制形式表示的顏值評估結(jié)果.具體流程如圖4所示.

圖4 雙層決策模型流程圖

2.5 局部特征值量化

考慮到單一評價會影響評估的客觀性,本文根據(jù)文獻(xiàn)[13]提出的東方人臉顏值測評標(biāo)準(zhǔn),引入了5 個主要局部特征值,分別為:下顎角度、眉心至鼻下/鼻下至下頜、人臉長寬比例、微笑角度、唇厚度比(下/上).傳統(tǒng)審美觀將人臉圓潤對稱視為美的標(biāo)準(zhǔn),臉型不應(yīng)過分尖瘦,同時,人臉長寬比應(yīng)符合黃金比例,因此,我們通過分析數(shù)據(jù)集“較高”等級的人臉局部特征,并結(jié)合傳統(tǒng)審美觀點,最終確定了5 個局部特征的標(biāo)準(zhǔn)參考值:下顎角度為120°,眉心至鼻下與鼻下至下頜的比例為1:1,人臉長寬比例為1:0.618,微笑角度為小于180°,下唇與上唇厚度比值大于1.具體每個局部特征的標(biāo)準(zhǔn)參考值如表1所示.

表1 標(biāo)準(zhǔn)局部特征值表

根據(jù)人臉圖像各個局部特征值與對應(yīng)的標(biāo)準(zhǔn)參考值之間的差異性,我們設(shè)置了相應(yīng)的加分規(guī)則,如表2所示.規(guī)則設(shè)置的原則是:當(dāng)局部特征值與標(biāo)準(zhǔn)參考值越接近,說明該特征越接近傳統(tǒng)的大眾審美,因此可以獲得加分,反之,不得分.比如,下顎角度越接近120°,加分越多,當(dāng)與標(biāo)準(zhǔn)參考值的差值超過30°,即臉型太寬或太尖,則不加分.

表2 局部量化特征加分規(guī)則表

3 實驗和測試

3.1 系統(tǒng)架構(gòu)和實驗環(huán)境

我們基于Windows 系統(tǒng)和Ubuntu 虛擬機(jī)搭建了系統(tǒng)的開發(fā)環(huán)境,主要通過PyCharm 開發(fā)工具、Android Studio 開發(fā)工具、MySQL 數(shù)據(jù)庫組成,如圖5所示.系統(tǒng)的功能主要有人臉檢測、基于FaceNet 模型的特征提取、顏值評估3 大模塊構(gòu)成.在業(yè)務(wù)層中,采用基于Softmax 分類層和ReLU 回歸層的雙層決策模型、MySQL 數(shù)據(jù)庫,同時使用第三方資源Dlib和OpenCV開源計算機(jī)視覺庫.

圖5 系統(tǒng)架構(gòu)圖

3.2 實驗過程

3.2.1 數(shù)據(jù)集收集及均衡化

(1)數(shù)據(jù)集的來源與收集

本文采用SCUT-FBP5500 數(shù)據(jù)集[5],其中包含5 500張正面人臉圖像,年齡分布在15–60 歲.人臉圖像包括了2 000 名亞洲女性、2 000 名亞洲男性、750 名高加索男性和750 名高加索女性.本系統(tǒng)主要針對亞洲人臉顏值進(jìn)行評估,因此我們選取了數(shù)據(jù)集中4 000張亞洲人臉圖像用于模型訓(xùn)練和算法測試.每張圖像分別由60 個18–27 歲的評分員進(jìn)行評分,共5 個等級,并將評分的均值作為數(shù)據(jù)集每張圖片的標(biāo)簽.SCUTFBP5500 數(shù)據(jù)集的部分原始數(shù)據(jù)如圖6所示.

圖6 數(shù)據(jù)集的部分原始數(shù)據(jù)

(2)數(shù)據(jù)集的擴(kuò)充與處理

我們發(fā)現(xiàn)SCUT-FBP5500 數(shù)據(jù)集在評分兩端(接近1 分和5 分)的數(shù)據(jù)較少,而在中間分?jǐn)?shù)段的數(shù)據(jù)居多.雖然該數(shù)據(jù)集符合正常的人臉顏值分布,但數(shù)據(jù)集的分布不均將會影響模型的訓(xùn)練效果,因此需要進(jìn)一步收集數(shù)據(jù)并對數(shù)據(jù)集進(jìn)行擴(kuò)充與處理.

本文參考了英國IM 雜志亞洲最時尚面孔名單,擴(kuò)充數(shù)據(jù)集,使高分?jǐn)?shù)據(jù)增多,并去除掉質(zhì)量較差的圖片,增強(qiáng)后的數(shù)據(jù)集共4 794 張,然后將其按7:3的比例劃分為訓(xùn)練集和測試集進(jìn)行訓(xùn)練.增強(qiáng)的部分原始數(shù)據(jù)如圖7所示.

圖7 數(shù)據(jù)集增強(qiáng)后的部分原始數(shù)據(jù)

由于在實際生活中,存在于評分兩端分?jǐn)?shù)段的數(shù)據(jù)較少,為使數(shù)據(jù)集分布均勻,我們調(diào)整分?jǐn)?shù)段,合并相關(guān)分類,將5 個等級劃分為3 個等級:設(shè)定1–2 分?jǐn)?shù)區(qū)間為類別“較低”,3 分?jǐn)?shù)區(qū)間為類別“一般”,4–5 分?jǐn)?shù)區(qū)間為類別“較高”.

3.2.2 模型訓(xùn)練過程和主要參數(shù)設(shè)置

本研究對基準(zhǔn)的分類層模型進(jìn)行結(jié)構(gòu)上的改進(jìn),同時利用數(shù)據(jù)增強(qiáng)提高模型評估的性能.訓(xùn)練過程主要分為4 步.

(1)利用基于HOG 特征的人臉檢測器檢測人臉區(qū)域,截取數(shù)據(jù)集圖像中人臉的感興趣區(qū)域(region of interest,ROI),從而避免了模型參數(shù)的冗余.

(2)將訓(xùn)練集輸入到FaceNet 預(yù)訓(xùn)練模型中后,初步提取人臉的圖像特征,得到人臉特征集.

(3)在雙層決策模型訓(xùn)練中,首先利用人臉特征集對3 分類的Softmax 分類器進(jìn)行訓(xùn)練,然后將人臉特征集的5 個等級劃分為3 個等級,分別訓(xùn)練對應(yīng)等級的回歸模型.

(4)最后利用測試集計算雙層決策模型的準(zhǔn)確率.在雙層決策模型測試中,將測試集輸入到FaceNet 預(yù)訓(xùn)練模型以提取人臉特征值,然后通過Softmax 分類層預(yù)測出等級,并選擇對應(yīng)的回歸模型進(jìn)行顏值的評估.本文將雙層決策模型最后的輸出值進(jìn)行四舍五入處理,綜合原始的標(biāo)簽得到最終的準(zhǔn)確率.Softmax 分類器訓(xùn)練過程準(zhǔn)確率如圖8所示,當(dāng)總迭代次數(shù)達(dá)到300 次時,訓(xùn)練集準(zhǔn)確率趨于收斂.

圖8 雙層決策模型中的分類層訓(xùn)練集準(zhǔn)確率

主要參數(shù)設(shè)置如下:

(1)學(xué)習(xí)率為0.001;

(2)總迭代次數(shù)為300 次;

(3)一次訓(xùn)練所選取的樣本數(shù)(batch size)為32.

3.2.3 實驗結(jié)果與分析

(1)數(shù)據(jù)集處理結(jié)果與分析

為了確定數(shù)據(jù)增強(qiáng)的方法,解決數(shù)據(jù)集分布不均的問題,我們對以下3 種數(shù)據(jù)增強(qiáng)方法進(jìn)行對比:

① 變換增強(qiáng)處理:對評分兩端的圖片進(jìn)行隨機(jī)圖像變換與增強(qiáng);

② DCGAN 模型[14]處理:采用DCGAN 模型對評分兩端的圖片訓(xùn)練,生成類似圖片.

③ 人工處理:人工擴(kuò)充數(shù)據(jù)集,使高分?jǐn)?shù)據(jù)增多,并去除掉質(zhì)量較差的圖片.

我們基于不同的數(shù)據(jù)集處理方法,運用本文所提出的FaceNet+雙層決策模型+局部特征量化值進(jìn)行訓(xùn)練,結(jié)果如表3所示.

表3 基于不同數(shù)據(jù)集處理方法的模型訓(xùn)練結(jié)果

從表3可以看到,采用DCGAN 模型處理和人工處理的方法對原始數(shù)據(jù)進(jìn)行增強(qiáng),均可以提高評估的準(zhǔn)確率.但是,采用DCGAN 模型訓(xùn)練生成圖片的時間成本代價較高,總訓(xùn)練時間為6.20 小時,而且生成圖片的質(zhì)量不高.與另外兩種數(shù)據(jù)增強(qiáng)方法相比,采用人工處理的方法不僅總訓(xùn)練時間最短,而且準(zhǔn)確率最高,達(dá)78.58%,因此本文最終確定采用人工處理方法進(jìn)行數(shù)據(jù)增強(qiáng).

(2)顏值評估方法比較與分析

為了驗證本文方法的有效性,我們把本文方法與FaceNet+Softmax、FaceNet+雙層決策模型方法的性能進(jìn)行比較,實驗結(jié)果如表4所示.采用正確率為性能評價指標(biāo),其計算公式如下:

表4 不同顏值評估方法結(jié)果對比 (%)

其中,ACC為正確率,Ntrue為正確分類的圖片數(shù)量,Npredict為總預(yù)測的人臉圖片數(shù)量.

與另外兩種顏值評估方法相比,本文方法經(jīng)數(shù)據(jù)擴(kuò)充后,利用FaceNet+雙層決策模型+局部特征量化值進(jìn)行人臉顏值評估,正確率比采用FaceNet+Softmax和FaceNet+雙層決策模型的方法分別提高了5.54%和3.07%,證明了雙層決策模型與局部特征量化值的結(jié)合能有效地提高分類性能,最終提高系統(tǒng)的整體性能.

(3)系統(tǒng)響應(yīng)時間分析

我們對系統(tǒng)的響應(yīng)時間進(jìn)行了測試,輸入20 張人臉圖片進(jìn)行顏值評估,共花費59.6 s,平均每張圖片的評估速度為2.98 s.處理單張圖片的最長時間為3.23 s,最短時間為2.16 s,其變化幅度也是在用戶可接受的范圍之內(nèi),因此,本文提出的方法能夠滿足用戶實際應(yīng)用需求.

4 總結(jié)

本文將人工智能技術(shù)應(yīng)用于美妝領(lǐng)域,研發(fā)了一款基于深度學(xué)習(xí)的人臉顏值評估系統(tǒng),可實時對用戶的妝容進(jìn)行評估,提高用戶的美妝技能和質(zhì)量.該系統(tǒng)利用FaceNet 預(yù)訓(xùn)練模型進(jìn)行人臉特征提取,結(jié)合雙層決策模型和人臉局部特征量化值進(jìn)行人臉顏值評估.在經(jīng)過數(shù)據(jù)增強(qiáng)后的SCUT-FBP5500 數(shù)據(jù)集進(jìn)行實驗,本系統(tǒng)獲得78.58%的準(zhǔn)確率,人臉圖片的平均評估時間為2.98 s,能滿足實際應(yīng)用的需求.但影響人臉顏值的因素諸多,如膚色、發(fā)型、情感狀態(tài)等.如何進(jìn)一步提取綜合性更強(qiáng)的特征,實現(xiàn)更貼近大眾審美標(biāo)準(zhǔn)的人臉顏值評估系統(tǒng),是我們未來要繼續(xù)研究的問題.