張俊升，徐晶晶，余 偉

（中國礦業(yè)大學(xué)信息與控制工程學(xué)院，江蘇徐州221000）

（?通信作者電子郵箱1458589197@qq.com）

0 引言

面部美化這一短語來自Leyvand 等最近的一項研究［1］，它是一種新穎的計算攝影技術(shù)，以增強人臉圖像的美學(xué)吸引力即質(zhì)量，同時保持與原始圖像的高度相似性。面部美化是一種引人入勝的技術(shù)，該技術(shù)已經(jīng)深入日常生活，例如廣告，直播、社交等。隨著微信、微博等軟件的流行，對人臉圖像修飾的需求不斷增加，促進了面部美化技術(shù)的進一步研究與發(fā)展，進而關(guān)于評判面部美化標(biāo)準(zhǔn)的面部圖像質(zhì)量評估應(yīng)運而生。

在過去的幾年中，面部美化領(lǐng)域已經(jīng)出現(xiàn)了大量的工作，主要從皮膚、眼睛和嘴巴等方面對面部圖像表觀進行美化。例如Chen 等［2］提出了一種基于色溫不敏感皮膚顏色檢測的自動皮膚美化框架，為了打磨選定的皮膚區(qū)域，應(yīng)用雙側(cè)過濾器來平滑面部缺陷，并使用泊松圖像克隆將美化部分集成到原始輸入中；Sakurai 等［3］將超分辨率（Super-Resolution，SR）技術(shù)應(yīng)用于人臉美化的圖像處理，以使眼睛清晰明亮；Chung等［4］為用戶提供4種不同類型的口紅來改變面部風(fēng)格，以滿足他們尋求化妝和個性的需要。而現(xiàn)有的面部美學(xué)評價主要是基于面部基準(zhǔn)點選取的面部幾何評價［5-8］，幾何評價方法在面部化妝［9］、面部增強［10］等面部表觀美化方法中明顯存在問題，因為這些面部美化主要改變顏色、紋理等表觀特征而非幾何特征；同時，又因為面部美化圖像美學(xué)評價除了具備一定的“客觀性”之外，還具有很強的“主觀性”，諸如對白皙光滑的皮膚、清晰明亮的眼睛等的偏愛，導(dǎo)致傳統(tǒng)的圖像質(zhì)量和圖像美學(xué)在面部質(zhì)量評價中并不適用。近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為機器學(xué)習(xí)的一個分支，已被證明能在各種視覺信息處理應(yīng)用中有著出色性能，這種快速發(fā)展的技術(shù)最近也被應(yīng)用到圖像質(zhì)量預(yù)測問題。Kang等［11］第一次將CNN 模型應(yīng)于圖像質(zhì)量預(yù)測。Jongyoo 等［12］將無參考圖像質(zhì)量評價的訓(xùn)練分為兩個階段:在第一階段，用CNN學(xué)習(xí)預(yù)測客觀誤差圖；第二階段模型學(xué)習(xí)預(yù)測主觀評分。但由于缺乏足夠的人類主觀分?jǐn)?shù)，導(dǎo)致訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)識別準(zhǔn)確率不高。面部圖像質(zhì)量的評價能夠促進美化技術(shù)進一步發(fā)展，甚至指導(dǎo)其發(fā)展方向。由此可見，提出針對面部美化特性的美學(xué)質(zhì)量評價模型是必要的。

面部皮膚美化、面部化妝和面部圖像增強等改變面部表觀的技術(shù)是人臉修飾過程中最重要且最耗時的任務(wù)，因此本文專注這些技術(shù)提出提取面部美感認(rèn)知特征+支持向量回歸（Support Vactor Regression，SVR）訓(xùn)練的無參考質(zhì)量評價方法。首先，構(gòu)建了包含六種美化方法的面部美化圖像數(shù)據(jù)庫（Facial Beautification Image Database，F(xiàn)BID）；然后根據(jù)面部美感特性，將面部分為皮膚、眼睛和嘴巴三部分。從人類對人臉美感的認(rèn)知與感知和面部美化技術(shù)出發(fā)，本文的美學(xué)質(zhì)量評價包含基本的皮膚美感屬性為光滑度、光照和顏色；眼睛和嘴巴美學(xué)特性為灰度差和眼睛的清晰度，總共從這5 個方面提取美學(xué)特征并使用SVR 模型訓(xùn)練美學(xué)質(zhì)量評價模型。本文方法的總流程如圖1 所示。在FBID 數(shù)據(jù)庫的實驗結(jié)果表明本文方法的性能明顯優(yōu)于現(xiàn)有的圖像質(zhì)量評價方法。

圖1 本文方法的總流程Fig.1 Overall flowchart of the proposed method

1 面部美化圖像庫

目前，并沒有可用于面部美化圖像美學(xué)質(zhì)量評估的數(shù)據(jù)庫。基于此，本文建立了一個由常用美化方法生成的不同美化等級的圖像數(shù)據(jù)庫FBID，完整數(shù)據(jù)庫以及GUI 評分程序已上傳，對面部美化質(zhì)量評價有興趣的讀者可以下載以作研究（https://pan.baidu.com/s/1xXz7suAynNAPESrZEra4PQ）。

1.1 構(gòu)建

本數(shù)據(jù)庫共包含25 張面部圖像，其中15 張女性和10 張男性，面部表情為中性，面部美丑相對一致。這些圖像均來自SCUT-FBP5500 數(shù)據(jù)庫［13］。圖2 展示了10 張數(shù)據(jù)庫部分原始圖像。為了生成面部美化圖像，本研究使用磨皮、美白、亮度、對比度、清晰度和智能優(yōu)化6 種美化增強方法美化圖像。具體而言，使用這6 種美化方法處理每張圖像，每種方法包括4個等級，產(chǎn)生24 張美化后的圖像，為使數(shù)據(jù)庫合理以及更貼近應(yīng)用，本文設(shè)計時每種美化均包含了美化不足、美化正常和美化過度3 種情況。最終，F(xiàn)BID 數(shù)據(jù)集共包含600 張美化圖像。圖3展示了數(shù)據(jù)集中6種美化圖像示例。

1.2 主觀測試

為了評價面部美化圖像的真實得分，每次將同種美化方法不同美化等級的圖像呈現(xiàn)給觀察者。采用1～10 分評分規(guī)則，其中10 分表示最美。在測試中，15 名女性和15 名男性共30名年齡分布在20～30歲的中國志愿者參與評分。主觀評分在具有正常照明條件的實驗室環(huán)境中進行。分辨率為1 920×1 080的LCD顯示器用于顯示圖像。為了方便評級，開發(fā)了一個基于Matlab 的GUI 界面，如圖4 所示。為了避免視覺疲勞，所有的測試被限制在30 min以內(nèi)。

圖2 數(shù)據(jù)庫中部分原始圖像Fig.2 Part original images in the database

圖3 6種美化效果展示Fig.3 Six beautification effects to display

圖4 主觀質(zhì)量評分的GUIFig.4 GUI for subjective quality scoring

1.3 主觀實驗結(jié)果分析

獲得所有受試者的評分后，使用文獻［14］方法去除異常值。對于每幅圖像，平均移除5 個異常值。然后計算剩余分?jǐn)?shù)的平均值并將其用作真實得分，這也稱為主觀平均意見得分（Mean Opinion Score，MOS），圖5顯示了面部美化圖像的最終主觀評分。

圖5 數(shù)據(jù)庫圖像主觀評分Fig.5 Subjective scores of database images

2 面部美化美學(xué)質(zhì)量模型

近幾年出現(xiàn)的大量面部美學(xué)質(zhì)量評價方法主要是基于面部基準(zhǔn)點的選取來表征面部幾何形狀［15-18］。作為面部修飾中最主要組成部分的面部皮膚美化、面部化妝和面部圖像增強，現(xiàn)仍未有可使用的方法來度量美化質(zhì)量。因此，對于面部美化圖像美學(xué)質(zhì)量評價這個全新的問題，研究有效的面部美化圖像美學(xué)質(zhì)量評價方法是非常必要和有意義的。

本文的面部美化圖像美學(xué)質(zhì)量評價系統(tǒng)框架中有兩個關(guān)鍵部分:面部圖像預(yù)處理和美學(xué)特征提取。因為面部吸引力受不同區(qū)域的影響［19］，因此，為了充分提取面部特征，本文將面部分解成皮膚、眼睛和嘴巴三部分。然后，分析每部分影響吸引力大小的因素以及面部美化技術(shù)的編輯內(nèi)容。對于面部皮膚，使用膚色、光照和光滑度來度量；灰度差被用來衡量眼睛與嘴巴的吸引力；最后，清晰度被用來表征人對清晰明亮眼睛的喜愛。

2.1 面部圖像預(yù)處理

通過心理學(xué)研究發(fā)現(xiàn)面部不同區(qū)域有著不同的“美感”要求，針對這一特點，研究人員開發(fā)了大量針對性的美化技術(shù)。例如皮膚美化可以改變皮膚的光滑度，以使面孔看起來更光澤亮麗并且富有彈性；而紅色或其他顏色可以施加到嘴部以獲得美麗的外觀?；诖?，本文將面部圖像分塊。同時，對于面部皮膚，參考影響其吸引力三大主要屬性［20-22］，將皮膚分解成顏色層、光照層和細(xì)節(jié)層。

2.1.1 面部分塊

為了解決面部區(qū)域不同的“美感”需求和充分分析面部不同區(qū)域的美感特征，本文在臉部圖像上使用局部補丁。使用局部補丁還有另一個優(yōu)點，就是可以使本文方法對頭部姿勢、面部表情和美化處理具有魯棒性。最終，特征提取和相關(guān)學(xué)習(xí)都基于局部補丁而不是全局面部圖像。本文采用文獻［23］方法將圖像分塊。在每張臉部圖像中使用的補丁如圖6所示。

圖6 本文實驗在每張圖像上使用的局部補丁Fig.6 Partial patches used in this experiment on each image

2.1.2 皮膚分層

皮膚的光滑度、光照和顏色是影響面部吸引力的3 個主要因素，許多研究都涉及這些領(lǐng)域。在計算攝影中，圖像通常通過顏色空間變換分解為亮度層和顏色層。然后，將亮度層通過邊緣保留濾波器分解成平滑的基礎(chǔ)層和用于圖像編輯的細(xì)節(jié)層［24］。本文按照這種思路將皮膚區(qū)域分成細(xì)節(jié)層、光照層和顏色層，如圖7所示。

圖7 使用邊緣保持平滑算子將皮膚圖像分成三個特定面部層的過程Fig.7 Process of dividing skin image into three specific facial layers using an edge-preserving smoothing operator

首先是輸入皮膚圖像轉(zhuǎn)換到CIELAB 色彩空間，該空間常被用于心理學(xué)中研究人類知覺和面部吸引力工作［25］。轉(zhuǎn)換后的輸入圖像由一個亮度通道IL和兩個顏色通道Ia和Ib組成。兩個顏色通道被視為顏色層。其次，在亮度通道使用邊緣保持平滑算子以捕獲其大尺度變化，被視為光照層I*L。最后，從亮度通道中減去大尺度變化（光照層），結(jié)果被視為細(xì)節(jié)層IT，用于面部平滑度增強。

在這里，選擇基于加權(quán)最小二乘法（Weighted Least Squares，WLS）［25］的邊緣保持平滑算子用于光照和細(xì)節(jié)層分離，因為它對于細(xì)節(jié)操作是有效的，且不會如雙邊濾波器［26］或引導(dǎo)過濾器［27］那樣引入光暈偽像。

2.2 面部美學(xué)特征提取

本文綜合考慮了面部美感心理學(xué)［17-20］、面部美化技術(shù)［2-4］和圖像質(zhì)量的研究分析，合理性地提出5 種“美感”特征來表征面部吸引力，分別是人類對人臉美感認(rèn)知和感知特征的膚色、光滑度和灰度差以及圖像高質(zhì)量特征的光照和清晰度。它們在面部不同區(qū)域被提取。

2.2.1 膚色

白皙細(xì)膩的膚色可能使人看起來更美麗、更年輕。面部美白等技術(shù)均是基于此改變面部皮膚色調(diào)以提升面部美感，因此，直觀的面部皮膚色調(diào)［28-29］可用于表征面部吸引力。

本文方法的面部膚色由兩個顏色通道Ia和Ib的平均值表示，記作符號C，具體計算過程如下:

其中:c ∈{Ia，Ib}表示兩個顏色通道；H(i)表示顏色通道的像素值的歸一化直方圖；i是像素值得索引。

2.2.2 光滑度

面部涂抹粉底、BB 霜等化妝品，能使得面部外觀看起來更光滑。毫無疑問，人們更傾向于光滑細(xì)膩的皮膚，在面部美化中磨皮等技術(shù)，可以改變面部光滑度。皮膚的光滑度表征為其紋理的復(fù)雜度，在統(tǒng)計上，粗糙甚至充滿痘印的皮膚圖像表現(xiàn)為較高的熵值。

本文采用空間熵的概念。用一階估計的辦法來估計熵值:

其中:rk為皮膚的灰度級；S為面部圖像中所有灰度級的集合；P(rk)為該灰度級在面部中出現(xiàn)的概率?？紤]到影響面部皮膚光滑度的主要因素是痘印、皺紋和痣等局部區(qū)域，圖像熵的一階估計，只能表示圖像全局灰度的復(fù)雜性而無法體現(xiàn)出空間上的復(fù)雜性。因此，本文將面部皮膚細(xì)節(jié)層IT進一步分塊，并分別計算每一塊的一階熵估計，最后將所有塊的估計值累加起來，作為描述光滑度的統(tǒng)計量空間熵Esum。

2.2.3 灰度差

眼影、眼線和口紅等化妝品的使用，可以改變眼睛和嘴巴的顏色狀態(tài)，以增加面部“美感”。研究表明，在一定范圍內(nèi)增大眼睛嘴巴與周圍皮膚的灰度差，可以增加面部吸引力，進而影響人類對面部美學(xué)質(zhì)量的判斷［25］。這一研究發(fā)現(xiàn)也被廣泛應(yīng)用到面部美化框架中。

為了計算灰度差這一美學(xué)特征，首先使用SDSP（a novel Saliency Detection method by combining Simple Priors）顯 著性［30］處理眼睛區(qū)域，然后訓(xùn)練不同閾值以實現(xiàn)眼睛與周圍皮膚分離的最佳效果。其中顯著區(qū)域即為眼睛部分，背景區(qū)域表示周圍皮膚。灰度差的計算公式為:

其中:HD為灰度差；Fa為眼睛的灰度平均值；Fs為周圍皮膚的灰度平均值；K表示Fa和Fs的均值。

同上，處理嘴巴區(qū)域，得到嘴巴區(qū)域的灰度差。

2.2.4 光照

光照是影響面部吸引力的主要因素之一。在面部美化增強下，無論是欠增強還是過度增強都會導(dǎo)致光照不舒服。因此，表征面部光照情況的特征是必需的。

一幅光照良好的面部圖像不但平均照明適宜，而且應(yīng)該具有理想的光照分布。因此，在本工作中，使用式（1）來度量平均光照情況。將真實光照直方圖與理想均勻光照直方圖之間的距離作為測量面孔光照分布，KL（Kullback-Leibler）散度［31］被用來計算這一特性:

其中:P和U分別為真實光照層與理想光照層的直方圖分布。

2.2.5 清晰度

清晰度是人類評判質(zhì)量和美學(xué)的最重要指標(biāo)之一。而眼睛是影響人類對圖像清晰度感知的重要部位。所以，在眼睛區(qū)域利用最近關(guān)于盲圖像模糊評估工作來計算清晰度特征，利用概率模型來估計在圖像中的每個邊緣處檢測模糊的概率，然后通過計算模糊檢測的累積概率（Cumulative Probability of Blur Detection，CPBD）來匯集信息。

其中:CPBD表示清晰度；PJNR表示預(yù)先設(shè)定的概率閾值；PBLUR表示圖像的邊緣模糊概率；w(ei)表示在邊緣點ei處的邊緣寬度。該方法已被證明對模擬和真實迷糊圖像都有效。關(guān)于模糊評估方法的更多細(xì)節(jié)可參見文獻［32］。

2.3 基于支持向量回歸的美學(xué)訓(xùn)練

3 實驗結(jié)果和應(yīng)用

3.1 評價方案

在構(gòu)建的FBID 數(shù)據(jù)庫上進行實驗，驗證所提出的美學(xué)質(zhì)量模型的有效性。采用三種廣泛使用的標(biāo)準(zhǔn)來評估模型性能，包括皮爾遜（Pearson）線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC）、Spearman 等 級 相 關(guān) 系 數(shù)（Spearman RankOrder Correlation Coefficient，SROCC）和均方根誤差（Root Mean Squared Error，RMSE）。其中，PLCC 和RMSE 用于測量預(yù)測精度，SROCC 用于測量預(yù)測單調(diào)性；PLCC、SRCC 數(shù)值越大，RMSE 越小代表方法性能越好。在計算它們之前，在主觀與客觀分?jǐn)?shù)之間進行5參數(shù)的邏輯映射:

其中:τi（i = 1，2，…，5）為擬合參數(shù)。

3.2 結(jié)果和比較

3.2.1 與現(xiàn)有質(zhì)量評價方法比較

將本文方法性能同最先進的無參考圖像質(zhì)量評價結(jié)果進行比較，包括BIQI（Blind Image Quality Indices）［34］、BRISQUE（Blind/Referenceless Image Spatial QUality Evaluator）［35］、CCF（Colorfulness index，Contrast index and Fog density index）［36］、DIIVINE（Distortion Identification-based Image Verity and INtegrity Evaluation）［37］、FADE（Fog Aware Density Evaluation）［38］、NIQE（Natural Image Quality Evaluation）［39］、SSEQ（Spatial-Spectral Entropy Quality）［40］、CNN［10］、DIQA（Deep CNN-based Image Quality Assessment）［11］。實驗結(jié)果如表1所示。

表1 不同無參考評價方法在本數(shù)據(jù)庫上的匯總Tab. 1 Summary of different no-reference evaluation methods on the proposed database

從表1 中可以看出，本文方法能獲得最好的性能表現(xiàn)，而且顯著優(yōu)于傳統(tǒng)特征設(shè)計的質(zhì)量評價方法。這些結(jié)果并不令人驚訝，因為幾乎當(dāng)前所有的質(zhì)量指標(biāo)都是基于全局圖像或顯著性區(qū)域測量，同時具有很強的客觀性，而面部美化是在面部不同區(qū)域根據(jù)面部的主觀美吸引力處理的。換句話說，面部美感的主觀視覺特性在面部美化圖像的美學(xué)質(zhì)量評估中起著更重要的作用。同時，面部圖像美學(xué)評價與傳統(tǒng)圖像質(zhì)量評價有明顯不同，面部圖像美學(xué)評價側(cè)重于面部吸引力的評價；雖然最近流行的關(guān)于圖像質(zhì)量評價的卷積神經(jīng)網(wǎng)絡(luò)性能也優(yōu)于現(xiàn)有評價方法，但本文模型性能優(yōu)勢更明顯。這主要得益于本文特征是依據(jù)面部美化圖像特性和面部美感心理學(xué)提出的，模型更具有針對性，這也意味著模型失去了通用性，同時模型性能依賴于提出的特征；卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于其能挖掘圖像更深層次的規(guī)律，提取高級感知特征，而且具有很好的泛化能力，但由于本文構(gòu)建的數(shù)據(jù)庫樣本量較少，導(dǎo)致通用的無參考質(zhì)量評價卷積神經(jīng)網(wǎng)絡(luò)性能并不是很理想。綜上所述，本文模型在面部美化圖像質(zhì)量評價上更具優(yōu)勢。

為了更加直觀地展示本文方法的性能，給出了本文方法和傳統(tǒng)取得最好性能的質(zhì)量評價方法DIIVINE 的散點圖的對比，如圖8 所示?？陀^評分是指測試圖像在質(zhì)量評價方法下的算法得分。

圖8 兩種方法散點圖Fig.8 Scatter graphs of two methods

從圖8 可以看出:與DIIVINE 相比，本文方法線性擬合得更好，評分更接近主觀評分。

3.2.2 訓(xùn)練測試比例的變化

為了驗證本實驗是否存在過擬合現(xiàn)象，共選取5 種不同訓(xùn)練測試比例進行測試。實驗結(jié)果如表2 所示，由本文方法性能相對于訓(xùn)練測試比例的變化保持相對穩(wěn)定，進而說明本實驗沒有出現(xiàn)過擬合現(xiàn)象。

近年來，隨著各項工作的逐步展開，遵醫(yī)附院新技術(shù)新項目開展數(shù)量逐年提升，年均開展新技術(shù)新項目數(shù)量從20余項增加到現(xiàn)在的200余項，通過在臨床診療過程中不斷創(chuàng)新、突破，并積極促進臨床科研項目實現(xiàn)成果轉(zhuǎn)化，有效助推了醫(yī)院科研工作水平實現(xiàn)跨越式發(fā)展，極大提升了醫(yī)院的綜合實力和市場競爭力。

表2 不同訓(xùn)練測試比例的測試結(jié)果Tab. 2 Test results for different training test ratios

3.2.3 不同美化方法下的性能

FBID 數(shù)據(jù)庫根據(jù)美化方法的不同分成6 個子庫，分別為磨皮、美白、亮度、對比度、清晰度和智能優(yōu)化。本文方法在不同美化方法上的穩(wěn)定性結(jié)果如圖9所示。

圖9 本文方法在不同美化方法上的測試結(jié)果Fig.9 Test results of proposed algorithm on different beautification methods

由圖9 可看出，本文方法總體具有很高的穩(wěn)定性。具體分析，由于本方法是對面部質(zhì)量的總體討論，在針對單一圖像增強如美白、亮度和對比度上，不相關(guān)的特征帶來信息的冗余甚至是干擾，在一定程度上降低了方法的穩(wěn)定性。而智能優(yōu)化是一種綜合性的美化方法，本文方法在其上的高穩(wěn)定性，也進一步說明了它的全面性。

3.3 面部不同區(qū)域?qū)ξΦ呢暙I

為了進一步了解面部3 個區(qū)域?qū)γ娌棵缹W(xué)判斷的相對貢獻，本文進行了另一個實驗。具體而言，分別使用單類補丁以及兩兩結(jié)合組成的區(qū)域進行性能測試。然后將計算結(jié)果與整體模型進行了比較。通過這種方法，可以知道組成區(qū)域的相對重要性。表3為仿真結(jié)果。

表3 不同區(qū)域結(jié)合對面部吸引力的貢獻Tab.3 Contribution of different area combinations to facial attractiveness

從表3 可知，皮膚對整體性能的影響較大，甚至超過了眼睛和嘴巴的組合；而嘴巴區(qū)域的影響較小。這3 個區(qū)域的組合提供了最佳性能，進一步驗證了本文美學(xué)質(zhì)量模型的合理性和有效性。

3.4 應(yīng)用

本文方法最終是為了實現(xiàn)美化方法參數(shù)的最優(yōu)選擇，以達到美化的最佳效果。本文構(gòu)建了一個GUI系統(tǒng)來展示面部美化圖像美學(xué)質(zhì)量評估模型的應(yīng)用，如圖10所示。

圖10 面部質(zhì)量評估模型應(yīng)用展示Fig.10 Facial quality assessment model application display

該界面展示了面部在不同“美白”參數(shù)下的美化圖像及其美學(xué)得分。在用戶使用美白方法時，會自動嵌入本文方法結(jié)論篩選出得分最高的美白圖像展示給用戶，節(jié)省了用戶調(diào)參過程。尤其在視頻美化中，用戶無法實時手動調(diào)節(jié)美化參數(shù)，本文方法結(jié)論更尤為重要。

4 結(jié)語

本文討論了面部美化圖像的美學(xué)質(zhì)量評估。基于6 種面部美化技術(shù)，構(gòu)建了首個面部美化圖像數(shù)據(jù)庫，通過主觀測試來收集人的真實評分?？紤]到目前基于失真的圖像質(zhì)量度量方法在面部美化圖像美學(xué)質(zhì)量評價中存在很大的局限性，提出一種新的面部美化圖像美學(xué)質(zhì)量評價方法，在構(gòu)建的數(shù)據(jù)庫上對該方法的性能進行了評估，實驗結(jié)果和比較驗證了本文所提美學(xué)質(zhì)量模型的有效性和優(yōu)越性。但本文只是在傳統(tǒng)方式上做了美化圖像質(zhì)量評價相關(guān)工作，下一步將結(jié)合CNN提取符合人感知層次的高水平特征繼續(xù)提高模型的準(zhǔn)確性。