歐陽杰臣，黃 曜，高 玨，許華虎

(1.上海大學(xué) 計(jì)算機(jī)工程與科學(xué)學(xué)院，上海 200444；2.上海上大海潤信息系統(tǒng)有限公司，上海 200444)

基于Android人臉美化App的研究與實(shí)現(xiàn)

歐陽杰臣1，黃 曜1，高 玨1，許華虎2

(1.上海大學(xué) 計(jì)算機(jī)工程與科學(xué)學(xué)院，上海 200444；2.上海上大海潤信息系統(tǒng)有限公司，上海 200444)

隨著智能手機(jī)的普及，數(shù)碼照片的獲取變得越來越容易。而社交媒體的盛行，使得大家對(duì)分享照片越發(fā)熱衷。于是更美麗的自拍照就成了大眾需求。文中先比較不同人臉檢測方法的優(yōu)缺點(diǎn)，利用膚色模型進(jìn)行人臉檢測，再利用多級(jí)中值濾波算法對(duì)皮膚進(jìn)行光滑處理，在不破壞面部細(xì)節(jié)的情況下能有效減少皺紋和斑點(diǎn)。而利用之前人臉檢測對(duì)臉部區(qū)域的分區(qū)，能夠很好地對(duì)不同區(qū)域進(jìn)行亮度的提升和減少，已達(dá)到在視覺上讓五官更立體的效果。OpenCV對(duì)Android平臺(tái)的支持使得一個(gè)好用的圖像美化App的實(shí)現(xiàn)變得更加容易。文中通過以上人臉美化的方法，編寫了一個(gè)易用的Android App，可以簡單獲得一張自動(dòng)美化過的自拍照。

人臉美化；人臉檢測；多級(jí)中值濾波；Android平臺(tái)

0 引 言

隨著網(wǎng)絡(luò)社交平臺(tái)的盛行，人們分享自己生活的意愿變得越發(fā)強(qiáng)烈。其中，自拍照又占據(jù)了分享照片中的大部分，而看起來更美麗的自拍照成為用戶的追求，可以通過不同的拍攝角度獲得，也可以通過軟件修圖。文中給用戶提供了一種自動(dòng)美化自拍照的Android App。

1 人臉美麗判定的分析

1.1 審美標(biāo)準(zhǔn)

由于社會(huì)的不斷進(jìn)步，時(shí)尚與流行的不斷發(fā)展，無論從面相到穿衣打扮，不同時(shí)期對(duì)于美的標(biāo)準(zhǔn)是不一樣的。20世紀(jì)末一些推崇的美女有著不同的臉型和五官，其中圓臉相較更受歡迎一些。

由于整形技術(shù)的不斷進(jìn)步，人們可以自己選擇自己想要的樣子。一些整形模板的出現(xiàn)，導(dǎo)致現(xiàn)在一眼分不清誰是誰的整容美女。

1.2 如何判定美麗

中國有句古話，叫做“一白遮百丑”，所以美女首先要白，并且皮膚要光滑。而受到西方人的審美影響，眼睛并不僅僅滿足于一般的雙眼皮，要像白人一樣非常的深，內(nèi)外眼角也要很開；鼻梁也是越高越好，鼻頭越簡約好；兩頰越小越好。

1.3 如何變美麗

現(xiàn)實(shí)中，能夠變美的方法除了整容以外便是化妝。化妝雖然不能更改五官本來的樣子，但是可以改變?nèi)藗冊(cè)谝曈X上的感受。眼睛通過眼線眼影，顴骨和腮幫子以及鼻梁通過打高光和陰影的方式使其看起來更立體。

2 人臉檢測方法

2.1 人臉檢測方法分類

1)基于知識(shí)的人臉檢測方法。

人們檢測人臉第一個(gè)想到的辦法就是利用對(duì)人臉?biāo)莆盏闹R(shí)來進(jìn)行檢測[1]。這些知識(shí)是基于認(rèn)同度量學(xué)、解剖學(xué)的，從而形成對(duì)人臉檢測的一般規(guī)則。因?yàn)樵谝曈X模式上看，人臉不是一個(gè)完全隨機(jī)的視覺模式，它有自己的屬性，有自己的空間相關(guān)性。檢測效果則與對(duì)于人臉知識(shí)是否完備有關(guān)。目前隨著人們對(duì)人臉知識(shí)的不斷深入，方法和效果都已經(jīng)變得越來越好。

2)基于統(tǒng)計(jì)模型的人臉檢測方法。

人臉不是規(guī)則的形狀，所以光靠知識(shí)是很難描述清楚的，因此又從基于統(tǒng)計(jì)的方法來進(jìn)行人臉識(shí)別[2]。把人臉當(dāng)作一種模式，所以有“人臉”和“非人臉”兩種。于是進(jìn)行大樣本的訓(xùn)練，構(gòu)造分類器，來幫助判別人臉。

(1)神經(jīng)網(wǎng)絡(luò)方法。

神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練樣本，當(dāng)樣本比較全面時(shí)，效果很好，從而能夠很好地處理那些非常復(fù)雜的人臉檢測[3]。因?yàn)槿四?、嘴巴和眼睛的模式都有自己顯著的特征。但是人臉的維度很高，所以需要的訓(xùn)練節(jié)點(diǎn)眾多，比較復(fù)雜。

(2)基于特征空間的方法。

特征空間方法是將人臉變換到某一特征空間，然后通過在特征空間中的規(guī)律來區(qū)別出“人臉”和“非人臉”。PCA是一種常用方法。根據(jù)圖像的統(tǒng)計(jì)特性進(jìn)行正交變換，消除各分量間的相關(guān)性。變換得到的特征向量，就是特征臉。

(3)基于概率模型的方法。

隱馬爾可夫模型本是用來描述信號(hào)統(tǒng)計(jì)的，目前也被用于了人臉檢測中。人臉上的頭發(fā)、額頭、雙眼、鼻子和嘴具有永遠(yuǎn)不變的順序這一自然特性，所以用一個(gè)具有五個(gè)狀態(tài)的一維連續(xù)HMM加以表示。將以上五個(gè)區(qū)域劃分為互相重疊的圖像塊，然后每塊都進(jìn)行K-L變換，觀測向量選取前若干變換系數(shù)，以訓(xùn)練HMM?；贖MM的方法只使用屬于“人臉”的樣本進(jìn)行訓(xùn)練，能夠識(shí)別人臉的頭肩部分。

3)基于模板匹配的人臉檢測方法。

模板匹配在早期的方法[4]：先建立一個(gè)標(biāo)準(zhǔn)的人臉模板，包含局部人臉特征的子模板，并對(duì)此圖像全局搜索，對(duì)應(yīng)不同大小的圖像窗口，計(jì)算與標(biāo)準(zhǔn)人臉模板中不同部分的相關(guān)系數(shù)，通過預(yù)先設(shè)置的閾值來判斷是否有人臉在其中。此方法優(yōu)點(diǎn)是由于彈性模板可調(diào)，能夠判斷不同的物體；缺點(diǎn)是必須有前期的預(yù)處理過程，且計(jì)算量特別大。

2.2 人臉檢測方法選擇

膚色是不依賴于面部其他部分的特征的，對(duì)表情和姿態(tài)變化不敏感，穩(wěn)定性不錯(cuò)[5]。大量實(shí)驗(yàn)證明，不同種族、不同年齡、不同性別的人膚色看起來存在差異，但是人臉對(duì)應(yīng)的色調(diào)是比較一致的，其區(qū)別主要在于灰度和亮度上。當(dāng)去除亮度，膚色就具有很高的聚類性。因此，使用膚色作為特征進(jìn)行人臉識(shí)別，是基于膚色法[6]進(jìn)行人臉識(shí)別。

2.3 基于顏色空間的人臉檢測

1)顏色空間介紹。

(1)RGB顏色空間。

RGB[7]即是代表紅、綠、藍(lán)三個(gè)通道的顏色，這個(gè)標(biāo)準(zhǔn)幾乎包括了人類視力所能感知的所有顏色，是目前運(yùn)用最廣的顏色系統(tǒng)之一：

F=r[R]+g[G]+b[B]

(2)HSV顏色空間。

HSV是根據(jù)顏色的直觀特性由A.R.Smith在1978年創(chuàng)建的一種顏色空間,也稱六角錐體模型。

(3)YCbCr顏色空間。

YCbCr[8]是YUV經(jīng)過縮放和偏移的翻版，可以看作YUV的子集。

Y：明亮度，也就是灰階值。

U&V：色度，作用是描述影像色彩及飽和度，用于指定像素的顏色。

Cb：RGB輸入藍(lán)色部分與RGB亮度值之間的差異。

Cr：RGB輸入紅色部分與RGB亮度值之間的差異。

由于不同人臉的區(qū)別只存在于亮度和灰度上，與其他分量關(guān)系不大，而且YCbCr從RGB模型轉(zhuǎn)換計(jì)算簡單，所以選用YCbCr模型進(jìn)行人臉檢測。

2)膚色模型選擇。

為了準(zhǔn)確進(jìn)行人臉膚色識(shí)別，首先對(duì)圖像進(jìn)行光線補(bǔ)償，然后將人臉圖像從RGB顏色空間映射到Y(jié)CbCr顏色空間，再建立膚色模型并求得相似度矩陣，最后用相似度矩陣中的最大值對(duì)相似度矩陣進(jìn)行歸一化，該歸一化矩陣將用于后續(xù)人臉檢測[9]。

獲得照片時(shí)，總會(huì)遇到一些被光源顏色和圖像采集設(shè)備影響色彩的情況，整幅圖片都會(huì)在本來顏色的基礎(chǔ)上朝著同一方向偏移。生活中所說的偏暖、偏冷或者圖像偏色就是這種情況。需要做光線補(bǔ)償[10]。

采用GaryWorld算法對(duì)RGB圖像進(jìn)行快速顏色補(bǔ)償[11]，即：

Cnew=C*Sc

式中：Cstd為標(biāo)準(zhǔn)亮度圖像R,G,B的平均值；Cave為輸入圖像R,G,B的平均值；C為源圖像的像素值；Cnew為亮度補(bǔ)償后的像素值。

RGB轉(zhuǎn)換為YCbCr:

Y=0.257*R+0.564*G+0.098*B+16

Cb=-0.148*R-0.291*G+0.439*B+128

Cr=0.439*R-0.368*G-0.071*B+128

計(jì)算相似度公式為：

圖像二值化一般按下面這個(gè)公式進(jìn)行：

其中：g(x,y)是原圖像中位于(x,y)處像素的灰度；gb(x,y)是二值化后該處的像素值，它只能取1(白)或0(黑)。二值化后的人臉圖像中，數(shù)字為0的部分為背景，數(shù)值為1的部分表示人臉；T是用于二值化處理的閾值。

簡單膚色模型[12]，通過對(duì)大量的膚色樣本進(jìn)行觀測統(tǒng)計(jì)，利用色度在某個(gè)區(qū)域的聚合性，得出一個(gè)相對(duì)的最佳分割閾值，并用得到的閾值對(duì)人臉劃分區(qū)域。前人通過實(shí)驗(yàn)[5]發(fā)現(xiàn)YCbCr空間的簡單膚色模型的閾值設(shè)置通常為：

簡單膚色模型既有缺點(diǎn)又有優(yōu)點(diǎn)。缺點(diǎn)是因?yàn)殚撝档墓潭ú蛔?，從而?dǎo)致它適應(yīng)性較差，會(huì)被光照或者陰影等因素干擾，所以只能進(jìn)行簡單背景下的人臉檢測，但是它又因?yàn)樗惴▽?shí)現(xiàn)簡單，從而運(yùn)算速度飛快，開銷很小。

人臉檢測過程如圖1所示。

圖1 人臉檢測過程

3 人臉美化的方法研究

之前利用膚色模型檢測出圖像中的人臉區(qū)域?qū)竺孀鋈四樏阑峁┝撕芎玫膸椭?。確定了人臉區(qū)域以后，可以通過多級(jí)中值濾波器對(duì)人臉中的皺紋斑點(diǎn)進(jìn)行祛除，同時(shí)也在適當(dāng)?shù)奈恢酶淖兿袼氐牧炼冗_(dá)到添加陰影和高光的目的。選擇的非線性多級(jí)中值濾波器不僅可以有效祛除皺紋和斑點(diǎn)，還可以在適當(dāng)?shù)牡胤教砑雨幱昂透吖鈁13]。

盡管希望斑點(diǎn)全被消除，皺紋全被抹平，但很重要的一點(diǎn)是不能為了以上的目的破壞太多的圖像細(xì)節(jié)，所以要對(duì)人臉劃出特征區(qū)域，使用的是自適應(yīng)閾值的二值算法。

選擇一種質(zhì)量最好的閾值分割算法，叫做Niblack算法。它是一種基于灰度圖像的算法，對(duì)原圖進(jìn)行分割，分割成較小的圖塊，對(duì)不同圖塊選取不同的閾值，二值化的閾值為：

其中：m(x,y)為區(qū)域的平均灰度值；V(x,y)為梯度值；k和模板為經(jīng)驗(yàn)值，設(shè)k為0.5，模板為7×7。

閾值是會(huì)隨著灰度值改變的。

二值化不會(huì)很容易就輕易地分出兩值，會(huì)受到人臉中斑點(diǎn)、皺紋等皮膚紋理細(xì)節(jié)的影響，從而出現(xiàn)額外的信息。比如嘴和鼻子之間的區(qū)域，會(huì)有這些小的干擾信息。為了去除這些干擾信息，可以提高閾值。方法是：用大小為7×7的模板被像素值為1的像素點(diǎn)使用，然后統(tǒng)計(jì)整個(gè)模塊內(nèi)有多少個(gè)不為0的點(diǎn)，通過多次實(shí)驗(yàn)，將值小于10的像素點(diǎn)設(shè)定為干擾點(diǎn)，并改變其像素值?？梢酝ㄟ^以上的方法準(zhǔn)確區(qū)分出不同的特征區(qū)域。

二值化過程如圖2所示。

圖2 二值化過程

由Nieminen等最先提出的多級(jí)中值濾波器是一種基于中值濾波器改進(jìn)的已被證明很成功的濾波器，但是初期還不叫這名字，在Arec等專門研究分析了這種中值濾波器的特性以后，才正式將這種濾波器命名為多級(jí)中值濾波器。它比傳統(tǒng)的濾波器能更多地保留圖片原本的細(xì)節(jié)，在祛除皺紋、斑點(diǎn)上也有很好的效果。

非線性多級(jí)中值濾波器定義如下：

令yi,j=med{xi=r,j+s(r,s)∈A}表示圖像在m行n列的灰度值。去變長為L的矩形窗口，這里L(fēng)=2N+1,N為整數(shù)：然后把該窗口分成四個(gè)小窗口。x(m-I,n-j),-N≤I,j≤N表示窗口內(nèi)的像素點(diǎn)，則四個(gè)窗口被定義為：

W1(m,n)={x(m,n-i);-N≤i≤N}

W2(m,n)={x(m-i,n);-N≤i≤N}

W3(m,n)={x(m+i,n-i);-N≤i≤N}

W4(m,n)={x(m-i,n-i);-N≤i≤N}

其中，W1(m,n),W2(m,n),W3(m,n),W4(m,n)分別表示沿水平、垂直、與水平方向成45°及135°的一維窗口。

令Z1(m,n),Z2(m,n),Z3(m,n),Z4(m,n)分別表示這四個(gè)窗口內(nèi)的所有像素點(diǎn)的中值。即：

Umin(m,n),Umax(m,n)分別表示上式中四個(gè)中值的最小和最大值。即：

Umin(m,n)=min[Z1(m,n),Z2(m,n),Z3(m,n),Z4(m,n)]

Umax(m,n)=max[Z1(m,n),Z2(m,n),Z3(m,n),Z4(m,n)]

下式為多級(jí)中值濾波器的最終輸出：

y(m,n)=med[Umin(m,n),Umax(m,n),x(m,n)]

通過使用以上濾波方法，可以得到一個(gè)斑點(diǎn)、皺紋大大減少的光滑人臉，從而也使人臉變得更美麗。根據(jù)之前對(duì)臉部的分區(qū)，在兩頰和鼻翼兩側(cè)增加陰影，對(duì)應(yīng)像素降低亮度。在顴骨和鼻梁處增加高光，對(duì)應(yīng)像素增加亮度。經(jīng)過反復(fù)測試，獲得一個(gè)理想的視覺感受大概要進(jìn)行8次迭代。

人臉美化過程如圖3所示。

圖3 人臉美化過程

從圖中可以看出，該算法可以很好地去除人臉圖像中非特征區(qū)域斑點(diǎn)、皺紋等影響人臉美觀的因素，并且在適當(dāng)位置的高光和陰影添加使得人臉變得更立體；同時(shí)，根據(jù)提出的算法，可以大致找到特征信息，保留最基本的人臉信息，在不破壞人臉的情況下，達(dá)到好的人臉美化效果。

4 Android端實(shí)現(xiàn)

4.1 OpenCV編程

OpenCV近年來發(fā)展迅猛，隨著Android[14]智能終端的發(fā)展，越來越多的傳統(tǒng)科研平臺(tái)都轉(zhuǎn)向Android移動(dòng)終端。在OpenCV的發(fā)展歷程中，第一次飛躍是2009年10月1日發(fā)布的2.0版本，該版本支持C++接口，是直接從1.2版本跳到2.0[15]。第二次飛躍是在2010年6月發(fā)布的2.3、2.3.1版本，除提供C++接口向下兼容C接口外，新增了Java接口，且是對(duì)準(zhǔn)Android平臺(tái)。更重要的是以前官方不支持ndk-build,這次終于一統(tǒng)JNI接口調(diào)用方式，方便在Android上開發(fā)使用。

從2.4之后，為了和Android的系統(tǒng)架構(gòu)保持同步，準(zhǔn)確說是吸收Android框架層的優(yōu)點(diǎn)，引入了OpenCV Manager的概念。其本質(zhì)就是一個(gè)Service，用來管理OpenCV動(dòng)態(tài)鏈接庫。它工作在App和OpenCV的動(dòng)態(tài)鏈接庫之間。OpenCV Manager的結(jié)構(gòu)就是模仿Android的Binder機(jī)制。其架構(gòu)圖如圖4所示。

圖4 OpenCV Manager架構(gòu)圖

App在運(yùn)行時(shí)會(huì)首先檢查OpenCV Manager是否存在，如果不存在則會(huì)提示安裝，如果存在，就會(huì)連接這個(gè)服務(wù)，進(jìn)一步初始化加載OpenCV庫。流程如圖5所示。

圖5 Android 程序加載OpenCV庫流程

4.2 Android App實(shí)現(xiàn)

此App運(yùn)行于Android 4.4 KitKat系統(tǒng)。點(diǎn)進(jìn)App，直接進(jìn)入相機(jī)界面，左下角按鈕開啟美顏模式，所見即所得，中間按鈕為拍照功能，右下角為從相冊(cè)導(dǎo)入圖片功能，如圖6所示。

圖6 程序界面

5 結(jié)束語

文中通過膚色模型進(jìn)行了人臉檢測，并通過檢測中對(duì)臉部劃分的區(qū)域運(yùn)用了多級(jí)中值濾波算法，不僅可以有效祛除皺紋和斑點(diǎn)，還可以在適當(dāng)?shù)奈恢锰砑雨幱昂透吖狻５撬褂梅椒ń詾楹唵螌?shí)現(xiàn)方法，主要對(duì)正面的大頭照進(jìn)行美化。而對(duì)于背景復(fù)雜，人臉角度不好，光照角度不好等人臉則沒辦法進(jìn)行檢測并美化。在接下來的研究中，希望通過選擇不同的識(shí)別算法和濾波算法，以達(dá)到對(duì)復(fù)雜背景、不同光照角度的

人臉進(jìn)行美化的目的。

[1] 姜 睿.基于知識(shí)的人臉檢測與人臉識(shí)別系統(tǒng)研究[D].西安：西北工業(yè)大學(xué),2004.

[2] 趙 立.基于統(tǒng)計(jì)模型的人臉特征點(diǎn)定位和表情識(shí)別[D].廣州：華南理工大學(xué),2012.

[3] 吳桂林.基于BP神經(jīng)網(wǎng)絡(luò)的人臉檢測[D].武漢：華中科技大學(xué),2004.

[4] 龍開文.基于模板匹配的人臉檢測[D].成都：四川大學(xué),2005.

[5] 柯 研.基于膚色模型的人臉檢測算法研究[D].武漢：華中科技大學(xué),2008.

[6] Wu Yanwen,Ai Xueyi.Face detection in color images using AdaBoost algorithm based on skin color information[C]//Proceedings of the first international workshop on knowledge discovery and data mining.[s.l.]:[s.n.],2008:339-342.

[7] 李 群,張奇志,周亞麗.基于顏色特征的人臉檢測方法[J].北京信息科技大學(xué)學(xué)報(bào):自然科學(xué)版,2012,27(2):73-77.

[8] 吳要領(lǐng).基于YCrCb色彩空間的人臉檢測算法的設(shè)計(jì)與實(shí)現(xiàn)[D].成都:電子科技大學(xué),2013.

[9] Shi Chunlei,Jin Longxu,Zhang Ke.Face detection based on skin color segmentation and AdaBoost algorithm[C]//Proceedings of 2011 3rd IEEE international conference on information management and engineering.Zhengzhou:IEEE,2011.

[10] 賈靈芝,李 嵐,錢坤喜.基于自適應(yīng)光線補(bǔ)償?shù)娜四槞z測算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2008,18(12):120-122.

[11] Zakaria Z,Suandi S A.Combining skin color and cascade-like neural network for face detection[C]//Proceedings of 2011 IEEE international conference on intelligent computing and intelligent systems.[s.l.]:IEEE,2011.

[12] Lv Shaodong,Song Yongduan,Xu Mei,et al.Face detection under complex background and illumination[J].Journal of Electronic Science and Technology,2015,13(1):78-82.

[13] 江鳳兵.不同顏色空間膚色檢測算法的研究[D].贛州:江西理工大學(xué),2011.

[14] 韓靜亮,趙 曦,趙群飛,等.基于迭代多級(jí)中值濾波的人臉美化算法[J].計(jì)算機(jī)應(yīng)用與軟件,2010,27(5):227-229.

[15] Niblack W.An introduction to digital image processing[M].Englewood Cliffs,New Jersey:Prentice-Hall,1986:115-116.

Research and Implementation of Face Beautification App Based on Android

OUYANG Jie-chen1,HUANG Yao1,GAO Jue1,XU Hua-hu2

(1.College of Computer Engineering and Science,Shanghai University，Shanghai 200444，China；2.Shang Da Hai Run Information System Co.,Ltd.，Shanghai 200444,China)

By the spread of smart phones,digital photos can be gotten more and more easily.People is more and more eager to share photos with the advent of social networking.Then the level-up selfie has become the public’s demands.In this paper,the difference between different face detection methods is compared in advantages and disadvantages.The skin color model is used for human face detection,and then the multilevel median filtering algorithm is applied which can effectively reduce wrinkles and spots to smooth the skin in the situation which doesn’t destroy the detail of face,use of the partition divided in the former face detection to enhance and reduce the brightness of different regions which want to achieve a goal that makes facial features more three-dimensional in the visual sense.The supporting of OpenCV for the Android platform makes a good face beautification App implementation easier.Through a method above,which beautifies person’s face,can develop a convenient Android App which can make users obtain an beautiful selfie simply.

face beautification;face detection;multilevel median filtering;Android platform

2015-06-28

2015-09-30

時(shí)間：2016-02-18

國家重大科技專項(xiàng)課題(2009ZX04001-111)

歐陽杰臣(1989-)，男，碩士，研究方向?yàn)閳D像多媒體技術(shù);高 玨，副教授，研究方向?yàn)槎嗝襟w、Internet技術(shù)和嵌入式應(yīng)用等；許華虎，教授，博士生導(dǎo)師，CCF高級(jí)會(huì)員，研究方向?yàn)槿藱C(jī)交互、圖像處理、多媒體網(wǎng)絡(luò)技術(shù)等。

http://www.cnki.net/kcms/detail/61.1450.TP.20160218.1636.076.html

TP39

A

1673-629X(2016)03-0009-05

10.3969/j.issn.1673-629X.2016.03.003