邱曉欣，張文強(qiáng)

基于膚色和唇色的自適應(yīng)面部皮膚區(qū)域提取研究

邱曉欣，張文強(qiáng)

針對(duì)中醫(yī)面診客觀化中需要檢測(cè)獲取面部皮膚區(qū)域從而進(jìn)行面色和面部光澤診斷的問(wèn)題，提出了一種基于唇色和面部膚色的自適應(yīng)的方法進(jìn)行面部皮膚區(qū)域的分割提取。使用基于YCrCb的膚色模型建立初始膚色模板，通過(guò)提取模板在HSV空間的代表信息進(jìn)行膚色消除，區(qū)分出嘴唇區(qū)域，并利用唇色與膚色在HSV空間的距離信息進(jìn)行自動(dòng)適應(yīng)的迭代操作，最終得到較為完整的膚色區(qū)域。實(shí)驗(yàn)結(jié)果證明，能有效地消除眼睛和嘴唇部分對(duì)面部區(qū)域的干擾，并且在不同臉色的情況下，依然能保持穩(wěn)定高質(zhì)量的提取能力。

圖像處理；膚色檢測(cè)；面部分割；色彩空間

0 引言

膚色檢測(cè)在圖像處理中被廣泛應(yīng)用于人臉跟蹤，姿態(tài)分析，圖像檢索等人機(jī)互動(dòng)領(lǐng)域[1-6]。而計(jì)算機(jī)信息技術(shù)的發(fā)展為中醫(yī)4診采集的量化研究提供了契機(jī)，使“望、聞、問(wèn)、切”4診由主觀描述逐漸向定量檢測(cè)的方向過(guò)渡。其中，望診是通過(guò)觀察對(duì)象的臉、舌頭等方面進(jìn)行診斷，通常這些診斷還要配合對(duì)象的身體狀況綜合使用。但是傳統(tǒng)中醫(yī)是根據(jù)經(jīng)驗(yàn)豐富的中醫(yī)醫(yī)生通過(guò)目視來(lái)判斷的，缺少客觀和量化的依據(jù)，而利用計(jì)算機(jī)技術(shù)輔助進(jìn)行中醫(yī)客觀化非常重要。目前中醫(yī)面診中的一個(gè)重要環(huán)節(jié)是根據(jù)面色和面部光澤得到診斷信息，因此，需要通過(guò)計(jì)算機(jī)圖形圖像技術(shù)進(jìn)行面部皮膚區(qū)域提取。

傅言對(duì)所截取的反映病癥典型區(qū)域的色塊，比較了若干種提取人臉膚色的方法[7]。樸鑫利用積分投影、snake 算法及模板匹配方法將人臉區(qū)域劃分為20個(gè)小區(qū)域，粗略定位了各色部所在區(qū)域[8]。近年基于模板匹配的人臉檢測(cè)算法成為熱門,這種算法對(duì)圖像使用已知模式進(jìn)行匹配[9-10]。但是，這些方法需要大量的人工操作或者大量的圖像先驗(yàn)知識(shí)。而傳統(tǒng)獲得皮膚的方法通常先設(shè)置一個(gè)固定的值區(qū)分皮膚像素和非皮膚像素。例如Crowley等在歸一化的RGB空間中使用直方圖獲取觀察得到的特定的 RGB向量[11]。Saxe在HSV空間定義了一個(gè)顏色判定來(lái)區(qū)分膚色與背景[12]，在一定范圍皮膚顏色相似的人群中可以進(jìn)行，但是,在膚色和唇色的顏色變化很大的時(shí)候固定值不能很好地適應(yīng)變化，在唇色和非唇色比較相似時(shí)不能很好地工作，容易提取錯(cuò)誤。為了解決這個(gè)問(wèn)題，本文使用一種基于膚色和唇色自適應(yīng)的方法進(jìn)行面部膚色區(qū)域的抽取。該方法通過(guò)皮膚色與唇色之間關(guān)系的迭代計(jì)算進(jìn)行皮膚區(qū)域與非皮膚區(qū)域的抽取，當(dāng)?shù)揭粋€(gè)適當(dāng)?shù)闹禃r(shí)停止進(jìn)行，獲得較為完整的非皮膚區(qū)域模板，再用已有的初始皮膚區(qū)域消去非皮膚區(qū)域模板的內(nèi)容，就可以得到受眼睛部分及嘴唇部分干擾較小的皮膚區(qū)域。本文的方法無(wú)需通過(guò)模板匹配進(jìn)行面部雜物的消除，同時(shí),在不同膚色類型下依然能穩(wěn)定提取較高比例的面部皮膚區(qū)域。

1 數(shù)據(jù)集

對(duì)圖像采集的基本設(shè)備包括標(biāo)準(zhǔn)化的采集箱，一臺(tái)攝像機(jī)（Logitech C525，用USB接口進(jìn)行交互），處理電腦為i3核，有4G內(nèi)存。標(biāo)準(zhǔn)面部圖像采集箱是特殊制造的，它包括LED（光源，色溫值約5600K，Ra值90）和內(nèi)嵌于中間的攝像機(jī)來(lái)拍攝接受視頻圖像數(shù)據(jù)。這個(gè)標(biāo)準(zhǔn)面部圖像采集箱的大小為36cm*40cm*28cm。其它的拍攝條件包括人臉距離33cm（相機(jī)和拍攝對(duì)象之間的距離），Tv（快門速度）1/15s. Av（光圈值）5.6，ISO（感光度）80，白平衡，自定義模式，水平拍攝。拍攝窗口的大小為220mm*170mm。對(duì)象的圖像信息是從上海中醫(yī)藥大學(xué)、上海中醫(yī)藥大學(xué)附屬龍華醫(yī)院、上海中醫(yī)藥大學(xué)附屬曙光醫(yī)院、上海仁濟(jì)醫(yī)院中采集獲取的。這項(xiàng)研究已經(jīng)由上海醫(yī)學(xué)倫理學(xué)會(huì)批準(zhǔn)，所有患者簽署了知情同意書，手續(xù)不完備的信息不會(huì)被收錄。采集到的圖像包括各種面部圖像，按膚色分5類，有黑、紅、黃、青和白色。5種面部膚色的圖像，如圖1所示：

圖1 五種面部膚色的圖像

從左到右：白色面部膚色；黑色面部膚色；紅色面部膚色；黃色的面部膚色；青色的面部膚色。均見(jiàn)電子版。

2 自適應(yīng)的面部皮膚區(qū)域提取分割

本方法首先先抽取面部皮膚信息，建立初始膚色模板。之后基于初始膚色面部模板在HSV空間提取H通道和S通道的統(tǒng)計(jì)直方圖峰值，在進(jìn)行膚色消除的同時(shí)尋找嘴唇區(qū)域，利用嘴唇區(qū)域的HSV空間值迭代進(jìn)行高精度的膚色像素消除工作，留下包括眼睛區(qū)域和嘴唇區(qū)域的非膚色模板。再用已有的初始膚色模板刪除非膚色模板部分，剩下的則是經(jīng)過(guò)提取篩選較為完整的最終膚色區(qū)域。

2.1初始面部膚色模板

從采集箱采集的圖像需要先進(jìn)行面部定位，然后進(jìn)行皮膚信息的提取。本文使用級(jí)聯(lián)檢測(cè)器能快速地對(duì)面部進(jìn)行定位[13]。然后，使用基于YCrCb的顏色空間膚色模型法提取面部皮膚模板[14]。

YCbCr顏色空間能從RGB空間簡(jiǎn)單地轉(zhuǎn)換過(guò)來(lái)，而且能比較徹底地分離亮度和色度份量，在人臉膚色建模的領(lǐng)域里受到很大的重視，在不同光照下具有魯棒性[15,16]。通過(guò)Anil K.Jain等人研究了膚色像素點(diǎn)在YCbCr空間及在二維投影 CbCr子空間中的情況。這些膚色像素點(diǎn)是該實(shí)驗(yàn)從Heinrich-Hertz-Institute（HHI）圖像庫(kù)中的137幅圖像由人工提取共853571個(gè)膚色像素點(diǎn)[17]。從他們的實(shí)驗(yàn)結(jié)果可以看到膚色聚類是橢圓形狀既中間厚，兩頭尖，兩個(gè)尖頭部分是Y值較大和較小時(shí)的樣子。在CbCr上的投影也集中在一個(gè)較小的橢圓形區(qū)域內(nèi)。

通過(guò)對(duì)較為集中區(qū)域進(jìn)行橢圓形擬合可以得到如下非線性變換的膚色模型，如公式（1）、（2）：

表達(dá)式中的常量分別：cx=109.38，cy=152.02，ecx=1.60，ecy=2.41，θ=2.53，a=25.39，b=14.03，是由Anil K.Jain等人的實(shí)驗(yàn)得出的。計(jì)算膚色像素點(diǎn)是否在這個(gè)擬合的橢圓形內(nèi)，如果在橢圓形內(nèi)則為膚色區(qū)域，否則就是非膚色區(qū)域。通過(guò)這種方法先構(gòu)造一個(gè)初始的基于YCrCb顏色空間的面部膚色模板。如圖2所示：

圖2 基于YCrCb空間的提取效果

圖2（a）為原始面部圖像，圖2（b）為使用YCrCb的顏色空間膚色模型后得到的圖像。

HSV空間類似于人類感覺(jué)顏色的方式，色彩分類簡(jiǎn)單自然，具有較強(qiáng)的感知度。假設(shè)k1是在R，G，B顏色通道中的最大值，k2是最小值。通過(guò)公式（3）（4）（5），我們可以從RGB顏色空間變換得到 HSV 顏色空間。特別是在H和S的顏色通道，臉部皮膚顏色和嘴唇的顏色可以明顯進(jìn)行區(qū)分，這樣能夠得到一個(gè)初始唇色。后續(xù)步驟使用H0和S0構(gòu)建面部膚色模板，H0為整臉圖像在H通道的直方圖峰值，作為面部在H色彩通道膚色信息的代表值，而S0為整臉圖像在S通道的直方圖峰值，作為面部在S飽和度顏色通道膚色的代表信息值。

臉部與唇部在H與S通道映射到灰度圖像時(shí)的像素分布情況樣例。如圖3所示：

圖3 臉部與唇部在H與S通道像素分布情況

橫軸為0-255，縱軸為最大值，(a)是整張臉部在H通道的情況，(b)是整張臉部在S通道的情況，(c)是嘴唇區(qū)域在H通道的情況，(d)是嘴唇區(qū)域在S通道的情況。得公式（3）、（4）、（5）：

2.2非膚色模板

本文使用通過(guò)在YCrCb的顏色空間膚色模型獲取得到初始的面部膚色模板，然后，基于這個(gè)膚色模板進(jìn)行去除非唇色像素的操作。需要對(duì)這個(gè)初始面部膚色模板的顏色空間轉(zhuǎn)換為HSV空間，通過(guò)研究實(shí)驗(yàn)發(fā)現(xiàn)唇色和面部膚色都處于一個(gè)很小的 H通道范圍內(nèi)，但是，還是有一定距離可以進(jìn)行區(qū)分，而唇色和面部膚色的差異在S通道則較為明顯，如圖2所示。因此可以進(jìn)行去除工作。如公式（6）：

如果模板內(nèi)有像素點(diǎn)的值H和H通道代表值H0之間的偏差小于ht，則代表這個(gè)像素點(diǎn)與面部膚色像素相似。如公式（7）：

經(jīng)過(guò)試驗(yàn)測(cè)試如果模板內(nèi)有像素的值S和S通道皮膚像素代表值S0之間的距離小于100，則與面部膚色像素相似的可能性很大。同時(shí)符合這兩個(gè)條件的像素可以被去除。則在面部膚色模板內(nèi)靠近面部膚色的大部分區(qū)域會(huì)被移除，然后留下一個(gè)保留了眼睛和唇部區(qū)域的模板。接著做一些形態(tài)學(xué)開(kāi)運(yùn)算和閉運(yùn)算，用于去除微小點(diǎn)和填充小孔。由于正常人的嘴唇處于面部的下半部分，可以通過(guò)在面部下半部分尋找大塊連通區(qū)域，起始位置大于寬度1/20，區(qū)域橫縱比大于1.2，區(qū)域面積大于圖片1/100,來(lái)確定為嘴唇。

具體迭代過(guò)程如下：

第1步：設(shè)ht值為3，做面部膚色去除操作，然后搜索尋找嘴唇。如果找到嘴唇區(qū)域，則獲取嘴唇在 H通道的峰值hl，以及獲取嘴唇的區(qū)域像素集合SS0，然后進(jìn)行第2步。如果找不到嘴唇區(qū)域，代表去除皮膚操作的范圍不夠，嘴唇區(qū)域不能被區(qū)分出來(lái)。則ht加1，增加去除范圍的情況下重新進(jìn)行去除操作，再尋找嘴唇，循環(huán)操作直到找到嘴唇為止，進(jìn)行第2步。當(dāng)ht>8時(shí)強(qiáng)行結(jié)束迭代。

第2步：獲取H0和hl的差值為hd，如果hd小于7，則說(shuō)明嘴唇的顏色和面部膚色在 H通道相近，可以退出。否則，說(shuō)明嘴唇顏色和面部膚色依然可以明顯地被區(qū)分繼續(xù)進(jìn)行第3步。

第3步：ht加1，做面部膚色去除操作，如果找到嘴唇，則獲取嘴唇的區(qū)域?yàn)镾S1然后判斷SS0和SS1的區(qū)域差異量SSd。如果hd小于7及SSd=7及SSd8，為臨界點(diǎn)，結(jié)束迭代。如果都不是，則設(shè)SS0=SS1然后重新進(jìn)行第3步。如圖4所示：

圖4 迭代進(jìn)行消除得到的非膚色模板情況

最后，對(duì)初始膚色面部模板減除使用迭代結(jié)束后得到的非膚色模板的內(nèi)容，即可得到最終的膚色區(qū)域。

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本方法的有效性，本文使用250人臉圖像數(shù)據(jù)集進(jìn)行測(cè)試，包括5種類型的面部膚色，每種50個(gè)樣本。5種類型的面部皮膚區(qū)域提取情況樣例如圖5所示：

圖5 五種類型的面部皮膚區(qū)域提取情況樣例

上列為原輸入圖片，下列為提取出來(lái)的皮膚區(qū)域，從左到右依次是白色面部膚色；黑色面部膚色；紅色面部膚色；黃色的面部膚色；青色的面部膚色。

為了評(píng)估膚色區(qū)域的效果，本實(shí)驗(yàn)定義一個(gè)重疊區(qū)域精度OL，如公式（8）：

S1為人工標(biāo)注的面部皮膚區(qū)域，S2為本方法提取得到的面部皮膚區(qū)域。若OL值越大，表明效果更好。5種膚色類型的重疊精度平均值如表1所示：

表1.五種皮膚類型的OL比例

從表1可以看到，本文的自適應(yīng)膚色區(qū)域提取法能有效提取面部的膚色區(qū)域，去除大部分唇色與眼睛部分的干擾，并且在各種面部膚色類型下依然能進(jìn)行穩(wěn)定高質(zhì)量的人臉面部膚色區(qū)域提取。

4 總結(jié)

在面對(duì)不同膚色類型的情況下，本文提出的自適應(yīng)面部區(qū)域提取法依然是有效且穩(wěn)定的，同時(shí)能有效地消除眼睛和嘴唇部分，使得對(duì)于膚色判定的干擾更少。這種基于面部膚色與唇色自適應(yīng)面部皮膚區(qū)域提取方法可以應(yīng)用到需要進(jìn)行膚色分類的應(yīng)用中。

[1] Vadakkepat P, Lim P, De Silva L C, et al. Multimodal approach to human-face detection and tracking[J]. Industrial Electronics, IEEE Transactions on, 2008, 55(3): 1385-1393.

[2] Chan C S, Liu H, Brown D J. Recognition of human motion from qualitative normalised templates[J]. Journal of Intelligent and Robotic Systems, 2007, 48(1): 79-95.

[3] Kubota N, Nishida K. Perceptual control based on prediction for natural communication of a partner robot[J]. Industrial Electronics, IEEE Transactions on, 2007, 54(2): 866-877.

[4] Linda O, Manic M. Fuzzy force-feedback augmentation for manual control of multirobot system[J]. Industrial Electronics, IEEE Transactions on, 2011, 58(8): 3213-3220.

[5] Chan C S, Liu H, Brown D J. Human arm-motion classification using qualitative normalised templates[C]// Knowledge-Based Intelligent Information and Engineer -ing Systems. Springer Berlin Heidelberg, 2006: 639-646.

[6] Pratl G, Dietrich D, Hancke G P, et al. A new model for autonomous, networked control systems[J]. Industrial Informatics, IEEE Transactions on, 2007, 3(1): 21-32.

[7] 傅言.基于圖像分析的中醫(yī)面診及在肝病上的研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2006.

[8] 樸鑫.面診中的人臉?lè)指钛芯浚跠］.哈爾濱:哈爾濱工業(yè)大學(xué)深圳研究生院,2006.

[9] 由霖,修春波.基于模板匹配的目標(biāo)識(shí)別算法[C].2011年中國(guó)智能自動(dòng)化會(huì)議論文集,2011:737-740.

[10] 盧緒軍,趙勛杰.一種基于膚色和模板匹配的人臉檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用與軟件,2011,28(7):112-114,140.

[11] Crowley J L, Berard F. Multi-modal tracking of faces for video communications[C]//Computer Vision and Pattern Recognition, 1997. Proceedings., 1997 IEEE Computer Society Conference on. IEEE, 1997: 640-645.

[12] Saxe D, Foulds R. Toward robust skin identification in video images[C]//Automatic Face and Gesture Recognition, 1996., Proceedings of the Second International Conference on. IEEE, 1996: 379-384.

[13] Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2001, 1: I-511-I-518 vol. 1.

[14] Hsu R L, Abdel-Mottaleb M, Jain A K. Face detection in color images[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2002, 24(5): 696-706.

[15] 李嵐,朱林杰,張?jiān)?等.膚色與梯度互補(bǔ)的人臉檢測(cè)研究[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(2):280-282,295

[16] 李智勇,田貞.基于膚色模型的人臉檢測(cè)研究[J].現(xiàn)代電子技術(shù),2011,34(3):131-133.

[17] Hsu R L, Abdel-Mottaleb M, Jain A K. Face detection in color images[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2002, 24(5): 696-706.

TP311 文獻(xiàn)標(biāo)志碼：A

2015.04.24）

1007-757X(2015)08-0001-03

國(guó)家自然科學(xué)基金（81373555）

邱曉欣（1989-），女，復(fù)旦大學(xué)，計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，研究方向：機(jī)器智能、視頻分析、圖像處理，上海，200433

張文強(qiáng)（1970-），男，復(fù)旦大學(xué)，計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，研究方向：機(jī)器智能、視頻分析、機(jī)器人等，上海，200433