陳夢竹 岑翼剛 許家佗 崔龍濤 王文強(qiáng) 屠立平 黃景斌 荊聰聰 張建峰

摘要：目的 結(jié)合圖像處理與中醫(yī)理論實(shí)現(xiàn)面色自動識別。方法 根據(jù)中醫(yī)望診面色相關(guān)理論，采用基于YCbCr顏色空間的橢圓膚色模型和主動外觀模型算法對面部皮膚進(jìn)行感興趣區(qū)域分割，采用RGB空間、HSV空間、Lab空間中的顏色直方圖、顏色空間的統(tǒng)計(jì)特征以及局部二值模式（LBP）特征對各區(qū)域進(jìn)行顏色與紋理特征提取，使用支持向量機(jī)、極限學(xué)習(xí)機(jī)、BP神經(jīng)網(wǎng)絡(luò)對提取到的面色特征進(jìn)行識別比較。結(jié)果 將面色識別區(qū)域分成8塊。結(jié)合顏色特征、紋理特征和LBP特征時(shí)，面色識別率達(dá)89.08%。青、赤、黃、白、黑5種面色中，白色采用BP神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確率最高，達(dá)89.5%。結(jié)論 本研究結(jié)合膚色檢測、圖像處理與中醫(yī)望診理論，可實(shí)現(xiàn)面部膚色自動識別。

關(guān)鍵詞：中醫(yī)；望診；面色；圖像處理；膚色檢測；識別

DOI：10.3969/j.issn.1005-5304.2018.12.023

中圖分類號：R2-05；R241.2 文獻(xiàn)標(biāo)識碼：A 文章編號：1005-5304（2018）12-0097-05

Abstract： Objective To realize automatic complexion recognition through combining image processing with TCM theory. Methods According to theories of TCM observation diagnosis complexion， elliptical skin color model based on YCbCr color space and active appearance model algorithm were used to segment the facial skin. Color and texture features were extracted for each region by using RGB space， HSV space， color histogram in Lab space， statistical features of color space and local binarization （LBP） features. Support vector machine， extreme learning machine and BP neural network were used to identify and compare the extracted facial features. Results The face recognition areas were divided into 8 blocks. Combined with color features， texture features and LBP features， the face recognition rate reached 89.08%. Among the five colors of cyan， red， yellow， white and black， the BP neural network on white complexion had the highest classification accuracy rate of 89.5%. Conclusion This study combines skin color detection， image processing and TCM complexion recognition theory to achieve automatic facial complexion recognition.

Keywords： TCM； observation diagnosis； complexion； image processing； complexion detection； recognition

隨著人工智能的快速發(fā)展，中醫(yī)四診客觀化逐漸成為研究熱點(diǎn)，其中舌診和脈診相關(guān)研究開展較早，部分成果已應(yīng)用到臨床，而望面色是望診必不可少的部分。中醫(yī)學(xué)認(rèn)為，臟腑、心理、氣血和經(jīng)絡(luò)變化均可呈現(xiàn)在人臉的相關(guān)區(qū)域；望診時(shí)，面部由于皮膚暴露較多，易于觀察，一般作為人體皮膚顏色的主要辨別部分。面色大致分為5種（青、赤、黃、白、黑），分別反映不同類型的機(jī)體狀態(tài)：青、黑色可提示疼痛，赤、黃色可提示熱證，白色可提示寒證。傳統(tǒng)的望面色方法為肉眼觀察患者面色并進(jìn)行診斷，其結(jié)果與醫(yī)生臨床經(jīng)驗(yàn)關(guān)系密切，并受到外部光線等條件影響，具有較大主觀性。目前臨床面色診斷尚缺乏評價(jià)標(biāo)準(zhǔn)，采用計(jì)算機(jī)技術(shù)進(jìn)行定量分析有利于臨床診斷的客觀化。

目前，面診客觀化研究已取得了一些進(jìn)展。傅言[1]在不同顏色空間下對識別肝病類別進(jìn)行圖像分析，構(gòu)建了可進(jìn)行皮膚識別區(qū)域分割的平臺。劉明佳[2]以顏色形成原理和生物醫(yī)學(xué)為切入點(diǎn)設(shè)計(jì)了人臉圖像采集設(shè)備，使用膚色模型結(jié)合灰度投影算法對樣本進(jìn)行五官圖像區(qū)域分割。毛紅朝[3]探索中醫(yī)面診信息提取的各種圖像處理算法，采用高斯膚色統(tǒng)計(jì)模型和Adaboost結(jié)合的方法精確定位人臉區(qū)域。吳暾華[4]根據(jù)中醫(yī)面色臟腑分屬圖，采用復(fù)雜背景下的多姿人臉檢測方法，建立了望面色的眼動跟蹤模型。部分研究對人臉圖像進(jìn)行臉頰和嘴唇的識別區(qū)域分割，將臉頰的皮膚區(qū)域在Lab顏色空間作為面部的顏色特征，結(jié)合支持向量機(jī)（SVM）評估白、紅、黃及健康的面色，但尚缺乏青類面色數(shù)據(jù)[5-7]。

目前研究多采用RGB、HSV、Lab空間進(jìn)行特征提取。本研究圖像背景相對單一，無需復(fù)雜度高的算法即可有效實(shí)現(xiàn)膚色分割，而紋理中局部二值模式（LBP）特征可簡單有效地表示人臉圖像[8]，因此，本研究基于青、紅、黃、白、黑5種面色，對相應(yīng)圖像進(jìn)行分析并分別提取其顏色和紋理特征，最后使用機(jī)器學(xué)習(xí)的方法對提取到的特征進(jìn)行面色分類。

1 研究方法

本研究實(shí)驗(yàn)框架及算法流程見圖1。主要分為三部分：分割皮膚感興趣區(qū)域（ROI）、顏色及紋理特征的提取、人臉面色識別。首先基于YCbCr顏色空間的橢圓膚色模型和主動外觀模型（AAM），在中醫(yī)面診理論的指導(dǎo)下對人臉圖像進(jìn)行ROI分割；然后采用RGB空間、HSV空間、Lab空間中的顏色直方圖，提取不同顏色空間下的信息作為顏色特征，同時(shí)，將顏色分量的統(tǒng)計(jì)特征及LBP特征作為融合特征；最后使用SVM、極限學(xué)習(xí)機(jī)（ELM）、BP神經(jīng)網(wǎng)絡(luò)分別對提取到的特征面色進(jìn)行評估比較及分類。

圖1 基于圖像處理的面色識別算法流程圖

1.1 基于YCbCr空間的感興趣區(qū)域分割

五臟的生理病理變化可由面色顯現(xiàn)出來，面色的主要部分是人臉的膚色。本研究人臉圖像由望診標(biāo)準(zhǔn)光源箱得到，NIKON D40數(shù)碼單反相機(jī)在固定模式下拍攝面部圖像。研究對象來源于上海中醫(yī)藥大學(xué)附屬曙光醫(yī)院體檢中心，年齡20～60歲。采用望診標(biāo)準(zhǔn)光源箱，拍攝前與受試者溝通，洗去面部化妝品，保持自然面色，并保持情緒穩(wěn)定。拍攝時(shí)受試者取端坐位，面對人工光源，確保面部光線明亮，充分暴露額部。首先選取粉刺、胡須等數(shù)據(jù)噪聲較少者進(jìn)行，樣本包括青、紅、黃、白、黑5種膚色。由于膚色在YCbCr空間具有聚類特性，為避免錯(cuò)分非膚色區(qū)域，首先將原始大小為1424×2144像素的圖像從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間；然后根據(jù)橢圓膚色模型比較像素對應(yīng)的Y值，如在膚色模型亮度范圍內(nèi)，且對應(yīng)的紅、藍(lán)分量分別在133≤Cr≤173、77≤Cb≤127范圍內(nèi)，則滿足條件的像素賦值1，否則為0，從而形成二值圖像；采用形態(tài)學(xué)的開、閉運(yùn)算對二值圖像去除某些噪聲點(diǎn)，減小噪聲對膚色分割的影響，使孤立的像素點(diǎn)形成連通域，最后定位出人臉，得到分割后的ROI。將得到的圖像統(tǒng)一設(shè)置成285×429像素大小。采用橢圓模型公式[9]計(jì)算：

1.2 基于主動外觀模型算法的特征點(diǎn)定位

AAM算法是經(jīng)典的人臉特征點(diǎn)檢測方法[10]。該算法提取人臉的形狀信息及紋理信息，采用主成分分析得到可變形的人臉統(tǒng)計(jì)模型，并將待測圖像的形狀變化模型結(jié)合紋理變化模型形成人臉模板。AAM算法為避免復(fù)雜的求導(dǎo)和迭代，由訓(xùn)練集假設(shè)殘差向量分別和形狀參數(shù)與紋理參數(shù)之間存在的線性關(guān)系，用線性回歸的方法來訓(xùn)練形狀參數(shù)與紋理參數(shù)的更新矩陣，并通過調(diào)整殘差向量更新參數(shù)。AAM算法分為模型建立與擬合計(jì)算2個(gè)部分：首先對訓(xùn)練樣本進(jìn)行手工特征點(diǎn)標(biāo)記，通過普魯克分析把所有樣本標(biāo)注的特征點(diǎn)對齊，得到1個(gè)統(tǒng)計(jì)形狀模型，再將所有訓(xùn)練樣本變形以匹配形狀模型；然后使用特征分析建立一個(gè)對應(yīng)的紋理模型；最后將形狀和紋理模型通過學(xué)習(xí)的方法結(jié)合起來，得到最終模型。

根據(jù)中醫(yī)理論，將人臉手動分割成8個(gè)ROI，分別是：額頭、雙側(cè)上眼臉、雙側(cè)臉頰、鼻頭、口唇、下頜[11]。額頭部分膚色塊提取：首先由AAM算法得到人臉關(guān)鍵點(diǎn)的位置，見圖2（a）；根據(jù)人臉的幾何位置關(guān)系[12]，人臉是呈豎直對稱的，見圖2（b）；左眉毛的第2個(gè)點(diǎn)和第3個(gè)點(diǎn)做一條中垂線L1，右眉毛的第2個(gè)和第3個(gè)點(diǎn)同樣做一條中垂線L2，這樣矩形框的長度確定出來，L即兩條中垂線的最短距離；接著，取矩形框長度的一半作為矩形框的寬度W，見圖2（c），藍(lán)色線標(biāo)注的即為額頭部分ROI；按“1.1”項(xiàng)下方法，對ROI部分再進(jìn)行1次基于YCbCr空間的膚色分割，確定膚色區(qū)域，得到1個(gè)分割后最大的連通域。由于額頭區(qū)域是整張人臉中最有可能涉及非膚色區(qū)域的部分，因此，先對額頭手動定位一個(gè)矩形框，然后對框里的皮膚和非皮膚部分進(jìn)行膚色分割，最后得到1個(gè)額頭的膚色塊。其余7個(gè)ROI則無需上述操作，直接根據(jù)五官的關(guān)鍵點(diǎn)定位后手動選取膚色框即可，方法同額頭部分，見圖2（d）。

1.3 顏色和紋理特征提取

望診面色研究中，顏色信息是最主要的特征。對不同顏色空間的信息進(jìn)行面診分析的研究不斷深入。Zhuo L等[6]提出在Lab空間中提取顏色直方圖和色差等統(tǒng)計(jì)特征作為人臉的膚色特征，將提取的特征使用SVM進(jìn)行面色評估。HSV顏色空間與人類感覺顏色方式相似，色彩的分類簡單自然，感知度較強(qiáng)。通過公式（5）、（6）、（7）、（8）、（9）可將RGB顏色空間轉(zhuǎn)換到HSV顏色空間：

采用多顏色空間信息融合的技術(shù)分別對ROI提取HSV、RGB、Lab等顏色直方圖均值作為顏色特征。顏色直方圖的統(tǒng)計(jì)特征不僅反映了不同膚色類型，而且反映皮膚的紋理特性。紋理是對圖像灰度空間分布模式的提取和分析，故本研究同時(shí)提取了皮膚區(qū)域的統(tǒng)計(jì)特征，包括能量（Asm）、相關(guān)性（Corr）、對比度（Con）、熵（Ent）：

LBP特征是個(gè)細(xì)小尺度的算子，在人臉識別中，直接對整幅圖像使用LBP直方圖來提取特征會丟失人臉的微觀信息，更適應(yīng)于描述圖像局部紋理變化。故本研究分別提取8個(gè)分割好的ROI的LBP特征譜統(tǒng)計(jì)直方圖作為特征向量。LBP特征是將圖像中某一像素值作為閾值，對以該像素為中心的鄰域進(jìn)行閾值操作，見圖3?；叶刃∮陂撝抵?，灰度大于閾值置1，進(jìn)而得到一組二進(jìn)制數(shù)，LBP編碼的計(jì)算公式如下：

1.4 不同分類器的面色識別

分類器用于中醫(yī)面色識別，分類的性能直接影響最終的識別結(jié)果。SVM是Corinna Cortes和Vapnik V N[14]首先提出的，可用于模式分類和非線性回歸的問題，其主要定義了函數(shù)間隔（用 表示）：

式中x是特征，y是結(jié)果標(biāo)簽。記超平面關(guān)于所有樣本點(diǎn)（xi，yi）的函數(shù)間隔最小值（i表示第i個(gè)樣本）為 ，然后由目標(biāo)函數(shù)max 迭代求解超平面參數(shù)（ω，b），從而得到分類器。

SVM具有泛化能力強(qiáng)、適用于小樣本學(xué)習(xí)的特點(diǎn)，并且能夠有效避免過擬合和局部最小化以及“維數(shù)災(zāi)難”等問題。其理論基礎(chǔ)是非線性映射，利用內(nèi)積核函數(shù)來代替向高位空間的非線性映射，同時(shí)具有對小樣本非線性分類快速高效的特性。

ELM是一種新型的快速學(xué)習(xí)算法[15]，其假設(shè)有N個(gè)樣本（xi，yi），對于1個(gè)有L個(gè)隱層節(jié)點(diǎn)的單隱層神經(jīng)網(wǎng)絡(luò)可表示為：

一些傳統(tǒng)的基于梯度下降法的算法可用來求解此類問題，但基本的基于梯度的學(xué)習(xí)算法需要在迭代的過程中調(diào)整所有參數(shù)。而ELM算法中，一旦輸入權(quán)重ωi和隱層的偏置bi被隨機(jī)確定，隱層的輸出矩陣H就被唯一確定。訓(xùn)練單隱層神經(jīng)網(wǎng)絡(luò)可轉(zhuǎn)化為求解一個(gè)線性系統(tǒng)。且輸出權(quán)重β可被確定。Hβ=Y， ，其中H+是矩陣H的Moore-Penrose廣義逆。

ELM最大的特點(diǎn)是相對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，尤其是單隱層前饋神經(jīng)網(wǎng)絡(luò)（SLFNs），在保證學(xué)習(xí)精度的前提下算法速度更快。所有隱節(jié)點(diǎn)參數(shù)獨(dú)立于目標(biāo)函數(shù)或訓(xùn)練數(shù)據(jù)集。對于單隱層神經(jīng)網(wǎng)絡(luò)，ELM可隨機(jī)初始化輸入權(quán)重和偏置并得到相應(yīng)的輸出權(quán)重。

BP神經(jīng)網(wǎng)絡(luò)是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來的算法，其主要特點(diǎn)是信號前向傳遞，誤差反向傳遞。在前向傳遞中，輸入信息從輸入層經(jīng)隱含層逐層處理，直到輸出層。如果輸出層得不到期望輸出，則轉(zhuǎn)入反向傳播，根據(jù)預(yù)測誤差調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，從而使BP神經(jīng)網(wǎng)絡(luò)預(yù)測輸出不斷逼近期望輸出。

2 實(shí)例測試

皮膚色塊樣本來源于上海中醫(yī)藥大學(xué)附屬曙光醫(yī)院體檢中心150名體檢人員的面色圖像。采集到的圖像經(jīng)過3名中醫(yī)基礎(chǔ)診斷專家一致性判讀分為青、赤、黃、白、黑5類膚色樣本，見圖4。實(shí)驗(yàn)平臺為2.40 GHz，內(nèi)存8.0 G，Windows7操作系統(tǒng)，matlab2014a編程。

采用3種特征進(jìn)行測試：

特征1：F1={H， S， V， R， G，B， L， a， b}；

特征2：F2={H， S， V， R， G，B， L， a， b， Asm， Corr， Con， Ent}；

特征3：F3={H， S， V， R， G，B， L， a， b， Asm， Corr， Con， Ent， LBP}；

為評估3種特征的分類性能，選擇953塊皮膚區(qū)域作為訓(xùn)練樣本，238塊皮膚區(qū)域作為測試樣本，面色識別率見表1。

表1表明，在面色識別研究中，顏色特征是最重要的特征，僅提取HSV、RGB、Lab顏色空間作為融合特征進(jìn)行分類時(shí)，分類準(zhǔn)確率最高為79.42%；增加紋理特征時(shí)，分類結(jié)果達(dá)85.71%；而結(jié)合顏色特征、紋理特征和LBP特征時(shí)，分類結(jié)果最高為89.08%。

將青、赤、黃、白、黑分別標(biāo)簽為0、1、2、3、4，測試樣本分別為42、35、48、60、54塊，測試結(jié)果見表2。其中，青色的皮膚采用3種分類器分類效果差別不明顯；紅色的皮膚使用SVM和ELM分類器時(shí)效果更好；黃色的皮膚在使用SVM時(shí)效果更明顯；白色的皮膚采用BP神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確率最高，達(dá)89.50%；黑色的皮膚在使用分類器時(shí)相較其他顏色準(zhǔn)確率均低，ELM的分類效果欠佳。影響分類效果的因素有以下幾方面：①測試樣本的有限性，受試者面部受陽光照射面積、程度不均勻；②實(shí)驗(yàn)研究對象大多為亞洲人，膚色整體偏黃，膚色偏黑的樣本較少，且摻雜許多面色發(fā)灰的樣本，導(dǎo)致膚色為黑色的類分類效果不佳；③中醫(yī)5種面色的區(qū)分是相對的而非絕對；④膚色存在明顯的個(gè)體差異。

3 小結(jié)

面診客觀化研究需進(jìn)行定量化分析，首先應(yīng)對人臉進(jìn)行圖像區(qū)域分割并選擇合適的特征。本研究實(shí)現(xiàn)了簡單有效的人臉圖像區(qū)域分割，并提取相應(yīng)區(qū)域的顏色和紋理特征后進(jìn)行膚色識別的算法。采用基于YCbCr顏色空間的橢圓膚色模型定位人臉，結(jié)合AAM模板對ROI進(jìn)行分割，然后分別提取顏色、紋理和LBP特征，最后用SVM、ELM、BP神經(jīng)網(wǎng)絡(luò)分別對算法進(jìn)行識別評估。結(jié)果表明，所提出的膚色特征具有良好的分類性能，識別率達(dá)89.50%。然而，本實(shí)驗(yàn)對黑色的分類尚未達(dá)到理想效果，后續(xù)將重視對此類樣本數(shù)據(jù)的深入分析，并擴(kuò)大樣本量，增加醫(yī)生對樣本的評價(jià)。同時(shí)，將進(jìn)一步探索面部特征的提取、選擇及分類器的設(shè)計(jì)。

參考文獻(xiàn)：

[1] 傅言.基于圖像分析的中醫(yī)面診及在肝病上的研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2006.

[2] 劉明佳.基于人臉彩色圖像的疾病診斷研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008.

[3] 毛紅朝.面向中醫(yī)面診的診斷信息提取——關(guān)鍵算法研究與實(shí)現(xiàn)[D].廈門：廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院，2007.

[4] 吳暾華.面向中醫(yī)面診診斷信息提取的若干掛件技術(shù)研究[D].廈門：廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院，2008.

[5] YANG Y， ZHANG J， ZHUO L， et al. Cheek region extraction method for face diagnosis of traditional Chinese medicine[C]//IEEE， International Conference on Signal Processing. IEEE，2013：1663- 1667.

[6] ZHUO L， YANG Y， ZHANG J， et al. Human facial complexion recognition of traditional Chinese medicene based on uniform color space[J]. International Journal of Pattern Recognition & Artificial Intelligence，2014，28（4）：1450008.

[7] ZHANG J， ZHANG P， ZHUO L. Fuzzy support vector machine based on color modeling for facial complexion recognition in traditional Chinese medicine[J]. Chinese Journal of Electronics， 2016，25（3）：474-480.

[8] OJALA T. Gray scale and rotation invariant texture classification with local binary patterns[C]//European Conference on Computer Vision. Springer Berlin Heidelberg，2000：404-420.

[9] 高建坡，王煜堅(jiān)，楊浩，等.一種基于KL變換的橢圓模型膚色檢測方法[J].電子與信息學(xué)報(bào)，2007，29（7）：1739-1743.

[10] COOTES T F， EDWARDS G J， TAYLOR C J. Active appearance models[J]. IEEE Computer Society，2001，1407（6）：484-498.

[11] 許家佗，吳宏進(jìn)，陸璐明，等.不同健康狀態(tài)的面部光譜色度特征分析[J].生物醫(yī)學(xué)工程學(xué)雜志，2012，29（6）：1062-1067.

[12] 曾岳，馮大政.一種基于人臉垂直對稱性的變形2DPCA算法[J].計(jì)算機(jī)工程與科學(xué)，2011，33（7）：74-79.

[13] 馮建輝，楊玉靜.基于灰度共生矩陣提取紋理特征圖像的研究[J].北京測繪，2007（3）：19-22.

[14] VAPNIK V N. The nature of statistical learning theory （statistics for engineering and information science）[M]. New York：Springer-Verlag，1999.

[15] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine：Theory and applications[J]. Neurocomputing，2006，70（1）：489-501.