汪程軍

（同濟(jì)大學(xué)電子與信息工程學(xué)院，中國(guó) 上海201800）

0 引言

現(xiàn)如今，唇分割技術(shù)可以應(yīng)用到各種領(lǐng)域：語(yǔ)音識(shí)別、唇讀、面部表情分類、音頻交互等。上述的唇分割技術(shù)或許可以滿足這些特殊的應(yīng)用，但是得到的分割結(jié)果并不適用于中醫(yī)臨床診斷的唇診中。在傳統(tǒng)中醫(yī)數(shù)字信息化的臨床診斷中，需要完整精確的唇區(qū)域來(lái)對(duì)唇色進(jìn)行自動(dòng)分類，進(jìn)行下一步的病癥診斷。唇體區(qū)域越完整精確，唇色分析的結(jié)果越精確。所以，如何提取完整精確的唇體區(qū)域就是關(guān)鍵問題。

為了解決上述問題，本文提出一個(gè)新型的基于水平集分割技術(shù)的分割方法來(lái)進(jìn)行唇體分割。通過(guò)使用本章提出的水平集算法，即使在圖像中的唇體只有較弱的邊緣特征時(shí)，對(duì)唇體進(jìn)行分割也可以得到令人滿意的分割結(jié)果。采用水平集圖像分割算法才獲得精確的唇體分割結(jié)果。得到本算法的分割結(jié)果之后，通過(guò)定性與定量?jī)煞N方式對(duì)本算法實(shí)驗(yàn)結(jié)果進(jìn)行分析，體現(xiàn)本算法的優(yōu)秀的性能。

1 基于水平集的唇分割算法

由于唇色與嘴唇周圍的皮膚顏色的區(qū)別還是不大，導(dǎo)致直接基于顏色空間的唇體分割算法還是很難將唇體準(zhǔn)確的分割出來(lái)。然而采用水平集算法[1]將會(huì)非常有效的解決這個(gè)問題。在本節(jié)中，將會(huì)詳細(xì)給出如何在灰度圖像中利用水平集算法將唇體區(qū)域從非唇體區(qū)域中分割出來(lái)的推理過(guò)程。

1.1 算法流程

Chan-Vese水平集圖像分割算法流程圖如圖1所示。

由圖可以看出，在輸入圖像進(jìn)行顏色空間轉(zhuǎn)換之后，本章算法的主要步驟描述如下：

1）采用矩形初始輪廓曲線；

2）通過(guò)距離圖對(duì)初始水平集函數(shù)進(jìn)行初始化；

3）計(jì)算水平基函數(shù)參數(shù)并更新輪廓線；

4）判斷結(jié)果是否收斂，如果沒有收斂，重復(fù)操作步驟3。

圖1 Chen-Vese水平集圖像分割算法流程圖

1.2 Chan-Vese水平集算法

水平集算法是一個(gè)描述曲率相關(guān)速率演化的曲線的有效方法[2]，水平集算法不是基于梯度變化的，所以水平集算法在處理具有弱邊緣特征的圖像時(shí)有著天然的優(yōu)勢(shì)。在圖像分割中，水平集算法需要一個(gè)初始輪廓曲線來(lái)約束初始水平集函數(shù)[3]。然后，分割工作的目標(biāo)物體的邊緣將會(huì)在一系列的迭代之后確定下來(lái)。

（1）初始輪廓曲線

一個(gè)好的初始輪廓曲線，也就是說(shuō)有一個(gè)更逼近真實(shí)目標(biāo)唇體邊緣的初始輪廓曲線，能夠大幅提升算法計(jì)算速度。本文采用的初始輪廓曲線是唇體周圍的矩形框。

（2）初始水平集

初始的水平集可以由符號(hào)距離函數(shù)計(jì)算得到。用符號(hào)距離函數(shù)可以確定一個(gè)給定的像素點(diǎn)x與邊界C，當(dāng)像素點(diǎn)x在曲線C內(nèi)部的時(shí)候，上述符號(hào)距離函數(shù)得到正值；當(dāng)符號(hào)距離函數(shù)減小到為0的時(shí)候，即像素點(diǎn)x在邊界C上；而像素點(diǎn)x在曲線C外部的時(shí)候，符號(hào)距離函數(shù)的值為負(fù)值。

初始輪廓曲線確定之后，初始輪廓曲線的距離圖可以由膨脹和腐蝕操作來(lái)估計(jì)。通過(guò)這個(gè)方法，輪廓曲線C外部的像素點(diǎn)到曲線的距離可以由膨脹操作得到而輪廓曲線內(nèi)部的像素點(diǎn)到輪廓曲線的距離可以由腐蝕操作得到。

（3）Chan-Vese水平集模型

Chan-Vese水平集模型是一個(gè)由Chan和Vese提出的經(jīng)典主動(dòng)輪廓模型。該方法是基于Mumford-Shah模型的水平集分割算法。其原理是：假設(shè)圖像中屬于同一個(gè)物體的區(qū)域的灰度值是近似平滑的，那么能量最小化函數(shù)E的目標(biāo)就是尋找最優(yōu)分割C0，使得分割圖像與原圖像之間的差異最小。

圖像分割中，一般將圖像分為目標(biāo)區(qū)域和背景區(qū)域，Chan-Vese水平集原理中假設(shè)同一物體區(qū)域的灰度值是平滑的，那么曲線C就可以將圖像u0分割為目標(biāo)區(qū)域Ω1和背景區(qū)域Ω2，

該方法所用到的信息不僅僅是輪廓曲線C所在的區(qū)域的局部信息，而是充分利用了整幅圖像的全局信息。因此，Chan-Vese水平集算法具有顯而易見的優(yōu)勢(shì)，那就是可以做到全局優(yōu)化。

1.3 圖像分割結(jié)果優(yōu)化

用上述Chan-Vese水平集算法得到圖像目標(biāo)物體掩膜之后，采用形態(tài)學(xué)重建算法對(duì)得到的二值掩膜圖像進(jìn)行平滑優(yōu)化處理。Chan-Vese水平集算法分割唇體得到的邊緣部分呈鋸齒狀，是不光滑的。又因?yàn)榇襟w邊緣輪廓曲線是呈凸?fàn)畹?，那么為了得到更精確的唇體邊緣輪廓曲線，本章采取“五點(diǎn)平均法”來(lái)對(duì)唇體邊緣輪廓曲線進(jìn)行平滑處理。在Chan-Vese水平集算法得到的最終唇體輪廓曲線上從左到右每五個(gè)點(diǎn)取平均值代替原有的五個(gè)點(diǎn)，然后將五點(diǎn)平均值用線連起來(lái)。

2 實(shí)驗(yàn)設(shè)置

2.1 評(píng)價(jià)準(zhǔn)則

在圖象分割領(lǐng)域應(yīng)用中，對(duì)圖像分割結(jié)果的評(píng)價(jià)準(zhǔn)則使用得較多的有Chalana等提出的邊界誤差度量方法以及Udupa等提出的面積誤差度量方法。本章提出的Chen-Vese水平集圖像分割算法的分割結(jié)果也會(huì)應(yīng)用上述這兩個(gè)評(píng)價(jià)準(zhǔn)則來(lái)對(duì)唇象分割結(jié)果進(jìn)行評(píng)價(jià)。

分別是上一小節(jié)定義的用于邊界誤差度量的HD(norm.HD%)、MD(norm.MD%)以及用于區(qū)域面積誤差度量的FP（False Positive）、FN（False Negative）和TP（True Positive）。

2.2 圖像預(yù)處理

在圖像處理的過(guò)程中，為了簡(jiǎn)化后續(xù)處理過(guò)程，降低后期處理難度，可以事先對(duì)圖像進(jìn)行裁剪、矯正等預(yù)處理操作。

（1）裁剪

如圖2.a所示，通過(guò)道生四診儀采集的唇象包含整個(gè)臉部區(qū)域，如果采用整面部圖像進(jìn)行處理的話，運(yùn)算量太大。為了節(jié)省不必要的計(jì)算時(shí)間，在進(jìn)行算法評(píng)估之前，對(duì)面部圖像進(jìn)行裁剪，如圖2.b所示，對(duì)圖中紅框區(qū)域進(jìn)行裁剪，得到圖2.c所示的試驗(yàn)用唇象。

（2）縮放

裁剪之后唇象大小不一，為了方便后續(xù)處理，保證唇象大小一致，采用線性插值的方法對(duì)唇象進(jìn)行縮放，使舌象大小為300*150。

圖2

3 實(shí)驗(yàn)結(jié)果

本節(jié)將會(huì)在道生四診儀上自行對(duì)志愿者采集唇象數(shù)據(jù)并用于實(shí)驗(yàn)。本次實(shí)驗(yàn)共采集來(lái)自不同志愿者共計(jì)23張唇象數(shù)據(jù)用于本文所提基于簡(jiǎn)化水平集算法。

3.1 定性評(píng)價(jià)分析

在本小節(jié)中，將會(huì)以直觀的方式展示本章所提算法在23張自己采集的唇體圖像數(shù)據(jù)集上的性能。由實(shí)驗(yàn)結(jié)果可知，本章算法在對(duì)這些中醫(yī)四診儀采集的面部圖像的唇體分割結(jié)果還是比較理想的。在大多數(shù)圖像中都能比較精確的將唇體區(qū)域從面部圖像中分割出來(lái)，取得較好的分割結(jié)果。但是還是存在一些細(xì)節(jié)的地方，在分割結(jié)果的精度上還是存在提升的余地的。

如圖3所示，第一列顯示的是經(jīng)過(guò)預(yù)處理的唇體原始圖像；第二列是本章算法在面部圖像上的唇體分割結(jié)果展示；第三列是手動(dòng)提取的對(duì)應(yīng)面部圖像標(biāo)準(zhǔn)唇體結(jié)果。由圖3所示可以看出，第二列的算法分割所得結(jié)果與第三列的手動(dòng)標(biāo)記標(biāo)準(zhǔn)唇體區(qū)域的輪廓非常接近，基本上達(dá)到與實(shí)際唇體相近的分割結(jié)果。由此可見本章算法在對(duì)唇體提取的工作中能獲得非常好的分割效果，能夠?qū)⒆齑絽^(qū)域精確地從背景區(qū)域中分割出來(lái)。

圖3 人臉圖像理想唇體分割示意圖

盡管可以從上圖可以看出本章算法優(yōu)越的性能，然而還是存在一些比較難以處理的細(xì)節(jié)，如圖4所示，同樣，圖中三列分別是唇象原圖、唇象分割算法所得結(jié)果以及手動(dòng)標(biāo)記標(biāo)準(zhǔn)唇體區(qū)域。由圖中第一行所示，在人臉圖像唇體提取的工作中，對(duì)唇角區(qū)域的分割不是很理想；第二行所示，當(dāng)嘴唇上有潰瘍傷口的時(shí)候，分割的時(shí)候會(huì)有偏差；第三列所示，在嘴唇上方胡須較為濃密的時(shí)候，也會(huì)對(duì)分割結(jié)果造成影響；第四列所示，當(dāng)采集的唇部圖像時(shí)露齒的時(shí)候，會(huì)將牙齒以及上嘴唇分到背景區(qū)域中，使分割結(jié)果并不盡如人意。

圖4 人臉圖像不理想唇體分割示意圖

分析產(chǎn)生以上不理想的分割結(jié)果本質(zhì)原因，可以知道：

首先，嘴唇唇角之處的突變較大，且唇角處一般都有陰影，顏色較深，在顏色空間上與唇體區(qū)域重疊較大，很容易將唇角分為唇體區(qū)域，也就是說(shuō)采用水平集算法分割唇體的時(shí)候很難處理好唇角部分；

其次，人臉圖像的嘴唇上有潰瘍傷口的時(shí)候，潰瘍傷口所在的區(qū)域的顏色特征和紋理特征已經(jīng)改變了，潰瘍的顏色一般都是比較接近皮膚的顏色，而且紋理特征也改變了，與周邊的唇體的紋理特征不一樣了，另外，潰瘍?cè)斐傻膭?chuàng)口也形成了邊緣信息，所以嘴唇上的潰瘍區(qū)域在分割的時(shí)候很容易被分到非唇體區(qū)域；

再者，在男子人臉圖像嘴唇上方有濃密的胡須的時(shí)候，胡須會(huì)被誤以為是邊緣，而胡須形成的邊緣強(qiáng)度遠(yuǎn)大于嘴唇邊界所形成的邊緣，所以胡須形成的強(qiáng)邊緣的作用會(huì)大于嘴唇邊界形成的邊緣的作用，因此胡須較濃密的區(qū)域有較大的可能被分為嘴唇區(qū)域；

最后，當(dāng)采集的唇部圖像包含牙齒的時(shí)候，由于牙齒的顏色空間與面部區(qū)域的顏色空間重疊較大，且上嘴唇一般來(lái)說(shuō)顏色都比較淡，顏色空間也是與背景區(qū)域的顏色空間重疊較大，因此很容易將上嘴唇與牙齒區(qū)域一起分割進(jìn)背景區(qū)域，僅能獲取下嘴唇作為唇體區(qū)域。而由手動(dòng)標(biāo)記的標(biāo)準(zhǔn)唇體區(qū)域可以看出，在手動(dòng)標(biāo)記的時(shí)候，也會(huì)將牙齒區(qū)域包含在內(nèi)，較難正確標(biāo)記，因此在處理露齒唇象的時(shí)候，是唇體分割工作的一個(gè)難題。

盡管如上所述，存在著一些不足之處，但是整體而言，本文所提水平集算法在整個(gè)數(shù)據(jù)集上取得了比較好的分割結(jié)果。具體細(xì)節(jié)將在下一小節(jié)中進(jìn)行定量評(píng)價(jià)分析。

3.2 定量評(píng)價(jià)分析

上一小節(jié)主要是從主觀感受出發(fā)，對(duì)本章提出的基于簡(jiǎn)化水平集算法在唇象數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果有一個(gè)定性的評(píng)價(jià)分析，為了更好更客觀地評(píng)價(jià)本章所提算法的性能，本小節(jié)將會(huì)對(duì)基于簡(jiǎn)化水平集算法在唇象數(shù)據(jù)集的分割結(jié)果上展開進(jìn)一步的定量分析。定量分析采用圖像分割領(lǐng)域較為流行的兩個(gè)邊界誤差度量方法（HD，MD）和三個(gè)面積誤差度量方法 （FP，F(xiàn)N，TP）對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量的度量。

表1 在唇象數(shù)據(jù)集上的唇體分割性能

由表1可以看出，HD(norm.HD%)、MD(norm.MD%)、FP（False Positive）以及FN（False Negative）的平均值普遍都較小，說(shuō)明本章算法在分割唇象的時(shí)候無(wú)論在邊界誤差還是區(qū)域誤差都比較小，比較接近實(shí)際唇體區(qū)域；而TP（True Positive）平均值值達(dá)到了0.8968，表明本章算法的分割結(jié)果與標(biāo)準(zhǔn)唇體區(qū)域的一致性比較高，分割性能優(yōu)越。

由以上分析可知，除了少數(shù)特殊情況下的唇體圖像，本章算法在大多數(shù)唇體圖像上的分割結(jié)果無(wú)論在邊界上亦或是區(qū)域上的誤差都非常小，分割結(jié)果的匹配度非常高，分割性能非常優(yōu)越。

4 總結(jié)展望

本文提出了一個(gè)服務(wù)于中醫(yī)面診舌體診斷的唇體分割算法，首先對(duì)輸入唇部圖像進(jìn)行預(yù)處理，采用基于簡(jiǎn)化水平集算法提取預(yù)處理過(guò)后的唇部圖像，得到最終的分割結(jié)果。

通過(guò)在采集自23位志愿者的唇象數(shù)據(jù)集上的實(shí)驗(yàn)測(cè)試，無(wú)論在定性分析還是定量分析，本文所采用的基于簡(jiǎn)化水平集算法都取得了令人滿意的分割結(jié)果。從定性角度講，本文算法提取的唇體區(qū)域與真實(shí)唇體區(qū)域的差別不大，從定量的角度講，本文采用的五個(gè)定量度量指標(biāo)可以充分證明本章所采用算法的優(yōu)越性。

雖然無(wú)論從主觀還是客觀地說(shuō)，本章采用的唇體分割算法的效果都是比較理想的，但是依然存在一些細(xì)節(jié)的問題影響到分割的精確度。比如嘴唇上的潰瘍，嘴唇周圍的胡須，露齒的唇象，都會(huì)影響分割的精度；另外，由于算法自身的問題，在處理唇角的時(shí)候，也并不是很讓人滿意。上述問題都是在將來(lái)的工作中可以進(jìn)一步研究的方向。

［1］T.F.Chan,L.A.Vese,Active contours without edges[J].IEEE Transactions on image processing,2001,10(2):266-277.

［2］B.Sandberg,T.Chan,L.Vese,A level-set and gabor-based active contour algorithm for segmenting textured images[J].UCLA Department of Mathematics CAM report,2002:1-10.

［3］M.A.Savelonas,D.K.Iakovidis,D.Maroulis,LBP-guided active contours[J]. Pattern Recognition Letters,2008,29(9):1404-1415.