王學(xué)民，王瑞云，郭　丹，陸小左，周　鵬*

（1.天津大學(xué)精密儀器與光電子工程學(xué)院，天津300072；2.天津市生物醫(yī)學(xué)檢測技術(shù)與儀器重點實驗室，天津300072；3.天津中醫(yī)藥大學(xué)中醫(yī)工程學(xué)院，天津300193）

基于輔助光源的舌象點刺識別方法研究*

王學(xué)民1，2，王瑞云1，郭丹1，陸小左3，周鵬1，2*

（1.天津大學(xué)精密儀器與光電子工程學(xué)院，天津300072；2.天津市生物醫(yī)學(xué)檢測技術(shù)與儀器重點實驗室，天津300072；3.天津中醫(yī)藥大學(xué)中醫(yī)工程學(xué)院，天津300193）

中醫(yī)舌診中點刺所生部位和其在不同部位的疏密程度對疾病診斷有重要價值，點刺自動識別是實現(xiàn)舌診客觀化診斷的關(guān)鍵和難點之一。針對現(xiàn)有點刺識別方法適應(yīng)性不高、識別率低等問題，提出了一種基于輔助光源的點刺識別方法。對標(biāo)準(zhǔn)白色光源和純綠色光源下采集的10例舌象分別進行分割、配準(zhǔn)，在綠光舌象上實現(xiàn)點刺提取并顯示在白光舌象上，算法自動提取正確率能達(dá)到專家識別率88.47%；實現(xiàn)點刺的自動區(qū)域定位和計數(shù)。實驗結(jié)果表明該方法點刺識別率較高，可在臨床領(lǐng)域有所應(yīng)用，為多種疾病提供了重要的診斷信息。

中醫(yī)舌診；點刺識別；圖像分割；圖像配準(zhǔn)；純綠色LED

EEACC：7230doi：10.3969/j.issn.1004-1699.2016.10.015

中醫(yī)舌象中點刺所生部位可以推測熱邪所在臟腑，點刺分布疏密可以估計熱邪輕重［1］。點刺特征在許多疾病領(lǐng)域亦有著重要的診斷價值，如闌尾炎、肺炎和支氣管炎等［2］。因此點刺自動識別是中醫(yī)舌診客觀化研究中的關(guān)鍵步驟。點刺在舌體上分布無規(guī)律、體積較舌體相差甚大、自然光線下與舌色差異小等原因成為點刺自動識別的難點所在?，F(xiàn)有研究方法多基于點刺較正常舌體有顏色、灰度的不同，同時點刺大小、形態(tài)比較接近。有報道結(jié)合尺寸和圓形度等參數(shù)的灰度差法辨別點刺特征；利用Gabor小波分析提取點刺特征；探索不同光譜范圍內(nèi)點刺表征［3-5］。

為更好的識別點刺，結(jié)合物體顯色原理以及光三基色原理，本文提出一種基于輔助光源的舌象點刺識別方法。對白光和綠光舌象分別利用顏色信息結(jié)合Snakes算法和人工交互的方式進行自動與半自動分割，再運用基于互信息的圖像配準(zhǔn)方法使分割的兩個舌象各部分基本對齊，進而對配準(zhǔn)后的綠光舌象綜合應(yīng)用Log邊緣檢測、平行線法等算法實現(xiàn)點刺識別。

1　舌象采集方法

1.1舌象采集系統(tǒng)

中醫(yī)舌診多在充足柔和的自然光線下進行。為避免外界環(huán)境干擾，使采集的舌象更接近人舌的真實色彩，采集系統(tǒng)使用暗箱結(jié)構(gòu)，內(nèi)部有積分球設(shè)計［6］，使光照均勻，減少反光點，如圖1（a）所示：1、2、3、4為類標(biāo)準(zhǔn)光源，5、6、7為輔助光源，8為積分球結(jié)構(gòu)，9、10是其上兩個開口，9處固定相機11。兩種光源下舌象采集效果如圖1（b）、1（c）所示。

圖1　舌象采集系統(tǒng)及采集效果

選用2個40 W和2個22 W的類D50環(huán)形熒光燈作為照明光源，其參數(shù)如表1所示，滿足人工光源模擬自然光的標(biāo)準(zhǔn)。

表1　類D50光源參數(shù)

中醫(yī)指出人舌伸出會有一定程度的不自主性顫動，本文分別采集兩種光源下的舌象，就需要兩次拍照時間間隔盡可能短，減少兩幅圖像中的舌體差異。LED光源響應(yīng)快，光譜為單波峰，半峰寬較窄，單色性較好。基于舌體顏色、物體顯色原理、光的三基色原理以及實驗驗證表明：15個純綠色LED光源下點刺最為突出。因此選其作為輔助光源，參數(shù)如表2所示。

表2　純綠色LED光源參數(shù)

采用Canon 600D相機作為圖像采集設(shè)備，參數(shù)設(shè)定如表3所示。經(jīng)由中醫(yī)專家觀察，在如上所述條件下，白光舌象色彩真實度最高，綠光舌象點刺最為明顯。

表3　相機參數(shù)

1.2舌象采集過程

采集本校10例具有明顯點刺特征的舌象，年齡20～24歲，身體健康。被試者面部放在開口10處，伸舌時盡量張口，上嘴唇略下壓，以充分暴露舌體，且避免舌側(cè)舌根出現(xiàn)陰影；舌體放松，舌面展平，舌尖略向下。拍攝時先采集白光舌象，再采集綠光舌象，兩種光源轉(zhuǎn)換的時間間隔為0.2 s。排除因熒光燈管響應(yīng)時間長，照度、色溫不穩(wěn)定等因素可能帶來的偏差。

2　點刺識別方法

為提取點刺并描述其所在區(qū)域和密集度，采用MATLAB2013b完成如圖2所示算法步驟。

圖2　算法流程圖

2.1舌體分割

Snakes動態(tài)輪廓模型因非常適合分割閉合物體，且以其在魯棒性、精確度、實用性等方面的優(yōu)勢，廣泛應(yīng)用于舌象分割領(lǐng)域。該算法的關(guān)鍵問題是外部能量的選取和初始輪廓的確定，并且傳統(tǒng)Snakes要求初始輪廓位于感興趣特征輪廓的外側(cè)［7-8］。初始輪廓是一組由直線首尾相連構(gòu)成的控制點，其數(shù)學(xué)表達(dá)式如下：

其中x（s）和y（s）表示圖像中每個控制點的橫縱坐標(biāo)位置，s是以傅里葉變換的形式描述邊界的自變量。

采用Snakes算法實現(xiàn)雙光源下兩種舌象的分割。白光舌象采用全自動的分割方法：選取HSV色彩空間H通道的色彩梯度為外部能量；對白光舌象進行色彩空間轉(zhuǎn)換、通道二值化、找凸包、內(nèi)輪廓填充、腐蝕膨脹、找嘴角暗區(qū)并去除暗區(qū)以上干擾等預(yù)處理，確定初始輪廓；再用Snakes算法進行舌體分割［9］。

綠光舌象因整體顏色單一，舌體與其它部位色差小，采取半自動的分割方法：手動標(biāo)記10個輪廓點，構(gòu)成封閉曲線，并以此為初始輪廓運用Snakes算法分割舌體。

2.2舌體配準(zhǔn)

目前圖像配準(zhǔn)方法可分為三類：基于灰度信息、基于變換域和基于圖像特征［10］。因每個人舌體差異較大，統(tǒng)一的特征不好確定，采用基于灰度信息的圖像配準(zhǔn)方法，主要包含定義相似性測度、尋找搜索空間、確定搜索策略三個步驟。

選取歸一化互信息衡量相似性程度，當(dāng)兩幅圖像達(dá)到最佳配準(zhǔn)，它們對應(yīng)像素的灰度互信息應(yīng)達(dá)到最大，其表達(dá)式為：

其中H（A）、H（B）、H（A，B）分別表示圖像A，B的熵以及聯(lián)合熵。人舌體伸出時會不自主性顫抖，但因拍攝間隔較短，得到的兩張圖像舌體差異不大，選擇仿射變換作為搜索空間。基于互信息的配準(zhǔn)方法是尋找兩幅圖像之間的互信息達(dá)到最大時的最佳變化參數(shù)，因此選用Powell算法［11］作為搜索策略，其是典型的最優(yōu)化算法，無需計算導(dǎo)數(shù)、形式簡單、搜索速度快，有較強的尋優(yōu)能力。

圖像配準(zhǔn)過程如下：①將均衡化后的白光、綠光舌象進行高斯低通濾波平滑，減少舌體內(nèi)部的特征差異，改善互信息曲面，一定程度上可以提高配準(zhǔn)精度；②利用灰度直方圖計算互信息量，并用Powell算法迭代找到互信息量最大時兩幅圖像之間的最優(yōu)變化參數(shù)；③將參數(shù)代入仿射變換矩陣，利用得到的變化矩陣對綠光舌象進行空間域仿射變化；④用PV插值算法進行重采樣，為配準(zhǔn)后的綠光舌象各像素點賦值；⑤計算配準(zhǔn)后兩幅圖像的歸一化互信息量，作為相似性的度量。

2.3點刺識別

2.3.1對比度增強

為了更好的提取點刺，利用形態(tài)學(xué)頂帽、底帽變化增強舌體圖像的對比度［12］。圖像f的頂帽變換定義為f減去其開操作：

其底帽變換定義為f的閉操作減去f：

將原始圖像與頂帽變換的結(jié)果相加，并減去底帽變換，可有效增強圖像對比度。

數(shù)學(xué)形態(tài)學(xué)運算的關(guān)鍵在于結(jié)構(gòu)元素尺寸和形狀的選?。?3］。點刺形狀多為圓形，選用圓盤形的結(jié)構(gòu)元素進行運算，同時設(shè)置不同的結(jié)構(gòu)元素大小，發(fā)現(xiàn)在半徑為10時，點刺的對比效果最好。

2.3.2點刺提取

因點刺與周圍區(qū)域相比反差較大，其灰度值明顯小于臨近區(qū)域，且其邊緣梯度較大，采用邊緣檢測法提取點刺。分別用 Roberts、Sobel、Prewitt、Log以及Canny算子進行點刺的邊緣檢測，結(jié)果表明Log算子對邊緣有很好的檢測效果，得到的邊緣連續(xù)、光滑，且所有的輪廓都趨于圓形，符合點刺的形狀特征，因此選用Log算子［14］提取點刺。

點刺提取過程如下：①找尋舌象的最大輪廓，即舌體輪廓；②對舌體輪廓內(nèi)部的像素進行高斯濾波去除噪聲點；③用Laplace算子計算二階導(dǎo)，尋找二階導(dǎo)的零交叉點；④在子像素分辨率水平上用線性插值方法估計邊緣的位置。

2.3.3偽點刺排除

由于點刺形狀一般接近圓形，對上述所得到的輪廓進行圓形度檢測，排除與圓形相差較大的輪廓，同時進一步消除可能是噪聲產(chǎn)生的較小輪廓。圓形度由面積率來定義：

其中S是輪廓的實際面積，即輪廓線所包圍的像素點數(shù)；C是輪廓最小外接圓面積。最小外接圓的計算如下：①從每個輪廓上隨機選出兩點，以此為直徑做圓；②判斷該輪廓上下一點P是否在圓內(nèi)，若在則繼續(xù)步驟，不在則進行第3步；③使用P作為新圓的一個邊界點，另一個點為圓上距離P最遠(yuǎn)的點，以這兩點為直徑構(gòu)造新圓；④繼續(xù)步驟②，直到遍歷完輪廓上所有點。

在計算面積率之前，需要計算輪廓的實際面積，當(dāng)面積小于6個像素點時，認(rèn)為其是噪聲產(chǎn)生的干擾點，消除此輪廓；若面積符合需要再進行面積率計算。

根據(jù)點刺特性及實際測算，求得可能范圍內(nèi)點刺提取正確率最高的圓形度閾值，滿足個體差異性。消除圓形度較小，且輪廓質(zhì)心顏色分量不滿足R＞190，B＞G，B＜150的輪廓。排除邊緣檢測時，緊挨著的點刺邊緣合為一體，得到的輪廓圓形度較小而被判為偽點刺的情況。

2.3.4點刺定量分析

在提取出點刺的同時，還需描述其所在區(qū)域和密集度。

中醫(yī)將舌劃分為舌根、舌中、舌尖、舌側(cè)五個部分［15］，如圖3所示。通常人舌的人字界在伸出時不易看到，圖像采集與舌體分割后也很難得到，因此認(rèn)為前1/4為舌尖，中間2/4為舌中，后1/4為舌根。

舌體是一個凸多邊形的近似，且多為對稱型，為了能將舌體較均勻的劃分，需先找到舌體的中軸線。采用平行線法提取舌體中軸線并劃分舌區(qū)域，其過程如下：①提取舌體凸包，即包圍舌體的最小凸多邊形；②尋找凸包的最小外界矩形，并利用矩形與水平軸的旋轉(zhuǎn)角度對歪斜舌進行旋轉(zhuǎn)修正，使舌體根部水平；③利用平行線法尋找中軸線點集，此時的中軸線不一定是直線；④用Hough變換做直線擬合，對舌體中軸線進行修正，獲取其位置；⑤結(jié)合最小外接矩形長、寬，將舌體進行區(qū)域劃分。

根據(jù)舌面分區(qū)結(jié)果，以點刺輪廓質(zhì)心落入舌面區(qū)域為原則，統(tǒng)計舌尖、舌中、舌根和舌側(cè)各區(qū)域內(nèi)點刺的個數(shù)［16］。

圖3　舌面分區(qū)

3　實驗結(jié)果及分析

采集本校學(xué)生10例舌象，運用所述方法進行點刺識別。因舌苔包圍的點刺較易識別，特選擇兩組薄苔舌象分步顯示處理結(jié)果。

從圖4配準(zhǔn)前后綠光舌象效果對比，以及歸一化互信息由0.56升至0.67可以看出所述配準(zhǔn)方法是有效的。

圖4　配準(zhǔn)前后綠光舌象效果對比

利用所述方法實現(xiàn)對比度增強和偽點刺排除，效果如圖5、圖6所示。點刺部分像素值更低，接近黑色，與周圍部分差異明顯；與圓形狀相差較大且不滿足顏色分量的輪廓已被剔除，并且較小的輪廓亦不存在。

圖5　對比度增強前后綠光舌象效果對比

圖6　偽點刺排除前后Log邊緣檢測效果對比

白光舌象分割效果如圖7所示，舌體分割良好。白光舌象、綠光舌象上分別提取點刺，并均顯示在白光舌象上，效果如圖8、圖9所示。結(jié)果表明綠光舌象上點刺提取效果更好，大部分的點刺都能被準(zhǔn)確檢測，尤其是舌苔包圍的點刺。因為其與舌苔顏色上存在差異，綠光舌象中對比明顯，經(jīng)過圖像增強點刺的邊緣梯度進一步增加，提高了這些點刺的檢出率。

圖7　白光舌象分割效果圖

圖8　白光舌象點刺提取效果圖

圖9　綠光舌象點刺提取效果圖

利用所述平行線法提取舌中軸線并輔以Hough變換進行直線擬合修正，圖10顯示不同參數(shù)下擬合效果。白線為平行線法提取舌中軸線，紅線是Hough變換擬合后得到的舌中軸線。變換半徑ρ=1，變換角度θ=10時效果最好，ρ、θ過大或過小都只能擬合出部分直線。圖11顯示ρ=1，θ=10時舌中軸線提取效果。

圖10　不同參數(shù)下Hough直線擬合效果圖

圖11　舌中軸線

白光舌象上實現(xiàn)點刺特征的中醫(yī)師視覺識別和計算機程序識別，綠光舌象上實現(xiàn)點刺特征的計算機程序識別，顯示其點刺提取和定量分析結(jié)果。

表4、表5以樣本為對象，對比每個樣本白光舌象和綠光舌象上點刺專家計數(shù)和算法正確計數(shù)結(jié)果，平均提取正確率分別為61.65%和88.47%。應(yīng)用Spss 20.0統(tǒng)計分析軟件，兩種光源下點刺提取結(jié)果的比較采用單因素方差分析法（one-way ANOVA），P=4.33×10-11?0.05，認(rèn)為差異具有統(tǒng)計學(xué)意義，即樣本點刺平均提取正確率的提高是因使用綠色光源。同一舌象3次拍攝點刺提取結(jié)果的比較采用CronbachAlpha模型，α＞0.99，認(rèn)為該方法可重復(fù)性好。

表4　白光舌象點刺提取結(jié)果

表5　綠光舌象點刺提取結(jié)果

按中醫(yī)習(xí)慣將舌體劃分為5個區(qū)域，并需確定每個點刺所在區(qū)域。表6以舌體區(qū)域為對象，對比每個區(qū)域點刺專家計數(shù)和算法正確計數(shù)結(jié)果。數(shù)據(jù)表明舌中舌根點刺識別率更高，因為其多有舌苔附著，舌苔色彩與點刺差異較大，更易識別。

實驗結(jié)果亦表明專家計數(shù)和算法正確計數(shù)之間存在一定的差異，分析原因如下：其一，同一專家3次點刺提取結(jié)果的比較α=0.95；3名專家對同一舌象點刺提取結(jié)果的比較α=0.86，認(rèn)為視覺識別缺乏恒定標(biāo)準(zhǔn)，導(dǎo)致識別結(jié)果有所差異。其二，集中在舌尖紅處的點刺與舌質(zhì)差異較小，部分點刺未能正確提取。

表6　綠光舌象點刺定量分析結(jié)果

4　結(jié)論

將計算機圖像分析技術(shù)應(yīng)用于舌診，有效的避免因人視覺的不穩(wěn)定性等因素造成的結(jié)果差異。本文論述了基于輔助光源的舌象點刺識別方法研究，該光源下采集到的舌象點刺對比度更高。對10例舌象實現(xiàn)Snakes算法舌體分割、基于互信息的圖像配準(zhǔn)、Log邊緣檢測以及平行線等方法識別點刺。結(jié)果表明同樣算法下綠光舌象點刺提取正確率在88%左右，約高于白光舌象27%；實現(xiàn)點刺的自動區(qū)域定位及計數(shù)。點刺計算機程序識別與中醫(yī)師視覺識別有著較好的符合，說明該方法能夠有效解決點刺自動識別問題，為疾病診斷提供了重要的信息。

為了更好的滿足臨床需求，未來的研究方向如下：其一，結(jié)合更加符合點刺視覺特征的定義，改進系統(tǒng)優(yōu)化算法，提高點刺提取的正確率；其二，基于輔助光源提取舌象的多種生理病理特征參數(shù)，用于疾病的早期發(fā)現(xiàn)及診斷。

［1］衛(wèi)保國.中醫(yī)舌象分析中彩色重現(xiàn)與紋理形態(tài)分析的研究［D］.北京：北京工業(yè)大學(xué)，2003.

［2］朱文鋒.中醫(yī)診斷學(xué)［M］.北京：中國中醫(yī)藥出版社，2011：233-242.

［3］夏雨.基于機器視覺的望診分析系統(tǒng)研究［D］.上海：華東理工大學(xué)，2014.

［4］何苗，王寬全，劉春雨.基于Gabor小波和特征加權(quán)的紅刺舌象分類［J］.現(xiàn)代生物醫(yī)學(xué)進展，2007，7（11）：1714-1717.

［5］李慶利，薛永祺，王建宇，等.高光譜成像系統(tǒng)在中醫(yī)舌診中的應(yīng)用研究［J］.紅外與毫米波學(xué)報，2006，25（6）：465-468.

［6］朱穆朗瑪，燕海霞，錢鵬，等.基于圖像信息采集的中醫(yī)舌診儀器硬件設(shè)計研究進展［J］.世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化，2014，16（2）：433-437.

［7］Shan H，Ma J.Curvelet-Based Geodesic Snakes for Image Segmentation with Multiple Objects［J］.Pattern Recognition Letters，2010，31（5）：355-360.

［8］葉希鵬，徐偉棟，楊勇，等.乳腺MRI圖像腫塊分割的分段比較與方法研究［J］.傳感技術(shù)學(xué)報，2015，28（3）：387-395.

［9］Shi M，Li G，Li F.Snake：Automatic Tongue Image Segmentation Utilizing Prior Knowledge［J］.Science China Information Sciences，2013，56（9）：1-14.

［10］Manjusha P，Deshmukh U B.A Survey of Image Registration［J］.International Journal of Image，2011，5（3）：245-269.

［11］Gao W，Liu S，Huang L.A Novel Artificial Bee Colony Algorithm with Powell’s Method［J］.Applied Soft Computing，2013，13（9）：3763-3775.

［12］孫亞杰，高藝，薛瑤環(huán)，等.相控陣超聲監(jiān)測成像與直方圖匹配圖像增強實驗研究［J］.傳感技術(shù)學(xué)報，2015，28（1）：86-92.

［13］肖梅，韓崇昭，張雷.基于多尺度輪廓結(jié)構(gòu)元素的數(shù)學(xué)形態(tài)學(xué)邊緣檢測［J］.西安交通大學(xué)學(xué)報，2005，39（6）：659-660.

［14］Abderrahim E，Xavier D，Zakaria L，et al.Nonlocal Infinity Laplacian Equation on Graphs with Applications in Image Processing and Machine Learning［J］.Mathematics and Computers in Simulation，2014，102：153-163.

［15］劉毅，陸小左.中華舌診觀止［M］.北京：中國中醫(yī)藥出版社，2015：138-145.

［16］沈蘭蓀，蔡軼珩，張新峰.中醫(yī)舌象的采集與分析［M］.北京：北京工業(yè)大學(xué)出版社，2007：245-24.

王學(xué)民（1961-），男，1985年于天津醫(yī)學(xué)院獲得學(xué)士學(xué)位，1998年于天津大學(xué)獲得博士學(xué)位，現(xiàn)為天津大學(xué)副教授，主要研究方向為人體信息檢測，經(jīng)顱磁場分布及腦認(rèn)知，具體側(cè)重醫(yī)學(xué)成像、分析儀器的研究，利用工程的方法詮釋生物信息的研究等方面，xueminw@tju.edu.cn；

王瑞云（1992-），女，2015年于天津大學(xué)獲得學(xué)士學(xué)位，現(xiàn)為天津大學(xué)在讀碩士研究生，研究方向為基于輔助光源的舌診客觀化研究，wangruiyun@tju.edu.cn；

周鵬（1978-），男，于天津大學(xué)獲得博士學(xué)位，現(xiàn)為天津大學(xué)副教授。主要研究方向為神經(jīng)工程、腦認(rèn)知、醫(yī)學(xué)圖像和信息處理等，zpzp@tju.edu.cn。

A Research about Tongue-Prickled Recognition Method Based on Auxiliary Light Source*

WANG Xueming1，2，WANG Ruiyun1，GUO Dan1，LU Xiaozuo3，ZHOU Peng1，2*
（1.School of Precision Instruments and Optical Electronics Engineering，Tianjin University，Tianjin 300072，China；2.Tianjin Key Laboratory of Biomedical Detecting Techniques&Instruments，Tianjin 300072，China；3.College of Traditional Chinese Medicine，Tianjin University of Traditional Chinese Medicine，Tianjin 300193，China）

Prickle’s growing area and density in different areas have important disease diagnosis value in Traditional Chinese Medicine’s tongue inspection.Prickle automatic recognition is the key and difficulty to achieve tongue inspection objective diagnosis.Contrapose the problem existing prickled recognition methods have low recognition rate and narrow adaptability，put forward a novel method to recognize prickle based on auxiliary light source.10 tongue images were collected under standard white light source and pure green light source.Tongue bodies were segmented and registered in white images and green images.Prickles were extracted in green images and showed in white images.In contrast to expert recognition rate，algorithm automatic extraction accuracy could reach about 88.47%.And prickles could be automatically located and counted in different areas.The processing result shows the presented method can attain high prickled recognition rate，realize accurately automatic quantitative analysis and then provide important diagnostic information for multiple diseases.

tongue inspection of TCM；prickle recognition；image segmentation；image registered；pure green LED

TP391.5

A

1004-1699（2016）10-1553-07

項目來源：國家“十二五”支撐計劃項目（2012BAI25B05）

2016-04-08修改日期：2016-06-24