宋 超，王 斌，許家佗

(1.南京財(cái)經(jīng)大學(xué)信息工程學(xué)院，江蘇 南京 210023；2.上海中醫(yī)藥大學(xué)基礎(chǔ)醫(yī)學(xué)院，上海 201203)

1 引言

中醫(yī)講究“望、聞、問(wèn)、切”，而舌診作為中醫(yī)望診中一個(gè)重要組成部分，在中醫(yī)臨床診斷中起著重要的作用。舌診是指醫(yī)生通過(guò)觀察患者的舌質(zhì)和舌苔形態(tài)的變化來(lái)判斷診查病癥的方法。舌象指的是舌的表象，從計(jì)算機(jī)的角度來(lái)看就是舌體圖像的特征信息，一般可以觀察到的舌象種類有舌色、舌苔、裂紋、點(diǎn)刺和瘀點(diǎn)等。

傳統(tǒng)中醫(yī)舌診過(guò)程是醫(yī)生通過(guò)肉眼觀察舌體的形態(tài)特征加以診斷，所以經(jīng)常受環(huán)境因素和醫(yī)生主觀經(jīng)驗(yàn)的影響，難以達(dá)到標(biāo)準(zhǔn)化和客觀化。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，人們嘗試通過(guò)計(jì)算機(jī)技術(shù)來(lái)解決中醫(yī)診斷客觀化問(wèn)題?；谟?jì)算機(jī)技術(shù)的舌象分類方法主要由2部分組成：舌體分割和舌象識(shí)別。傳統(tǒng)方法對(duì)舌體的分割多采用手工或閾值法等方式，在面對(duì)大量數(shù)據(jù)時(shí)會(huì)耗費(fèi)很大的成本，所以如何精確高效地將舌體部分從大量面部圖像中分割出來(lái)存在一定的困難。同時(shí)，傳統(tǒng)的舌象分類方法是從舌體的顏色和紋理等特征入手，通過(guò)統(tǒng)計(jì)學(xué)的方法進(jìn)行特征分類，這些分類方法存在準(zhǔn)確度低、泛化能力差的問(wèn)題。如何更加精確地進(jìn)行舌象特征分類是推進(jìn)中醫(yī)舌診標(biāo)準(zhǔn)化和客觀化的一個(gè)亟需解決的問(wèn)題。

自Hinton等[1]提出深度信念網(wǎng)絡(luò)的概念，深度學(xué)習(xí)一直是研究者們研究的熱點(diǎn)。2012年，Krizhevsky等[2]在ImageNet大賽上提出了AlexNet并獲得冠軍，再次證明深度學(xué)習(xí)在圖像識(shí)別與分類任務(wù)中的表現(xiàn)優(yōu)異。而之后出現(xiàn)的深度網(wǎng)絡(luò)如VGG(Visual Geometry Group Network)[3]、GoogLeNet[4,5]和殘差網(wǎng)絡(luò)ResNet(Residual Network)[6]在圖像識(shí)別的能力都已經(jīng)接近甚至超越了人類。隨著深度學(xué)習(xí)的發(fā)展，各種各樣的深度學(xué)習(xí)框架被研發(fā)出來(lái)，包括 TensorFlow[7]、Theano[8]、Cuda-Convnet[9]、Caffe[10]和Torch[11]等。近年來(lái)，一些學(xué)者嘗試將深度學(xué)習(xí)應(yīng)用于醫(yī)學(xué)圖像分析，如將深度學(xué)習(xí)應(yīng)用于腫瘤檢測(cè)任務(wù)，在腫瘤的預(yù)防、早期發(fā)現(xiàn)、診斷和干預(yù)、預(yù)后評(píng)估等方面都取得了成果[12]。

本文重點(diǎn)研究用深度學(xué)習(xí)解決中醫(yī)舌象特征分類問(wèn)題，以提高中醫(yī)舌象的機(jī)器識(shí)別性能，促進(jìn)中醫(yī)自動(dòng)診療技術(shù)的發(fā)展。值得指出的是，盡管深度學(xué)習(xí)已成功應(yīng)用于許多領(lǐng)域，但是醫(yī)學(xué)圖像本身樣本數(shù)量不足的問(wèn)題阻礙了深度學(xué)習(xí)方法在醫(yī)學(xué)圖像分析領(lǐng)域的應(yīng)用。針對(duì)傳統(tǒng)舌體分割方法費(fèi)時(shí)費(fèi)力以及深度學(xué)習(xí)在小樣本數(shù)據(jù)上分類效果差的問(wèn)題，本文提出了一種基于深度遷移學(xué)習(xí)的舌象分類方法，即通過(guò)基于LBP(Local Binary Pattern)特征[13]的級(jí)聯(lián)分類器[14]的方法來(lái)實(shí)現(xiàn)舌體的自動(dòng)定位分割，再在不同的卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)，實(shí)現(xiàn)對(duì)不同舌象特征的分類識(shí)別，達(dá)到了94%以上的準(zhǔn)確度。

本文的主要?jiǎng)?chuàng)新與貢獻(xiàn)有如下幾點(diǎn)：(1)雖然已有工作將深度學(xué)習(xí)方法應(yīng)用于舌象特征分類問(wèn)題，但由于舌象樣本的稀缺所帶來(lái)的訓(xùn)練樣本不足的問(wèn)題，該類方法的分類性能并不理想。本文首次提出用深度遷移學(xué)習(xí)的方法來(lái)進(jìn)行舌象特征分類，有效地克服了訓(xùn)練樣本不足的局限性，大幅提升了分類性能。(2)舌體目標(biāo)的定位是舌象分類的重要一環(huán)，為提高分類準(zhǔn)確度，在現(xiàn)有的舌象分類方法中，為了提高分類的準(zhǔn)確度，一般采用手工定位的方式，從而不能達(dá)到舌象分類的全自動(dòng)化。而傳統(tǒng)的圖像分割方法在應(yīng)用于舌體分割時(shí)，其分割效果依賴于大量的參數(shù)設(shè)置和圖像質(zhì)量，且計(jì)算復(fù)雜，不具有穩(wěn)定性和魯棒性。本文首次提出用基于級(jí)聯(lián)分類器的機(jī)器學(xué)習(xí)方法來(lái)實(shí)現(xiàn)舌體目標(biāo)的精確定位，保證了舌象分類的準(zhǔn)確度，減少了舌象分類系統(tǒng)的人工干預(yù)。(3)跟其它醫(yī)學(xué)圖像一樣，舌象數(shù)據(jù)也存在稀缺性的問(wèn)題，在樣本采集過(guò)程中會(huì)出現(xiàn)樣本量不足的情況。而本文建立了一個(gè)有2 245幅圖像的舌象數(shù)據(jù)庫(kù)，用于舌象特征分類的研究。數(shù)據(jù)庫(kù)中的圖像從專門中醫(yī)診療機(jī)構(gòu)采集，并由專家標(biāo)定。

2 相關(guān)工作

舌象分類主要分為舌體分割和舌象識(shí)別2個(gè)階段，其中傳統(tǒng)的舌體分割方法主要依據(jù)舌體的顏色、紋理和形狀等特征進(jìn)行目標(biāo)分割。有效分割的舌體圖像數(shù)據(jù)是提升舌象識(shí)別準(zhǔn)確率的前提條件，而舌象識(shí)別算法的設(shè)計(jì)又是決定識(shí)別準(zhǔn)確率的關(guān)鍵。

舌體圖像分割的主要任務(wù)是將舌體部位從人的臉部、嘴巴及牙齒等背景中分割出來(lái)，對(duì)分割后的舌象區(qū)域進(jìn)行特征提取，可以有效地提升分類準(zhǔn)確度。傳統(tǒng)的舌體定位分割方法有GrabCut[15]、Otsu閾值法[16]和圖論法[17]。舌體與相鄰區(qū)域(尤其是嘴唇)之間有著相似的顏色特征，傳統(tǒng)方法通常僅使用單一的顏色分量和先驗(yàn)知識(shí)來(lái)進(jìn)行舌體分割，這導(dǎo)致了分割結(jié)果的不穩(wěn)定與不準(zhǔn)確。為了解決這一問(wèn)題，結(jié)合稀疏表示和顏色分解等技術(shù)的舌象分割方法相繼出現(xiàn)[18,19]。

2003年，許家倫等[20]為探討舌診客觀化的方法，應(yīng)用灰度差分統(tǒng)計(jì)方法，結(jié)合對(duì)比度(CON)、角度方向二階矩(ASM)、熵(ENT)、平均值(MEAN)4個(gè)參數(shù)對(duì)舌象紋理進(jìn)行識(shí)別。2006年，張衡翔等[21]提出把HSV顏色空間中極坐標(biāo)系的H、S分量轉(zhuǎn)化為直角坐標(biāo)系的X、Y分量，并以此作為顏色特征，比較了這2種顏色特征表達(dá)方法對(duì)分類結(jié)果的影響，實(shí)驗(yàn)結(jié)果表明，(X，Y，V)顏色特征表示方法具有更好的分類效果。

近年來(lái)隨著計(jì)算機(jī)設(shè)備的更新和互聯(lián)網(wǎng)技術(shù)的進(jìn)步，人工智能得到快速發(fā)展，目前在醫(yī)學(xué)影像學(xué)和臨床診斷領(lǐng)域取得了一定成果。2000年，王愛(ài)民等[22]提出了基于學(xué)習(xí)矢量量化LVQ(Learning Vector Quantization)神經(jīng)網(wǎng)絡(luò)分類器，實(shí)現(xiàn)了舌象分析中的舌色、苔色自動(dòng)分類。在分類器的設(shè)計(jì)中，提出了基于“2σ”準(zhǔn)則的訓(xùn)練樣本篩選方法，有效提高了分類準(zhǔn)確率。2007年，肖洪濤等[23]分析了現(xiàn)有舌象顏色分析方法的不足之處，設(shè)計(jì)了基于像素的舌顏色分類系統(tǒng)結(jié)構(gòu)，提出了一個(gè)基于半監(jiān)督學(xué)習(xí)的像素分類算法，解決了基于像素的苔色質(zhì)色分布模型的建立問(wèn)題。同年，張新峰等[24]采用一種基于粗糙集與支撐向量機(jī)概率輸出相結(jié)合的方法研究中醫(yī)舌象的多特征融合。

本文提出的方法與上述方法不同:(1)在舌體分割方面,本文提出了一種基于LBP特征的級(jí)聯(lián)分類器方法來(lái)實(shí)現(xiàn)舌體區(qū)域的自動(dòng)定位分割，有效避免了傳統(tǒng)分割方法針對(duì)不同數(shù)據(jù)需要單獨(dú)提取圖像特征的問(wèn)題；同時(shí)也提升了方法的穩(wěn)定性和性能，自動(dòng)化程度高，在面對(duì)不同環(huán)境下采集的舌體圖像定位分割任務(wù)時(shí)魯棒性較高。(2)在舌體分類方面,為了解決傳統(tǒng)舌體分類方法識(shí)別率較低以及深度學(xué)習(xí)方法所需要的大樣本數(shù)據(jù)的困難，本文采用深度遷移學(xué)習(xí)的方法來(lái)解決中醫(yī)舌象特征分類的問(wèn)題，在拓寬深度學(xué)習(xí)的應(yīng)用范圍的同時(shí)進(jìn)一步提高了智能中醫(yī)舌象分類的準(zhǔn)確度。

3 舌體圖像預(yù)處理

通過(guò)圖像采集設(shè)備獲取的人的面部原始圖像，除含有舌體目標(biāo)外,還有其他跟舌體目標(biāo)無(wú)關(guān)的信息，如圖1所示。因此，本文提出一種基于LBP特征的級(jí)聯(lián)分類器的舌體區(qū)域自動(dòng)定位分割方法。

Figure 1 Original tongue images圖1 舌體原始圖像數(shù)據(jù)

3.1 LBP特征描述算子

局部二值模式LBP是一種用來(lái)描述圖像局部紋理特征的算子，LBP特征描述的是圖像在局部范圍內(nèi)對(duì)應(yīng)的紋理信息，如圖2所示，它具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)勢(shì)。由于舌體在紋理上與面部的其他器官有著顯著的區(qū)別，所以本文通過(guò)提取原始圖像的LBP特征來(lái)對(duì)舌體圖像進(jìn)行特征提取。

Figure 2 Tongue image and LBP feature extraction effect圖2 舌體圖像及其LBP特征提取效果圖

原始的LBP算子定義在3×3的區(qū)域內(nèi)，以區(qū)域中心像素為閾值，相鄰的8個(gè)像素的灰度值與區(qū)域中心的像素值進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0。這樣，3×3區(qū)域內(nèi)的8個(gè)點(diǎn)經(jīng)過(guò)比較可產(chǎn)生8位二進(jìn)制數(shù)，將這8位二進(jìn)制數(shù)依次排列形成一個(gè)二進(jìn)制數(shù)字，這個(gè)二進(jìn)制數(shù)字就是中心像素的LBP值。中心像素的LBP值反映了該像素周圍區(qū)域的紋理信息。

LBP算子的公式如式(1)所示：

(1)

其中，(xc,yc)為中心像素的坐標(biāo)，p為區(qū)域中的第p個(gè)像素，ic是中心像素的灰度值，ip為鄰域像素的灰度值，s(x)為符號(hào)函數(shù)，具體定義如式(2)所示：

(2)

3.2 基于LBP特征的級(jí)聯(lián)分類器

為了降低人工提取舌體特征進(jìn)行目標(biāo)檢測(cè)的成本，實(shí)現(xiàn)舌體部位的自動(dòng)定位分割，本文提出將LBP特征與AdaBoost(Adaptive Boosting)算法相結(jié)合，組合成一個(gè)篩選式的級(jí)聯(lián)分類器對(duì)舌體圖像像素進(jìn)行二分類。

本文提出的級(jí)聯(lián)分類器工作流程為：將舌體部分標(biāo)定為正樣本，非舌體部位標(biāo)定為負(fù)樣本，訓(xùn)練級(jí)聯(lián)分類器，生成強(qiáng)分類器。然后通過(guò)小窗口在目標(biāo)圖像上不斷地滑動(dòng)，每滑動(dòng)到一個(gè)位置，就對(duì)該小窗口內(nèi)的區(qū)域進(jìn)行特征提取，設(shè)置大小為50×50的最小窗口和大小為300×300的最大窗口，按1.1倍的比例遞增地對(duì)小窗口進(jìn)行增大，以獲取不同區(qū)域的圖像特征。若提取的特征通過(guò)了訓(xùn)練好的強(qiáng)分類器的判定，則判定該小窗口所在的區(qū)域中含有舌體部分。最終將檢測(cè)到的舌體區(qū)域分割出來(lái)。具體流程如圖3所示。

Figure 3 Workflow of cascade classifier圖3 級(jí)聯(lián)分類器工作流程

本文選取了預(yù)先截取好的300幅舌體區(qū)域圖像作為正樣本和1 000幅不包含舌體區(qū)域的圖像作為負(fù)樣本，其中正樣本圖像的像素統(tǒng)一為40×40，負(fù)樣本圖像大小不一。

通過(guò)以下幾個(gè)指標(biāo)來(lái)評(píng)判分類器的性能：

(3)

(4)

(5)

(6)

其中,TP表示正樣本被正確檢測(cè)的數(shù)量，F(xiàn)N表示正樣本被漏檢的數(shù)量，TN表示負(fù)樣本被正確檢測(cè)的數(shù)量，F(xiàn)P表示負(fù)樣本被誤檢的數(shù)量；precision表示精度，即所有被檢測(cè)到的目標(biāo)中正樣本所占的比例；recall表示召回率，度量檢測(cè)器對(duì)正樣本的通過(guò)能力，越接近1越好；hitRate表示命中率，定義與召回率recall相同；falseAlarmRate表示誤檢率，表示負(fù)樣本被誤檢為目標(biāo)的概率。在訓(xùn)練分類器時(shí)，需要設(shè)定hitRate的最小值和falseAlarmRate的最大值，以保證訓(xùn)練具有較高的效率。本文將minHitRate設(shè)定為0.999，maxFalseAlarmRate設(shè)定為0.2。在進(jìn)行舌體定位分割實(shí)驗(yàn)之前，本文預(yù)先將原始圖像的長(zhǎng)和寬均縮小10倍，以適配級(jí)聯(lián)分類器訓(xùn)練產(chǎn)生的模型。

4 基于深度遷移學(xué)習(xí)的舌象特征分類方法

對(duì)舌體區(qū)域進(jìn)行目標(biāo)檢測(cè)的預(yù)處理后，用深度學(xué)習(xí)的方法來(lái)提取舌體區(qū)域的特征。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)依賴大規(guī)模的數(shù)據(jù)樣本，這為數(shù)據(jù)準(zhǔn)備和模型訓(xùn)練2個(gè)階段都帶來(lái)了巨大的困難。在某些特殊的領(lǐng)域，數(shù)據(jù)不足更是不可避免的，比如醫(yī)學(xué)圖像，很多疾病的案例本身就比較特殊，能采集到的數(shù)據(jù)比較少，而做好標(biāo)簽的醫(yī)學(xué)圖像數(shù)據(jù)就更加難以獲取。為了解決因樣本量不足而帶來(lái)的深度網(wǎng)絡(luò)無(wú)法提取到有效特征的問(wèn)題，本文提出通過(guò)改進(jìn)3種不同的具有代表性的卷積神經(jīng)網(wǎng)絡(luò)(Inception_v3、ResNet18和ResNet50)并分別進(jìn)行深度遷移學(xué)習(xí)訓(xùn)練來(lái)實(shí)現(xiàn)舌象特征的分類，如圖4所示。

Figure 4 Flow chart of tongue feature classification圖4 舌象特征分類流程圖

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中，卷積層和池化層是順序連接的。通常有2種方式提高神經(jīng)網(wǎng)絡(luò)的性能，即增加網(wǎng)絡(luò)的深度和寬度。其中，深度指的是網(wǎng)絡(luò)層次數(shù)量，寬度指的是網(wǎng)絡(luò)中神經(jīng)元的數(shù)量。舌象數(shù)據(jù)具有豐富的特征，因此需要一個(gè)足夠深的神經(jīng)網(wǎng)絡(luò)來(lái)提取舌體圖像上的特征。但是，隨著網(wǎng)絡(luò)深度的增加會(huì)產(chǎn)生以下問(wèn)題：(1)參數(shù)過(guò)多，在訓(xùn)練集有限的情況下，很容易產(chǎn)生過(guò)擬合；(2)網(wǎng)絡(luò)越大、參數(shù)越多，計(jì)算的復(fù)雜度就越大，使得網(wǎng)絡(luò)本身難以應(yīng)用；(3)網(wǎng)絡(luò)越深，容易出現(xiàn)梯度彌散的問(wèn)題。

為了解決上述問(wèn)題，本文選取了Inception_v3、ResNet18和ResNet50 3種不同的神經(jīng)網(wǎng)絡(luò)，它們既擁有較深的網(wǎng)絡(luò)層次，可以提取足夠豐富的圖像特征，同時(shí)它們又具有不同的網(wǎng)絡(luò)優(yōu)化策略，可以進(jìn)一步提升網(wǎng)絡(luò)的性能。

4.1 用于遷移學(xué)習(xí)的3種深度神經(jīng)網(wǎng)絡(luò)

為了在增加網(wǎng)絡(luò)深度和寬度的同時(shí)能夠減少參數(shù)，GoogLeNet團(tuán)隊(duì)提出了Inception網(wǎng)絡(luò)結(jié)構(gòu)，即構(gòu)造一種“基礎(chǔ)神經(jīng)元”結(jié)構(gòu)來(lái)搭建一個(gè)具有稀疏性且具有高計(jì)算性能的網(wǎng)絡(luò)。如圖5所示，Inception模塊由4個(gè)主要結(jié)構(gòu)組成：1×1卷積核、3×3卷積核、5×5卷積核和3×3池化，核心思想是通過(guò)多個(gè)卷積核提取圖像不同尺度的信息，最后進(jìn)行融合，從而得到圖像更好的表征。

Figure 5 Inception module圖5 Inception模塊

由級(jí)聯(lián)分類器定位分割的舌體圖像中，舌體部分占整幅圖像的比例不定，會(huì)干擾神經(jīng)網(wǎng)絡(luò)對(duì)舌象特征的學(xué)習(xí)訓(xùn)練，而Inception_v3網(wǎng)絡(luò)采用不同的卷積核來(lái)代替單一的卷積核，可以提取不同尺度的圖像信息，有效地避免了因舌體在圖像中所占比例的不同而帶來(lái)的識(shí)別準(zhǔn)確度下降的問(wèn)題。

與Inception_v3相似，ResNet也是一種較深的網(wǎng)絡(luò)結(jié)構(gòu)，如圖6所示，但與Inception_v3采用多種卷積核提取不同尺度信息不一樣，殘差網(wǎng)絡(luò)利用殘差模塊的思想來(lái)解決隨著網(wǎng)絡(luò)加深，網(wǎng)絡(luò)準(zhǔn)確度反而下降的問(wèn)題。殘差網(wǎng)絡(luò)借鑒了Highway Network思想，相當(dāng)于開(kāi)了個(gè)“捷徑”使得輸入矩陣X可以直達(dá)輸出，優(yōu)化的目標(biāo)由原來(lái)的擬合輸出變成輸出和輸入的差。因此，殘差網(wǎng)絡(luò)可以很好地解決隨著網(wǎng)絡(luò)層數(shù)的加深而導(dǎo)致網(wǎng)絡(luò)退化的問(wèn)題。

Figure 6 Residual module圖6 殘差模塊

殘差網(wǎng)絡(luò)主要有5種不同深度的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，深度分別為18，34，50，101，152層。這些殘差網(wǎng)絡(luò)不僅在網(wǎng)絡(luò)深度上不同，在網(wǎng)絡(luò)結(jié)構(gòu)上也有區(qū)別，它們由不同的基本模塊構(gòu)成。其中ResNet18和ResNet34由BasicBlock(如圖7a所示)組成，而ResNet50及更深的殘差網(wǎng)絡(luò)由BottleNeck(如圖7b所示)組成。與BasicBlock不同，BottleNeck分別使用1×1,3×3和1×1的卷積核來(lái)壓縮維度、卷積處理和恢復(fù)維度，因?yàn)殡S著網(wǎng)絡(luò)層數(shù)的加深，需要考慮網(wǎng)絡(luò)模型的計(jì)算效率，而引用BottleNeck結(jié)構(gòu)可以有效節(jié)省網(wǎng)絡(luò)的計(jì)算成本。

Figure 7 BasicBlock and BottleNeck圖7 BasicBlock和BottleNeck

這3種深度神經(jīng)網(wǎng)絡(luò)不僅在網(wǎng)絡(luò)深度上有所不同，在網(wǎng)絡(luò)結(jié)構(gòu)上也有著各自的優(yōu)化策略。因此，本文通過(guò)改進(jìn)這3種網(wǎng)絡(luò)來(lái)進(jìn)行舌象特征分類的深度遷移學(xué)習(xí)訓(xùn)練，既驗(yàn)證了不同的網(wǎng)絡(luò)在解決舌象特征分類問(wèn)題上的有效性，也分析了神經(jīng)網(wǎng)絡(luò)的深度對(duì)分類準(zhǔn)確度的影響。

4.2 基于深度遷移學(xué)習(xí)的舌象特征分類方法

本文將深度遷移學(xué)習(xí)和舌象特征分類問(wèn)題相結(jié)合，通過(guò)改進(jìn)上述3種不同的神經(jīng)網(wǎng)絡(luò)，提出了基于深度遷移學(xué)習(xí)的舌象特征分類方法。將經(jīng)過(guò)分割后的舌體圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，再用不同的深度神經(jīng)網(wǎng)絡(luò)對(duì)舌象特征進(jìn)行提取，最后訓(xùn)練生成舌象特征分類模型，實(shí)現(xiàn)對(duì)3種不同舌象特征的分類預(yù)測(cè)。本文將深度遷移學(xué)習(xí)應(yīng)用于舌象特征分類問(wèn)題，有效避免了因樣本量不足導(dǎo)致分類模型性能下降的問(wèn)題，提高了網(wǎng)絡(luò)模型的穩(wěn)定性和分類準(zhǔn)確度。

Figure 8 Tongue feature classification based on deep transfer learning圖8 基于深度遷移學(xué)習(xí)的舌象特征分類

本文選取的3種深度神經(jīng)網(wǎng)絡(luò)有不同的網(wǎng)絡(luò)優(yōu)化設(shè)計(jì)，能夠?qū)D像數(shù)據(jù)進(jìn)行有效的特征提取。但由于本文選取的舌體圖像數(shù)據(jù)集與原網(wǎng)絡(luò)使用的ImageNet數(shù)據(jù)集在樣本規(guī)模和分布上存在較大差異，因此這些網(wǎng)絡(luò)在網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練參數(shù)設(shè)置上無(wú)法適應(yīng)本文的舌象特征分類問(wèn)題，容易出現(xiàn)過(guò)擬合和梯度消失的情況，從而導(dǎo)致網(wǎng)絡(luò)模型無(wú)法得到有效收斂。為了實(shí)現(xiàn)網(wǎng)絡(luò)模型的有效收斂以及提升網(wǎng)絡(luò)的穩(wěn)定性和性能，本文在原有的神經(jīng)網(wǎng)絡(luò)上進(jìn)行了如下改進(jìn)：(1)保留原網(wǎng)絡(luò)的特征提取層，刪除網(wǎng)絡(luò)原有的輸出層，加上一層全局池化層(Global Average Pooling Layer)和一層全連接層(Fully-connected Layer)并通過(guò)Softmax函數(shù)進(jìn)行輸出；(2)選用隨機(jī)梯度下降SGD(Stochastic Gradient Desent)算法來(lái)優(yōu)化網(wǎng)絡(luò)訓(xùn)練；(3)針對(duì)不同的網(wǎng)絡(luò)模型，設(shè)置不同的學(xué)習(xí)率以實(shí)現(xiàn)有效的特征擬合。通過(guò)對(duì)網(wǎng)絡(luò)的改進(jìn)，有效防止了網(wǎng)絡(luò)模型過(guò)擬合的發(fā)生，提高了網(wǎng)絡(luò)的穩(wěn)定性和分類準(zhǔn)確度。

如圖8所示，首先將預(yù)處理后的舌體圖像數(shù)據(jù)按照神經(jīng)網(wǎng)絡(luò)輸入層所需要的數(shù)據(jù)輸入尺寸進(jìn)行縮放，將輸入圖像的大小分別改為224×224(ResNet)和299×299 (Inception_v3)，再通過(guò)3種不同的神經(jīng)網(wǎng)絡(luò)對(duì)舌象特征進(jìn)行特征提取，根據(jù)本文的舌象特征分類需求重寫原網(wǎng)絡(luò)的輸出層并進(jìn)行深度遷移學(xué)習(xí)訓(xùn)練，最終更新了網(wǎng)絡(luò)的模型參數(shù)，建立了新的舌象特征分類模型。

本文使用分割后的舌體圖像數(shù)據(jù)作為深度遷移學(xué)習(xí)的數(shù)據(jù)集，有效降低了使用原始圖像數(shù)據(jù)時(shí)背景區(qū)域?qū)ι嘞筇卣鞣诸愖R(shí)別的干擾。同時(shí)采用遷移學(xué)習(xí)的方法可以有效避免因舌體圖像樣本量的不足對(duì)網(wǎng)絡(luò)訓(xùn)練帶來(lái)的影響。由于原有網(wǎng)絡(luò)中全連接層參數(shù)量過(guò)大，降低了訓(xùn)練的速度，同時(shí)容易產(chǎn)生過(guò)擬合，因此，本文采用全局池化層代替原有的全連接層輸出，改進(jìn)了原有的網(wǎng)絡(luò)結(jié)構(gòu)，使整個(gè)網(wǎng)絡(luò)在結(jié)構(gòu)上實(shí)現(xiàn)正則化，從而防止過(guò)擬合的發(fā)生。針對(duì)每一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，選擇3種不同的舌象特征分類問(wèn)題對(duì)網(wǎng)絡(luò)性能進(jìn)行測(cè)試，以分析神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)不同舌象特征時(shí)的表現(xiàn)。同時(shí)，在3種不同深度的神經(jīng)網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)，通過(guò)對(duì)比3種網(wǎng)絡(luò)的分類準(zhǔn)確度，分析了不同的網(wǎng)絡(luò)結(jié)構(gòu)在解決舌象特征分類問(wèn)題時(shí)的性能，同時(shí)也分析了神經(jīng)網(wǎng)絡(luò)的深度對(duì)舌象特征分類結(jié)果的影響。

5 實(shí)驗(yàn)

為了驗(yàn)證本文提出的基于深度遷移學(xué)習(xí)的舌象特征分類方法的有效性，使用從專業(yè)中醫(yī)醫(yī)療機(jī)構(gòu)獲取的舌體圖像作為數(shù)據(jù)集并進(jìn)行測(cè)試。首先通過(guò)級(jí)聯(lián)分類器對(duì)舌體圖像進(jìn)行分割處理，然后將分割好的舌體圖像數(shù)據(jù)在不同深度的神經(jīng)網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)訓(xùn)練，并針對(duì)3種不同的舌象特征分類問(wèn)題進(jìn)行了對(duì)比實(shí)驗(yàn)。

5.1 數(shù)據(jù)集

本文的實(shí)驗(yàn)數(shù)據(jù)由上海中醫(yī)藥大學(xué)許家佗教授實(shí)驗(yàn)室提供，這些圖像數(shù)據(jù)來(lái)自多個(gè)醫(yī)院采集點(diǎn)，通過(guò)許家佗實(shí)驗(yàn)室自主研發(fā)的中醫(yī)舌診儀進(jìn)行采集，并由中醫(yī)專家進(jìn)行分類標(biāo)定。其中包括：齒痕舌516幅，非齒痕舌566幅，裂紋舌391幅，非裂紋舌250幅，厚苔舌392幅，薄苔舌130幅，原始舌象圖像的大小固定為5568×3172像素。在進(jìn)行分類實(shí)驗(yàn)之前，對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，包括旋轉(zhuǎn)角度、平移、翻轉(zhuǎn)等操作，以保證不同舌象特征的舌象數(shù)據(jù)具有相同規(guī)模的訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中訓(xùn)練數(shù)據(jù)800例，測(cè)試數(shù)據(jù)100例，驗(yàn)證數(shù)據(jù)100例。

本文用于分類的舌象特征分別是：齒痕舌與非齒痕舌、裂紋舌和非裂紋舌以及厚薄舌苔，它們的基本特征如圖9所示。

Figure 9 Six typical tongue features圖9 6類典型舌象特征

5.2 性能評(píng)估指標(biāo)

在機(jī)器學(xué)習(xí)領(lǐng)域，對(duì)模型的測(cè)量和評(píng)估是至關(guān)重要的，只有選擇與問(wèn)題相匹配的評(píng)估方法，才能快速地發(fā)現(xiàn)在模型選擇和訓(xùn)練過(guò)程中可能出現(xiàn)的問(wèn)題，迭代地對(duì)模型進(jìn)行優(yōu)化。而在分類問(wèn)題上，通常用分類準(zhǔn)確度來(lái)評(píng)估網(wǎng)絡(luò)模型的好壞，根據(jù)分類器在測(cè)試數(shù)據(jù)集上的預(yù)測(cè)或正確或不正確可以分為4種情況：TP指將正類預(yù)測(cè)為正類的數(shù)目；FN指將正類預(yù)測(cè)為負(fù)類的數(shù)目；FP指將負(fù)類預(yù)測(cè)為正類的數(shù)目；TN指將負(fù)類預(yù)測(cè)為負(fù)類的數(shù)目；P表示所有正類的數(shù)目；N表示所有負(fù)類的數(shù)目。模型的準(zhǔn)確度計(jì)算方法如式(7)所示：

(7)

由式(7)可知，模型準(zhǔn)確度指的是測(cè)試集中的樣本被正確預(yù)測(cè)的比例。通過(guò)分析準(zhǔn)確度可以評(píng)估一個(gè)網(wǎng)絡(luò)模型是否具有良好的識(shí)別性能。

5.3 實(shí)驗(yàn)結(jié)果與分析

本文在3種網(wǎng)絡(luò)上進(jìn)行遷移學(xué)習(xí)，訓(xùn)練參數(shù)如表1所示。

Table 1 Training parameters of deep transfer learning network proposed in this paper表1 本文提出的深度遷移學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練參數(shù)表

為了研究網(wǎng)絡(luò)深度對(duì)舌象特征分類性能的影響，將本文方法與另外3種具有不同深度的神經(jīng)網(wǎng)絡(luò)(LeNet-5[25]、AlexNet、VGG16)進(jìn)行對(duì)比。同時(shí)直接在ResNet18、ResNet50和Inception_v3上進(jìn)行特征學(xué)習(xí)，與改進(jìn)后的遷移學(xué)習(xí)方法進(jìn)行比較，進(jìn)一步分析神經(jīng)網(wǎng)絡(luò)深度和網(wǎng)絡(luò)結(jié)構(gòu)對(duì)網(wǎng)絡(luò)分類性能的影響。

本文對(duì)不同深度的神經(jīng)網(wǎng)絡(luò)采用非遷移學(xué)習(xí)和遷移學(xué)習(xí)的方式來(lái)進(jìn)行特征提取和分類，由表2所示的分類準(zhǔn)確度對(duì)比可見(jiàn)，對(duì)于淺層的網(wǎng)絡(luò)，隨著網(wǎng)絡(luò)層數(shù)的加深，特征分類的準(zhǔn)確度總體呈現(xiàn)上升的趨勢(shì)，這是因?yàn)榫W(wǎng)絡(luò)層數(shù)越深，網(wǎng)絡(luò)能夠?qū)W習(xí)到更加抽象的特征，有利于對(duì)不同舌象進(jìn)行分類識(shí)別。然而，當(dāng)網(wǎng)絡(luò)層數(shù)繼續(xù)加深時(shí)，網(wǎng)絡(luò)的分類準(zhǔn)確度卻陡然下降，這是因?yàn)橛?xùn)練樣本量少，網(wǎng)絡(luò)產(chǎn)生了過(guò)擬合的情況。

Table 2 Comparison of accuracy of tongue feature classification between deep transfer learning method and other networks表2 本文提出的深度遷移學(xué)習(xí)方法 與不同網(wǎng)絡(luò)的舌象特征分類準(zhǔn)確度對(duì)比 %

而本文提出的遷移學(xué)習(xí)方法在面對(duì)小樣本的數(shù)據(jù)時(shí)，依然呈現(xiàn)出良好的分類性能，實(shí)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)下的小樣本舌象數(shù)據(jù)的遷移學(xué)習(xí)。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析，可以得到以下幾點(diǎn)結(jié)論：(1)與非遷移學(xué)習(xí)的方法相比，本文提出的深度遷移學(xué)習(xí)方法在舌象特征分類準(zhǔn)確度上得到了提升，同時(shí)降低了深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)成本，加快了網(wǎng)絡(luò)模型的訓(xùn)練速度； (2)本文改進(jìn)的3種卷積神經(jīng)網(wǎng)絡(luò)在深度遷移學(xué)習(xí)任務(wù)上表現(xiàn)各異，對(duì)3類不同的舌象特征達(dá)到了85%以上的平均分類準(zhǔn)確度，其中基于Inception_v3的遷移學(xué)習(xí)方法表現(xiàn)最佳，平均分類準(zhǔn)確度達(dá)到94.88%；(3)由于表2中的神經(jīng)網(wǎng)絡(luò)層數(shù)是依次增加的，可以看出，隨著網(wǎng)絡(luò)層數(shù)的加深，分類識(shí)別的準(zhǔn)確度在不斷提高，其原因是網(wǎng)絡(luò)層數(shù)越深，網(wǎng)絡(luò)能夠提取的圖像特征就越豐富，生成的分類模型就具有更好的穩(wěn)定性和性能。

5.4 不同圖像預(yù)處理方法對(duì)舌象特征分類的影響

為了進(jìn)一步探究不同的舌象數(shù)據(jù)集對(duì)深度遷移學(xué)習(xí)特征提取過(guò)程的影響，本文選取3種不同的訓(xùn)練數(shù)據(jù)：原始舌象圖像、基于GrabCut分割的舌體圖像和基于級(jí)聯(lián)分類器定位的舌體圖像(如圖10所示)，通過(guò)在VGG16網(wǎng)絡(luò)上進(jìn)行深度遷移學(xué)習(xí)來(lái)探究不同分割效果的數(shù)據(jù)在深度遷移神經(jīng)網(wǎng)絡(luò)中的特征提取性能。

Figure 10 Segmentation images of 3 kinds of tongue images圖10 3種舌象分割圖

Table 3 Tongue feature classification accuracy based on different segmentation methods

通過(guò)表3所示的實(shí)驗(yàn)結(jié)果可知，對(duì)比原始圖像，經(jīng)過(guò)GrabCut分割和級(jí)聯(lián)分類器定位分割后的舌象圖像在進(jìn)行深度遷移訓(xùn)練后的分類準(zhǔn)確度都有了明顯的提升。基于GrabCut算法雖然實(shí)現(xiàn)了舌體分割的自動(dòng)化過(guò)程，但在分割的穩(wěn)定性和準(zhǔn)確度上有所欠缺。而本文方法在分類準(zhǔn)確度上高于傳統(tǒng)分割方法，同時(shí)在時(shí)間、人力成本上又遠(yuǎn)低于傳統(tǒng)分割方法。因此，本文選擇通過(guò)級(jí)聯(lián)分類器的方法來(lái)對(duì)原始數(shù)據(jù)進(jìn)行自動(dòng)舌體定位，為后續(xù)探究不同網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)深度對(duì)舌象特征分類的影響提供了良好的數(shù)據(jù)基礎(chǔ)。

6 結(jié)束語(yǔ)

本文提出了一種基于深度遷移學(xué)習(xí)的舌象特征分類方法，首先利用級(jí)聯(lián)分類器實(shí)現(xiàn)有效的舌體定位分割；然后再通過(guò)改進(jìn)3種不同的深度神經(jīng)網(wǎng)絡(luò)模型來(lái)對(duì)分割后的舌體數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)訓(xùn)練；最終實(shí)現(xiàn)舌象特征的分類識(shí)別，提升了舌象特征分類的準(zhǔn)確度。其中，改進(jìn)后的Inception_v3網(wǎng)絡(luò)在3種舌象特征分類問(wèn)題上都表現(xiàn)優(yōu)異，平均準(zhǔn)確度達(dá)到94.88%。ResNet50網(wǎng)絡(luò)在厚薄苔分類問(wèn)題上表現(xiàn)突出，達(dá)到了96.88%的準(zhǔn)確度。由此可見(jiàn)，深度學(xué)習(xí)方法可以很好地解決傳統(tǒng)中醫(yī)舌象分類問(wèn)題，這將有力地推動(dòng)中醫(yī)舌診的智能化和客觀化發(fā)展。