江智泉，周作建，鮑劍洋，戰(zhàn)麗彬，郎許峰，商洪濤

（1.南京中醫(yī)藥大學(xué)人工智能與信息技術(shù)學(xué)院；2.南京中醫(yī)藥大學(xué)中醫(yī)學(xué)院·中西醫(yī)結(jié)合學(xué)院，江蘇南京 210046；3.南京中醫(yī)藥大學(xué)附屬醫(yī)院，江蘇 南京 210029）

0 引言

中醫(yī)舌診是中醫(yī)辨證論治的主要依據(jù)之一，在中醫(yī)診斷學(xué)中具有重要地位［1］。其通過觀察舌質(zhì)舌苔的顏色和形態(tài)變化感知患者疾病，具有診斷過程方便、診斷價值高的獨特優(yōu)勢［2］。但由于醫(yī)師主觀經(jīng)驗和診療客觀條件的影響，診察結(jié)果可能出現(xiàn)誤差。因此，中醫(yī)舌診的臨床診斷需要依靠更高的信息化和智能化提供定量的數(shù)據(jù)支撐，以實現(xiàn)舌圖像的自動化分析［3］。近年來，隨著中醫(yī)自動診斷和舌診客觀化進程的不斷推進，圖像處理技術(shù)和機器學(xué)習(xí)方法被廣泛運用于中醫(yī)舌象的提取、分析和研究中，有效實現(xiàn)了舌象特征的精準辨識和結(jié)果量化，建立了舌象量化特征和中醫(yī)病癥的映射標準，初步實現(xiàn)了自動化的舌象分析和智能診斷［4-6］。

舌圖像分割是舌診客觀化的重要環(huán)節(jié)，舌像分割的目的是從舌圖像中去除臉部、嘴唇等無關(guān)干擾環(huán)境，分割出可用于分析的顏色細節(jié)和真實的有效舌部位，充分保留患者的舌體信息，排除無關(guān)背景對舌體進一步分類識別的干擾，是后續(xù)分類研究的前提和基礎(chǔ)［7］。

目前，對舌體的有效分割方法主要有基于閾值的分割方法、基于能量泛函的分割方法和基于深度學(xué)習(xí)的方法等［8］。姜朔等［9］利用Otsu 閾值的方法，二值化處理舌圖像并結(jié)合先驗知識進行聚類，結(jié)合形態(tài)學(xué)自適應(yīng)修正方法，實現(xiàn)舌體當量直徑自適應(yīng)選取結(jié)構(gòu)元素的大小，實現(xiàn)分割范圍的自適應(yīng)修正，可以較好地實現(xiàn)舌圖像分割，但存在效率不高的問題；劉晨星等［10］提出一種改進的Snake 算法模型，該模型引入Perona-Malik 方法強化輪廓界限，通過梯度矢量流模型（Gradient Vector Flow，GVF）優(yōu)化圖像外力場，進而提取舌體輪廓，該方法有效解決了傳統(tǒng)Snake 算法對不規(guī)則舌體輪廓的逼近效果欠缺問題，優(yōu)化了分割效果，但存在計算量大和需要手工選取閾值的缺點。

隨著深度學(xué)習(xí)在圖像識別領(lǐng)域地位的不斷提高，基于像素點分類的圖像語義分割方式在多應(yīng)用場景都取得了不錯的應(yīng)用效果［11-13］。通過對舌體圖像進行語義分類處理，差異化圖像中的不同區(qū)域，再通過神經(jīng)網(wǎng)絡(luò)（CNN）進行端到端的訓(xùn)練，在卷積和池化過程中匯聚和增強語義信息，實現(xiàn)語義分割，成為新的解決方案。張新峰等［14］提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)和條件隨機場的舌圖像分割算法，使用孔卷積的DCNN 和空間金字塔池化模型，實現(xiàn)多尺度特征的自動提取，有效細化了舌體邊緣，提高了分割準確性。

傳統(tǒng)方法仍依賴一定的人為干預(yù)及迭代運算，由此帶來了自動化程度低、時間復(fù)雜度高以及分割效果不理想等問題。深度學(xué)習(xí)方法可以有效地改進傳統(tǒng)方法的弊端，提高自動化程度和分割效率，但諸多方法存在邊緣細節(jié)丟失、分割精度不高等問題。針對上述問題，本文提出了一種基于VGGNet-Unet 的中醫(yī)舌圖像分割方法。

本文的創(chuàng)新點在于：①使用結(jié)構(gòu)簡單、特征提取效果好且經(jīng)過預(yù)訓(xùn)練的VGGNet16 神經(jīng)網(wǎng)絡(luò)建立主干特征提取網(wǎng)絡(luò)，通過多次卷積實現(xiàn)特征提取，并通過U-Net 網(wǎng)絡(luò)模型構(gòu)建加強特征提取網(wǎng)絡(luò)實現(xiàn)對特征圖的上采樣和特征融合，有效保留高底層細節(jié)信息，提高分割精度；②使用遷移學(xué)習(xí)方法，設(shè)置預(yù)訓(xùn)練權(quán)重并凍結(jié)特定層的參數(shù)，提高網(wǎng)絡(luò)學(xué)習(xí)效率。實驗證明，該模型具有較好的分割效果。

1 網(wǎng)絡(luò)模型

醫(yī)學(xué)圖像通常具有圖片隱私性高、保密性強、圖像語義信息簡單且固定等特點。針對這類圖像的處理分析任務(wù)，網(wǎng)絡(luò)模型需要兼顧圖像的高級語義信息和低級特征，在保證物體識別準確率的同時，提供精準分割定位依據(jù)，有效補充語義信息并細化分割輪廓［15］。本文方法采用了U-Net 網(wǎng)絡(luò)模型并對其進行改進，使用VGGNet16 替換UNet 初始主干特征提取網(wǎng)絡(luò)，簡化了模型結(jié)構(gòu)，并通過引入遷移學(xué)習(xí)提高學(xué)習(xí)效率。

1.1 U-Net

U 型語義分割網(wǎng)絡(luò)（U-Net）發(fā)表于跨醫(yī)學(xué)影像計算（MIC）領(lǐng)域頂級會議MICCAI［16］。其基本特征是完全對稱的U 型結(jié)構(gòu)和跳越連接層（Skip-connection），由于其U 型編解碼結(jié)構(gòu)和層次堆疊操作（跳躍連接層）可以高度保留高低層細節(jié)，在小樣本圖像處理任務(wù)上具有較好的分類效果，滿足醫(yī)學(xué)圖像樣本少、特征固定等特點，因此被廣泛應(yīng)用于醫(yī)學(xué)圖像分割和任務(wù)分類。

在U-Net 網(wǎng)絡(luò)中，編碼層（Encoder）需要進行4 次下采樣，共下采樣16 倍，在其對稱解碼層（Decoder）中，進行了4次上采樣，將Encoder 中獲得的高級語義特征圖恢復(fù)到原始尺寸。同時，為了確保分辨率的有效還原，減少壓縮過程中的特征細節(jié)損失，U-Net 采用Skip-connection，將同一層級的特征圖進行融合堆疊，恢復(fù)上采樣中的區(qū)域分割信息，以保留底層語義信息，細化分割邊緣，從而得到更高的分割準確率。

1.2 VGGNet16

該模型采用VGGNet16 作為特征提取網(wǎng)絡(luò)并使用其預(yù)訓(xùn)練權(quán)重實現(xiàn)遷移學(xué)習(xí)，VGGNet16 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。該神經(jīng)網(wǎng)絡(luò)主要由卷積層、ReLU 激活函數(shù)、2*2 最大池化和全卷積層組成，它通過反復(fù)堆疊3*3 的小型卷積核和2*2 的最大池化層，成功構(gòu)建了16～19 層深的卷積神經(jīng)網(wǎng)絡(luò)，具有結(jié)構(gòu)簡單和性能高效的特點［17］。

VGGNet16 的預(yù)訓(xùn)練權(quán)重源自大型數(shù)據(jù)庫ImageNet。ImageNet 是一個具有5 247 個類別共計320 萬張清晰標注圖像的龐大干凈圖像數(shù)據(jù)集［18］，具有規(guī)模大、層級密度深、準確度高和多樣性復(fù)雜等特點。因此，該預(yù)訓(xùn)練權(quán)重具有較好的泛化性和魯棒性，可以在少樣本數(shù)據(jù)的圖像處理任務(wù)中實現(xiàn)遷移學(xué)習(xí)效果，提高特征提取效率和精度。

Fig.1 Network structure of VGGNet16圖1 VGGNet16 網(wǎng)絡(luò)結(jié)構(gòu)

1.3 本文網(wǎng)絡(luò)結(jié)構(gòu)

為了滿足小樣本分割任務(wù)需要，本文整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，由主干特征提取網(wǎng)絡(luò)、加強特征提取網(wǎng)絡(luò)及預(yù)測部分組成。其中，主干特征提取網(wǎng)絡(luò)是卷積和池化的堆疊，加強特征提取部分包含連續(xù)上采樣（UpSampling2D）、堆疊（Concatenate）和卷積（Conv2D）操作，預(yù)測部分使用了1*1 卷積，實現(xiàn)對每一個像素點的分類。

Fig.2 Overall network structure圖2 整體網(wǎng)絡(luò)結(jié)構(gòu)

主干特征提取網(wǎng)絡(luò)由卷積和最大池化組成，使用VGG?Net16 的3*3 卷積核和2*2 池化核替換原始網(wǎng)絡(luò)，包含5 個卷積模塊和4 次池化操作。通過13 次卷積操作提取圖像特征和4 次最大池化降低特征維度，不斷壓縮特征圖的尺寸并增大通道數(shù)，獲得5 個初步有效的特征層。

加強特征提取部分對原始U-net 網(wǎng)絡(luò)解碼部分進行改進，主要改進特征融合方法，在上采樣過程中去除剪切（Crop）操作，直接進行2 倍上采樣和堆疊操作（Concate?nate），保證輸入圖像和輸出圖像的尺寸一致性。通過對主干網(wǎng)獲得的5 個有效特征層進行上采樣和特征融合，獲得一個融合所有特征的可用于最終像素點分類的最終特征層。

最后利用1*1 的卷積操作對最終特征層的每一個特征點進行分類操作，區(qū)分背景和舌體，完成精準的語義分割。

2 實驗及結(jié)果分析

2.1 實驗準備

2.1.1 實驗數(shù)據(jù)

本文數(shù)據(jù)由江蘇省中醫(yī)院體檢科提供，數(shù)據(jù)采集設(shè)備是DS01-A 型舌面脈信息采集系統(tǒng)。由于原始數(shù)據(jù)集包含人臉等信息，前期對數(shù)據(jù)進行脫敏處理，去除患者面部等有效身份信息，實驗數(shù)據(jù)來源有效且符合倫理審查規(guī)范，保證了實驗的合理性。數(shù)據(jù)集包含320 張分辨率為365 像素×365 像素的標準舌圖像，其中300 張按照8∶2 的比例劃分為訓(xùn)練集和驗證集，剩余20 張作為測試集進行模型驗證，各數(shù)據(jù)集之間無重復(fù)數(shù)據(jù)。

在深度學(xué)習(xí)圖像分割領(lǐng)域，仍采用監(jiān)督學(xué)習(xí)方法，準確有效的標準舌體掩膜圖像是模型訓(xùn)練的關(guān)鍵，因此需要對數(shù)據(jù)集進行人工標注，在標注結(jié)果中，圖像顏色深度為8位bit（像素值范圍0～255），僅保留0 和1 這兩個像素點，舌體部分表示為1 像素點，無關(guān)背景表示為0 像素點。使用LabelMe圖像標注工具對舌像中的舌體輪廓進行舌體標注，得到圖像有效分割標簽（GroundTruth）。數(shù)據(jù)集標注過程如圖3 所示。

Fig.3 Dataset annotation圖3 數(shù)據(jù)集標注

2.1.2 實驗環(huán)境

本文實驗硬件環(huán)境：CPUInter Core i7-9750H@2.60GHZ、GPU NVIDIAGeForceGTX1660Ti、顯存6GB、內(nèi)存16GBDDR4；軟件環(huán)境：Window10、Keras2.2.4 深度學(xué)習(xí)框架、TensorFlow 1.14.0、tensorflow-gpu1.13.2 及CUDAV10.0。

2.2 實驗設(shè)置

2.2.1 遷移學(xué)習(xí)與凍結(jié)訓(xùn)練

為了提高模型在少樣本數(shù)據(jù)集上的學(xué)習(xí)效率，使用VGGNet16 的預(yù)訓(xùn)練權(quán)重進行遷移學(xué)習(xí)。使用微調(diào)（finetune）的訓(xùn)練方法，在載入模型權(quán)重并凍結(jié)特征提取層的網(wǎng)絡(luò)參數(shù)后，使用合適的學(xué)習(xí)率對未凍結(jié)層進行參數(shù)訓(xùn)練，完成解碼層的參數(shù)訓(xùn)練后，解凍所有參數(shù)進行訓(xùn)練，該方法可以很好地提高模型訓(xùn)練效率和任務(wù)分割精度［19］。

在該模型中，設(shè)置100 個學(xué)習(xí)時期（Epoch），在前50 個Epoch 中，對模型的前18 層特征提取網(wǎng)絡(luò)（Block1～Block5）進行參數(shù)凍結(jié)，主要訓(xùn)練Block5 后Unet 模型中未訓(xùn)練過的網(wǎng)絡(luò)參數(shù)，從而提取出與當前數(shù)據(jù)集更加相關(guān)的高級特征。在后50 個Epoch 中，對全部網(wǎng)絡(luò)結(jié)構(gòu)進行一個解凍操作并在當前數(shù)據(jù)集進行參數(shù)微調(diào)，從而獲取更高精度的分割模型，有效地均衡網(wǎng)絡(luò)訓(xùn)練時間，提高特征提取準確性。

2.2.2 訓(xùn)練參數(shù)設(shè)置

在該模型的網(wǎng)絡(luò)中，首先對輸入圖像進行一個resize操作，輸入圖像的維度統(tǒng)一轉(zhuǎn)換成（512，512，3），使得網(wǎng)絡(luò)可以兼容不同尺寸的輸入圖像。在模型訓(xùn)練中，Epoch 設(shè)為100，批尺寸（BatchSize）根據(jù)顯卡性能選擇為2，初始學(xué)習(xí)率為0.000 1，優(yōu)化算法選擇內(nèi)存占用更小、計算更高效的Adam 算法，Adam 參數(shù)配置中除學(xué)習(xí)率外均采用默認參數(shù)，損失函數(shù)采用Dice 相似系數(shù)(LossDice)和交叉熵函數(shù)平均值(LossCE)作為組合損失函數(shù)Loss，計算公式如式（1）—式（3）所示。

使用早停機制尋找合適的迭代次數(shù)，實驗訓(xùn)練過程中訓(xùn)練集loss、驗證集loss 與Epoch 的關(guān)系如圖4 所示。可以看出，隨著訓(xùn)練次數(shù)的增加，網(wǎng)絡(luò)損失逐漸收斂并趨于穩(wěn)定。

Fig.4 Change of loss function圖4 損失函數(shù)變化

2.2.3 實驗評價指標

實驗中，采用平均像素精度（MPA）和平均交并比（MIOU）兩個指標獲取模型分割效果的量化結(jié)果［20］。該指標是語義分割任務(wù)中的標準評判指標，MPA 表示每個語義類別被準確預(yù)測的像素點比例，MIOU 表示計算真實值和預(yù)測值兩個集合的交集和并集之比，計算公式如式（4）、式（5）所示。

其中，N 表示分割過程中需要分割出的類別，實驗中為1 類（舌體部分）、nii表示第i類語義類別的真實像素數(shù)量、nij表示第i類語義被模型誤判為j類像素點數(shù)量。

2.3 結(jié)果分析

為了驗證本文模型在中醫(yī)舌圖像上方法的有效性和實際分割性能，采用對比實驗方法，選取傳統(tǒng)U-Net 網(wǎng)絡(luò)、Mobile-Unet 方法以及本文網(wǎng)絡(luò)在相同實驗數(shù)據(jù)集下進行模型分割效果評估。采用平均像素精度和平均交并比以及訓(xùn)練時間作為評價指標，結(jié)果如表1 所示。由于傳統(tǒng)UNet 網(wǎng)絡(luò)的特征提取層無法精確獲取舌像邊緣，特征融合后帶來了精度損失問題，使得分割結(jié)果較為粗糙。Mobile-Unet 方法在一定程度上減少了模型的參數(shù)量，但在準確率上低于本文方法。本文方法在模型參數(shù)量、訓(xùn)練時間、準確率及可視化分割效果等方面均優(yōu)于對比網(wǎng)絡(luò)，證明了實驗的有效性。

Table 1 Evaluation index of the model表1 模型評價指標

為了直觀展示不同模型方法的分割效果，選取測試集中的部分圖片進行分割，可視化結(jié)果如圖5 所示。由圖可見，傳統(tǒng)U-Net 對舌體邊緣細節(jié)識別度低，仍保留了大量無關(guān)細節(jié)，分割效果較差。Mobile-Unet 方法通過深層次的卷積雖然可以有效切割舌體邊緣，但仍損失了部分舌體信息。本文方法可精確識別舌體邊緣和舌像細節(jié)，還原出完整的最接近真實標簽的舌體，具有良好的分割效果。

3 結(jié)語

舌圖像精準分割是后期舌像分類識別的重要前提，對舌圖像自動化識別研究具有重要意義。本文針對傳統(tǒng)舌圖像分割方法自動化程度低、舌圖像輪廓細節(jié)模糊等問題，結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)和U-Net 網(wǎng)絡(luò)模型等方法，提出了一種針對中醫(yī)舌圖像的改進U-Net 分割方法。本文使用VGGNet16 網(wǎng)絡(luò)的卷積模塊替代原始特征提取模塊，使用遷移學(xué)習(xí)方法提高了學(xué)習(xí)效率，通過U-Net 的堆疊和特征融合有效保留了低層次的細節(jié)信息。通過對比實驗證明，本文網(wǎng)絡(luò)方法在中醫(yī)舌圖像數(shù)據(jù)集上具有良好的分割效果，分割精度達97.91%，在分割準確率和效率上優(yōu)于傳統(tǒng)方法。但該算法在特殊舌圖像上存在一些問題，在對齒痕舌、蜷曲舌等不規(guī)則舌體的處理中，存在細節(jié)和邊緣誤判情況。因此，對多形態(tài)非標準舌體分割進行研究，提高算法識別率仍是未來研究方向。