亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        改進U-Net 網(wǎng)絡(luò)的中醫(yī)舌圖像分割方法研究

        2021-11-28 11:56:24江智泉周作建鮑劍洋戰(zhàn)麗彬郎許峰商洪濤
        軟件導(dǎo)刊 2021年11期
        關(guān)鍵詞:舌體特征提取語義

        江智泉,周作建,鮑劍洋,戰(zhàn)麗彬,郎許峰,商洪濤

        (1.南京中醫(yī)藥大學(xué)人工智能與信息技術(shù)學(xué)院;2.南京中醫(yī)藥大學(xué)中醫(yī)學(xué)院·中西醫(yī)結(jié)合學(xué)院,江蘇南京 210046;3.南京中醫(yī)藥大學(xué)附屬醫(yī)院,江蘇 南京 210029)

        0 引言

        中醫(yī)舌診是中醫(yī)辨證論治的主要依據(jù)之一,在中醫(yī)診斷學(xué)中具有重要地位[1]。其通過觀察舌質(zhì)舌苔的顏色和形態(tài)變化感知患者疾病,具有診斷過程方便、診斷價值高的獨特優(yōu)勢[2]。但由于醫(yī)師主觀經(jīng)驗和診療客觀條件的影響,診察結(jié)果可能出現(xiàn)誤差。因此,中醫(yī)舌診的臨床診斷需要依靠更高的信息化和智能化提供定量的數(shù)據(jù)支撐,以實現(xiàn)舌圖像的自動化分析[3]。近年來,隨著中醫(yī)自動診斷和舌診客觀化進程的不斷推進,圖像處理技術(shù)和機器學(xué)習(xí)方法被廣泛運用于中醫(yī)舌象的提取、分析和研究中,有效實現(xiàn)了舌象特征的精準辨識和結(jié)果量化,建立了舌象量化特征和中醫(yī)病癥的映射標準,初步實現(xiàn)了自動化的舌象分析和智能診斷[4-6]。

        舌圖像分割是舌診客觀化的重要環(huán)節(jié),舌像分割的目的是從舌圖像中去除臉部、嘴唇等無關(guān)干擾環(huán)境,分割出可用于分析的顏色細節(jié)和真實的有效舌部位,充分保留患者的舌體信息,排除無關(guān)背景對舌體進一步分類識別的干擾,是后續(xù)分類研究的前提和基礎(chǔ)[7]。

        目前,對舌體的有效分割方法主要有基于閾值的分割方法、基于能量泛函的分割方法和基于深度學(xué)習(xí)的方法等[8]。姜朔等[9]利用Otsu 閾值的方法,二值化處理舌圖像并結(jié)合先驗知識進行聚類,結(jié)合形態(tài)學(xué)自適應(yīng)修正方法,實現(xiàn)舌體當量直徑自適應(yīng)選取結(jié)構(gòu)元素的大小,實現(xiàn)分割范圍的自適應(yīng)修正,可以較好地實現(xiàn)舌圖像分割,但存在效率不高的問題;劉晨星等[10]提出一種改進的Snake 算法模型,該模型引入Perona-Malik 方法強化輪廓界限,通過梯度矢量流模型(Gradient Vector Flow,GVF)優(yōu)化圖像外力場,進而提取舌體輪廓,該方法有效解決了傳統(tǒng)Snake 算法對不規(guī)則舌體輪廓的逼近效果欠缺問題,優(yōu)化了分割效果,但存在計算量大和需要手工選取閾值的缺點。

        隨著深度學(xué)習(xí)在圖像識別領(lǐng)域地位的不斷提高,基于像素點分類的圖像語義分割方式在多應(yīng)用場景都取得了不錯的應(yīng)用效果[11-13]。通過對舌體圖像進行語義分類處理,差異化圖像中的不同區(qū)域,再通過神經(jīng)網(wǎng)絡(luò)(CNN)進行端到端的訓(xùn)練,在卷積和池化過程中匯聚和增強語義信息,實現(xiàn)語義分割,成為新的解決方案。張新峰等[14]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)和條件隨機場的舌圖像分割算法,使用孔卷積的DCNN 和空間金字塔池化模型,實現(xiàn)多尺度特征的自動提取,有效細化了舌體邊緣,提高了分割準確性。

        傳統(tǒng)方法仍依賴一定的人為干預(yù)及迭代運算,由此帶來了自動化程度低、時間復(fù)雜度高以及分割效果不理想等問題。深度學(xué)習(xí)方法可以有效地改進傳統(tǒng)方法的弊端,提高自動化程度和分割效率,但諸多方法存在邊緣細節(jié)丟失、分割精度不高等問題。針對上述問題,本文提出了一種基于VGGNet-Unet 的中醫(yī)舌圖像分割方法。

        本文的創(chuàng)新點在于:①使用結(jié)構(gòu)簡單、特征提取效果好且經(jīng)過預(yù)訓(xùn)練的VGGNet16 神經(jīng)網(wǎng)絡(luò)建立主干特征提取網(wǎng)絡(luò),通過多次卷積實現(xiàn)特征提取,并通過U-Net 網(wǎng)絡(luò)模型構(gòu)建加強特征提取網(wǎng)絡(luò)實現(xiàn)對特征圖的上采樣和特征融合,有效保留高底層細節(jié)信息,提高分割精度;②使用遷移學(xué)習(xí)方法,設(shè)置預(yù)訓(xùn)練權(quán)重并凍結(jié)特定層的參數(shù),提高網(wǎng)絡(luò)學(xué)習(xí)效率。實驗證明,該模型具有較好的分割效果。

        1 網(wǎng)絡(luò)模型

        醫(yī)學(xué)圖像通常具有圖片隱私性高、保密性強、圖像語義信息簡單且固定等特點。針對這類圖像的處理分析任務(wù),網(wǎng)絡(luò)模型需要兼顧圖像的高級語義信息和低級特征,在保證物體識別準確率的同時,提供精準分割定位依據(jù),有效補充語義信息并細化分割輪廓[15]。本文方法采用了U-Net 網(wǎng)絡(luò)模型并對其進行改進,使用VGGNet16 替換UNet 初始主干特征提取網(wǎng)絡(luò),簡化了模型結(jié)構(gòu),并通過引入遷移學(xué)習(xí)提高學(xué)習(xí)效率。

        1.1 U-Net

        U 型語義分割網(wǎng)絡(luò)(U-Net)發(fā)表于跨醫(yī)學(xué)影像計算(MIC)領(lǐng)域頂級會議MICCAI[16]。其基本特征是完全對稱的U 型結(jié)構(gòu)和跳越連接層(Skip-connection),由于其U 型編解碼結(jié)構(gòu)和層次堆疊操作(跳躍連接層)可以高度保留高低層細節(jié),在小樣本圖像處理任務(wù)上具有較好的分類效果,滿足醫(yī)學(xué)圖像樣本少、特征固定等特點,因此被廣泛應(yīng)用于醫(yī)學(xué)圖像分割和任務(wù)分類。

        在U-Net 網(wǎng)絡(luò)中,編碼層(Encoder)需要進行4 次下采樣,共下采樣16 倍,在其對稱解碼層(Decoder)中,進行了4次上采樣,將Encoder 中獲得的高級語義特征圖恢復(fù)到原始尺寸。同時,為了確保分辨率的有效還原,減少壓縮過程中的特征細節(jié)損失,U-Net 采用Skip-connection,將同一層級的特征圖進行融合堆疊,恢復(fù)上采樣中的區(qū)域分割信息,以保留底層語義信息,細化分割邊緣,從而得到更高的分割準確率。

        1.2 VGGNet16

        該模型采用VGGNet16 作為特征提取網(wǎng)絡(luò)并使用其預(yù)訓(xùn)練權(quán)重實現(xiàn)遷移學(xué)習(xí),VGGNet16 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。該神經(jīng)網(wǎng)絡(luò)主要由卷積層、ReLU 激活函數(shù)、2*2 最大池化和全卷積層組成,它通過反復(fù)堆疊3*3 的小型卷積核和2*2 的最大池化層,成功構(gòu)建了16~19 層深的卷積神經(jīng)網(wǎng)絡(luò),具有結(jié)構(gòu)簡單和性能高效的特點[17]。

        VGGNet16 的預(yù)訓(xùn)練權(quán)重源自大型數(shù)據(jù)庫ImageNet。ImageNet 是一個具有5 247 個類別共計320 萬張清晰標注圖像的龐大干凈圖像數(shù)據(jù)集[18],具有規(guī)模大、層級密度深、準確度高和多樣性復(fù)雜等特點。因此,該預(yù)訓(xùn)練權(quán)重具有較好的泛化性和魯棒性,可以在少樣本數(shù)據(jù)的圖像處理任務(wù)中實現(xiàn)遷移學(xué)習(xí)效果,提高特征提取效率和精度。

        Fig.1 Network structure of VGGNet16圖1 VGGNet16 網(wǎng)絡(luò)結(jié)構(gòu)

        1.3 本文網(wǎng)絡(luò)結(jié)構(gòu)

        為了滿足小樣本分割任務(wù)需要,本文整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示,由主干特征提取網(wǎng)絡(luò)、加強特征提取網(wǎng)絡(luò)及預(yù)測部分組成。其中,主干特征提取網(wǎng)絡(luò)是卷積和池化的堆疊,加強特征提取部分包含連續(xù)上采樣(UpSampling2D)、堆疊(Concatenate)和卷積(Conv2D)操作,預(yù)測部分使用了1*1 卷積,實現(xiàn)對每一個像素點的分類。

        Fig.2 Overall network structure圖2 整體網(wǎng)絡(luò)結(jié)構(gòu)

        主干特征提取網(wǎng)絡(luò)由卷積和最大池化組成,使用VGG?Net16 的3*3 卷積核和2*2 池化核替換原始網(wǎng)絡(luò),包含5 個卷積模塊和4 次池化操作。通過13 次卷積操作提取圖像特征和4 次最大池化降低特征維度,不斷壓縮特征圖的尺寸并增大通道數(shù),獲得5 個初步有效的特征層。

        加強特征提取部分對原始U-net 網(wǎng)絡(luò)解碼部分進行改進,主要改進特征融合方法,在上采樣過程中去除剪切(Crop)操作,直接進行2 倍上采樣和堆疊操作(Concate?nate),保證輸入圖像和輸出圖像的尺寸一致性。通過對主干網(wǎng)獲得的5 個有效特征層進行上采樣和特征融合,獲得一個融合所有特征的可用于最終像素點分類的最終特征層。

        最后利用1*1 的卷積操作對最終特征層的每一個特征點進行分類操作,區(qū)分背景和舌體,完成精準的語義分割。

        2 實驗及結(jié)果分析

        2.1 實驗準備

        2.1.1 實驗數(shù)據(jù)

        本文數(shù)據(jù)由江蘇省中醫(yī)院體檢科提供,數(shù)據(jù)采集設(shè)備是DS01-A 型舌面脈信息采集系統(tǒng)。由于原始數(shù)據(jù)集包含人臉等信息,前期對數(shù)據(jù)進行脫敏處理,去除患者面部等有效身份信息,實驗數(shù)據(jù)來源有效且符合倫理審查規(guī)范,保證了實驗的合理性。數(shù)據(jù)集包含320 張分辨率為365 像素×365 像素的標準舌圖像,其中300 張按照8∶2 的比例劃分為訓(xùn)練集和驗證集,剩余20 張作為測試集進行模型驗證,各數(shù)據(jù)集之間無重復(fù)數(shù)據(jù)。

        在深度學(xué)習(xí)圖像分割領(lǐng)域,仍采用監(jiān)督學(xué)習(xí)方法,準確有效的標準舌體掩膜圖像是模型訓(xùn)練的關(guān)鍵,因此需要對數(shù)據(jù)集進行人工標注,在標注結(jié)果中,圖像顏色深度為8位bit(像素值范圍0~255),僅保留0 和1 這兩個像素點,舌體部分表示為1 像素點,無關(guān)背景表示為0 像素點。使用LabelMe圖像標注工具對舌像中的舌體輪廓進行舌體標注,得到圖像有效分割標簽(GroundTruth)。數(shù)據(jù)集標注過程如圖3 所示。

        Fig.3 Dataset annotation圖3 數(shù)據(jù)集標注

        2.1.2 實驗環(huán)境

        本文實驗硬件環(huán)境:CPUInter Core i7-9750H@2.60GHZ、GPU NVIDIAGeForceGTX1660Ti、顯存6GB、內(nèi)存16GBDDR4;軟件環(huán)境:Window10、Keras2.2.4 深度學(xué)習(xí)框架、TensorFlow 1.14.0、tensorflow-gpu1.13.2 及CUDAV10.0。

        2.2 實驗設(shè)置

        2.2.1 遷移學(xué)習(xí)與凍結(jié)訓(xùn)練

        為了提高模型在少樣本數(shù)據(jù)集上的學(xué)習(xí)效率,使用VGGNet16 的預(yù)訓(xùn)練權(quán)重進行遷移學(xué)習(xí)。使用微調(diào)(finetune)的訓(xùn)練方法,在載入模型權(quán)重并凍結(jié)特征提取層的網(wǎng)絡(luò)參數(shù)后,使用合適的學(xué)習(xí)率對未凍結(jié)層進行參數(shù)訓(xùn)練,完成解碼層的參數(shù)訓(xùn)練后,解凍所有參數(shù)進行訓(xùn)練,該方法可以很好地提高模型訓(xùn)練效率和任務(wù)分割精度[19]。

        在該模型中,設(shè)置100 個學(xué)習(xí)時期(Epoch),在前50 個Epoch 中,對模型的前18 層特征提取網(wǎng)絡(luò)(Block1~Block5)進行參數(shù)凍結(jié),主要訓(xùn)練Block5 后Unet 模型中未訓(xùn)練過的網(wǎng)絡(luò)參數(shù),從而提取出與當前數(shù)據(jù)集更加相關(guān)的高級特征。在后50 個Epoch 中,對全部網(wǎng)絡(luò)結(jié)構(gòu)進行一個解凍操作并在當前數(shù)據(jù)集進行參數(shù)微調(diào),從而獲取更高精度的分割模型,有效地均衡網(wǎng)絡(luò)訓(xùn)練時間,提高特征提取準確性。

        2.2.2 訓(xùn)練參數(shù)設(shè)置

        在該模型的網(wǎng)絡(luò)中,首先對輸入圖像進行一個resize操作,輸入圖像的維度統(tǒng)一轉(zhuǎn)換成(512,512,3),使得網(wǎng)絡(luò)可以兼容不同尺寸的輸入圖像。在模型訓(xùn)練中,Epoch 設(shè)為100,批尺寸(BatchSize)根據(jù)顯卡性能選擇為2,初始學(xué)習(xí)率為0.000 1,優(yōu)化算法選擇內(nèi)存占用更小、計算更高效的Adam 算法,Adam 參數(shù)配置中除學(xué)習(xí)率外均采用默認參數(shù),損失函數(shù)采用Dice 相似系數(shù)(LossDice)和交叉熵函數(shù)平均值(LossCE)作為組合損失函數(shù)Loss,計算公式如式(1)—式(3)所示。

        使用早停機制尋找合適的迭代次數(shù),實驗訓(xùn)練過程中訓(xùn)練集loss、驗證集loss 與Epoch 的關(guān)系如圖4 所示。可以看出,隨著訓(xùn)練次數(shù)的增加,網(wǎng)絡(luò)損失逐漸收斂并趨于穩(wěn)定。

        Fig.4 Change of loss function圖4 損失函數(shù)變化

        2.2.3 實驗評價指標

        實驗中,采用平均像素精度(MPA)和平均交并比(MIOU)兩個指標獲取模型分割效果的量化結(jié)果[20]。該指標是語義分割任務(wù)中的標準評判指標,MPA 表示每個語義類別被準確預(yù)測的像素點比例,MIOU 表示計算真實值和預(yù)測值兩個集合的交集和并集之比,計算公式如式(4)、式(5)所示。

        其中,N 表示分割過程中需要分割出的類別,實驗中為1 類(舌體部分)、nii表示第i類語義類別的真實像素數(shù)量、nij表示第i類語義被模型誤判為j類像素點數(shù)量。

        2.3 結(jié)果分析

        為了驗證本文模型在中醫(yī)舌圖像上方法的有效性和實際分割性能,采用對比實驗方法,選取傳統(tǒng)U-Net 網(wǎng)絡(luò)、Mobile-Unet 方法以及本文網(wǎng)絡(luò)在相同實驗數(shù)據(jù)集下進行模型分割效果評估。采用平均像素精度和平均交并比以及訓(xùn)練時間作為評價指標,結(jié)果如表1 所示。由于傳統(tǒng)UNet 網(wǎng)絡(luò)的特征提取層無法精確獲取舌像邊緣,特征融合后帶來了精度損失問題,使得分割結(jié)果較為粗糙。Mobile-Unet 方法在一定程度上減少了模型的參數(shù)量,但在準確率上低于本文方法。本文方法在模型參數(shù)量、訓(xùn)練時間、準確率及可視化分割效果等方面均優(yōu)于對比網(wǎng)絡(luò),證明了實驗的有效性。

        Table 1 Evaluation index of the model表1 模型評價指標

        為了直觀展示不同模型方法的分割效果,選取測試集中的部分圖片進行分割,可視化結(jié)果如圖5 所示。由圖可見,傳統(tǒng)U-Net 對舌體邊緣細節(jié)識別度低,仍保留了大量無關(guān)細節(jié),分割效果較差。Mobile-Unet 方法通過深層次的卷積雖然可以有效切割舌體邊緣,但仍損失了部分舌體信息。本文方法可精確識別舌體邊緣和舌像細節(jié),還原出完整的最接近真實標簽的舌體,具有良好的分割效果。

        3 結(jié)語

        舌圖像精準分割是后期舌像分類識別的重要前提,對舌圖像自動化識別研究具有重要意義。本文針對傳統(tǒng)舌圖像分割方法自動化程度低、舌圖像輪廓細節(jié)模糊等問題,結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)和U-Net 網(wǎng)絡(luò)模型等方法,提出了一種針對中醫(yī)舌圖像的改進U-Net 分割方法。本文使用VGGNet16 網(wǎng)絡(luò)的卷積模塊替代原始特征提取模塊,使用遷移學(xué)習(xí)方法提高了學(xué)習(xí)效率,通過U-Net 的堆疊和特征融合有效保留了低層次的細節(jié)信息。通過對比實驗證明,本文網(wǎng)絡(luò)方法在中醫(yī)舌圖像數(shù)據(jù)集上具有良好的分割效果,分割精度達97.91%,在分割準確率和效率上優(yōu)于傳統(tǒng)方法。但該算法在特殊舌圖像上存在一些問題,在對齒痕舌、蜷曲舌等不規(guī)則舌體的處理中,存在細節(jié)和邊緣誤判情況。因此,對多形態(tài)非標準舌體分割進行研究,提高算法識別率仍是未來研究方向。

        猜你喜歡
        舌體特征提取語義
        語言與語義
        基于Daubechies(dbN)的飛行器音頻特征提取
        電子制作(2018年19期)2018-11-14 02:37:08
        望舌可預(yù)測中風(fēng)
        長壽(2018年6期)2018-07-12 07:54:12
        Bagging RCSP腦電特征提取算法
        “上”與“下”語義的不對稱性及其認知闡釋
        新疆地區(qū)不同民族老年舌體鱗狀細胞癌患者臨床特征及生存分析
        認知范疇模糊與語義模糊
        基于MED和循環(huán)域解調(diào)的多故障特征提取
        安氏Ⅲ類骨性Ⅲ類與安氏Ⅰ類錯畸形舌體形態(tài)位置及舌骨位置的比較研究
        語義分析與漢俄副名組合
        亚洲亚洲人成综合网络| 亚洲男人的天堂色偷偷| 日本超级老熟女影音播放| 99精品久久精品一区二区| 国产极品女主播国产区| 日韩av东京社区男人的天堂| 久久久久久亚洲精品中文字幕| 色婷婷综合激情| 亚洲AV无码一区二区三区少妇av| 日韩激情视频一区在线观看| 精品国产一区二区三区av天堂| 无码中文字幕日韩专区| 国产精品jizz在线观看老狼| 久久综合给合久久狠狠狠9| 国产精品综合女同人妖| 亚洲最大水蜜桃在线观看| 99久久精品国产一区二区| 鲁鲁鲁爽爽爽在线视频观看| 久久中文字幕无码一区二区| 亚洲码无人客一区二区三区| 最新国产女主播在线观看| 让少妇高潮无乱码高清在线观看| 国产精品国产午夜免费看福利| 99精品国产兔费观看久久| 国产偷国产偷亚洲高清| 亚洲av香蕉一区区二区三区| 国产二级一片内射视频插放| 日韩欧美亚洲综合久久影院d3| 亚洲国产成人精品激情资源9| 天堂视频一区二区免费在线观看| 国产毛女同一区二区三区| 国产二级一片内射视频插放| 国产精品27页| 亚洲专区路线一路线二网| 日本高清视频永久网站www| 中文文精品字幕一区二区| 亚洲第一页在线观看视频网站| 一本久久精品久久综合| 国产av国片精品有毛| 日本少妇人妻xxxxx18| 中文字幕成人精品久久不卡|