徐 武，陳盈君，湯弘毅，楊昊東

(云南民族大學(xué)電氣信息工程學(xué)院，云南 昆明 650000)

1 引言

舌圖象診斷是中醫(yī)望診學(xué)的重要診斷依據(jù)，醫(yī)生通過(guò)觀察舌體確定疾病發(fā)生的部位及治療方法。智能化的出現(xiàn)決定了中醫(yī)學(xué)與現(xiàn)代化相結(jié)合的趨勢(shì)，有效利用現(xiàn)代科學(xué)技術(shù)豐富和發(fā)展中醫(yī)學(xué)成了主要研究方向。圖像診斷面臨的首要問(wèn)題是，在舌圖像處理過(guò)程中，減少嘴唇、下巴、臉部等固定干擾因素以及其它無(wú)關(guān)噪音遮擋舌體等不固定因素的影響，可以在復(fù)雜場(chǎng)景下精確提取完整的舌體。傳統(tǒng)的舌圖像分割技術(shù)通過(guò)對(duì)比像素之間相似程度分割不同的區(qū)域，將目標(biāo)區(qū)域與目標(biāo)區(qū)域、目標(biāo)區(qū)域與背景區(qū)域分割開(kāi)。

文獻(xiàn)2在LAB顏色空間基礎(chǔ)上采用顏色增強(qiáng)算法起到了分割舌圖像的目的，此優(yōu)化算法減少了計(jì)算量，減少分割預(yù)測(cè)時(shí)間，但是對(duì)分割邊緣不能進(jìn)行精確識(shí)別。文獻(xiàn)[3]提出了SegNet網(wǎng)絡(luò)用于舌圖像分割，有著較高的分割精度以及更快的分割速度，但是處理結(jié)果會(huì)丟失許多高頻細(xì)節(jié)信息。本文針對(duì)傳統(tǒng)的舌圖像分割技術(shù)存在的問(wèn)題，提出舌圖像分割優(yōu)化算法。以傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)DeepLab v2為基礎(chǔ)設(shè)置帶孔卷積，改變池化層的參數(shù)，增大特征圖譜，從而獲得更好的邊緣信息。針對(duì)采樣和分割過(guò)程中的無(wú)關(guān)噪音(如采樣過(guò)程中除舌體外物體的遮擋；分割過(guò)程中局部區(qū)域的丟失)，提出了生成對(duì)抗網(wǎng)絡(luò)OSIM通過(guò)對(duì)特征圖進(jìn)行解碼、編碼操作，以及通過(guò)計(jì)算損失函數(shù)的數(shù)值去判別與原圖像的相似性，得到抗干擾能力強(qiáng)的去噪結(jié)果。通過(guò)帶孔的金字塔網(wǎng)絡(luò)從淺至深地融合不同層級(jí)特征，深層信息使分割具有更好的魯棒性，淺層信息對(duì)細(xì)節(jié)部分進(jìn)行更精確處理。

本文針對(duì)舌圖像提出DeepLab v2網(wǎng)絡(luò)分割的改進(jìn)算法，可以從嘴唇、下巴、臉部等顏色相似的部位中有效地提取目標(biāo)舌體區(qū)域，并且可以有效地還原被無(wú)關(guān)噪音遮擋的舌體區(qū)域，防止舌體輪廓丟失，有效提升了分割的精確性，顯著提升了算法的抗噪能力。

2 DeepLab v2網(wǎng)絡(luò)及改進(jìn)

DeepLab v1是基于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(CNN，Convolutional Networks)和概率圖模型(PGM，Probabilistic Graphical Model)的結(jié)合，提高了網(wǎng)絡(luò)性能且優(yōu)化了分割結(jié)果。DeepLab v2增加了多視野區(qū)域，并引入空間金字塔(ASPP， Atrous Spatial Pyramid Pooling)結(jié)構(gòu)，融合不同級(jí)別的語(yǔ)義信息。

在使用DeepLab v2網(wǎng)絡(luò)提取舌圖像時(shí)，存在以下兩個(gè)主要問(wèn)題：首先，由于舌體與周圍部位存在相似性，在提取過(guò)程中存在原始信息丟失的問(wèn)題或者出現(xiàn)誤提取現(xiàn)象，這導(dǎo)致網(wǎng)絡(luò)深層的特征圖保留目標(biāo)信息不完整，目標(biāo)舌體將會(huì)不完整。其次是舌體角度、提取光線不能保證相同，這導(dǎo)致了舌體的原始數(shù)據(jù)空間混入無(wú)關(guān)噪音，原始噪音逐步傳遞給輸出特征圖，使得提取的舌體特征質(zhì)量下降，影響目標(biāo)的識(shí)別和分割精度。

在DeepLab v2網(wǎng)絡(luò)的基礎(chǔ)上引入帶孔卷積算子起到保留圖像細(xì)節(jié)，提升分割結(jié)果分辨率的作用。通過(guò)改變池化層的參數(shù)得到不同的網(wǎng)絡(luò)特征圖譜，在不增加參數(shù)的前提下，得到不同感受野尺寸，從而得到不同的語(yǔ)義信息和空間信息。在改變池化層參數(shù)的同時(shí)，要防止邊界信息損失過(guò)多，應(yīng)避免特征圖譜縮減過(guò)小。

傳統(tǒng)的DeepLab v2網(wǎng)絡(luò)存在5個(gè)最大池化層，在DeepLab v2網(wǎng)絡(luò)的conv1＿x～ conv5＿x卷積層中，每個(gè)池化層參數(shù)為r=2的前提下進(jìn)行實(shí)現(xiàn)，為了避免特征圖譜縮減過(guò)小，本文設(shè)置池化層的參數(shù)值，通過(guò)改變上一層池化層的參數(shù)控制下一層特征圖譜的尺寸。具體改進(jìn)如下：將DeepLab v2網(wǎng)絡(luò)中conv4＿x、conv5＿x卷積層設(shè)置帶孔卷積算子，可以設(shè)置池化層參數(shù)改變輸出尺寸，第一、第二、第三層池化參數(shù)設(shè)置為r=2，第四和第五層池化參數(shù)設(shè)置為r=1，公式如下

(1)

j

、

j

分別是輸入、輸出卷積層的特征圖尺寸，輸出尺寸如圖1所示。防止特征圖譜過(guò)度減小，這里需要保持最終特征圖為一個(gè)較大尺寸。在傳統(tǒng)DeepLab v2網(wǎng)絡(luò)中參數(shù)全設(shè)置為2的情況下，最終的特征圖(卷積網(wǎng)絡(luò)之后)比輸入圖像尺寸縮小32倍。而本文設(shè)置帶孔卷積算子，特征圖尺寸將縮小8倍，是原網(wǎng)絡(luò)特征圖最終尺寸的8倍，通過(guò)設(shè)置參數(shù)條件增大最終特征圖的尺寸，使邊緣信息更加精確化，起到保留圖像細(xì)節(jié)，提升分割結(jié)果分辨率的作用。

圖1 卷積層結(jié)構(gòu)

3 OSIM去噪模塊

在采樣和分割過(guò)程中可能存在影響特征圖譜的無(wú)關(guān)噪音，這導(dǎo)致所得特征圖與真實(shí)特征圖出現(xiàn)偏差。為了減少無(wú)關(guān)噪音對(duì)結(jié)果的影響，設(shè)計(jì)生成對(duì)抗網(wǎng)絡(luò)OSIM作為修復(fù)模塊，如圖2所示，OSIM網(wǎng)絡(luò)可分為三部分，其一是生成器，作用是生成區(qū)域特征值；其二是局部判別器，作用是判斷還原新區(qū)域與原始區(qū)域是否符合；其三是全部判別器，作用是判斷還原后區(qū)域與完整舌體是否符合。主要原理是生成器對(duì)含有噪音遮擋區(qū)域進(jìn)行迭代還原，通過(guò)局部判別器、全部判別器判斷還原的新區(qū)域符合真實(shí)舌體特征停止迭代。

圖2 OSIM網(wǎng)絡(luò)結(jié)構(gòu)

3.1 生成器

生成器的主要原理是，對(duì)于網(wǎng)絡(luò)中含有無(wú)關(guān)噪音遮擋的舌體圖像，生成器通過(guò)編碼網(wǎng)絡(luò)對(duì)原遮擋區(qū)域進(jìn)行編碼分析并產(chǎn)成預(yù)測(cè)特征，將預(yù)測(cè)的新特征圖輸入到解碼網(wǎng)絡(luò)，經(jīng)過(guò)全連接層將提取到的特征綜合起來(lái)，為提升無(wú)關(guān)噪音影響區(qū)域的還原精度，需要進(jìn)行大量迭代實(shí)驗(yàn)。

3.2 判別網(wǎng)絡(luò)結(jié)構(gòu)

生成器的生成特征并不能有效地還原目標(biāo)的輸入圖像，還需要通過(guò)判別器網(wǎng)絡(luò)進(jìn)行判別生成的圖像是否符合原圖像。這里可以在編碼、解碼網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)出一個(gè)全局判別器和局部判別器進(jìn)行判別。全局判別器和局部判別器都是以DeepLab v2網(wǎng)絡(luò)作為基礎(chǔ)結(jié)構(gòu)，在conv5到池化層的基礎(chǔ)上并增加一個(gè)sigmoid分類層，因此全局、局部判別器具有相同的網(wǎng)絡(luò)結(jié)構(gòu)。全局判別器是引導(dǎo)還原后的遮擋區(qū)域在結(jié)構(gòu)上與其周圍區(qū)域相近，而局部判別器針對(duì)無(wú)關(guān)噪音區(qū)域的內(nèi)部細(xì)節(jié)，引導(dǎo)還原后的特征在內(nèi)容上與真實(shí)特征相似。

3.3 損失函數(shù)

為保證生成的新特征與真實(shí)舌體特征在內(nèi)容上相似，可以使用歐式距離來(lái)度量生成特征與真實(shí)特征之間的差異，生成器損失函數(shù)計(jì)算公式為

(2)

式中

M

—特征圖上的像素點(diǎn)數(shù)量；

x

—舌體的真實(shí)特征值；

x

′—生成器產(chǎn)生的特征值局部、全局判別器的損失函數(shù)計(jì)算公式為

E

- () [log(1-

D

(

G

(

z

)))]

(3)

式中

L

—局部判別器損失函數(shù)；

L

—全局判別器損失函數(shù)；

E

～()—真實(shí)數(shù)據(jù)分布

E

～()—遮擋噪音分布；

D

(

x

)—生成數(shù)據(jù)的判別；

G

(

z

)—產(chǎn)生噪音的數(shù)據(jù)值

OSIM

的總損失函數(shù)

L

是生成器、局部判別器和全局判別器三部分損失函數(shù)的和，其計(jì)算公式為

L

=

L

+

L

+

L

(4)

4 空間金字塔池化模塊

在不同卷積層中，輸出特征圖存在不同的語(yǔ)義信息、空間信息和細(xì)節(jié)信息，高層卷積層更好地反映了語(yǔ)義信息；而在低層卷積層中，特征圖保留目標(biāo)更多的細(xì)節(jié)信息以及空間信息?；贏trous卷積的空間金字塔采用并行結(jié)構(gòu)，多個(gè)采樣率不同的Atrous卷積層獲得不同特征，通過(guò)不同比例獲取圖像上下文信息。為了目標(biāo)特征更加豐富，通過(guò)引用基于Atrous的空間金字塔模塊，不僅可以融合多尺度的特征信息，還可以使分割結(jié)果具有更好的魯棒性。結(jié)構(gòu)如圖3所示。

圖3 基于Atrous卷積的空間金字塔結(jié)構(gòu)圖

5 融合算法結(jié)構(gòu)

本文所提出的融合改進(jìn)DeepLab v2網(wǎng)絡(luò)和OSIM網(wǎng)絡(luò)算法采用的是一種串行結(jié)構(gòu)，如圖4所示。該算法由3部分組成：1)含帶孔卷積算子的卷積層。2)OSIM去噪網(wǎng)絡(luò)。3)空間金字塔池化模塊。首先將原圖像輸入卷積層提取特征，引用帶孔卷積算子提升分割結(jié)果分辨率；然后通過(guò)OSIM網(wǎng)絡(luò)進(jìn)行去噪處理，提升特征圖像精確性并對(duì)原圖像進(jìn)行還原；最后通過(guò)基于Atrous卷積的空間金字塔融合多尺度特征信息。

圖4 融合算法

6 實(shí)驗(yàn)結(jié)果與分析

6.1 不同網(wǎng)絡(luò)分割的結(jié)果

在舌圖像分割過(guò)程中，光照對(duì)舌體顏色呈現(xiàn)有很大影響，為了測(cè)試改進(jìn)網(wǎng)絡(luò)在實(shí)際中的分割效果，本文選取了封閉環(huán)境下采集到的舌圖像進(jìn)行測(cè)試。選取了一個(gè)具有嘴唇、下巴、臉部等干擾因素的典型圖片作為原始圖片，針對(duì)SegNet、Mask R-CNN、DeepLab v2和融合網(wǎng)絡(luò)進(jìn)行分割效果的對(duì)比。

圖5 舌象分割圖

如圖5所示的實(shí)驗(yàn)結(jié)果。從圖中可以看出，SegNet網(wǎng)絡(luò)對(duì)與舌體顏色相似的嘴唇和下巴部分區(qū)域分割精度較低；Mask R-CNN網(wǎng)絡(luò)分割出的舌體完整性較差，無(wú)法精確識(shí)別出邊緣區(qū)域；融合算法相對(duì)傳統(tǒng)DeepLab v2有更精確的邊緣處理能力，對(duì)不同角度的舌體有更好的分割效果。

針對(duì)各個(gè)方法的客觀分割精度進(jìn)行測(cè)量以及對(duì)各個(gè)方法的模型測(cè)試時(shí)間進(jìn)行統(tǒng)計(jì)。

本文采用的評(píng)價(jià)指標(biāo)為平均交并比(mean Intersection over Union,mIoU),IoU是真實(shí)值與預(yù)測(cè)值的交集與并集之比，mIoU是交集與并集之比的平均值，它的結(jié)果可以直接反應(yīng)為算法處理的精度。計(jì)算公式如下

(5)

k

-類別個(gè)數(shù)；

p

-被預(yù)測(cè)為

j

類中，類別為

i

的像素的個(gè)數(shù)；

P

-類別為

i

的同時(shí)被預(yù)測(cè)為

i

類的像素之和

表1給出了不同網(wǎng)絡(luò)的分割精度和單張圖像預(yù)測(cè)時(shí)間。

表1 不同網(wǎng)絡(luò)分割方法的性能比較

在中醫(yī)舌圖像分割中，由于mIoU可以直接評(píng)價(jià)分割算法精度，算法精度隨著mIoU值的增大而增大。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法的mIoU值和預(yù)測(cè)時(shí)間分別為97.81%和0.0028s，比DeepLab v2網(wǎng)絡(luò)提高了2.03個(gè)百分點(diǎn)，比Mask R-CNN、SegNet網(wǎng)絡(luò)提高了4.2個(gè)百分點(diǎn)和5.04個(gè)百分點(diǎn)；改進(jìn)算法的預(yù)測(cè)時(shí)間與SegNet、DeepLab v2網(wǎng)絡(luò)相差無(wú)幾，相對(duì)Mask R-CNN網(wǎng)絡(luò)有大幅度提升。本文在DeepLab v2網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，分割精度遠(yuǎn)遠(yuǎn)高于其它算法，驗(yàn)證了融合在保證速度沒(méi)有明顯降低的前提下，具有更好的分割精度。

6.2 基于OSIM網(wǎng)絡(luò)處理能力的分析

圖6 帶無(wú)關(guān)噪音的舌象分割圖

如圖6所示的實(shí)驗(yàn)結(jié)果。設(shè)計(jì)插入OSIM網(wǎng)絡(luò)的特征修復(fù)可以有效地識(shí)別出被無(wú)關(guān)噪音，并分割出完整的舌體圖像，但是消耗了額外的計(jì)算量。

為了更直接的驗(yàn)證OSIM對(duì)遮擋模塊的處理能力，這里對(duì)比加入OSIM處理前的網(wǎng)絡(luò)1與加入OSIM處理后的網(wǎng)絡(luò)2，選用查全率

P

、正確率

P

作為模型性能的評(píng)價(jià)指標(biāo)，

(6)

(7)

其中查全率是還原出舌圖像的正確區(qū)域與實(shí)際的比值；正確率是指還原的錯(cuò)誤區(qū)域與檢測(cè)出舌圖像的比值差。網(wǎng)絡(luò)2的查全率比網(wǎng)絡(luò)1提高了近24

.

2個(gè)百分點(diǎn)，網(wǎng)絡(luò)2的正確率比網(wǎng)絡(luò)1提高了近11

.

0個(gè)百分點(diǎn)，網(wǎng)絡(luò)2還原出舌圖像的正確區(qū)域遠(yuǎn)遠(yuǎn)高于網(wǎng)絡(luò)1，網(wǎng)絡(luò)2的還原錯(cuò)誤區(qū)域遠(yuǎn)遠(yuǎn)下降，驗(yàn)證了加入

OSIM

處理的網(wǎng)絡(luò)1具有更高的修復(fù)能力和更好的抗干擾能力。

表2 基于OSIM網(wǎng)絡(luò)還原的特征比較

7 結(jié)論

針對(duì)嘴唇、下巴、臉部等固定干擾因素以及其它無(wú)關(guān)噪音遮擋舌體等不固定因素對(duì)舌圖像分割產(chǎn)生影響的問(wèn)題，在傳統(tǒng)舌圖像分割的基礎(chǔ)上進(jìn)行改進(jìn)，將DeepLab v2網(wǎng)絡(luò)中卷積層設(shè)置帶孔卷積子并增加生成對(duì)抗網(wǎng)絡(luò)OSIM模塊進(jìn)行分割，能夠在提高邊緣區(qū)域精度的同時(shí)，處理原始圖像中摻雜無(wú)關(guān)噪音和處理過(guò)程中目標(biāo)區(qū)域丟失的問(wèn)題，對(duì)不同環(huán)境具有一定的抗干擾能力。對(duì)比傳統(tǒng)的舌圖像分割，此方法在保證速度沒(méi)有明顯降低的前提下，大大提升了分割精度，并具備除噪能力，使舌圖像分割具有較高的實(shí)時(shí)性。