張新峰，郭宇桐，蔡軼珩，孫萌

（北京工業(yè)大學(xué) 信息學(xué)部，北京100124）

舌診在中醫(yī)中占有重要地位，是了解人體狀態(tài)的重要手段之一。在舌診中，醫(yī)生通過(guò)觀察舌質(zhì)和舌苔的顏色、形狀等特征，為診斷患者的健康狀況提供重要依據(jù)。在傳統(tǒng)的舌診望診過(guò)程中，醫(yī)生通常通過(guò)自己的眼睛來(lái)觀察舌頭，從而進(jìn)行判斷。然而視覺(jué)感知和臨床經(jīng)驗(yàn)的變化往往會(huì)導(dǎo)致診斷結(jié)果的差異，即診斷結(jié)果是主觀的。此外，環(huán)境因素（如不同的光源和亮度）也會(huì)影響醫(yī)生做出準(zhǔn)確的診斷。傳統(tǒng)舌診的評(píng)價(jià)指標(biāo)不能科學(xué)、定量地描述，診斷結(jié)果不能系統(tǒng)地存儲(chǔ)和標(biāo)準(zhǔn)化。因此，建立更加客觀、準(zhǔn)確的中醫(yī)舌診輔助系統(tǒng)具有重要的意義和必要性。

舌圖像分析系統(tǒng)［1］通常分為以下步驟：①采集帶有舌體區(qū)域的人體面部圖像；②對(duì)面部圖像進(jìn)行分割，獲取舌體區(qū)域；③提取舌體的顏色、紋理、裂紋、紅刺等特征，對(duì)舌色和舌苔進(jìn)行定量分析和定性描述；④將分割后的舌圖像、提取的特征和評(píng)價(jià)結(jié)果保存在患者數(shù)據(jù)庫(kù)中，協(xié)助醫(yī)生進(jìn)行后續(xù)診斷。在上述步驟中，舌體區(qū)域的分割是一個(gè)關(guān)鍵步驟。在采集到的面部圖像中有許多干擾物，包括背景、面部器官，有時(shí)還包括顏色標(biāo)準(zhǔn)色卡等，因此對(duì)舌體區(qū)域分割的準(zhǔn)確度將直接影響到最終舌診的分析結(jié)果。

2.1.2 認(rèn)知障礙 神經(jīng)梅毒患者可出現(xiàn)癡呆，表現(xiàn)為記憶力下降、判斷力減退、情緒不穩(wěn)定、情緒低落、懶散、生活不能自理［2］。

傳統(tǒng)的舌圖像分割算法可分為以下幾類(lèi)：基于閾值的 方 法［2-3］、基 于 邊 緣 檢 測(cè) 的 方 法［4-6］、基于圖論的方法［7-9］和基于主動(dòng)輪廓模型［10-11］。這些方法在一定條件下可以得到較好的分割效果。但是，它們有以下缺點(diǎn)：①自動(dòng)化程度較低，往往需要一些人工操作，如邊界框或標(biāo)定輪廓點(diǎn)［4，7］；②分割精度較差，并且舌體邊緣存在較多齒痕。由于顏色相似，算法無(wú)法準(zhǔn)確區(qū)分舌頭和嘴唇［12］。

On the Legal System of Eco-compensation for Natural Resources Conservation Wang Yi&Wang Haiyan

近年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）在計(jì)算機(jī)視覺(jué)方面取得良好的表現(xiàn)，包括圖像分類(lèi)［13-14］、目標(biāo)檢測(cè)［15-17］和語(yǔ)義分割［18-21］。通過(guò)端到端的方式，DCNN比手工選取特征得到了更好的結(jié)果。盡管如此，利用DCNN進(jìn)行舌部分割的算法還很少。最新的算法［22-23］使用DCNN進(jìn)行舌部分割，優(yōu)于一些傳統(tǒng)的分割算法。然而，它們還需要一些額外的預(yù)處理，如亮度辨別和圖像增強(qiáng)，這使得整個(gè)過(guò)程復(fù)雜。

本文提出了一種基于DCNN和全連接條件隨機(jī)場(chǎng)（CRF）的舌圖像分割算法，主要工作如下：①提出了一種基于DCNN的舌圖像分割網(wǎng)絡(luò)；②使用孔卷積算法在不增加網(wǎng)絡(luò)參數(shù)的條件下擴(kuò)大了特征圖譜的尺寸；③使用孔卷積空間金字塔池化（ASPP）模塊提取舌圖像的多尺度特征；④將DCNN與全連接CRF相結(jié)合，細(xì)化分割邊緣。

1 舌圖像分割算法

本節(jié)提出了一種舌圖像分割算法，算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。該算法由3部分組成：①使用孔卷積的DCNN；②ASPP模塊；③全連接的CRF。首先，將舌圖像輸入到DCNN進(jìn)行特征提取，在網(wǎng)絡(luò)層中使用孔卷積算法擴(kuò)大感受野。然后，利用ASPP模塊通過(guò)結(jié)合多個(gè)不同大小的感受野來(lái)提取多尺度信息。最后，利用全連接CRF對(duì)網(wǎng)絡(luò)輸出圖像進(jìn)行處理，對(duì)分割邊緣進(jìn)行細(xì)化。

圖1 舌圖像分割算法網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of tongue image segmentation algorithm

1.1 孔卷積

在計(jì)算機(jī)視覺(jué)領(lǐng)域，DCNN通常會(huì)使用較多的卷積層和池化層，如在分類(lèi)任務(wù)中，將卷積層和最大池化層在連續(xù)層上面重復(fù)組合使用，可以提取物體高維特征，分類(lèi)效果表現(xiàn)良好。然而，這種重復(fù)使用卷積和池化的操作在分割任務(wù)中存在很?chē)?yán)重的問(wèn)題。在對(duì)圖像中的舌體區(qū)域進(jìn)行分割時(shí)，舌體的邊界信息和語(yǔ)義信息是至關(guān)重要的。經(jīng)過(guò)反復(fù)的卷積和池化操作后，網(wǎng)絡(luò)的特征圖譜會(huì)逐漸縮小，損失了較多的邊界信息，不利于舌體邊緣的精確分割。

為了減少邊界信息的丟失，應(yīng)避免在卷積和池化操作中使特征圖譜縮減過(guò)小。如圖1所示，算法的網(wǎng)絡(luò)結(jié)構(gòu)共有5個(gè)最大池化層，它們?cè)诰W(wǎng)絡(luò)中分別為第3、6、10、14、18層。將網(wǎng)絡(luò)中的第4池化層和第5池化層的步長(zhǎng)參數(shù)設(shè)置為1，而不是前3個(gè)池化層中的2，這樣可以使特征圖譜不會(huì)過(guò)度減小，保持為一個(gè)較大尺寸。對(duì)于用于圖像分類(lèi)任務(wù)的DCNN［13］，最終的特征圖（全連接層或全局池化層之前）比輸入圖像尺寸小32倍。使用上述操作，特征圖譜只會(huì)減少為原尺寸的8倍。

信息盜竊也是危害計(jì)算機(jī)網(wǎng)絡(luò)信息安全性的重要因素，其是利用間諜軟件來(lái)對(duì)相關(guān)網(wǎng)絡(luò)信息造成攻擊，其不像病毒那樣直接影響計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)運(yùn)行，但是卻會(huì)基于網(wǎng)絡(luò)系統(tǒng)而盜竊網(wǎng)絡(luò)用戶(hù)的個(gè)人信息，危害用戶(hù)個(gè)人數(shù)據(jù)信息的安全性。而垃圾信息則主要是基于新聞傳遞或郵件等方式，通過(guò)采取垃圾信息傳播本身具有的強(qiáng)制性特征來(lái)擴(kuò)散或盜取經(jīng)濟(jì)政策和商業(yè)信息等。無(wú)論是信息盜竊還是垃圾信息，它們的存在均會(huì)對(duì)計(jì)算機(jī)網(wǎng)絡(luò)運(yùn)行的安全性產(chǎn)生不利影響。

位于北京北四環(huán)邊上的理想國(guó)際大廈，是中關(guān)村核心區(qū)租金最貴的寫(xiě)字樓之一。這里一度盤(pán)踞著多家互聯(lián)網(wǎng)上市公司，就連樓下不起眼的咖啡廳也有扎克伯克的足跡。正因如此，這里一度被認(rèn)為是互聯(lián)網(wǎng)圈的“風(fēng)水寶地”。

為了解決此問(wèn)題，本文使用了孔卷積算法，其最初是為了高效計(jì)算非抽取小波變換而開(kāi)發(fā)的［24］，可以在保持參數(shù)個(gè)數(shù)不變的情況下，增大卷積核的大小。算法在一維運(yùn)算中如式（3）所示：

式中：x［i］為輸入信號(hào)；y［i］為輸出信號(hào)；w［k］為卷積核；參數(shù)r控制卷積的間隔。

在進(jìn)行標(biāo)準(zhǔn)卷積時(shí)，即參數(shù)r=1，從圖2（a）可以看到，在較高一層的神經(jīng)元中，相鄰神經(jīng)元的感受野具有較高的重合性，雖然能夠包含低一層神經(jīng)元中所有的信息，但是由于對(duì)像素進(jìn)行了連續(xù)的遍歷卷積，圖像中的許多特征會(huì)被重復(fù)地進(jìn)行提取，從而產(chǎn)生大量的冗余信息。如果將像素點(diǎn)間斷地進(jìn)行卷積運(yùn)算（間隔由參數(shù)r控制），如圖2（b）所示，感受野的交集將會(huì)被最小化，保證了在不損失圖像信息的前提下，減少冗余信息。合理的組合不同層中孔卷積的參數(shù)r，可以使卷積層既能提取到圖像的全部特征，又能在不增加參數(shù)的情況下擴(kuò)大感受野，提高語(yǔ)義信息的提取能力。在圖1中，網(wǎng)絡(luò)中的孔卷積層被標(biāo)記為每個(gè)通道的第一層，且參數(shù)r=2。通過(guò)改變池化層的步長(zhǎng)，以及使用孔卷積的方法，網(wǎng)絡(luò)提取邊緣信息和語(yǔ)義信息的能力有所提升，這有利于提高舌圖像分割的準(zhǔn)確率。

使用孔卷積還可以顯式地控制在DCNN中計(jì)算特征響應(yīng)的密度。用輸出比率來(lái)表示輸入圖像空間分辨率與最終輸出分辨率的比值，對(duì)于用于圖像分類(lèi)任務(wù)的DCNN［13］，最終的特征響應(yīng)（在全連接層或全局池化層之前）比輸入圖像尺寸小32倍，因此輸出比率為32。如果想將DCNN中計(jì)算的特征響應(yīng)的空間密度提高一倍（即輸出比率為16），則將最后一個(gè)縮小特征圖譜的卷積層或池化層的步長(zhǎng)設(shè)置為1，以避免信號(hào)抽取。所有后續(xù)的卷積層都替換為r=2的孔卷積層即可。通過(guò)調(diào)整參數(shù)r，可以在任意分辨率下計(jì)算最終的DCNN響應(yīng)。

圖2 一維孔卷積示意圖Fig.2 Schematic diagram of 1D atrous convolution

1.2 孔卷積空間金字塔池化模塊

在DCNN中通常使用固定大小的卷積核進(jìn)行卷積運(yùn)算，如3×3或5×5。通過(guò)重復(fù)的卷積運(yùn)算，網(wǎng)絡(luò)可以提取圖像中所包含的深層特征。然而，具有固定尺寸的卷積核只能提取單一尺寸的特征，不能對(duì)圖像在多個(gè)尺度上進(jìn)行特征提取。

孔卷積能夠控制感受野的大小，通過(guò)設(shè)置不同的卷積參數(shù)r，感受野的大小也會(huì)發(fā)生變化。單獨(dú)使用一個(gè)孔卷積層，網(wǎng)絡(luò)可以在這個(gè)指定尺度下提取特征。同時(shí)使用多個(gè)具有不同感受野的孔卷積層，網(wǎng)絡(luò)即可以對(duì)物體提取多尺度特征?？拙矸eASPP模塊并行地排列4種不同參數(shù)的孔卷積層，通過(guò)多種感受野提取多尺度特征。每個(gè)通道提取到的特征通過(guò)2個(gè)卷積層進(jìn)一步處理（卷積核為1×1）。將4個(gè)通道提取到的特征通過(guò)一個(gè)卷積核大小為1、深度為4的卷積層進(jìn)行融合，結(jié)果作為最終的特征。ASPP模塊如圖3所示。

圖3 ASPP模塊Fig.3 ASPP module

Tongue dataset 2采用尼康E4500相機(jī)拍攝，燈光和背景條件與Tongue dataset 1不同，拍攝的場(chǎng)景也存在差異，圖像分辨率為1 600×1 200。數(shù)據(jù)集中共有 200 幅圖像，其中包含訓(xùn)練集（160幅）和測(cè)試集（40幅）。

1.3 全連接條件隨機(jī)場(chǎng)

為證明網(wǎng)絡(luò)結(jié)構(gòu)的有效性，本節(jié)比較使用不同模塊對(duì)分割結(jié)果的影響。實(shí)驗(yàn)中使用了2個(gè)不同的舌圖像數(shù)據(jù)集。使用Tongue dataset 1中的訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，并用測(cè)試集對(duì)模型結(jié)果進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如表4所示。結(jié)果表明，在網(wǎng)絡(luò)中使用ASPP模塊和CRF對(duì)分割結(jié)果有3%的提升。使用ASPP模塊與全連接CRF的方法取得了較好的效果，在舌圖像數(shù)據(jù)集中測(cè)試MIOU達(dá)到了95.41%?？梢暬指罱Y(jié)果示例如圖7所示。

(5) 間隙單元。開(kāi)挖間隙分為3部分：刀盤(pán)超挖間隙、盾尾間隙和操作間隙[7]。本文通過(guò)降低材料彈性模量的方式來(lái)模擬開(kāi)挖間隙，彈性模量一般取值為10 kPa。

式中：rin為前一層的感受野尺寸；rout為當(dāng)前層感受野尺寸；k為核大?。籮in為前一層相鄰特征的距離；jout為當(dāng)前層相鄰特征的距離。

傳統(tǒng)的CRF通常被用來(lái)平滑噪聲［7］，通過(guò)將相鄰的節(jié)點(diǎn)耦合在一起，使得空間上鄰近的像素獲得相同的標(biāo)簽。這些短程CRF的主要功能是清除基于手工特征構(gòu)建的弱分類(lèi)器的虛假預(yù)測(cè)。

然而，DCNN不同于這些較弱的分類(lèi)器。DCNN獲得的邊緣是十分平滑的，在這種情況下，使用短程CRF是不適合的［25］，因?yàn)槟繕?biāo)是得到清晰的物體邊緣，而不是進(jìn)一步平滑。為了解決短程CRF的局限性，用全連接CRF代替。將DCNN模型與全連接CRF相結(jié)合，用來(lái)精確地分割邊界。模型能量函數(shù)如下：

式中：xi代表像素i的標(biāo)簽；一元?jiǎng)轂棣萯（xi）=-lg P（xi），P（xi）代表由DCNN預(yù)測(cè)出的像素i為舌體或者背景的概率；二元?jiǎng)荩?5］為以下表達(dá)：

其中：若xi≠xj，則μ（xi，xj）=1，否則為0，這意味著只懲罰具有不同標(biāo)簽的節(jié)點(diǎn)。公式的后半部分為2個(gè)在不同特征空間中的高斯核。第1個(gè)核同時(shí)依賴(lài)于像素位置（2個(gè)不同的像素點(diǎn)坐標(biāo)向量分別表示為pi和pj）和RGB顏色（2個(gè)不同像素點(diǎn)的顏色向量分別表示為Ii和Ij），第2個(gè)核只依賴(lài)于像素位置。超參數(shù)ω1、ω2控制高斯核的權(quán)重，σα、σβ和σγ控制高斯核的尺度。

式（5）的作用是判別相似的像素點(diǎn)是否屬于同一類(lèi)。如果像素點(diǎn)屬于同一類(lèi)，則能量函數(shù)值相對(duì)較小。反之，如果像素點(diǎn)不屬于同一類(lèi)，則能量函數(shù)相對(duì)較大。在舌圖像分割中，唇部區(qū)域往往被錯(cuò)誤地劃分為舌形區(qū)域，影響了后續(xù)的分析。利用該能量函數(shù)，使與唇部連接的舌體分割更加精確。舌體部分像素的RGB值相似，舌體與唇部像素的RGB值存在差異。當(dāng)對(duì)相似區(qū)域的像素點(diǎn)判別為不同類(lèi)時(shí)，會(huì)產(chǎn)生較大的能量函數(shù)值。當(dāng)存在差異的區(qū)域判別為同一類(lèi)時(shí)，也會(huì)產(chǎn)生較大的值。通過(guò)多次迭代，使能量函數(shù)的值最小化來(lái)獲得最終結(jié)果。通過(guò)這種方式，利用整個(gè)圖像的信息來(lái)細(xì)化舌體邊緣，提高分割的準(zhǔn)確性。

2 實(shí)驗(yàn)結(jié)果分析

2.4.4 與現(xiàn)有算法對(duì)比

2.1 數(shù)據(jù)集

2.1.1 PASCAL VOC 2012

PASCAL VOC 2012是一個(gè)語(yǔ)義分割數(shù)據(jù)集，共分為21個(gè)類(lèi)別，其中包括20個(gè)前景物體和1個(gè)背景。原始數(shù)據(jù)集分別包含用于訓(xùn)練（1 464幅）、驗(yàn)證（1 449幅）和測(cè)試（1 456幅）的像素級(jí)標(biāo)記圖像。數(shù)據(jù)集通過(guò)提供的方法進(jìn)行擴(kuò)充［26］，得到10 582幅訓(xùn)練圖像。數(shù)據(jù)集每個(gè)部分的數(shù)量如表1所示。

表1 三個(gè)數(shù)據(jù)集的圖片數(shù)量Table 1 Number of images on three datasets

2.1.2 舌圖像數(shù)據(jù)集

Tongue dataset 1采用佳能EOS 1100D相機(jī)拍攝，圖像分辨率為4 272×2 848。數(shù)據(jù)集中共有1 690幅圖像，其中包含訓(xùn)練集（1 440幅）和測(cè)試集（250幅）。

除此之外，由于拍攝設(shè)備、拍攝距離和患者年齡的不同，圖像中舌體區(qū)域尺寸的大小可能會(huì)存在差異。因此，需要分割算法能夠準(zhǔn)確地分割不同大小的舌體。為了解決此問(wèn)題，一般的分割算法通常是使用包含不同尺寸物體的數(shù)據(jù)集來(lái)訓(xùn)練網(wǎng)絡(luò)，確保模型對(duì)不同大小物體分割的魯棒性。然而，由于舌圖像數(shù)據(jù)獲取困難，舌圖像的數(shù)量有限，沒(méi)有足夠的各種尺度的帶標(biāo)簽的圖像來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。ASPP模塊由于使用了不同大小的感受野，可以對(duì)單尺寸舌圖像在多個(gè)尺度上進(jìn)行特征提取，在一定程度上解決了樣本不同尺寸數(shù)據(jù)量不足的問(wèn)題。

2.2 兩組治療前后平均動(dòng)脈壓及24 h尿蛋白定量比較 治療前兩組平均動(dòng)脈壓及24 h尿蛋白定量對(duì)比，差異無(wú)統(tǒng)計(jì)學(xué)意義(P>0.05)；治療2周后兩組平均動(dòng)脈壓及24 h尿蛋白定量均較治療前有所降低，且觀察組低于對(duì)照組，差異有統(tǒng)計(jì)學(xué)意義(P<0.05)。見(jiàn)表3。

數(shù)據(jù)集原始圖像和人工標(biāo)注的標(biāo)簽如圖4所示。所有受試者在參與研究前均已知情同意納入研究。

圖4 數(shù)據(jù)集原始圖像和人工標(biāo)注的標(biāo)簽Fig.4 Original images in dataset with corresponding artificial segmentation marks

2.2 實(shí)驗(yàn)設(shè)置

為了訓(xùn)練舌圖像分割模型，使用Caffe框架搭建網(wǎng)絡(luò)。所有實(shí)驗(yàn)都是在一臺(tái)配置為Intel Xeon E5-2623 v3 CPU@ 2.4GHz，64 GB RAM 的電腦上進(jìn)行的，GPU型號(hào)為NVIDIA GeForce GTX TITAN。

在實(shí)驗(yàn)中，mini-batch設(shè)置為20，初始學(xué)習(xí)率為0.001，每2 000次迭代將學(xué)習(xí)率乘以0.1，動(dòng)量固定為0.9，對(duì)應(yīng)的權(quán)值衰減為0.0005。

2.3 評(píng)判標(biāo)準(zhǔn)

本文采用像素精度（PA）、平均像素精度（MPA）和平均交并比（MIOU）3個(gè)標(biāo)準(zhǔn)來(lái)評(píng)價(jià)模型對(duì)舌圖像的分割精度。PA、MPA、MIOU的公式如下：

式中：pii為將第i類(lèi)正確地分割為第i類(lèi)的像素點(diǎn)數(shù)量，pij為將第i類(lèi)錯(cuò)誤地分割為第j類(lèi)的像素點(diǎn)數(shù)量，pji為將第j類(lèi)錯(cuò)誤地分割為第i類(lèi)的像素點(diǎn)數(shù)量。

賽程節(jié)奏緊張，選手上妝過(guò)程中評(píng)委老師可上臺(tái)察看選手上妝手法，并進(jìn)行初評(píng)，考核不僅僅是技術(shù)，更是臨場(chǎng)心理素質(zhì)。

2.4 結(jié)果分析

先將網(wǎng)絡(luò)在PASCAL VOC 2012數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，再在舌圖像數(shù)據(jù)集上對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)。在對(duì)DCNN進(jìn)行微調(diào)后，使用交叉驗(yàn)證來(lái)優(yōu)化CRF參數(shù)。初始化參數(shù)ω2=3，σγ=3，通過(guò)對(duì)驗(yàn)證集的小部分?jǐn)?shù)據(jù)進(jìn)行交叉驗(yàn)證（本文使用20幅圖像）來(lái)尋找最佳參數(shù)ω1、σα和σβ。

采用由粗到精的搜索方案，參數(shù)的初始搜索區(qū)間為：ω1為［2∶6］，σα為［10∶10∶100］，σβ為［10∶10∶100］。算法共迭代10次。

2.4.1 不同尺寸和參數(shù)的孔卷積

本節(jié)討論使用不同尺寸和參數(shù)的孔卷積對(duì)網(wǎng)絡(luò)性能的影響。為了便于實(shí)驗(yàn)結(jié)果的觀察，在fc6中使用了一個(gè)分支，來(lái)代替在ASPP模塊中使用的4個(gè)分支。如表2所示，在孔卷積層中使用大小為7×7，參數(shù)r=2的卷積核。由于卷積核尺寸較大，網(wǎng)絡(luò)的感受野較大，可以提取更多的特征，分割效果較好，該模型在CRF后的性能為93.29%。但是7×7的卷積核導(dǎo)致網(wǎng)絡(luò)參數(shù)龐大，運(yùn)行緩慢（訓(xùn)練時(shí)每秒1.57幅圖像）。通過(guò)將核的尺寸減小到5×5（r=2），將模型速度提高到每秒2.47幅圖像，將核大小減小到3×3（r=2），將模型速度提高到每秒4.92幅圖像。由于減小了卷積核的大小，參數(shù)數(shù)量大幅減少，運(yùn)行速度更快。然而感受野的減小導(dǎo)致網(wǎng)絡(luò)性能下降，分割精度降低。當(dāng)使用3×3的卷積核（r=2）時(shí)，CRF后的模型性能為83.47%。不同參數(shù)下的模型結(jié)果如圖5所示。

表2 不同尺寸和參數(shù)的孔卷積對(duì)網(wǎng)絡(luò)性能的影響Table 2 Effect of atrous convolution with different size and parameters on network performance

為了在不增加參數(shù)的情況下提高模型的精度，在fc6層增大參數(shù)以擴(kuò)大網(wǎng)絡(luò)的感受野。當(dāng)使用3×3卷積核，參數(shù)設(shè)置為r=8時(shí)，模型的性能可以與之前的結(jié)果（卷積核大小7×7，r=2）相媲美。使用這種方法，能夠令網(wǎng)絡(luò)在不增加參數(shù)的條件下，增大網(wǎng)絡(luò)的感受野。

圖5 不同尺寸和參數(shù)的孔卷積MIOU結(jié)果Fig.5 MIOU of atrous convolution with different sizes and parameters

2.4.2 不同參數(shù)的孔卷積空間金字塔池化模塊

其中， r為NI的長(zhǎng)度，tp (1 p r)是NI的所有項(xiàng)目中其支持度最大的單項(xiàng)目，Is為NI的所有2_子項(xiàng)集至(r-1)_子項(xiàng)集中其支持度最大的子項(xiàng)集.

本節(jié)討論在ASPP模塊中使用不同孔卷積參數(shù)r的效果。如圖3所示，ASPP模塊在fc6-fc7-fc8中使用多個(gè)并行分支，最后融合生成結(jié)果。實(shí)驗(yàn)中卷積核的大小均為3×3，每個(gè)分支的參數(shù)r不同。表3展示了幾種參數(shù)的實(shí)驗(yàn)結(jié)果。表中：?jiǎn)畏种腔鶞?zhǔn)模型，即fc6為單分支，r=8。另外4個(gè)實(shí)驗(yàn)使用的是ASPP模塊，有4個(gè)分支，參數(shù)不同。ASPP-2代表r=（2，4，6，8），ASPP-4代表r=（4，8，12，16），ASPP-6代表r=（6，12，18，24），ASPP-8代表r=（8，16，24，32）。實(shí)驗(yàn)結(jié)果如表3所示，使用ASPP模塊的性能優(yōu)于單個(gè)分支。在使用ASPP模塊進(jìn)行的4個(gè)用于舌圖像分割的實(shí)驗(yàn)中，ASPP-4（4，8，12，16）的性能最好，CRF后分割的MIOU達(dá)到95.41%。從圖6中可以觀察到不同參數(shù)下模型的分割結(jié)果。

由于社會(huì)環(huán)境的影響和不同學(xué)生價(jià)值觀取向不同，也直接決定其個(gè)人行為方式的差異。近年來(lái)，隨著社會(huì)主義改革事業(yè)的蓬勃發(fā)展，社會(huì)生產(chǎn)方式及社會(huì)利益結(jié)構(gòu)也發(fā)生了巨大變化。此外，再加上當(dāng)代大學(xué)生價(jià)值觀取向的日漸實(shí)用化及價(jià)值評(píng)判標(biāo)準(zhǔn)的日漸多元化，使得當(dāng)代大學(xué)生的擇業(yè)觀念也逐漸呈現(xiàn)出一系列全新特點(diǎn)。

表3 不同參數(shù)的ASPP模塊對(duì)網(wǎng)絡(luò)性能的影響Table 3 Effect of different parameters of ASPP module on network performance

圖6 不同參數(shù)的ASPP模塊MIOU結(jié)果Fig.6 MIOU of ASPP module with different parameters

2.4.3 不同模塊效果

定位精度和分類(lèi)性能之間的權(quán)衡是DCNN固有的爭(zhēng)論，具有多個(gè)卷積層和最大池化層的深層網(wǎng)絡(luò)模型在分類(lèi)任務(wù)中被證明是成功的，但是頂層節(jié)點(diǎn)的不變性和較小的特征圖譜的網(wǎng)絡(luò)只能產(chǎn)生平滑的響應(yīng)。DCNN的不變性對(duì)語(yǔ)義分割有一定的限制，因?yàn)椴蛔冃砸馕吨鵁o(wú)論如何平移圖像，最終的分類(lèi)都是相同的。在語(yǔ)義分割任務(wù)中，物體的位置是有用的信息，DCNN的不變性導(dǎo)致網(wǎng)絡(luò)中位置信息的丟失。1.1節(jié)中提到了DCNN可以可靠地預(yù)測(cè)圖像中物體的存在和粗略位置，但不能精確地定位物體輪廓。因?yàn)橹貜?fù)地進(jìn)行下采樣操作，導(dǎo)致大量的邊緣信息丟失，使得物體邊緣處的像素點(diǎn)較為平滑。但語(yǔ)義分割任務(wù)需要清晰的邊緣信息。除此之外，卷積運(yùn)算是局部連接的，其只能提取一個(gè)像素周?chē)匦螀^(qū)域的信息，重復(fù)卷積運(yùn)算雖然能使矩形面積逐漸變大，但即使到最后一個(gè)卷積層，也無(wú)法提取整個(gè)圖像中一個(gè)像素與其他所有像素之間的相關(guān)性。為了解決這些問(wèn)題，提高分割的準(zhǔn)確率，將DCNN與全連接CRF相結(jié)合［25］，通過(guò)計(jì)算任意2個(gè)像素之間的相似性來(lái)判斷它們是否屬于同一個(gè)類(lèi)。通過(guò)這種方式利用整幅圖像的信息，而不是在DCNN中只提取局部信息。全連接CRF可以突出物體的邊緣，彌補(bǔ)了DCNN帶來(lái)的邊界平滑問(wèn)題。

車(chē)輛在運(yùn)行過(guò)程中，隨著線路曲線的變化，車(chē)端跨接線纜被動(dòng)地進(jìn)行伸展和收縮運(yùn)動(dòng)，因此跨接線纜的復(fù)雜受力運(yùn)動(dòng)情況成為影響跨接線纜使用壽命的重要因素[2]。

在實(shí)際應(yīng)用中，舌圖像采集時(shí)的環(huán)境通常會(huì)有所不同，采用訓(xùn)練好的模型對(duì)新環(huán)境下的舌形圖像進(jìn)行分割，分割效果會(huì)下降。因此，當(dāng)設(shè)備應(yīng)用于新的環(huán)境時(shí)，可以使用少量的新數(shù)據(jù)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，提高模型的泛化能力。

基于在Tongue dataset 1中訓(xùn)練的模型，使用Tongue dataset 2中的40幅圖像進(jìn)行微調(diào)，并使用測(cè)試集進(jìn)行測(cè)試。Tongue dataset 2的分割結(jié)果略低于Tongue dataset 1，但相差不多，最佳分割效果可達(dá)93.75%。

表4 不同模塊對(duì)網(wǎng)絡(luò)性能的影響Table 4 Effect of different modules on network performance

為了評(píng)估本文提出的舌圖像分割算法的性能，進(jìn)行了一系列的實(shí)驗(yàn)和分析。首先，比較了在網(wǎng)絡(luò)上使用不同大小卷積核和參數(shù)r的孔卷積，對(duì)網(wǎng)絡(luò)性能產(chǎn)生的影響。然后，比較了使用不同參數(shù)r的ASPP模塊對(duì)網(wǎng)絡(luò)性能產(chǎn)生的影響。最后，將本文算法與傳統(tǒng)的舌圖像分割算法及常用的DCNN算法進(jìn)行了比較，驗(yàn)證了本文算法的有效性。

上述方法可以增大網(wǎng)絡(luò)的特征圖譜，獲得更好的邊界信息，但同時(shí)會(huì)導(dǎo)致網(wǎng)絡(luò)中較深層的感受野尺寸減小，不利于語(yǔ)義信息的獲取。在語(yǔ)義分割任務(wù)中，邊界信息和語(yǔ)義信息都是至關(guān)重要的，語(yǔ)義信息的損失同樣會(huì)影響分割的準(zhǔn)確率。所以，如果能在增大網(wǎng)絡(luò)特征圖譜的同時(shí)保證感受野尺寸不會(huì)縮小，分割結(jié)果會(huì)較為精確。感受野的公式如式（1）所示，相鄰特征的距離如式（2）所示，其與步長(zhǎng)s成正比。當(dāng)步長(zhǎng)固定時(shí)，擴(kuò)大感受野的唯一方法是增加卷積核尺寸的大小。然而增大卷積核的尺寸會(huì)增加參數(shù)的數(shù)量，導(dǎo)致網(wǎng)絡(luò)效率大幅降低。

表5為GrabCut［7］、Snake［4］、FCN-8s［18］、Unet［27］、SegNet［20］及 本 文 算 法 在2個(gè) 舌 圖 像 數(shù) 據(jù)集上分割結(jié)果的對(duì)比。在GrabCut模型中，手動(dòng)選擇一個(gè)邊界框，來(lái)標(biāo)定舌體區(qū)域，然后迭代算法10次，得到最終的分割結(jié)果。在Snake模型中，手工將舌體邊緣標(biāo)定15個(gè)標(biāo)記以此作為分割初始邊界，通過(guò)算法計(jì)算得到最終的分割結(jié)果。

由于GrabCut［7］和Snake［4］算 法 的 自 動(dòng) 化 程度較低，需要手工標(biāo)記操作，分割時(shí)間分別為7.25 s和6.33 s，分割效率較低。本文算法不需要人工干預(yù)，對(duì)模型進(jìn)行訓(xùn)練后，在2個(gè)不同的數(shù)據(jù)集上進(jìn)行測(cè)試，運(yùn)行時(shí)間分別為0.83 s和0.75 s，速度優(yōu)于GrabCut和Snake算法。然而，由于在網(wǎng)絡(luò)的末端使用全連接CRF，計(jì)算復(fù)雜度較高，因此速度低于FCN-8s、U-net和SegNet網(wǎng)絡(luò)。

在精度方面，傳統(tǒng)算法為了縮短計(jì)算時(shí)間，通常對(duì)圖像進(jìn)行降采樣，降低圖像的分辨率，再對(duì)圖像進(jìn)行分割。由于在降低圖像分辨率時(shí)會(huì)丟失大量的圖像信息，使用這種方法會(huì)導(dǎo)致分割后的舌體區(qū)域存在較為明顯的棱角，舌體區(qū)域不完整，分割效果較差。本文算法對(duì)原始圖像進(jìn)行分割，并且網(wǎng)絡(luò)的特征圖譜尺寸較大，舌體分割后存在的齒痕較少，舌體區(qū)域更加完整。分割結(jié)果的示例如圖8所示。使用GrabCut和Snake算法得到的分割結(jié)果如圖8（b）和圖8（e）所示，舌體的邊緣沒(méi)有分割完整，并且有一些缺失的部分會(huì)影響舌體的紋理特征。圖8（c）和圖8（f）是本文算法的分割結(jié)果，與傳統(tǒng)算法相比，其得到的舌體邊緣更加精確和完整。

此外，由于舌體和嘴唇區(qū)域存在交集，并且2種顏色較為相似，傳統(tǒng)算法在這種情況下有時(shí)分割錯(cuò)誤，將部分嘴唇區(qū)域判斷為舌體區(qū)域。由于DCNN可以自動(dòng)提取抽象特征，并利用全連接CRF對(duì)邊緣進(jìn)行細(xì)化，在這種情況下，本文算法可以更加準(zhǔn)確地分割舌體區(qū)域，分割精度更高。如圖9所示，圖9（b）和圖9（e）分別為GrabCut和Snake算法處理后的分割結(jié)果。傳統(tǒng)的分割算法有時(shí)將嘴唇誤判為舌體，分割效果較差。在這種情況下，本文算法可以比傳統(tǒng)算法更好地區(qū)分舌體和嘴唇，獲得良好的分割結(jié)果。圖9（c）和圖9（f）是使用本文算法得到的分割結(jié)果。在分割精度方面，本文算法在PA、MPA、MIOU三個(gè)方面都優(yōu)于其他分割算法。不同算法的分割結(jié)果示例如圖10所示。

圖7 舌圖像的分割結(jié)果示例Fig.7 Examples of tongue image segmentation results

表5 不同算法在舌圖像數(shù)據(jù)集上的分割結(jié)果Table 5 Segmentation r esults on tongue image dataset by differ ent algorithms

圖8 舌體不完整的分割結(jié)果示例Fig.8 Examples of segmentation results of tongue defect

圖9 包含嘴唇部分的舌圖像分割結(jié)果示例Fig.9 Examples of segmentation results of tongue image containing lips

圖10 不同算法的舌圖像分割結(jié)果示例Fig.10 Examples of tongue image segmentation results by different algorithms

3 結(jié) 論

針對(duì)傳統(tǒng)舌圖像分割算法需要預(yù)處理、人工標(biāo)定候選區(qū)及分割準(zhǔn)確率低等問(wèn)題，本文提出了將DCNN與全連接CRF相結(jié)合的舌圖像分割算法。

我們清楚這事實(shí)，也尊重這些讀者對(duì)期刊的選擇。國(guó)內(nèi)文學(xué)報(bào)刊有數(shù)百種，《星火》只是中國(guó)文學(xué)報(bào)刊聯(lián)盟56家理事單位中的一家而已。

1）使用孔卷積算法，使得網(wǎng)絡(luò)能夠在較大的特征圖譜尺寸上進(jìn)行特征提取，保證了邊緣信息的提取。通過(guò)改變孔卷積參數(shù)，使得在不增加網(wǎng)絡(luò)參數(shù)的條件下增大了感受野，保證了語(yǔ)義信息的提取。

“數(shù)據(jù)分析”對(duì)于企業(yè)如何管理和共享數(shù)據(jù)是具有轉(zhuǎn)換性的。雖然從商業(yè)中收集數(shù)據(jù)以及將它轉(zhuǎn)為有效的商業(yè)洞察離不開(kāi)統(tǒng)一的管理模式，但是本土模式也能讓企業(yè)獲益。

2）使用ASPP模塊，使網(wǎng)絡(luò)能夠在不同感受野下對(duì)圖像提取多尺度特征。

3）使用全連接CRF，通過(guò)計(jì)算整幅圖像中像素點(diǎn)之間的相關(guān)性進(jìn)行分割，細(xì)化分割邊緣。

本文提出的舌圖像分割網(wǎng)絡(luò)能夠自動(dòng)提取圖像的多尺度特征，對(duì)舌體區(qū)域進(jìn)行分割。與傳統(tǒng)算法相比，本文算法自動(dòng)化程度較高，不需要手工標(biāo)定操作。與其他分割網(wǎng)絡(luò)相比，本文算法在精度方面有所提高。在接下來(lái)的研究中，將把本文算法與最新的DCNN相結(jié)合，以提高舌圖像分割的效率。

致謝感謝拍攝舌圖像的志愿者，以及在制作舌圖像數(shù)據(jù)集過(guò)程中對(duì)數(shù)據(jù)進(jìn)行處理和拍照的同學(xué)。