馮躍，梁惠珠，徐紅，林卓勝，張雙勝，胡敏兒

（1.五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020；2.江門市中心醫(yī)院，廣東 江門 529030）

中醫(yī)學(xué)強(qiáng)調(diào)內(nèi)臟和體表組織器官在結(jié)構(gòu)和機(jī)能上的協(xié)調(diào)、完整性以及在生理上的密切聯(lián)系和病理上的相互影響[1]，耳診是診斷辨證和療效評價(jià)的重要依據(jù)之一. 在臨床中，醫(yī)者觀察耳部不同區(qū)域顏色和形態(tài)變化可探知內(nèi)在臟腑的健康狀態(tài)[2-3]. 經(jīng)歷幾千年的經(jīng)驗(yàn)積累和多代科研人員的貢獻(xiàn)，2008年國家頒布了《耳穴名稱與定位》[4]，明確劃分了人體各臟腑器官在耳廓的反射分布區(qū)域，并得到了世界衛(wèi)生組織的認(rèn)可[5]. 但在臨床中，耳診仍然存在主觀模糊性描述，使其應(yīng)用廣度和精度受到限制[6]. 隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，耳診有望借助數(shù)字圖像分析技術(shù)，實(shí)現(xiàn)快速高效的客觀化診斷. 為了實(shí)現(xiàn)耳診圖像自動(dòng)化分析，首先需要將臟腑反射區(qū)從圖像中有效分割出來. 然而，標(biāo)準(zhǔn)耳穴圖中各反射區(qū)僅占整體耳部的極小部分（如圖1所示），其劃分邊界在現(xiàn)實(shí)耳部中大部分不可見，因此，從耳診圖像中分割出五臟反射區(qū)的難度極大. 相比于傳統(tǒng)圖像分割方法，基于深度學(xué)習(xí)的圖像分割方法具有自動(dòng)學(xué)習(xí)和提取重要特征的優(yōu)勢，在中醫(yī)醫(yī)學(xué)領(lǐng)域獲得了有價(jià)值的結(jié)果，尤其在面診[7]和舌診[8-9]方面，這給本文耳診圖像五臟反射區(qū)分割任務(wù)提供了思路.

圖1 中國標(biāo)準(zhǔn)耳穴圖

深度學(xué)習(xí)中，特征融合和注意力機(jī)制的應(yīng)用越來越廣泛. U-Net[10]在醫(yī)學(xué)圖像分割領(lǐng)域有突出表現(xiàn)，其結(jié)構(gòu)主要由編碼端和解碼端組成，編碼端與解碼端的同級卷積層通過跳躍連接相連，使圖像的高層與底層特征相融合，以達(dá)到良好的分割效果. 但U-Net存在以下缺點(diǎn)：編碼階段連續(xù)下采樣和卷積操作導(dǎo)致有用空間信息損失，在解碼階段這些信息不易恢復(fù)，使其對小目標(biāo)區(qū)域及邊緣細(xì)節(jié)關(guān)注能力不足. 為了提高對目標(biāo)的關(guān)注能力，圖像分割廣泛應(yīng)用注意力網(wǎng)絡(luò)模塊PAN（Pyramid Attention Network）[11]以GAU（Global Attention Upsample）作為底層特征指導(dǎo)，提供全局語義. DANet（Dual Attention Network）[12]采用空間、通道兩個(gè)平行的注意力模塊，考慮全局的空間和通道關(guān)系. Attention UNet[13]設(shè)計(jì)AG（Attention Gate）模塊過濾由跳躍連接傳遞的特征以關(guān)注相關(guān)顯著特征. CPFNet[14]設(shè)計(jì)SAPF（Scale Aware Pyramid Fusion）注意力模塊置于編解碼網(wǎng)絡(luò)最底層，以融合不同尺寸的特征信息. 注意力機(jī)制與特征融合的結(jié)合有利于提取有效且豐富的信息，提高了對小目標(biāo)及邊緣細(xì)節(jié)的分割能力. 因此，本文以U-Net[10]作為基本結(jié)構(gòu)，構(gòu)建一個(gè)注意力與特征融合的深度學(xué)習(xí)模型.

1 五臟反射區(qū)分割模型

由于耳診圖像五臟反射區(qū)面積占比小且邊緣不清晰，本文結(jié)合注意力機(jī)制與特征融合的思想，在U-Net[10]基礎(chǔ)上提出五臟反射區(qū)分割模型，如圖2所示. 除U-Net[10]基本結(jié)構(gòu)外，主要由自適應(yīng)平均池化分支、多視圖空間注意力模塊和多尺度特征融合模塊3部分組成. 此外，通過改進(jìn)二值交叉熵與交叉熵結(jié)合的損失函數(shù)，進(jìn)一步聚焦于目標(biāo)區(qū)域.

圖2 注意力與特征融合網(wǎng)絡(luò)

1.1 自適應(yīng)平均池化分支

原U-Net[10]網(wǎng)絡(luò)編碼階段下采樣和卷積操作會造成邊緣等有用空間信息損失，耳部五臟反射區(qū)面積小，若信息損失嚴(yán)重時(shí)在解碼階段難以恢復(fù)目標(biāo)信息，為此設(shè)計(jì)自適應(yīng)平均池化分支嵌入到網(wǎng)絡(luò)中，如圖2虛線框所示.Fm2、Fm3、Fm4和Fm5分別是原U-Net模型編碼階段經(jīng)過最大池化2×2操作在第2層、第3層、第4層、第5層生成的高層特征.Fa2、Fa3、Fa4和Fa5分別是原始輸入圖像經(jīng)過自適應(yīng)平均池化操作后在第2、3、4、5層生成的3通道底層特征.aF的寬度和高度與位于同層的mF保持一致，兩者在通道維度上進(jìn)行拼接，得到對應(yīng)層的輸入特征. 由原始輸入圖像生成的底層特征包含豐富的邊緣特征信息，向高層特征引入底層特征，有利于提升分割精度.

1.2 多視圖空間注意力模塊

由于耳部五臟反射區(qū)與背景具有一定相似性，且邊緣模糊，為了提高目標(biāo)區(qū)域的關(guān)注能力，引入經(jīng)過線性注意力機(jī)制[15]簡化計(jì)算的位置注意力模塊[12]（本文命名為空間線性注意力模塊SLA），即使用泰勒展開的一階近似以及2L范數(shù)，簡化位置注意力模塊中的自然常數(shù)指數(shù)運(yùn)算，簡化為：

式 中，輸 入 特 征X∈RC×H×W，其中C、H和W分別為通道數(shù)、高度和寬度. 特征X經(jīng)過卷積和重組操作后，生成3個(gè)特征A、B以及D. 特征A和B有H×W個(gè)C/r維位置向量，D有H×W個(gè)C維位置向量，即Ak∈RC/r、Bk∈RC/r以及Dk∈RC，r表示卷積操作中通道減少率，本文設(shè)為8，g是初始值為0，并在模型訓(xùn)練中可學(xué)習(xí)的參數(shù). 位置j的輸出Oj為注意力權(quán)重Wj和原始輸入Xj對應(yīng)元素相加，通過學(xué)習(xí)每個(gè)像素的重要程度，分配重要性權(quán)重，從而在空間維度上提取有用信息.以及對于B計(jì)算可以重復(fù)利用，從而達(dá)到減少運(yùn)算量的目的.

結(jié)合反射區(qū)在全局視圖中面積占比小而可能不易捕捉和建立長距離依賴性的問題，對此，通過劃分原輸入特征為子特征塊，在子特征塊上使用空間線性注意力模塊（SLA），縮小指導(dǎo)范圍，然后結(jié)合全局和局部范圍設(shè)計(jì)位置重要性權(quán)重，兼顧全局與局部指導(dǎo)信息，設(shè)計(jì)了多視圖空間注意力模塊，如圖3所示，具體步驟如下：

圖3 多視圖空間注意力模塊

1）輸入特征Fx∈RC×H×W經(jīng)過空間線性注意力模塊SLA轉(zhuǎn)換，得到特征F1∈RC×H×W；

2）輸入特征Fx在空間維度上被分成4等分：左上、左下、右上以及右下的子部分. 此4子部分分別經(jīng)過SLA處理，得到4個(gè)子特征. 然后，這些子特征被放回原本的空間位置，得到特征F2∈RC×H×W；

3）輸入特征Fx中間部分也應(yīng)被考慮在內(nèi)，因?yàn)樵谏缮鲜鯢2過程中，中間部分的信息一定程度上被忽略. 為了使特征F3的尺寸與F1、F2保持一致，在F3中心子特征周圍區(qū)域以數(shù)值0填充；

4）特征F1、F2和F3在通道維度上進(jìn)行拼接，得到特征Fc∈R3C×H×W. 特征cF通過1×1卷積操作進(jìn)行信息融合和通道數(shù)降維，恢復(fù)與輸入特征xF相同尺寸，再與可學(xué)習(xí)參數(shù)g相乘構(gòu)成xF的注意力權(quán)重wF；

5）注意力權(quán)重wF與輸入特征xF的總和得到注意力模塊的輸出oF.

1.3 多尺度特征融合模塊

在五臟反射區(qū)面積占比小的情況下，反射區(qū)之間的面積大小還存在差異，對此，本文采用空洞卷積[16]融合不同感受野下的目標(biāo)區(qū)域信息，以兼顧不同面積大小的反射區(qū)分割效果. 具體辦法是在本文網(wǎng)絡(luò)解碼部分最后的輸出層設(shè)計(jì)了帶有空洞卷積的多尺度特征融合模塊，結(jié)構(gòu)如圖4所示. 模塊結(jié)構(gòu)中，輸入特征通道數(shù)C為128，由第一層編碼層跳躍連接傳遞的特征與第二層解碼層通過上采樣后的特征拼接得到. 隨后，常規(guī)3×3卷積對輸入進(jìn)行初步特征融合令通道數(shù)減半，緊接著常規(guī)1×1卷積逐像素點(diǎn)提取特征，通道數(shù)增加4倍，以獲取空間更精細(xì)信息. 最后，模塊并行使用卷積核大小為3×3，擴(kuò)張率分別為6、12、18、24的空洞卷積，疊加不同感受野下的五臟反射區(qū)預(yù)測結(jié)果作為最后模型輸出，其中n為6. 綜上，模型會以在不同感受野中都得到目標(biāo)區(qū)域?yàn)槟康?，從而提高分割?zhǔn)確率.

圖4 多尺度特征融合模塊

1.4 損失函數(shù)

為進(jìn)一步優(yōu)化模型，總損失函數(shù)是交叉熵LCE以及設(shè)計(jì)的改進(jìn)二值交叉熵LBCE的結(jié)合.

式中，N表示圖像像素?cái)?shù)目.c∈｛1 ,… ,C｝，C為分割類別數(shù)目.fic和qic分別為在圖像位置i處對應(yīng)類別c的標(biāo)簽值和預(yù)測概率.

在交叉熵LCE中，已經(jīng)將背景計(jì)算在內(nèi)，而耳部圖像中背景區(qū)域較大，因此式（4）中，LBCE不關(guān)注背景，即c∈｛2 ,…,C｝，目的是為了更加聚焦于目標(biāo)分割區(qū)域；e為 1e-9，分母包含類別數(shù)是為了防止計(jì)算溢出.

2 五臟反射區(qū)分割實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集和評價(jià)標(biāo)準(zhǔn)

本文使用兩個(gè)帶五臟反射區(qū)標(biāo)注的耳診圖像數(shù)據(jù)集對模型進(jìn)行訓(xùn)練和定量評價(jià)，分別為數(shù)據(jù)集一和數(shù)據(jù)集二. 數(shù)據(jù)集一由549張耳部圖像組成，在符合中醫(yī)耳診檢查要求下篩選自公開的AMI Ear數(shù)據(jù)集[17]，圖像均為492×702. 數(shù)據(jù)集二由424張圖像組成，由本課題團(tuán)隊(duì)在符合醫(yī)學(xué)倫理標(biāo)準(zhǔn)下采集自157位參與者. 數(shù)據(jù)集二使用中醫(yī)面舌診儀采集數(shù)據(jù)，采集的圖像尺寸較大且含有較大部分的臉以及頭部等非耳部區(qū)域，要對圖像進(jìn)行適當(dāng)裁剪. 裁剪后的圖像尺寸不一，其寬度和高度大部分在400～1 000像素之間，耳部區(qū)域面積約占圖像的一半. 本文使用Labelme工具對上述兩個(gè)數(shù)據(jù)集的耳部五臟反射區(qū)進(jìn)行逐像素點(diǎn)標(biāo)注，由兩名臨床醫(yī)生全程指導(dǎo). 標(biāo)注有6類分割區(qū)域，分別為背景、心、肝、脾、肺、腎. 每份樣本經(jīng)3位醫(yī)生檢查核實(shí).

數(shù)據(jù)集一和二的劃分均為60%用于訓(xùn)練集，20%用于驗(yàn)證集，20%用于測試集. 對耳部五臟各反射區(qū)域分割效果使用Jaccard系數(shù)、Dice系數(shù)以及平均對稱面距離ASSD評價(jià)，公式如下：

式中，A為真實(shí)標(biāo)簽，B為分割結(jié)果代表點(diǎn)a至B中所有點(diǎn)的最短歐氏距離. Jaccard系數(shù)與Dice系數(shù)的取值范圍是［0,1］，其值越高代表分割越準(zhǔn)確. ASSD值越低代表分割越準(zhǔn)確.

2.2 硬件環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)在配置有Nvidia GeForce GTX 1080顯卡和16Gb RAM的計(jì)算機(jī)上進(jìn)行，使用Pytorch 1.1.0訓(xùn)練. 實(shí)驗(yàn)采用SGD優(yōu)化器，批大小設(shè)為4，采用poly學(xué)習(xí)率策略，power為0.9，初始學(xué)習(xí)率為0.01，訓(xùn)練1 000輪.

2.3 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)有助于網(wǎng)絡(luò)獲得所需的魯棒性. 本文數(shù)據(jù)增強(qiáng)分兩個(gè)階段. 模型訓(xùn)練前，參照文獻(xiàn)[7]對訓(xùn)練集進(jìn)行幾何和光度變換，使圖像數(shù)目擴(kuò)充7倍. 幾何變換中，以0.5概率進(jìn)行水平翻轉(zhuǎn)、0.9～1.5倍隨機(jī)尺寸變換以及-45°～ 45°隨機(jī)旋轉(zhuǎn). 光度變換使用伽馬變換，伽馬值為{0.5,0.8,1.2,1.5}.模型訓(xùn)練期間，對圖像隨機(jī)位置裁剪為128×128. 為了驗(yàn)證前述數(shù)據(jù)增強(qiáng)的有效性，以U-Net[10]為基礎(chǔ)，采用五折交叉驗(yàn)證，共設(shè)計(jì)3種方式，結(jié)果如表1所示.

表1 數(shù)據(jù)增強(qiáng)實(shí)驗(yàn)結(jié)果對比

由方式一、二可得，幾何、光度變換用于模型訓(xùn)練前有利于提高分割效果，這是因?yàn)樵黾恿嗣枯営?xùn)練的圖像數(shù)目并豐富了圖像多樣性. 由方式二、三可得，模型訓(xùn)練期間，隨機(jī)位置裁剪相比于對耳部圖像整體進(jìn)行尺寸調(diào)整為128×128，更適合耳部圖像訓(xùn)練. 在輸入圖像尺寸相同的情況下，對圖像整體調(diào)整尺寸可以在模型訓(xùn)練時(shí)保持全部反射區(qū)之間的位置關(guān)系，但五臟反射區(qū)本身在耳部圖像中所占面積小，經(jīng)過整體圖像尺寸縮小后使模型更難以發(fā)現(xiàn)目標(biāo)分割區(qū)域；再者，隨機(jī)位置裁剪增加圖像多樣性，利于提升模型分割性能.

2.4 分支評估與模塊性能對比

為驗(yàn)證自適應(yīng)平均池化分支及在分支情況下添加其余模塊的有效性，以U-Net作為基本網(wǎng)絡(luò)[10]，采用五折交叉驗(yàn)證，結(jié)果如表2所示. branch是自適應(yīng)平均池化分支；MV是多視圖空間注意力模塊，MV1、MV2、MV3、MV4分別是在第一、二、三、四層跳躍連接處放置模塊，MVall是在四層所有跳躍連接處都放置模塊；“*”采用本文改進(jìn)二值交叉熵與交叉熵結(jié)合的損失函數(shù)，其余只使用交叉熵函數(shù)；D是多尺度特征融合模塊.

表2 分支評估與模塊性能對比

首先，U-Net+branch說明U-Net嵌入自適應(yīng)平均池化分支在兩個(gè)耳部數(shù)據(jù)集上都能提高分割性能，有效補(bǔ)償信息損失. 在添加分支的情況下，U-Net+branch+MV2，與注意力模塊分別置于其他3層跳躍連接處情況相比，得到最高Jaccard值與Dice值；進(jìn)一步，U-Net+branch+MV2在Jaccard、Dice與ASSD指標(biāo)上都比U-Net+branch+ MVall表現(xiàn)更優(yōu)，說明多視圖空間注意力模塊的使用不是越多越好，而是與模塊所處的網(wǎng)絡(luò)位置有關(guān).結(jié)合各層注意力模塊輸出的通道圖可視化效果進(jìn)行分析，如圖5所示. U-Net+branch+MV4突出顯示整體耳部輪廓；U-Net+branch+MV3相比于前者，對耳部輪廓關(guān)注減弱，對耳部內(nèi)小部分感興趣區(qū)域關(guān)注增強(qiáng)；U-Net+branch+MV1關(guān)注區(qū)域包含五臟反射區(qū)外，還有較多非目標(biāo)區(qū)域；U-Net+branch+MV2相比以上3種情況，既更好地關(guān)注五臟反射區(qū)特定區(qū)域，抑制其他非目標(biāo)區(qū)域的特征響應(yīng). 綜上，本文算法采用分支與第二層跳躍連接處的注意力模塊相結(jié)合.

圖5 注意力模塊的輸出通道圖可視化結(jié)果

然后在U-Net+branch+MV2基礎(chǔ)上，添加多尺度特征融合模塊于網(wǎng)絡(luò)輸出端，模型在數(shù)據(jù)集一上Jacarrd和Dice分別提高5.21%和5.17%，ASSD下降0.36像素；在數(shù)據(jù)集二上Jaccard和Dice分別提高7.09%和7.13%，ASSD下降2.44像素，模型性能得到提升. U-Net+branch+MV2與U-Net+branch+MV2+D在使用交叉熵與改進(jìn)二值交叉熵結(jié)合的損失函數(shù)后，Jaccard、Dice與ASSD都達(dá)到更優(yōu)的結(jié)果，驗(yàn)證了本文損失函數(shù)的有效性.

2.5 不同網(wǎng)絡(luò)性能對比

為了進(jìn)一步驗(yàn)證所提模型在耳診圖像五臟反射區(qū)的分割性能，在數(shù)據(jù)集一、二上分別用PAN[11]、DANet[12]、CPFNet[14]、U-Net[10]以及Attention UNet[13]進(jìn)行對比，所有網(wǎng)絡(luò)均采用本文損失函數(shù)，并進(jìn)行五折交叉驗(yàn)證，實(shí)驗(yàn)結(jié)果如表3所示. 在數(shù)據(jù)集一上，所提模型在Jaccard、Dice以及ASSD均優(yōu)于其他模型，Jaccard和Dice比次優(yōu)模型分別高8.91%和8.56%，ASSD低1.13像素；在數(shù)據(jù)集二上，所提模型在五臟反射區(qū)整體分割性能都最高，Jaccard、Dice以及ASSD分別為47.31%、63.72%以及2.30像素.

表3 不同網(wǎng)絡(luò)性能對比

此外，結(jié)合表1與表2實(shí)驗(yàn)結(jié)果，在同種實(shí)驗(yàn)設(shè)置下，數(shù)據(jù)集二上的Jaccard、Dice低于數(shù)據(jù)集一上的值，ASSD值較高. 進(jìn)一步，表3中除Attention UNet[13]外，其他網(wǎng)絡(luò)在數(shù)據(jù)集二上的整體分割性能比在數(shù)據(jù)集一上都有所下降. 與數(shù)據(jù)集一相比，數(shù)據(jù)集二圖像總數(shù)量少、尺寸不統(tǒng)一且相差較大，呈現(xiàn)五臟反射區(qū)情況更復(fù)雜，結(jié)合本文實(shí)驗(yàn)結(jié)果較大程度上說明在數(shù)據(jù)集二上實(shí)現(xiàn)五臟反射區(qū)分割更具挑戰(zhàn)性.

結(jié)合圖6和圖7，原本用于自然場景分割的DANet[12]與PAN[11]，在兩個(gè)數(shù)據(jù)集五臟反射區(qū)的分割形狀與真實(shí)標(biāo)簽相比存在明顯差異. DANet[12]在脾區(qū)域存在欠分割問題且分割邊緣帶鋸齒狀；PAN[11]在心區(qū)域存在過分割問題. 用于醫(yī)學(xué)圖像分割的CPFNet[14]、U-Net[10]和Attention UNet[13]，與本文方法分割效果相比存在明顯差距. 前述3種醫(yī)學(xué)圖像分割網(wǎng)絡(luò)，對于心和肺反射區(qū)存在以下情況：肺區(qū)域的形狀預(yù)測更趨于包圍心反射區(qū)，與標(biāo)簽圖像的肺反射區(qū)U型形狀存在差距，而本文模型有效改善肺部反射區(qū)形狀分割. 與上述網(wǎng)絡(luò)相比，本文方法預(yù)測的目標(biāo)區(qū)域更完整，形狀更接近標(biāo)簽，預(yù)測邊緣比前述大多數(shù)網(wǎng)絡(luò)更連續(xù). 綜上，對于小區(qū)域且邊緣模糊的耳部圖像五臟反射區(qū)分割任務(wù)，本文模型表現(xiàn)出較好的分割性能.

圖6 數(shù)據(jù)集一的分割結(jié)果

圖7 數(shù)據(jù)集二的分割結(jié)果

3 結(jié)論

本文采用U-Net基本結(jié)構(gòu)，結(jié)合注意力機(jī)制與特征融合，設(shè)計(jì)了一個(gè)面向耳診圖像五臟（心、肝、脾、肺、腎）反射區(qū)的分割模型，針對分割小目標(biāo)的五臟反射區(qū)域和完善分割邊界細(xì)節(jié)，并在兩個(gè)耳診圖像數(shù)據(jù)集上進(jìn)行五臟反射區(qū)分割實(shí)驗(yàn). 設(shè)計(jì)自適應(yīng)平均池化分支從輸入圖像中提取豐富的底層信息并與不同高層信息融合，補(bǔ)償信息損失；在跳躍連接處設(shè)計(jì)多視圖空間注意力模塊，兼顧全局、局部范圍，提高對目標(biāo)區(qū)域的關(guān)注能力；在模型輸出端設(shè)計(jì)多尺度特征融合模塊，不同程度地?cái)U(kuò)大感受野，捕獲更多目標(biāo)區(qū)域細(xì)節(jié)特征. 實(shí)驗(yàn)表明，本文算法在耳診圖像五臟反射區(qū)分割任務(wù)精度上具有優(yōu)越性，分割效果與其他方法相比具有較大提升. 但本文算法在一定程度上增加了訓(xùn)練代價(jià)，未來工作將對模型進(jìn)一步探討，在保證分割性能的前提下對模型進(jìn)行精簡.