高正君，張佩炯，司小強(qiáng)

(1.甘肅省人民醫(yī)院整形美容外科，蘭州 730030；2.蘭州資源環(huán)境職業(yè)技術(shù)大學(xué) 電力工程學(xué)院，蘭州 730022)

0 引言

據(jù)全球調(diào)查數(shù)據(jù)統(tǒng)計(jì)，皮膚腫瘤及皮膚癌的發(fā)病率以3%～8%的比例增長(zhǎng)，且死亡率也在逐年上升，皮膚腫瘤及皮膚癌疾病正嚴(yán)重威害著人類的健康[1]。皮膚腫瘤最有效的解決辦法就是能早期精準(zhǔn)診斷后進(jìn)行病灶的根除，隨著計(jì)算機(jī)人工智能技術(shù)的不斷發(fā)展，醫(yī)學(xué)圖像的精確分割對(duì)于病理臨床診斷評(píng)估、治療方案的制定及疾病狀況的監(jiān)測(cè)有著舉足輕重的作用[2]。通常，醫(yī)學(xué)圖像的成像類型多種多樣，皮膚鏡圖像可通過無創(chuàng)性顯微成像技術(shù)來獲取，圖像可以清晰的顯示皮膚腫瘤的病灶特征，但由于病例的多樣性，導(dǎo)致病灶間的差別微乎其微，醫(yī)生通過裸眼觀察方式分析判斷病灶類別會(huì)變得十分困難。倘若能借助計(jì)算機(jī)輔助診斷，這樣一來可以大大緩解醫(yī)生的就診壓力，方便于偏遠(yuǎn)山區(qū)的患者進(jìn)行遠(yuǎn)程會(huì)診，簡(jiǎn)化了患者和醫(yī)生之間的就診繁瑣程序。因此，醫(yī)學(xué)圖像的處理對(duì)醫(yī)生更快捷準(zhǔn)確的診斷患者的病情有著重要意義。

醫(yī)學(xué)圖像的分割是對(duì)圖像中健康皮膚組織上所攜帶的病灶區(qū)域進(jìn)行提取，簡(jiǎn)單地說就是將一幅醫(yī)學(xué)數(shù)字圖像分割成不同的區(qū)域，按照灰度、顏色、紋理等特征，把同一圖像區(qū)域中的特征相似性和異同性分割出來，為醫(yī)生診斷提供可靠信息，圖像分割結(jié)果的好壞直接影響計(jì)算機(jī)對(duì)圖像視覺的理解[3]。醫(yī)學(xué)圖像智能化分割技術(shù)通常有：閾值分割技術(shù)、區(qū)域分割技術(shù)、邊緣檢測(cè)分割技術(shù)。2013年，徐舒暢等人選用獨(dú)立色彩濃度閾值實(shí)現(xiàn)了皮膚鏡圖像的病灶分割，閾值分割技術(shù)對(duì)皮膚鏡圖像中顏色分布很依賴，由于皮膚鏡中有氣泡、毛發(fā)、偽影等干擾性介質(zhì)，對(duì)分割結(jié)果影響還是比較大的[4]。2015年，Sumithra等人使用區(qū)域增長(zhǎng)算法實(shí)現(xiàn)了皮膚鏡病灶圖像的分割，在區(qū)域增長(zhǎng)算法中，需要人為設(shè)置種子點(diǎn)，這樣的話易受主觀因素的干擾，智能化程度較低[5]。2018年，Vesal等人通過改進(jìn)U-Net網(wǎng)絡(luò)，應(yīng)用于完整尺寸皮膚鏡圖像分割，將分割結(jié)果與人工分割結(jié)果相對(duì)比，Jac相似系數(shù)提升到76%。雖然計(jì)算速度較快，但在皮損區(qū)的邊界處常會(huì)充斥著毛發(fā)，圖像分割的精確度影響較大[6]。

現(xiàn)如今，智能優(yōu)化算法中的深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)已廣泛應(yīng)用于圖像處理，并且在醫(yī)學(xué)圖像分割領(lǐng)域取得了很大的進(jìn)展。與其它智能算法方法相比，卷積神經(jīng)網(wǎng)絡(luò)(CNN)可以從大量數(shù)據(jù)集中自動(dòng)學(xué)習(xí)最有用的特征[7]。然而，現(xiàn)有的CNN大多面臨以下問題：首先，在卷積層設(shè)計(jì)時(shí)，特別是對(duì)于小目標(biāo)而言，不同的空間位置使用相同的權(quán)值，這可能會(huì)導(dǎo)致缺乏空間感，從而降低了處理柔性形狀和位置結(jié)構(gòu)的性能[8]。其次，CNN通常使用大量的特征通道，而這些通道可能是冗余的，許多網(wǎng)絡(luò)如U-Net使用具有不同語義信息的低級(jí)和高級(jí)特性的連接，分割任務(wù)時(shí)，突出相關(guān)通道而抑制不相關(guān)通道有利于分割任務(wù)[9]。第三，CNN通常提取多尺度特征來處理不同尺度的目標(biāo)，但還是缺乏對(duì)特定圖像最適合的分割尺度意識(shí)，由于嵌套的非線性結(jié)構(gòu)， CNN決策的局限性變大，限制了它們?cè)谂R床決策中的應(yīng)用。

2021年，陳法法等人以U-net網(wǎng)絡(luò)為主干網(wǎng)絡(luò)，融合了雙注意力機(jī)制對(duì)銹蝕圖像進(jìn)行分割，雖然在分割圖像時(shí)準(zhǔn)確率達(dá)到95%，但由于缺少尺度注意力模塊，圖像的提取時(shí)間較長(zhǎng)，敏感度較低[10]?；趥鹘y(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在處理圖像時(shí)存在的局限性，我們提出了一種綜合注意模塊網(wǎng)絡(luò)CA-Net圖像分割算法，為了實(shí)現(xiàn)這些注意力模塊，考慮到空間位置、特征通道和尺度指標(biāo)的相互配合，同時(shí)受U-Net網(wǎng)絡(luò)架構(gòu)的啟迪，設(shè)計(jì)了雙通道多尺度空間注意力模塊、殘差網(wǎng)絡(luò)通道注意力模塊和自適應(yīng)選擇特征的尺度注意力模塊，設(shè)計(jì)的編碼模塊以多尺度輸入殘差網(wǎng)絡(luò)為基礎(chǔ)層，利用綜合注意力模塊，分割提取自適應(yīng)相關(guān)的空間區(qū)域、特征通道和尺度。本文提出的綜合注意模塊網(wǎng)絡(luò)CA-Net圖像分割算法，輸入的是皮膚腫瘤圖片，輸出的是一個(gè)二值化圖像，模型通過識(shí)別圖像的病灶區(qū)和皮膚健康區(qū)來檢測(cè)皮膚腫瘤的病灶邊緣并提取病灶區(qū)的特征，然后與數(shù)據(jù)庫中的真實(shí)標(biāo)簽圖進(jìn)行比對(duì)，作出相關(guān)評(píng)估來驗(yàn)證本文所提算法的性能。

1 相關(guān)理論原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)從類型上來說屬于深度神經(jīng)網(wǎng)絡(luò)，多層感知器的設(shè)計(jì)，實(shí)施較少的預(yù)處理后，可實(shí)現(xiàn)特征分析處理[11]。其網(wǎng)絡(luò)架構(gòu)一般由輸入層、卷積層、池化層、全連接層及輸出層順序連接而成[12]。

卷積層的作用將上一層的輸出進(jìn)行卷積處理后提取卷積特征，在卷積層中，輸入數(shù)據(jù)要進(jìn)行卷積處理計(jì)算，通過卷積核的稀疏連接和權(quán)值共享形式，最終將卷積后的特征圖作為輸出[13]。卷積核與輸入數(shù)據(jù)中的感受野進(jìn)行一次卷積操作得到輸入數(shù)據(jù)的局部特征，通過平移的方式與輸入數(shù)據(jù)中的多個(gè)感受野重復(fù)進(jìn)行多次卷積得到多個(gè)局部特征，最終組合成全局特征作為一種輸出特征[14]。圖1為2D矩陣的卷積過程。

圖1 2D矩陣卷積過程

池化層的作用是對(duì)上一層的輸出進(jìn)行降維和抽象處理，提取局部特征[15]。常見的池化方法有最大池化和平均池化，其池化過程如圖2所示。池化操作將卷積的特征激活轉(zhuǎn)換為維數(shù)更低的池化特征，進(jìn)而對(duì)噪聲具有很好的魯棒性[16]。在相鄰區(qū)域里，由同一個(gè)卷積核生成合并特征，該特征有助于降低神經(jīng)網(wǎng)絡(luò)中激活函數(shù)對(duì)像素和神經(jīng)網(wǎng)絡(luò)架構(gòu)的敏感性[17]。在參數(shù)設(shè)定上，池化也需要指定合并區(qū)域的大小和步長(zhǎng)。

圖2 最大池化和平均池化過程

1.2 激活函數(shù)

在神經(jīng)網(wǎng)絡(luò)架構(gòu)中，各層之間連接都需要激活函數(shù)進(jìn)行非線性變化處理，從而提高了神經(jīng)網(wǎng)絡(luò)的模擬學(xué)習(xí)能力。卷積神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)為Sigmoid函數(shù)和線性修正單元ReLU函數(shù)[18]。

Sigmoid函數(shù)的定義：

(1)

ReLU函數(shù)的定義 ：

(2)

Sigmoid函數(shù)值的變化范圍為[0,1]，該函數(shù)的特點(diǎn)是在中間小范圍內(nèi)有梯度增量，倘若網(wǎng)絡(luò)輸入的初始化權(quán)值處于映射值兩端，會(huì)出現(xiàn)梯度增量為0，此時(shí)卷積神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練時(shí)收斂速度變慢。而ReLU函數(shù)恰好彌補(bǔ)了Sigmoid函數(shù)的局限性，在x>0時(shí)，梯度增量為1，緩解了梯度消失的難題，且卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)收斂速度加快[19]。

2 綜合注意力算法模塊設(shè)計(jì)

本文提出的綜合注意力網(wǎng)絡(luò)模型CA-Net如圖3所示，U-Net主干網(wǎng)是由編碼器和解碼器組成的點(diǎn)到點(diǎn)可訓(xùn)練的網(wǎng)絡(luò)[20]。該編碼器作為一個(gè)特征提取器，在多個(gè)尺度上連續(xù)獲取高維特征，解碼器利用這些編碼特征恢復(fù)分割圖像目標(biāo)。在CA-Net網(wǎng)絡(luò)中有4個(gè)空間注意力模塊，分別為SA1—SA4；4個(gè)通道注意力模塊，分別為CA1—CA4；1個(gè)尺度注意力模塊LA。通過增加卷積塊，同時(shí)實(shí)現(xiàn)對(duì)特征圖的空間位置、通道和尺度的綜合注意力引導(dǎo)，空間注意力用于增強(qiáng)特征上感興趣的區(qū)域，同時(shí)濾除潛在的無關(guān)背景部分。提出的多尺度空間注意力模塊是一種低分辨率(如SA1)非局部模塊和其它分辨率(如SA2～SA4)雙路徑組合，我們也可稱它為空間關(guān)節(jié)注意模塊，該模塊可加強(qiáng)像素間的關(guān)系，目的能使該網(wǎng)絡(luò)更好地聚焦于分割目標(biāo)。通道注意力模塊用于校準(zhǔn)辨識(shí)度不同的圖像網(wǎng)絡(luò)連接，以便使相關(guān)通道采用更精確的加權(quán)修正系數(shù)。在解碼器中，以多尺度的方式將特征圖連接起來，尺度注意力模塊在最相關(guān)的尺度分割中突出目標(biāo)特征。

圖3 綜合注意力模塊流程圖

2.1 聯(lián)合空間注意力模塊

在神經(jīng)網(wǎng)絡(luò)中，聯(lián)合4個(gè)空間注意力模塊來學(xué)習(xí)4種不同分辨率的圖像。首先，對(duì)于低分辨率圖像(如SA1)的空間注意力，使用非局部模塊來捕捉整體圖像有較好認(rèn)知的所有像素間的特征。SA1模塊結(jié)構(gòu)如圖4所示。其中x代表大小為256×H×W輸入特征映射，256是輸入通道號(hào)，H、W分別表示高度和寬度。采用輸出通道號(hào)為64三個(gè)并行的卷積層對(duì)x進(jìn)行降維，分別得到3個(gè)壓縮特征映射x′、x″和x?，且它們具有相同的大小64×H×W。這3個(gè)特征映射可以重構(gòu)成大小為64×HW的2D矩陣。

圖4 空間注意力模塊結(jié)構(gòu)SA1

空間注意力系數(shù)可通過式(3)定義：

α1=σ(x′T·x″)

(3)

其中:x′T表示x′的轉(zhuǎn)置矩陣，σ代表sigmoid激活函數(shù)，α1∈(0,1)HW×HW,α1將每個(gè)像素的特征表示為所有像素特征的加權(quán)和，以保證圖像像素間的相互作用。

修正后的降維特征圖可用式(4)來表示：

(4)

(5)

非局部模塊應(yīng)用到高分辨率的特征映射從此在局限性，需將注意力閘門(AG)拓展到SA2～SA4的空間注意力模塊中自學(xué)習(xí)注意力系數(shù)[21]。由于單個(gè)AG會(huì)引發(fā)噪聲空間注意力映射，因此提出了一種雙路徑空間注意力，該空間注意力是利用兩個(gè)AG并行增強(qiáng)對(duì)興趣區(qū)域的注意，并降低注意力映射中的噪聲，從而可提高圖像分割的魯棒性。單路徑空間注意力SA如圖5所示，雙路徑空間注意力結(jié)構(gòu)SA2—SA4如圖6所示。

圖5 單路徑空間注意力模塊結(jié)構(gòu)SA

圖6 雙路徑注意力模塊結(jié)構(gòu)SA2—SA4

(6)

其中:Θ代表通道級(jí)聯(lián)，ΦC通道號(hào)為C的1×1卷積，空間注意力模塊中s分別取2,3,4時(shí)，C分別為64，32，16。

2.2 通道注意力模塊

利用通道級(jí)聯(lián)把來自編碼器中低級(jí)的圖像特征和解碼器中高級(jí)的圖像特征空間注意力結(jié)合起來。編碼器中的特征通道主要包含低級(jí)圖像特征信息，而解碼器的特征通道則包含更多的語義信息[22]，為了更好地利用特征通道最有效的信息，通道注意力模塊能自動(dòng)突顯相關(guān)的特征通道信息，同時(shí)抑制掉無關(guān)的特征通道信息[23]。通道注意力模塊結(jié)構(gòu)如圖7所示。

圖7 通道注意力模塊結(jié)構(gòu)

通常特征通道是利用平均池化來激發(fā)的，在通道注意力模塊中，采用最大池化來保持更多的信息。x代表通道號(hào)為C的級(jí)聯(lián)輸入特征映射，平均池化Pavg和最大池化Pmax兩者配合來獲取每個(gè)通道中的所有信息，其中Pavg(x)∈RC×1×1，Pmax(x)∈RC×1×1。多層感知(MLP)的介入主要用來獲取通道注意力系數(shù)β，β∈[0,1]C×1×1,MLP由兩個(gè)全連接層構(gòu)成，處理后的結(jié)果送入sigmoid激活函數(shù)可得到β，通道注意力模塊輸出yCA可由式(7)定義：

yCA=x·β+x

(7)

2.3 尺度注意力模塊

在不同尺度下，U-Net主干網(wǎng)絡(luò)可以獲取特征映射。為了更好地處理不同尺度的目標(biāo)圖像，需要將已預(yù)測(cè)的圖像特征結(jié)合起來。然而對(duì)于既定的目標(biāo)圖像，各種尺度的特征映射可能與目標(biāo)圖像的相關(guān)性差異較大，為了能自動(dòng)確定每個(gè)像素的尺度權(quán)值，使網(wǎng)絡(luò)能自適應(yīng)于給定的輸入圖像的尺度，提出了尺度注意力模塊，該模塊能自動(dòng)學(xué)習(xí)每個(gè)圖像的尺度權(quán)重，以捕捉不同尺度下的圖像特征。尺度注意力模塊結(jié)構(gòu)如圖8所示。

圖8 尺度注意力模塊結(jié)構(gòu)

(8)

3 實(shí)驗(yàn)驗(yàn)證及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)采集及參數(shù)設(shè)置

為了驗(yàn)證本文提出綜合注意力模塊在進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)后，能夠準(zhǔn)確有效地分割病灶圖像，本文使用了ISIC2018數(shù)據(jù)集及醫(yī)院病理科提供的病理切片，該數(shù)據(jù)集包含2 594張圖像和它們的真值。所采用的實(shí)驗(yàn)軟件平臺(tái)為PyTorch，硬件環(huán)境為NVIDIA Geforce GTX 1080 Ti GPU。我們將數(shù)據(jù)集隨機(jī)分為1 816、260和518分別進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試。皮膚腫瘤圖像分割數(shù)據(jù)集的原始大小是從720×540到6 708×4 439范圍內(nèi)，將每張圖像的大小調(diào)整為256×342，并通過均值和標(biāo)準(zhǔn)差進(jìn)行歸一化。在訓(xùn)練過程中為了讓圖像數(shù)據(jù)增強(qiáng)，把圖像隨機(jī)的按水平、垂直及在(-π/6,π/6)任意角度內(nèi)旋轉(zhuǎn)，圖像裁剪大小為224×300。神經(jīng)網(wǎng)絡(luò)采用自適應(yīng)矩估計(jì)進(jìn)行訓(xùn)練，初始學(xué)習(xí)率為10-4，權(quán)值衰減為10-8，批量大小為16，迭代次數(shù)為300。學(xué)習(xí)速率每256次衰減0.5，特征通道號(hào)設(shè)為16，每次下采樣后增加一倍。

3.2 評(píng)價(jià)指標(biāo)

對(duì)皮膚鏡圖像進(jìn)行分割提取，需生成二值掩碼，這樣才能對(duì)病灶區(qū)和正常區(qū)進(jìn)行區(qū)分，評(píng)估本文算法性能的優(yōu)越性需通過評(píng)價(jià)指標(biāo)來決策。

常見的評(píng)價(jià)指標(biāo)包括敏感性(Se)、相似系數(shù)(Dice)、平均對(duì)稱表面距離(Assd)、準(zhǔn)確性(Acc)及并交比(Jac)，使用骰子損失函數(shù)對(duì)每個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，它們的定義如下：

(9)

(10)

(11)

(12)

(13)

骰子損失函數(shù)LDice的定義為：

(14)

3.3 本文算法的實(shí)驗(yàn)驗(yàn)證

3.3.1 不同因素下空間注意力的指標(biāo)影響

我們首先在不使用通道注意力和尺度注意力模塊的情況下研究了空間注意力模塊的有效性，并從3種狀況下比較了多層空間注意力在皮膚病損圖像分割中的視覺特征，該視覺比較如圖9所示。1)在空間注意力模塊SA1-4中使用了標(biāo)準(zhǔn)單路徑AG，該狀況的視覺圖用s-AG來表示。2)在空間注意力模塊SA1-4中使用了雙路徑AG，該狀況的視覺圖用t-AG來表示。3)僅在空間注意力SA1中使用非局部模塊，該狀況的視覺圖用n-Local來表示。本文提出的在SA1中使用的非局部模塊和SA2-4雙路徑AG聯(lián)合空間注意力方法分割視覺圖用Js-A表示。對(duì)于U-Net網(wǎng)絡(luò)，跳過連接是通過編碼器和解碼器串接中的相應(yīng)特性來實(shí)現(xiàn)的，不同方法之間的量化評(píng)估如表1所示。

圖9 不同空間注意結(jié)構(gòu)在皮膚病損分割中的視覺比較

表1 不同空間注意力結(jié)構(gòu)的皮膚病損圖像分割定量評(píng)價(jià)

從圖9(a)可以看出，單路徑AG幾乎關(guān)注每一個(gè)圖像像素，這意味著它的分散性較大。雖然雙路徑AG優(yōu)于單途徑AG，但自適應(yīng)程度不夠強(qiáng)。相比之下，本文提出的空間聯(lián)合注意力方法比上述方法更關(guān)注分割目標(biāo)。圖9(b)給出的分割結(jié)果可以看出，在神經(jīng)網(wǎng)絡(luò)中引入空間注意塊大大提高了分割精度，此外，本文提出的聯(lián)合空間注意力Js-A方法在兩個(gè)分割案例下都比其他空間注意方法得到了更好的結(jié)果。尤其在第二個(gè)病例中，病變形狀復(fù)雜，邊界模糊，提出的聯(lián)合空間注意力Js-A保持了較好的結(jié)果。

從表1可以看出，所有使用空間注意力圖像分割都比Baseline的分割精度更高。同時(shí)，我們觀察到雙通道空間注意力閘門AG比單通道的更有效，聯(lián)合空間注意力閘門AG優(yōu)于其他空間注意力閘門，相似系數(shù)Dice從88.46%提高到90.83%。

3.3.2 不同因素下通道注意力的指標(biāo)影響

在通道注意力方法比較中，僅引入了通道注意力模塊來驗(yàn)證所提出方法的有效性。首先研究了通道注意力模塊在網(wǎng)絡(luò)中插入位置的影響：1)僅在編碼器中，2)僅在解碼器中，3)同時(shí)插入編碼器和解碼器中。這3種情況分別表示為C-A (Enc)， C-A (Dec)和C-A (Enc& Dec)。與此同時(shí)還比較了在使用和不使用最大池化時(shí)對(duì)通道注意力模塊的影響，該影響視覺比較如圖10所示。不同方法之間的量化評(píng)估如表2所示。

圖10 不同通道注意力方法在皮膚病損分割中的視覺比較

表2 不同通道注意力的皮膚病損圖像分割定量評(píng)價(jià)

從圖10可以看出，當(dāng)皮膚鏡圖像紋理復(fù)雜時(shí)，Baseline(U-Net)的圖像分割性能較差，而通道注意力模塊的介入提高了目標(biāo)分割的準(zhǔn)確性。顯然，本文提出的通道注意力模塊C-A (Dec)的圖像分割精度高于其它模塊。

從表2可以看出，通過在不同的因素下進(jìn)行定量比較分析，通道注意力模塊的介入確實(shí)提高了分割性能，而且?guī)в凶畲蟪鼗畔⒌耐ǖ雷⒁饬δK比只使用平均池化的通道注意力模塊性能更好。此外從評(píng)價(jià)數(shù)據(jù)發(fā)現(xiàn)，插入解碼器中的通道注意力模塊要比插入編碼器中或同時(shí)插入編碼器和解碼器中的性能更好，C-A (Dec)的Dice為91.68%。

3.3.3 不同因素下尺度注意力的指標(biāo)影響

我們只引入了尺度注意力模塊來驗(yàn)證所提出的尺度注意力方法的有效性。設(shè)L-A (1- K)表示來自不同尺度級(jí)聯(lián)特征映射的尺度注意力，為了研究特征映射尺度大小對(duì)分割的影響，我們分別取K=2、3、4、5進(jìn)行比較。不同尺度注意度方法對(duì)皮損分割的量化評(píng)估如表3所示，不同尺度下的特征融合圖像分割中的視覺比較如圖11所示，皮膚鏡圖像上尺度注意力的視覺化如圖12所示。

圖11 不同尺度下的特征融合圖像分割中的視覺比較

圖12 皮膚鏡圖像上尺度注意力的視覺化

從圖12可以看出，暖色代表較高尺度注意力分割區(qū)域，其中每幅圖下面的數(shù)字表示尺度注意力系數(shù)γ。圖中有大病灶和小病灶之分，可以觀察到，在尺度2和3下，跟小病灶相比，大病灶具有較高的γ，而在尺度1下，跟大病灶相比，小病灶具有較高的γ，像素尺度注意力映射表明，在第1排圖中尺度2下和第2排圖中尺度1下尺度注意力最集中，這說明神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練時(shí)，自動(dòng)傾向聚焦在相應(yīng)的尺度上，對(duì)不同大小的病造進(jìn)行分割。

表3 不同尺度注意度方法對(duì)皮膚病損分割的量化評(píng)估

圖13 不同算法的分割結(jié)果圖

從表3可以看出，在多尺度下融合特征優(yōu)于Baseline(U-Net)。當(dāng)我們將尺度從1到4圖像特征融合時(shí)，Dice和Assd分別得到了最佳值91.58%和0.66。然而，當(dāng)我們將這5個(gè)尺度的圖像特征融合在一起時(shí)，分割的準(zhǔn)確率會(huì)降低。這表明在低分辨率的特征映射下，不適合預(yù)測(cè)像素的細(xì)節(jié)特征。因此在后續(xù)的實(shí)驗(yàn)中。我們只融合了尺度1到4的特征。

3.4 皮膚腫瘤圖像分割提取

甘肅省人民醫(yī)院整形外科、皮膚科、提供了自2012年至2019年經(jīng)皮膚鏡檢查后做了病理切片的皮膚腫瘤圖像，該圖像寬高比各不相同。由于原始圖像中存在噪聲，且在圖像中除了病灶區(qū)域外，還有大量的健康皮膚背景區(qū)域，因此輸入圖像在網(wǎng)絡(luò)訓(xùn)練前首先要預(yù)處理，即需進(jìn)行圖像增強(qiáng)以便使病灶區(qū)和健康區(qū)有很大的辨識(shí)度，對(duì)于標(biāo)簽圖，需要對(duì)圖像進(jìn)行二值化；之后將訓(xùn)練樣本送入模型訓(xùn)練，得到優(yōu)化分割模型，再將測(cè)試樣本送到已訓(xùn)練好的模型中測(cè)試，獲取分割結(jié)果，為了更好地驗(yàn)證本文提出的融合綜合注意力卷積神經(jīng)網(wǎng)絡(luò)對(duì)病灶圖像的分割，分別對(duì)提供的不同病灶樣本進(jìn)行了病灶區(qū)分割提取，并與U-Net算法和所提出的注意力模塊任意組合構(gòu)成的算法機(jī)制進(jìn)行比對(duì)，分割結(jié)果如圖13所示，涉及的病灶類型有黑色素瘤(A)、混合痣(B)、基底細(xì)胞癌(C)、角化棘皮瘤(D)、鱗狀細(xì)胞癌(E)、皮內(nèi)痣(F)、腺樣囊性癌(G)及脂溢性角化(H)等。

為了研究不同注意力組合的效果，將本文提出的CA-Net與空間、通道和尺度3種基本注意力的任意6種組合狀態(tài)進(jìn)行了比較。局部注意力方法與綜合注意力方法在皮膚損傷分割中的量化評(píng)估如表4所示，其中，SA表示多尺度聯(lián)合空間注意力，CA表示僅在解碼器架構(gòu)中使用的通道注意力，LA表示尺度注意力。

與Baseline(U-net)相比，SA、CA和LA圖像分割性能方面有了很大改善。與單一的注意力方法相比，兩種注意力方法任意組合在一起效果更好。為了評(píng)估本文提出的綜合注意力CA-Net在皮膚腫瘤圖像分割的有效性和精確性，在不同注意力組合下計(jì)算了其相似性Dice、Assd、敏感性Se以及準(zhǔn)確性Acc的值，從表4可以看出，在綜合注意力下，評(píng)估值都優(yōu)于其他方法，其對(duì)應(yīng)值分別為92.08%、0.58、93.77%及92.89%。

表4 局部注意力方法與綜合注意力方法在皮膚病損分割中的量化評(píng)估

從分割結(jié)果可以看出，由于原始病灶圖像的多樣性和圖像本身辨識(shí)度的不同，利用不同算法在圖像分割時(shí)病灶區(qū)提取的信息濃度差異較大?？v觀這8類樣本，采用U-Net時(shí)，較易分割提取到攜帶與病灶無關(guān)的信息成分，部分圖像辨識(shí)度低時(shí)，對(duì)分割效果影響尤為不利。另外分別讓SA、CA、LA注意力模塊介入到卷積神經(jīng)網(wǎng)絡(luò)時(shí)，分割模型在一定程度上削弱了網(wǎng)絡(luò)退化，提取到樣本病灶邊界更加圓滑，從而大幅度減少了圖像信息損失，但由于空間、通道、尺度注意力模塊的單一化，在圖像語義信息捕捉上適應(yīng)性較差?；诖艘?，構(gòu)建了對(duì)SA、CA、LA任意兩個(gè)注意力模塊隨機(jī)組合混搭，我們發(fā)現(xiàn)，SA+CA注意力模塊組合在病灶圖像分割區(qū)的信息濃度更為豐富，在一定范圍內(nèi)提高了不同維度圖像的特征適應(yīng)性，但由于權(quán)重在深度學(xué)習(xí)時(shí)分配的差異性，對(duì)感興趣的目標(biāo)分割區(qū)敏感性偏低，分割的準(zhǔn)確性不夠。而采用了本文提出的綜合注意力模塊算法后，綜合注意力機(jī)制更加關(guān)注目標(biāo)域的信息捕捉，既有效的增強(qiáng)了模型分割的效果，又有效避免了特征向量上冗余的信息，平均分割的精確度可達(dá)92.89%，從而為皮膚腫瘤智能化初步診斷提供可靠依據(jù)，在不同的醫(yī)學(xué)圖像分割任務(wù)中得以推廣。

4 結(jié)束語

通過融合空間注意力模塊、通道注意力模塊及尺度注意力模塊的綜合注意力方法來改進(jìn)傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，從而對(duì)醫(yī)學(xué)圖像進(jìn)行分割，由于病灶等分割目標(biāo)的空間位置、形狀和尺度變化較大，利用該方法使神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)目標(biāo)的空間位置和大小時(shí)，對(duì)病灶圖像目標(biāo)位置能實(shí)現(xiàn)精確分割，最大限度的關(guān)注相關(guān)通道和尺度是提高分割性能的有效途徑。得出了如下結(jié)論：

1)使用本文提出的綜合注意力方法改進(jìn)優(yōu)化傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，可使用較少的參數(shù)獲得更準(zhǔn)確的病灶分割。

2)在預(yù)測(cè)分割目標(biāo)時(shí)，CA-Net就如何預(yù)測(cè)每個(gè)空間位置、特征映射通道和尺度方面能很好地把控。更重要的是，我們?cè)趩蜗騻鬟f中獲得這些注意系數(shù)時(shí)不需要額外的計(jì)算，從而很大程度地縮減了深度學(xué)習(xí)的時(shí)間。

3)由于編碼器充當(dāng)特征提取器，因此在CA-Net網(wǎng)絡(luò)模塊設(shè)計(jì)中，大多數(shù)注意力模塊都在解碼器中，若在編碼器中加入注意力模塊，可能會(huì)導(dǎo)致一些潛在的圖像被抑制過濾掉，在解碼器中設(shè)計(jì)注意力模塊能突出病灶目標(biāo)圖像特征的相關(guān)性。

4)提出的綜合注意力卷積神經(jīng)網(wǎng)絡(luò)(CA-Net)能夠自適應(yīng)地關(guān)注空間位置、特征通道和目標(biāo)尺度。在現(xiàn)有的空間注意力和通道注意力方法的啟發(fā)下，對(duì)網(wǎng)絡(luò)進(jìn)行了進(jìn)一步的改進(jìn)，提高了網(wǎng)絡(luò)深度學(xué)習(xí)能力，更專注于感興趣的目標(biāo)區(qū)域，提高分割精度。在下一階段的任務(wù)中，準(zhǔn)備嘗試將CA-Net應(yīng)用于其他醫(yī)學(xué)成像模式乃至3D醫(yī)學(xué)圖像的分割。