申文靜,叢金玉,班楷第,王蘋蘋,劉坤孟,司興勇,魏本征△

(1.山東中醫(yī)藥大學 醫(yī)學人工智能研究中心,青島266112;2.山東中醫(yī)藥大學 青島中醫(yī)藥科學院,青島 266112)

0 引言

乳腺癌是女性最常見的惡性腫瘤之一[1]。據(jù)國際衛(wèi)生組織癌癥研究機構(gòu)最新發(fā)布的統(tǒng)計數(shù)據(jù),全球女性乳腺癌新發(fā)病例數(shù)高達226萬,并且仍以3%～4%的速度逐年上升[2]。隨著醫(yī)學水平的進步,乳腺癌早期患者的生存率顯著提高,但對于晚期乳腺癌治療,目前臨床缺乏有效方法,五年生存率低。因此,乳腺癌的早篩、早診和早治對延長患者生存時間,提高患者生活質(zhì)量具有重要意義[3]。

腫塊和鈣化是早期乳腺癌檢測中兩個最重要的特征表現(xiàn),常見的診斷方法有超聲、核磁共振及鉬靶檢查等[4]。其中,鉬靶可顯示腫塊的大小和周圍病變情況、形態(tài)等信息[5]。不同于CT等成像設備,鉬靶對鈣化的敏感度較高[6],可識別微小鈣化區(qū)域[7]。目前,臨床上主要依靠放射科醫(yī)生對乳腺鉬靶圖像中的腫塊和鈣化點進行分割(見圖1),耗時費力且分割精度受醫(yī)生經(jīng)驗影響,易出現(xiàn)漏診、誤診等現(xiàn)象[8-9]。隨著人工智能的發(fā)展,基于深度學習的乳腺腫塊和鈣化全自動分割應用廣泛。該方法可幫助醫(yī)生快速確定病變范圍,提高診斷效率,為臨床檢測提供準確可靠的解決方案,具有重要的現(xiàn)實意義。

注:紅色標記部分表示病灶區(qū)域

U形的卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)可提高特征信息的利用率,在醫(yī)學圖像分割中表現(xiàn)出較好的性能[10]。此外,融合注意力機制的模型可確定視覺探索區(qū)域,并發(fā)現(xiàn)特定的放射異常,能有效捕捉乳腺癌分割和定位的關(guān)鍵線索,增強對病灶區(qū)域及邊緣細節(jié)信息的關(guān)注,在癌癥病灶分割中取得了顯著成績。

基于此,Chen等[11]引入混合自適應注意力模塊取代傳統(tǒng)的卷積運算,使其在不同感受野下捕捉更多的特征,有效提高了特征利用率。Umer等[12]設計了雙解碼注意力機制用于實現(xiàn)乳腺癌病變區(qū)域的自動分割。Lou等[13]通過自適應地減少編碼器和解碼器特征之間的語義間隙,利用語義交互增強上下文關(guān)系,改進U形CNN,進一步提高了分割性能。Farooq等[14]提出基于殘差注意力的自集成模型用于乳腺腫瘤檢測,有效克服了乳腺腫瘤低視覺對比度、邊界不清及乳腺病變形狀和大小多樣性等問題。Zhong等[15]提出將雙邊跳躍連接和全尺度注意力機制引入U-Net網(wǎng)絡,通過融合多尺度特征,有效提高了腫瘤分割精度。Ru等[16]提出一種注意力引導神經(jīng)常微分方程網(wǎng)絡,該網(wǎng)絡使用常微分方程塊組成編碼器-解碼器網(wǎng)絡,使用注意力模塊生成更精細的特征信息,提高了乳腺腫瘤的分割性能。Yang等[17]將CNN和Swin Transformer連接作為特征提取主干,構(gòu)建金字塔結(jié)構(gòu)網(wǎng)絡,引入交互式通道注意力模塊,用于強調(diào)重要的特征區(qū)域;補充特征融合模塊用于在特征融合過程中補充特征,有效提高了算法分割性能。褚張晴晴等[18]提出了一種改進的U-Net模型,通過在跳躍連接中設計特征融合模塊以融合不同層次的特征信息,并將改進的三維坐標注意力引入編碼器網(wǎng)絡以獲得腫瘤的精確位置。Fu等[19]提出了基于注意力的主動學習框架用于乳腺癌圖像分割。Iqbal等[20]設計了U形金字塔擴張融合網(wǎng)絡,取得了較為準確的分割效果。

盡管將各種注意力機制引入到U型網(wǎng)絡中,使腫瘤分割精度得到了有效提升。但當前深度學習方法無法同時檢測乳腺腫塊和鈣化,且現(xiàn)有模型仍存在特征利用不充分、細節(jié)信息丟失等問題,導致分割精度不理想。為此,本研究提出了一種融合自注意力的乳腺癌鉬靶圖像特征引導分割算法,以充分提取和利用圖像特征,實現(xiàn)乳腺癌病變區(qū)域的精確分割。

1 算法設計

1.1 融合自注意力的乳腺癌鉬靶圖像特征引導分割網(wǎng)絡

本研究算法框架采用由編碼器和解碼器組成的U型網(wǎng)絡作為骨干網(wǎng)絡,見圖2。其中,編碼器通過卷積層提取高級語義特征信息,解碼器利用跳躍連接,引入來自編碼器的高分辨率特征圖,恢復圖像丟失的細節(jié)信息。

圖2 算法框架圖

特征引導注意網(wǎng)絡(feature guided attention network,FGA-Net)以腫塊和鈣化兩類乳腺癌鉬靶圖像作為輸入,網(wǎng)絡輸入圖像大小為512×512。為獲取豐富的特征信息,骨干網(wǎng)絡卷積層均由兩個3*3卷積層的重復應用組成,每個卷積層后為批歸一化處理和ReLU激活函數(shù)層。特征提取模塊共由4個編碼塊組成,在每個編碼塊后,通過步長為2的最大池化對特征圖進行下采樣,增加輸出通道數(shù)量,擴大感受野,獲得高分辨率特征圖。解碼部分有4個解碼塊,每個解碼塊由卷積序列和特征引導注意模塊組成,用于對來自特征提取模塊的相應特征圖和解碼塊的輸出特征圖的總和進行上采樣操作,最后使用1*1卷積進行降維,還原到圖像輸入時的大小。

1.2 特征引導注意模塊

為增強通道間的依賴關(guān)系,提高分割精度。本研究在解碼塊中加入了特征引導注意模塊,該模塊由自注意力機制和特征引導模塊組成。自注意力機制可更多地關(guān)注到輸入中的關(guān)鍵信息及不同通道間的相關(guān)性,能夠充分利用全局信息獲得更好的模型訓練結(jié)果,增強對病灶區(qū)域邊緣信息的關(guān)注度,使邊界分割更加清晰。此外,采用特征引導模塊能夠使網(wǎng)絡關(guān)注圖像中腫塊和鈣化區(qū)域特征信息的不同,有利于進一步提升分割精度。

首先,特征引導注意模塊將編碼部分的輸出作為輸入x,通過Attention操作,篩選出重要特征信息。權(quán)重占比越大,說明特征信息越重要,Value是權(quán)重對應的信息。對于每個向量x′分別與需要學習的權(quán)重矩陣Wq、Wk和Wv相乘,得到Q、K和V;通過Q和K點乘的方式,計算每兩個輸入向量的相關(guān)性,得到A;接著對A進行Softmax操作得到A′,即各樣本與各信息間相關(guān)或相似程度的分布;利用A′和V點乘計算每個輸入向量x′對應的Attention層的輸出向量;最終輸出信息的加權(quán)和Att(Q,K,V)。Attention的計算如下:

(1)

然后,通過一個卷積層操作(大小為3*3),再依次通過全局平均池化(GAP)層、全連接層(FC)、Sigmoid激活層,與另一組直接來自3*3卷積的輸出特征進行點乘操作,用于將前面提取到的信息進行整合。最終,得到輸出特征圖y。

1.3 損失函數(shù)

為計算網(wǎng)絡預測結(jié)果與真實值的差異,本研究使用交叉熵損失函數(shù)計算損失:

loss(x,class)=-x[class]+log (∑jexp(x[j]))

(2)

其中,x表示樣本,class表示類別信息,該分割網(wǎng)絡目的是將病變區(qū)域與背景進行區(qū)分,因此,設置為二分類。

2 實驗

本研究在深度學習框架Pytorch中進行實驗,并在NVIDIA GeForce RTX 2070上運行。實驗初始學習率設置為0.000 1,迭代次數(shù)設置為40。實驗圖像在輸入模型前采用水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、鏡像和隨機旋轉(zhuǎn)等數(shù)據(jù)增強方法,以在一定程度上避免過擬合,提高模型的泛化能力。

2.1 數(shù)據(jù)集

本研究分別在INBreast1和DDSM乳腺鉬靶圖像數(shù)據(jù)庫上對FGA-Net進行評估。由于公開的INBreast[21]數(shù)據(jù)庫中標注數(shù)據(jù)太少,因此,加入了來自山東中醫(yī)藥大學第二附屬醫(yī)院的部分自有數(shù)據(jù)集,組成本研究所使用的INBreast1數(shù)據(jù)庫。該數(shù)據(jù)庫包含151例腫塊病例和85例鈣化病例,本研究分別從腫塊病例和鈣化病例中選擇了529張和324張標簽較為準確的乳房鉬靶圖像進行實驗。由于未收集到來自DDSM公開數(shù)據(jù)庫的鈣化病例,本研究僅使用從DDSM數(shù)據(jù)庫獲取的826例腫塊病例,共3 103張乳房鉬靶圖像進行實驗。實驗中將不同數(shù)據(jù)集均按8∶1∶1的比例劃分為訓練集、驗證集和測試集,分別用于模型的訓練、驗證與測試。

2.2 評價指標

為有效評估算法性能,本研究使用為準確率(Accuracy),交并比(IoU)和Dice系數(shù)作為評價指標,計算如下:

(3)

(4)

(5)

其中,TP表示正確預測為病灶的像素數(shù),FP表示錯誤預測為病灶的像素數(shù),FN表示錯誤預測為周圍組織的像素數(shù),TN表示正確預測為周圍組織的像素數(shù)。Dice系數(shù)越高,則網(wǎng)絡預測結(jié)果的準確率越高。

2.3 結(jié)果與分析

本研究基于DDSM和INBreast1數(shù)據(jù)庫進行消融實驗,并與目前性能較好的幾種典型分割網(wǎng)絡進行對比,驗證該網(wǎng)絡的性能。

2.3.1對比實驗 為驗證本研究所提出的網(wǎng)絡的有效性,本研究與U-Net及其3種經(jīng)典的、性能較好的改進算法進行了比較。

基于INBreast1對比實驗結(jié)果見表1、2。實驗結(jié)果表明,本研究模型的腫塊分割的Acc、mIoU和mDice分別為0.998、0.946和0.971,在完成35輪訓練后,模型已趨于穩(wěn)定;鈣化分割的Acc、mIoU和mDice分別為0.996、0.817和0.888,在完成15輪訓練后,模型已趨于穩(wěn)定。訓練集與驗證集loss值變化隨訓練輪數(shù)變化見圖3、4。與U-Net基礎(chǔ)網(wǎng)絡相比,本研究模型在腫塊分割中Acc、mIoU和mDice分別提高了0.7%、10.4%和10.2%;在鈣化分割中Acc、mIoU和mDice分別提高了0.2%、15%和13.8%,分割效果均有顯著提升。相較于U-Net+Attention、Res-UNet和Swin-UNet網(wǎng)絡,本研究模型在腫塊分割中Acc分別提高了0.7%、0.5%和1.6%;mIoU分別提高了18.6%、8.3%和12.2%;mDice分別提高了12.7%、5.9%和6.5%。在鈣化分割中Acc分別提高了0.1%、0.7%和0.5%;mIoU分別提高了6.7%、4.2%和6.4%;mDice分別提高了5.5%、3.2%和7.4%。表明FGA-Net可有效分割乳腺癌病變區(qū)域。

表1 INBreast1數(shù)據(jù)庫腫塊分割對比實驗結(jié)果

表2 INBreast1數(shù)據(jù)庫鈣化分割對比實驗結(jié)果

圖3 INBreast1腫塊數(shù)據(jù)訓練過程中訓練集和驗證集loss變化

圖4 INBreast1鈣化數(shù)據(jù)訓練過程中訓練集和驗證集loss變化

基于DDSM數(shù)據(jù)集的實驗結(jié)果見表3。本研究模型的腫塊分割的Acc、mIoU和mDice分別為0.999、0.848和0.911,在完成15輪訓練后,模型已趨于穩(wěn)定。訓練集與驗證集損失值變化隨訓練輪數(shù)變化見圖5。與U-Net基礎(chǔ)網(wǎng)絡相比,本研究模型在腫塊分割中Acc、mIoU和mDice分別提高了0.9%、10.3%和10.3%,分割效果顯著提高。相較U-Net+Attention、Res-Unet和Swin-Unet網(wǎng)絡,本研究模型在腫塊分割中Acc分別提高了2.7%、0.8%和0.4%;mIoU分別提高了23%、4.2%和9.6%;mDice分別提高了21%、2.9%和7.9%。說明FGA-Net可更好地用于整個乳腺鉬靶圖像的病變分割,實現(xiàn)更高的分割精度。

表3 DDSM數(shù)據(jù)庫腫塊分割對比實驗結(jié)果

圖5 DDSM腫塊數(shù)據(jù)訓練過程中訓練集和驗證集loss變化

由表1、2、3可知,相比于U-Net、U-Net+Attention和Res-Unet模型,本研究模型增加了計算復雜度,但分割結(jié)果有明顯提升;相較于Swin-Unet模型,本研究模型參數(shù)更少且分割效果更好。表明FGA-Net雖然在診斷效率上不具備優(yōu)勢,但在分割精度上相比經(jīng)典網(wǎng)絡模型得到了顯著提升。

為更直觀地觀察網(wǎng)絡分割效果的優(yōu)越性,本研究對不同算法的分割結(jié)果進行了可視化處理,見圖6。由于圖像中鈣化區(qū)域較小,不易觀察,圖中鈣化分割結(jié)果使用乳腺鉬靶圖像為背景進行表示,并將預測區(qū)域用紅色標記,人工標記區(qū)域用綠色標記。由圖6可知,本研究網(wǎng)絡分割腫塊時可避免將圖像中的鈣化誤判為腫塊,且能夠使腫塊邊緣更加平滑;在分割鈣化時,能夠較準確地識別鈣化和周圍組織,不受纖維腺組織的互相重疊和遮擋的影響。由此可見,本研究算法在腫塊和鈣化分割中均表現(xiàn)出了優(yōu)良性能,分割精度得到了有效提升,整體分割效果優(yōu)于其他經(jīng)典分割模型。

注:紅色表示預測區(qū)域,綠色表示人工標記區(qū)域

2.3.2消融實驗 為驗證各模塊的有效性,消融實驗分別在DDSM和INBreast1數(shù)據(jù)集上進行,各包括4組實驗。A組實驗用于驗證基礎(chǔ)網(wǎng)絡對于乳腺腫塊和鈣化的分割效果;B組實驗用于驗證向基礎(chǔ)網(wǎng)絡中添加自注意力機制后的分割效果;C組實驗用于驗證向基礎(chǔ)網(wǎng)絡中加入特征引導模塊后的分割效果;D組實驗用于驗證同時增加自注意力模塊和特征引導模塊(即本研究提出的特征引導注意網(wǎng)絡)后網(wǎng)絡所達到的分割效果。

消融實驗結(jié)果見表4、5、6。在表4中,對比A組和B組的分割結(jié)果發(fā)現(xiàn),自注意力模塊的引入,提升了模型的分割效果,Acc、mIoU和mDice分別提高了0.3%、6.3%和4%。C組在A組的基礎(chǔ)上添加特征引導模塊。對比A組和C組的分割結(jié)果發(fā)現(xiàn),添加特征引導模塊后,分割效果也具有一定提升,觀察到Acc、mIoU和mDice分別提高了0.2%、1.1%和1.3%。在表5中,與A組相比,加入自注意力的B組Acc雖降低了0.2%,但mIoU和mDice卻有明顯提升,分別提高了2.1%和0.8%;加入特征引導模塊的C組Acc也存在小幅降低,但mIoU和mDice仍然有一定的提升,分別提高了1.5%和0.2%。在表6中,與A組相比,加入自注意力的B組Acc、mIoU和mDice均有上升,分別上升了0.3%、3.7%和2.7%;加入特征引導模塊的C組僅Acc降低了0.3%,mIoU和mDice分別提高了2.1%和1.2%。通過對比發(fā)現(xiàn),添加特征引導模塊提升的分割效果低于添加自注意力。對比A、B、C和D四組實驗結(jié)果發(fā)現(xiàn),本模型在乳腺腫塊和鈣化類型上取得了較好的分割效果。由表4、5、6可知,相較于骨干網(wǎng)絡,本研究模型由Acc分別提高了0.6%、0.2%和0.5%;mIoU分別提高了8.1%、3.3%和5.3%;mDice分別提高了4.9%、2.0%和5.5%。說明自注意力模塊和特征引導模塊均對于乳腺腫塊和鈣化分割具有有效性,兩者的組合模塊可進一步提升乳腺腫瘤的分割精度。

表4 INBreast1數(shù)據(jù)庫腫塊分割消融實驗結(jié)果

表5 INBreast1數(shù)據(jù)庫鈣化分割消融實驗結(jié)果

表6 DDSM數(shù)據(jù)庫腫塊分割消融實驗結(jié)果

此外,由表4、5、6可知,D組模型的參數(shù)大小為62.71 M,遠高于A組和B組模型,略高于C組模型,表明本研究模型產(chǎn)生的參數(shù)量較高,訓練速度較慢,但分割結(jié)果明顯高于其他三組。綜上所述,FGA-Net雖增加了計算負擔,但在分割精度上相比其他三組模型得到了有效改進。

3 結(jié)論

本研究提出了一種融合自注意力的乳腺癌鉬靶圖像特征引導分割算法,主要包含提取和學習特征信息的編碼器網(wǎng)絡和用于關(guān)注腫瘤區(qū)域和恢復邊緣細節(jié)特征的解碼器網(wǎng)絡。實驗結(jié)果表明,該算法可有效提高乳腺癌腫瘤的分割效果,對乳腺癌患者的早期檢測和治療有重要意義。但本研究模型也存在不足,相比其他模型,增加了計算負擔,在一定程度上降低了診斷效率。如何在追求高分割精度的同時,遵循輕量型設計是后續(xù)的研究重點。