周雨薇劉志勤王慶鳳黃 俊王耀彬徐衛(wèi)云
(1. 西南科技大學計算機科學與技術學院 四川綿陽 621010; 2. 綿陽市中心醫(yī)院 四川綿陽 621000)
乳腺癌作為一項死亡率極高的惡性疾病,已嚴重威脅到全世界女性身心健康與生命安全。據(jù)美國癌癥協(xié)會統(tǒng)計,2017年美國乳腺癌新增病例達255 180例,乳腺癌死亡人數(shù)達41 070例[1]。我國每年女性乳腺癌死亡病例約6.60萬例,占女性惡性腫瘤死亡人數(shù)的7.82%[2]。
早期乳腺癌通常沒有明顯的臨床癥狀,多表現(xiàn)為無痛性腫塊[3]。乳腺鉬靶X線攝影是篩查乳腺癌腫塊首選的無創(chuàng)性檢測手段[4]。腫塊在乳腺鉬靶圖像上主要表現(xiàn)為大小各異、形狀不均、邊緣模糊等特點。由于乳腺內其他組織的相互重疊,腫塊病灶往往難以辨認,海量的影像數(shù)據(jù)也給放射科醫(yī)師的閱片和診斷帶來了巨大的工作量,并且受醫(yī)師診斷經(jīng)驗、情緒等主觀因素的影響,可能導致漏檢誤診的發(fā)生[5]。
醫(yī)學人工智能(Medical Artificial Intelligence)受到了國家層面的高度重視與戰(zhàn)略扶持[6],在許多生物醫(yī)學領域產(chǎn)生了重要的影響:淋巴結良惡性輔助診斷[7]、胸部疾病輔助診斷[8-9]、眼底圖像分割[10]、腸道息肉分割[11]等,成為了當前的熱門研究主題。
應用于乳腺腫塊分割的人工智能算法可分為傳統(tǒng)機器學習算法與經(jīng)典深度學習算法。傳統(tǒng)的圖像分割算法約束條件較多,操作復雜,難以取得理想效果。與傳統(tǒng)機器學習方法相比,基于深度學習的圖像分割算法擁有更高效的特征提取能力,表現(xiàn)出極大的優(yōu)勢與潛力,學者們也因此將深度學習應用于乳腺圖像處理并進行了相關研究。文獻[12]提出基于快速掃描卷積神經(jīng)網(wǎng)絡的乳腺核磁共振圖像分割算法,提高了圖像分割速度并保證分割精度不變。文獻[13]提出利用GAN進行半監(jiān)督訓練,使網(wǎng)絡得以區(qū)分標簽圖像以及分割結果圖像,此方法更加適用于乳腺鉬靶數(shù)據(jù)量較少時對感興趣區(qū)域(ROI, Region Of Interest)進行大致的分割。文獻[14]構建了乳腺腫塊檢測、分割和分類一體化的CAD系統(tǒng),并使用了一種新的深度全分辨率卷積網(wǎng)絡FrCN。文獻[15]基于U-Net改進出一種雙通道分割網(wǎng)絡,訓練過程中兩條路徑信息相互疊加補充,同樣也需要在已提取的感興趣區(qū)域內進行分割。
綜上,計算機輔助診斷系統(tǒng)借助人工智能技術,在乳腺腫塊的分割領域已有較好的應用成果,可以自動分割腫塊病灶,達到提高診斷效率、減少漏檢和誤檢的目的,但仍存在局限:首先,大部分研究所使用的是公開數(shù)據(jù)集,較為陳舊并且均來自歐美患者,此外腫塊的標注不夠精確甚至完全錯誤,導致分割性能下降;其次,數(shù)據(jù)樣本中病灶區(qū)域與背景區(qū)域的像素存在較大的數(shù)量差別,這會主導梯度的更新方向,使模型更傾向于學習面積較大的背景區(qū)域,無法學習到腫塊相關信息。為此,本文提出基于對稱殘差結構的乳腺腫塊分割網(wǎng)絡SRes-Unet,可在完整乳腺鉬靶圖像上直接對腫塊進行像素級分割,無需預先提取感興趣區(qū)域。同時,為解決腫塊區(qū)域像素在完整乳腺圖像內占比過小而造成網(wǎng)絡訓練的導向偏差,使用一種改進型復合加權損失函數(shù)wBCE_DiceLoss平衡像素差,進一步提升分割的精準度。
經(jīng)典U-Net[16]是2015年MICCAI會議上首先被提出的一種全卷積網(wǎng)絡分割模型,由兩條對稱路徑組成。左側收縮路徑用于獲取上下文信息,右側擴展路徑用于對目標精確定位,兩條路徑形成一個“U”型。中間通過Skip-Concatenate將圖像各層次的多維要素進行融合,提高網(wǎng)絡對特征信息進行學習并獲取的敏感度。
雖然U-Net在分割精度和速度上都達到了較高水平,但傳統(tǒng)的卷積層和池化層在信息傳遞中普遍存在信息丟失等問題,并且隨著網(wǎng)絡逐步加深,梯度消失也隨之出現(xiàn)[17]。為克服上述問題,本文提出一種新的改進模型:基于對稱殘差結構的U-Net分割模型SRes-Unet。延續(xù)U-Net的對稱結構以及跳躍連接,同時嵌入改進的殘差模塊對分割細節(jié)進行優(yōu)化,通過圖像增強緩解梯度消失的問題,有效提升分割效率。
SRes-Unet主要有以下3個特點:(1)將原始U-Net兩條路徑中共5層的3×3普通卷積替換為殘差結構的殘差卷積模塊,網(wǎng)絡中間依舊采用跳躍連接。(2)嵌入的殘差模塊內部由卷積層(5×5 Conv2d)、歸一化層(Batch Normalization)、激活函數(shù)PReLU層組成,水平向的殘差連接采用Element-wise。(3)利用2×2卷積層與2×2反卷積層代替原始上采樣和下采樣的池化層,在特征圖大小變化的同時,能更好地分配不同像素點的權重,降低重要信息丟失概率。
模型整體框架如圖1所示。從上至下總共5層對稱結構,第一至三層的兩端殘差模塊內部分別執(zhí)行1~3次卷積,第三層后均執(zhí)行3次卷積,并且每完成一次卷積后都伴隨批量歸一化和PReLU激活[18]。網(wǎng)絡通道數(shù)(卷積核個數(shù)或feature map數(shù)量)隨著網(wǎng)絡層數(shù)不斷加深而依次增加兩倍,從16,32,64,128到256。
左側下采樣路徑中每一層的卷積結果都要同時傳遞到右側上采樣路徑所對稱的卷積模塊中,進行疊加操作(Skip-Concatenate)以補充圖像因壓縮損失的特征信息,既能夠保留一部分丟失的信息,同時提高腫塊邊界分割的準確性。網(wǎng)絡最后的卷積層產(chǎn)生與輸入圖像尺寸相同大小的特征圖,經(jīng)過Sigmoid函數(shù)激活,映射出每個像素的前景/背景概率,如果概率大于0.5為前景腫塊區(qū)域,反之則為背景。
隨著網(wǎng)絡層次加深,訓練時間越長,且更易造成信息丟失產(chǎn)生錯誤。為解決這一問題,訓練分割模型時引入He等[19]于2015年Imagenet圖像識別競賽中提出的殘差網(wǎng)絡原理,構造殘差連接模塊(Resblock)。模塊內包含兩條路徑,一條路徑將輸入的圖像信息直接添加到該模塊底層與另一條包含特征提取功能的路徑進行相加處理,構成殘差短路連接。這樣的殘差映射便是該模塊需要學習的目標。圖2所示為包含一次卷積的殘差連接模塊具體結構。
圖1 SRes-Unet網(wǎng)絡模型Fig.1 SRes-Unet network model
圖2 卷積殘差塊具體結構Fig.2 Concrete structure of convolution residual block
經(jīng)典U-Net模型訓練中利用Softmax的輸出結果計算交叉熵,并將其作為網(wǎng)絡整體的優(yōu)化函數(shù)。在醫(yī)學圖像分割中,通常只有病灶與背景兩種分類,損失函數(shù)此時就是二元交叉熵(Binary Cross Entropy, BCE),其公式為:
(1)
其中:N為輸入圖像像素總數(shù);gi∈{0,1}是第i個像素真實的標簽,其中0表示背景,1為腫塊;pi∈[0,1]是對應像素預測為前景的概率。當前景像素遠遠小于背景像素的數(shù)量時,即gi=0的數(shù)量遠大于gi=1的數(shù)量,優(yōu)化過程中gi=0的成分便會占據(jù)主導,使得模型嚴重偏向背景。
由圖3可以看出,在乳腺圖像中腫塊往往僅占整張圖像的很小塊區(qū)域,因此數(shù)據(jù)集存在嚴重的前景與背景像素不平衡問題,單獨使用二分類交叉熵損失函數(shù)可能會誤導模型優(yōu)化方向,最終只能預測面積更大的無意義背景區(qū)域。
圖3 不同乳腺圖像中腫塊的各種表現(xiàn)形式Fig.3 Various shape of masses in different mammograms.
Dice相似系數(shù)是一種集合相似度度量函數(shù),通常用于計算兩類像素樣本的相似度,取值范圍為[0,1]。當兩類樣本數(shù)量差巨大時,Dice Loss能夠使樣本不均衡問題得到一定程度的緩解。Dice Loss[20]定義為:
(2)
ε是為了維持數(shù)值穩(wěn)定性防止分母變0而添加的常數(shù)。而在乳腺圖像分割中,由于腫塊像素與背景像素極度不平衡,單獨使用Dice損失函數(shù)則會使整個優(yōu)化過程不穩(wěn)定導致指標可靠性降低。因此,我們在訓練過程中,利用兩種損失函數(shù)對網(wǎng)絡訓練進行約束,提出一種帶權重的復合損失函數(shù)wBCE_DiceLoss,定義如下:
wBCE_DiceLoss=αBCELoss+DiceLoss
(3)
式中,α為一個常數(shù)權重,以控制交叉熵損失和Dice損失之間優(yōu)化強度的平衡。經(jīng)過實驗測試了不同的α值,發(fā)現(xiàn)當α=1×10-4時能夠達到較佳的分割效果。
由于國內目前尚未有公開的乳腺鉬靶數(shù)據(jù)集,因此我們構建了一個國內的乳腺鉬靶數(shù)據(jù)集:SMD-My,用于模型的訓練、驗證及測試。SMD-My數(shù)據(jù)來源于綿陽市中心醫(yī)院,包括150例乳腺鉬靶圖像,每一張圖像均由放射科醫(yī)生精準勾勒出乳腺腫塊輪廓。將數(shù)據(jù)集按80%,10%,10%比例劃分為訓練集、驗證集和測試集。同時,為驗證所提模型的泛化性能,從兩個國外公開的乳腺鉬靶數(shù)據(jù)集CBIS-DDSM[21]和INbreast[22]中分別納入了80例圖像進行測試實驗。CBIS-DDSM是由美國醫(yī)學機構所建立的專門存放乳腺圖像的數(shù)據(jù)庫DDSM的一個子集, INbreast則是來自葡萄牙波爾圖圣若昂醫(yī)院公開的乳腺鉬靶圖像數(shù)據(jù)集。
為保證訓練隨機初始化的深度神經(jīng)網(wǎng)絡到收斂狀態(tài),利用數(shù)據(jù)增廣對訓練集進行擴充。首先將格式為DICOM的原始鉬靶圖像中每個像素值線性映射至0~255范圍,并轉存為 .png圖像格式。采取反射變換(Rotation)取值20、平移變換(Shift)取值0.1、縮放變換(Zoom)取值0.1、錯切變換(Shear)取值0.1以及水平翻轉方法實現(xiàn)數(shù)據(jù)增強,有效降低了由于數(shù)據(jù)量不足而造成的過擬合現(xiàn)象。
整個實驗在顯存為11 GB的NVIDIA 1080Ti GPU 上運行,使用Python編程語言在Keras框架內實現(xiàn)。圖像輸入大小設置為256×256,Batch Size為4,分割網(wǎng)絡權重采用HeUniform初始化以及Nadam梯度下降算法。初始學習率為1×10-4,Epoch=300,將網(wǎng)絡分類數(shù)設為2以區(qū)分腫塊區(qū)域與非腫塊區(qū)域。
本文將通過平均交并比(Mean Intersection over Union,MIoU)、Dice相似系數(shù)(Dice Similarity Coefficient,DSC)、精確率(Precision, Prec)和敏感度(Sensitivity, Sens)對實驗結果進行評價,全面衡量所提出模型對乳腺腫塊的分割性能。其中TP表示被正確分割的乳腺腫塊像素數(shù)目,F(xiàn)P表示被錯誤分割為腫塊區(qū)域的背景像素數(shù)目,F(xiàn)N代表被錯誤標記成背景的腫塊像素數(shù)目。在計算指標DSC時,X為SRes-Unet網(wǎng)絡的分割結果集,Y為原始腫塊的標注結果集。計算式分別如下:
(4)
(5)
(6)
(7)
首先進行定性定量的評估實驗,以驗證復合加權損失函數(shù)的有效性。圖4為SRes-Unet網(wǎng)絡在訓練過程中使用不同損失函數(shù)時在驗證集上的DSC值曲線變化情況。包括Dice損失函數(shù)(DiceLoss)、二元交叉熵損失函數(shù)(BCELoss)以及本次實驗提出的復合加權損失函數(shù)wBCE_DiceLoss。
圖4 不同損失函數(shù)下指標DSC值的變化情況Fig.4 Changes of index DSC values under different loss functions
由圖4可知,使用復合型加權損失函數(shù)wBCE_Dice訓練時,DSC值曲線穩(wěn)定上升,訓練后期能夠在驗證集上達到0.9以上的分割精度,而另外兩種損失函數(shù)在到達0.8以上后便進入訓練瓶頸,最終DSC值均未突破0.9。
表1展示了使用 3 種不同損失函數(shù)時在SMD-My測試集上的結果指標。綜合實驗結果可以看出,不同的損失函數(shù)獲得的各項指標得分相差較大,并且在測試集中使用wBCE_DiceLoss時各項指標中綜合得分最高,表明基于wBCE_DiceLoss最小化的目標函數(shù)來優(yōu)化模型能夠達到提高分割準確率的效果。
表1 不同損失函數(shù)的指標表現(xiàn)Table 1 Index performance of different loss functions
將SRes-Unet與不同U-Net進行對比實驗,融入的Backbone網(wǎng)絡包括Resnet34,Densenet121,所有實驗具有相同的損失函數(shù)與訓練參數(shù),使用本地數(shù)據(jù)集SMD-My進行網(wǎng)絡訓練,最后總體比較各項指標的得分情況。如表2所示,SRes-Unet在MIoU,DSC等方面的表現(xiàn)要優(yōu)于其他網(wǎng)絡。MIoU得分0.859 7,Dice系數(shù)0.821 4,其他指標也均高于0.8。SRes-Unet優(yōu)勢明顯,說明殘差連接模塊與加權損失函數(shù)的結合對提高網(wǎng)絡性能有實質性的作用。
表2 不同的算法分割結果對比表Table 2 Comparison of segmentation results of different algorithms
圖5展示了測試集分割結果的部分實例。Ground truth為專業(yè)放射科醫(yī)生進行手工標注的腫塊“金標準”,從左至右依次為SRes-Unet以及另外4種不同網(wǎng)絡的腫塊分割結果實例??梢园l(fā)現(xiàn),盡管腫塊目標體積較小,并且周圍環(huán)繞致密組織,本算法模型依舊能夠較為準確地分割出腫塊的整體形狀及位置。4種對比網(wǎng)絡雖然也能夠較為準確分割出腫塊,但對腫塊邊界的敏感度不高,導致分割出的腫塊形狀與標簽圖像大相徑庭,并且存在明顯的漏分割問題。
利用公開數(shù)據(jù)集CBIS-DDSM與INbreast對網(wǎng)絡模型進行泛化性能測試,實驗結果如表3所示。本文所提出的網(wǎng)絡SRes-Unet不僅能夠應用于本地數(shù)據(jù)集SMD-My,在不同的數(shù)據(jù)集上也能保持較好的分割結果,驗證了本方法良好的泛化能力和適應性,具有一定的可遷移能力。
圖5 原圖、標簽和各個網(wǎng)絡的分割結果Fig.5 Original image, label and segmentation results of each network
表3 不同數(shù)據(jù)集分割結果對比表Table 3 Comparison of segmentation results of different datasets
本文提出了一種對稱殘差結構的乳腺腫塊分割算法SRes-Unet,將含有殘差結構的殘差塊融入整體網(wǎng)絡架構提升網(wǎng)絡的特征提取能力,并通過對比不同損失函數(shù)得出wBCE_DiceLoss能夠獲得最大分割精度。實驗結果表明,本文方法在MIoU,Dice等指標上都不同程度優(yōu)于其余幾種主流的醫(yī)學圖像分割架構,證明本文方法對乳腺圖像腫塊分割在精度上有一定提升,對基于深度學習的乳腺圖像的處理和分析具有借鑒意義。但實驗也存在不足之處,如網(wǎng)絡參數(shù)量較多、計算量大、數(shù)據(jù)僅來自一個機構并且數(shù)量少等。在后續(xù)工作中將收集更多的訓練樣本,并且嘗試更高效的數(shù)據(jù)增強方法,改進特征提取方式,以實現(xiàn)更高精度的乳腺腫塊自動分割算法。