徐勝舟,程時宇

(中南民族大學 計算機科學學院, 武漢 430074)

乳腺癌是全球女性最常見的惡性腫瘤[1], 也是我國增長幅度最大的惡性腫瘤之一, 堪稱“女性殺手”[2]. 目前, 早期檢查早期發(fā)現(xiàn)仍是提高乳腺癌患者生存率最有效的途徑. 乳腺X線攝影檢查是當前最常用的乳腺癌早期診斷方法. 全世界每天都有大量的乳腺X線攝片生成. 乳腺X線攝片中腫塊的分割是對乳腺癌進一步定量分析的關(guān)鍵. 然而, 由于乳腺X線攝片是對三維的乳腺組織進行二維成像, 圖像中腫塊周圍可能存在具有類似于腫塊灰度分布的其他正常的致密組織, 對腫塊圖像分割造成干擾. 另外, 眾多病例中乳腺腫塊大小和形態(tài)各不相同, 形狀各異, 對比度不清晰, 這些都給腫塊圖像分割造成了困難.

學者們對乳腺腫塊圖像分割進行了廣泛研究, 并提出了許多分割算法. 這些算法大致可以分為兩大類：傳統(tǒng)分割算法和基于深度學習的分割算法. 其中, 傳統(tǒng)算法又可以分為基于區(qū)域的算法、基于邊界的算法以及混合分割算法. 基于區(qū)域的腫塊圖像分割算法尋找適合一定條件的區(qū)域作為腫塊區(qū)域, 主要有區(qū)域增長算法[3,4]、分水嶺算法[5,6]以及形態(tài)學濾波方法[7]; 基于邊界的分割算法則是搜索一條代表腫塊輪廓的最佳路徑, 主要有基于活動輪廓模型[8,9]和動態(tài)規(guī)劃[10,11]的算法; 由于單一的一種算法很難取得理想的腫塊輪廓, 因此許多學者將多種分割算法結(jié)合起來應用于腫塊圖像分割[10,12,13]. 然而, 所有這些傳統(tǒng)的圖像分割算法都依賴于腫塊圖像的某些特征, 如灰度、梯度或者形狀信息等.

近年來, 深度學習在目標檢測、圖像識別等應用領(lǐng)域獲得了很大進展, 成為當前的研究熱點之一. 一些學者也將深度學習運用于乳腺腫塊圖像的分割上. Dhungel等人結(jié)合多種基于深度學習的勢函數(shù)、高斯混合模型以及腫塊形狀的先驗信息進行腫塊圖像分割[14], 他們還利用深度卷積和深度信任網(wǎng)絡(luò)作為勢函數(shù)以構(gòu)建腫塊的預測模型[15], 其不足之處在于分階段的訓練過程中容易產(chǎn)生過擬合現(xiàn)象. 全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks, FCNs)能夠結(jié)合深層全局語義信息和淺層局部細節(jié)信息, 深層信息經(jīng)過多次下采樣后能夠提供分割目標與其環(huán)境之間的關(guān)系特征. 淺層信息能夠為分割提供更加精細的局部特征, 如梯度等. 考慮到乳腺腫塊的形狀和外觀先驗信息在腫塊圖像分割過程中有重要作用, Zhu等人在DDSM-BCRP[16]和INbreast[17]數(shù)據(jù)庫中分別估計了一個先驗形狀參數(shù)并將其作為FCN網(wǎng)絡(luò)最后一層的偏置參數(shù). 但是值得注意的是, 不論DDSM-BCRP還是INbreast數(shù)據(jù)庫中, 每一個腫塊的形狀都各不相同, 通用的先驗形狀信息并不適用于具體的腫塊個體. U-Net作為全卷積神經(jīng)網(wǎng)絡(luò)的一種改進型深度網(wǎng)絡(luò), 它除了繼承FCN的編碼解碼結(jié)構(gòu)之外, 更重要的是下采樣與上采樣之間的同層分辨率級聯(lián), 即兩邊的特征圖的合并, 這個操作改善了采樣信息不全的情況, 使得U-Net的效果大大增強. 因此, U-Net一經(jīng)提出, 便在醫(yī)學圖像分割問題上表現(xiàn)出相對其他網(wǎng)絡(luò)的明顯優(yōu)勢. 本文的全卷積神經(jīng)網(wǎng)絡(luò)具有與U-Net類似的U型結(jié)構(gòu)并根據(jù)乳腺腫塊圖像分割任務的特點加以改進.

由于訓練一個復雜的神經(jīng)網(wǎng)絡(luò)是非常費時費力的過程, 往往需要大量的標記過的訓練數(shù)據(jù), 以及繁長的訓練時間才能訓練出一個好的模型. 如果兩個任務存在一定的相關(guān)性, 如已經(jīng)訓練好的醫(yī)學圖像分割模型, 現(xiàn)在需要完成對乳腺腫塊圖像的分割, 則無需從頭開始訓練新模型, 可以將原模型中的一些權(quán)值和中間層遷移到新模型中, 這樣就大大降低了人力和物力.

為進一步提高乳腺腫塊圖像分割的精度, 本文提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)遷移學習的乳腺腫塊圖像分割方法.

1 腫塊圖像分割算法

1.1 算法原理

從本質(zhì)上來講, 利用全卷積神經(jīng)網(wǎng)絡(luò)對乳腺圖像中的腫塊進行分割是一個圖像分類的過程, 其實就是對輸入的圖像進行一系列的卷積和池化操作, 得到一幅與輸入圖像大小相同的特征圖. 該特征圖的每個坐標位置的像素具有兩個通道, 分別代表了該位置上的像素屬于腫塊的概率以及屬于背景的概率, 以此判斷每個像素屬于腫塊或是背景區(qū)域.

通常深度學習需要在大量標注圖像上進行訓練以達到理想的分割效果. 但是由于標注好的乳腺X線攝片數(shù)量非常有限, 目前, 國內(nèi)尚無專門用于乳腺腫塊圖像分割的公用數(shù)據(jù)庫. 為全面評估腫塊圖像分割算法的性能, 本文采用美國南弗羅里達大學的The Digital Databse for Screening Mammography (DDSM)[16]. 我們從該數(shù)據(jù)庫中整理挑選出483幅包含腫塊的乳腺X線攝片. 由于其數(shù)量仍相對有限, 因此需要使用遷移學習微調(diào)已經(jīng)訓練好的模型參數(shù), 將其用于乳腺X線攝片中腫塊圖像的分割, 這樣可以在降低訓練代價的同時取得理想的分割結(jié)果.

1.2 算法模型

本文首先利用在子采樣后的乳腺X線攝片上進行腫塊檢測的結(jié)果, 以檢測到的腫塊區(qū)域的重心為中心, 提取大小為128×128像素的矩形感興趣區(qū)域(Region of Interest, ROI)作為全卷積網(wǎng)絡(luò)的輸入圖像, 經(jīng)過如圖1所示的深度學習網(wǎng)絡(luò)后, 得到具有相同大小的代表腫塊圖像分割結(jié)果的二值圖像.

圖1 腫塊圖像分割網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The network structure diagram of mass image segmentation

圖1所示的乳腺腫塊圖像分割網(wǎng)絡(luò)模型由左側(cè)向下的收縮路徑和右側(cè)向上的擴展路徑構(gòu)成, 形成一個U形的網(wǎng)絡(luò)結(jié)構(gòu). 長方條左下角的數(shù)字代表了這層特征的大小, 長方條上方的數(shù)字代表了這一層的特征(feature map)的數(shù)量, 黑色向右的箭頭代表了卷積、歸一化和(修正線性單元)激活, 灰色向右箭頭代表了信息復制, 黑色向下箭頭代表2×2的下采樣操作, 黑色向上箭頭則代表了2×2的上采樣操作, 網(wǎng)絡(luò)右半部分的白色長方條和灰色長方條的拼接是在第三維度上進行的. 網(wǎng)絡(luò)的輸入層為128×128大小的感興趣區(qū)域單通道圖像, 網(wǎng)絡(luò)的輸出層(最后一層)的2個feature map具有相同的像素大小, 它們分別代表了圖像各像素屬于腫塊或背景的概率的大小, 如果屬于腫塊的概率大于屬于背景的概率, 則認為該像素屬于腫塊；反之則屬于背景. 從圖1可以看出, 網(wǎng)絡(luò)的收縮路徑和擴展路徑都由三步構(gòu)成, 在收縮路徑中, 每一步特征圖的數(shù)量會翻倍而每幅特征圖的行列數(shù)則減半；相反地, 在擴展路徑中, 每一步的特征圖數(shù)量會減半而每幅特征圖的行列數(shù)則翻倍, 最后得到的輸出圖像與輸入圖像尺寸一致. 收縮路徑和擴展路徑中的每一步均由兩次卷積、歸一化和修正線性單元激活組成, 其中卷積采用的卷積核大小為3×3像素, 步長和填充為1. 擴展路徑中每次卷積之前, 現(xiàn)有的特征圖與收縮路徑中對應特征圖在第三維度上合并形成新的特征圖(新特征圖的數(shù)量是原特征圖的2倍).

1.3 數(shù)據(jù)增強

與其他深度學習方法類似, 數(shù)據(jù)增強可以有效降低由于數(shù)據(jù)量不足而導致的過擬合現(xiàn)象, 還能夠有效提高模型的訓練效果, 尤其是對于像乳腺X線攝片訓練樣本缺乏的情況. 本文中所采取的數(shù)據(jù)增強策略包括對原圖像進行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、旋轉(zhuǎn)90度、旋轉(zhuǎn)180度和旋轉(zhuǎn)270度(如圖2所示). 通過這些增強操作后的訓練樣本數(shù)是原樣本數(shù)的6倍.

對分割結(jié)果的評估則采取了兩類評估指標, 一類是從分割區(qū)域與醫(yī)生圈畫的金標準區(qū)域之間的重疊關(guān)系進行度量, 主要包括Dice相似系數(shù)DSC(Dice Similarity Coefficient)、區(qū)域重疊率AOM(Area Overlap Measure)、區(qū)域欠分割率AUM(Area Under-segmentation Measure)、區(qū)域過分割率AVM(Area Over-segmentation measure); 另一類則是從分割區(qū)域的輪廓與金標準區(qū)域的輪廓之間的距離關(guān)系進行度量, 主要包括Hausdorff距離(HD). 假設(shè)Aseg代表分割模型得到的腫塊區(qū)域, 而Ags則代表對應的金標準區(qū)域, 即放射科醫(yī)師手工圈畫的腫塊區(qū)域, 則DSC、AOM、AUM和AVM的定義分別如下：

(1)

(2)

(3)

(4)

它們的值均介于0到1之間, 其中DSC和AOM的值越大, 說明分割結(jié)果越接近金標準, 而AUM和AVM的值越小, 說明分割結(jié)果相對于金標準區(qū)域之間的差異越小. 其中DSC強調(diào)目標的整體識別準確率, 它被用作全卷積神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù).

圖2 數(shù)據(jù)增強Fig.2 Data augmentation

HD度量則是反映分割模型得到的腫塊邊界和放射科醫(yī)師手工圈畫的邊界的對應像素點之間的距離情況. 假設(shè)分割算法得到的邊界由m個像素構(gòu)成, 可表示為P={p1,p2,…，pm}; 放射科醫(yī)師手工圈畫的邊界由n個像素構(gòu)成, 可表示為Q={q1,q2,…，qn};d(pi,Q)表示邊界P上任意一點pi到邊界Q上所有像素點的距離的最小值, 則HD可以定義如下：

HD(P,Q)=

(5)

2 實驗結(jié)果及分析

本文的全卷積網(wǎng)絡(luò)模型是在Caffe上實現(xiàn)并采用隨機梯度下降優(yōu)化器進行訓練的. 在訓練過程中, 動量值、學習率、權(quán)重衰減和最大迭代次數(shù)等超參的值采用遷移學習的方法在U-Net網(wǎng)絡(luò)的參數(shù)值基礎(chǔ)上做微調(diào), 分別設(shè)置為0.9, 0.001, 0.00005和14000. 為了避免過擬合, 網(wǎng)絡(luò)中的兩個連續(xù)卷積層之間使用0.2的淘汰率. 為全面評估腫塊圖像分割算法的性能, 本文在483幅來自DDSM數(shù)據(jù)集的乳腺腫塊ROI上進行腫塊圖像分割對比實驗. 其中400幅圖像用作訓練樣本來訓練全卷積網(wǎng)絡(luò)模型, 剩余的83幅圖像則作為測試圖像. 對比算法包括Xu等人的標記控制分水嶺算法[5]以及Song等人的模板匹配和動態(tài)規(guī)劃算法[10]. 所有算法都在相同的測試樣本上進行測試.

圖3展示了標記控制分水嶺算法、模板匹配和動態(tài)規(guī)劃算法以及本文分割算法在四幅腫塊圖像上的分割結(jié)果. 其中深色線條代表放射科醫(yī)師圈畫的腫塊輪廓, 即金標準區(qū)域, 而淺色線條則是分割算法得到的分割結(jié)果. 從圖中可以明顯看出, 本文算法的分割結(jié)果更接近金標準.

為了定量分析腫塊圖像分割結(jié)果, 表1給出了本文算法、標記控制分水嶺算法以及模板匹配和動態(tài)規(guī)劃算法的各個度量值的平均值, 從表中可以看出, 本文算法的DSC、AOM值均高于另外兩種算法, 而AUM、AVM和HD值則相對較低. 因此, 本文算法的分割精度要優(yōu)于另外兩種分割算法.

圖3 腫塊圖像分割結(jié)果Fig.3 Mass image segmentation results

DSCAOMAUMAVMHD0.8220.7180.1650.10711.0400.8450.7400.1480.1339.1460.8940.8110.0870.1127.257

圖4給出了本文算法、標記控制分水嶺算法以及模板匹配和動態(tài)規(guī)劃算法在度量值DSC上的箱形圖, 從圖中可以看出, 本文算法的上四分位數(shù)、中位數(shù)、下四分位數(shù)和下邊緣均要高于另外兩種算法. 因此, 本文算法的分割結(jié)果的整體分布要優(yōu)于另外兩種算法.

圖4 DSC值箱形圖比較Fig.4 DSC values comparison by box plot

類似地, 對于度量值A(chǔ)OM, 圖5給出了本文算法、標記控制分水嶺算法以及模板匹配和動態(tài)規(guī)劃算法的散點圖, 從圖中可以看出, 在AOM值低于0.4的較差的分割結(jié)果上, 3種算法的表現(xiàn)基本相同, 但是在較好的分割結(jié)果上(如AOM值高于0.6), 本文算法分割率要明顯高于另外兩種算法.

圖5 AOM值散點圖比較Fig.5 AOM values comparison by scatter plot

圖4和圖5是各種算法在基于區(qū)域的度量方法上的表現(xiàn), 圖6給出了本文算法、標記控制分水嶺算法以及模板匹配和動態(tài)規(guī)劃算法在基于邊界的度量方法HD上的表現(xiàn). 從圖中可以看出, 本文算法的上邊緣、上四分位數(shù)、中位數(shù)、下四分位數(shù)和下邊緣均要低于另外兩種算法, 即本文算法得到的腫塊輪廓整體上更接近醫(yī)生圈畫的金標準區(qū)域.

圖6 HD值箱形圖比較Fig.6 HD values comparison by box plot

3 結(jié)語

為了提高乳腺腫塊圖像分割的精度, 本文設(shè)計了一種基于全卷積網(wǎng)絡(luò)遷移學習的乳腺腫塊圖像分割模型. 首先構(gòu)造一種由收縮路徑和擴展路徑組成的全卷積神經(jīng)網(wǎng)絡(luò), 然后利用遷移學習網(wǎng)絡(luò)模型載入?yún)?shù), 并對DDSM數(shù)據(jù)庫中的483幅圖像中的400幅圖像進行數(shù)據(jù)增強后作為訓練樣本集對分割模型進行訓練, 最后在訓練好的模型上對剩余的83幅圖像進行分割測試. 實驗結(jié)果表明, 本文設(shè)計的基于全卷積神經(jīng)網(wǎng)絡(luò)遷移學習方法的分割效果明顯優(yōu)于傳統(tǒng)分割算法.