趙 旭，王 宏

（天津大學數(shù)學學院，天津 300072）

0 引 言

膠質(zhì)瘤是一種源于膠質(zhì)細胞或脊髓腦細胞的威脅性腫瘤，約占顱內(nèi)腫瘤的35%～61%.大多數(shù)呈浸潤性生長，具有形狀不規(guī)則及不同組織學亞區(qū)等特點［1］.根據(jù)世界衛(wèi)生組織（world health organization，WHO）腫瘤分類，膠質(zhì)瘤可以分為高級別膠質(zhì)瘤和低級別膠質(zhì)瘤［2］.高級別膠質(zhì)瘤通常是低分化或未分化的，腫瘤細胞生長和擴散速度快，屬于惡性腫瘤；低級別膠質(zhì)瘤是良好分化的，通常可以被很好地識別，腫瘤細胞生長緩慢［3］.因此，準確地區(qū)分膠質(zhì)瘤將直接影響患者的治療效果.

膠質(zhì)瘤的狀態(tài)可通過腦圖像呈現(xiàn)，其中最常見的是電子計算機斷層掃描圖像（computed tomography，CT）和核磁共振圖像（magnetic resonance images，MRI）.MRI適合用于觀察軟組織，對腦組織、炎癥反應和腦水腫等含水量較高的組織顯示較明顯，因此其是診斷腦腫瘤的首選方法［4］.MRI具有多模態(tài)的特點，如T1序列可清晰地分辨解剖圖斷層，T2序列可清楚地顯示出病變的大小和位置［5］.由于信息不夠充分，單模態(tài)圖像通常無法細分腫瘤區(qū)域，造成分割精確度較低.因此，可利用不同模態(tài)MRI，實現(xiàn)信息的有效互補.然而多模態(tài)MRI在增加了分割需要的必要信息的同時，也增加了大量的不必要信息，造成分割難度增加.本文基于多模態(tài)腦MRI的膠質(zhì)瘤分割方法展開研究.

近年來，深度學習方法在解決自然圖像集的分類、檢測和分割等問題中，取得了飛速的進展.考慮到準確快速的醫(yī)學圖像處理和分析可以幫助醫(yī)生可視化圖像，及時發(fā)現(xiàn)人體內(nèi)部的異常，使得深度學習方法在醫(yī)學圖像應用上具有一定的適用性.Gordillo等［6］研究表明了利用卷積神經(jīng)網(wǎng)絡在細胞核檢測分類、腦組織分割和肝臟腫瘤等病理學檢測上，取得了令人滿意的結果.

圖像語義分割任務一直是一個尚未完全解決的問題，其不僅要識別出圖像中目標所屬的類別，還要準確地分割出目標的形狀和大小.最初，語義分割是在自然圖像集上發(fā)展起來的，由于當時對輸入要求尺寸固定，所以一般都是基于圖像塊進行分類的，即將輸入圖像分成小的體素塊后送入全連接層，利用像素周圍的圖像塊對每一個像素進行獨立的分類［7］.后來，Shelhamer等［8］提出了全卷積神經(jīng)網(wǎng)絡（fully convolutional network，F(xiàn)CN），用卷積層取代了全連接層，使網(wǎng)絡可以接受任意大小的圖像，并從抽象的特征中，恢復每個像素所屬的類別，實現(xiàn)了無需全連接層就可進行密集像素預測，開啟了基于像素級分類的圖像語義分割方法，實現(xiàn)了分割速度與精度的提升；Ronneberger等［9］提出用于解決細胞和肝臟分割的U-Net網(wǎng)絡，利用U形結構左邊編碼器提取圖像淺層特征，右邊解碼器提取深層特征和跳躍結構結合淺層特征與深層特征進行分割，有效提高精度.目前，大部分基于深度學習的語義分割算法是通過訓練端到端的單階段算法實現(xiàn)，He等［10］提出了一個用于自然圖像分割的2階段算法.掩膜區(qū)域卷積神經(jīng)網(wǎng)絡（mask region convolutional network，Mask RCNN）算法先利用區(qū)域建議網(wǎng)絡生成一系列候選區(qū)域，然后進行分類、定位和分割，該算法雖然收斂速度上比單階段算法慢，但是由于區(qū)域建議網(wǎng)絡已經(jīng)起到了篩選作用，在一定程度上緩解了類別不平衡問題.

雖然自然圖像的特性與腦圖像不同，但考慮到Mask RCNN在通用對象實例分割中的有效性，本文將研究一種基于Mask RCNN改進的腦腫瘤分割方法，在Mask RCNN網(wǎng)絡結構中引入了注意力模塊，能在有效地檢測腦MRI中腫瘤的同時，為每個實例生成高質(zhì)量掩膜.

1 方 法

1.1 Mask RCNN模型結構

Mask RCNN是用于完成目標分類、檢測和語義分割等多種任務的一種2階段算法，其在Faster RCNN［11］的基礎上，添加了一個用于預測目標掩膜的分支，即利用全卷積神經(jīng)網(wǎng)絡對RCNN建議的每一個感興趣的區(qū)域完成語義分割，從而實現(xiàn)同時進行分類、定位和分割.Mask RCNN模型網(wǎng)絡結構如圖1所示.該模型結構簡單，在有效檢測圖像目標的同時，只需要增加微量計算量，就可以為每個實例生成一個高質(zhì)量的分割掩膜.迄今為止，其在指針式儀表自動讀數(shù)［12］，車輛損傷檢測分割［13］等不同任務中獲得了令人滿意的實驗結果.

圖1 掩膜區(qū)域卷積神經(jīng)網(wǎng)絡（mask region convolutional network，Mask RCNN）結構

Mask RCNN采用了2階段網(wǎng)絡結構.第1階段：首先利用骨干網(wǎng)絡即深度殘差網(wǎng)絡（deep residual network，DResNet），從輸入圖像中提取不同階段的特征圖；其次利用特征金字塔網(wǎng)絡自上而下及橫向連接結構融合不同尺度的特征，使其同時具有強語義信息和強空間信息；再次對這些特征圖上每一點像素設定固定數(shù)量的錨框，通過計算每個錨框與該圖片上標注的真實框之間的交，獲得多個大小不同的候選區(qū)域（region of interest，ROI）；最后利用區(qū)域建議網(wǎng)絡對候選的ROI進行二值分類（即前景/背景）及邊框回歸，過濾掉分類分數(shù)低的ROI，并將正負樣本的比設定為1∶3，以緩解類別不平衡問題，同時減少了第2階段對不必要信息的計算.第2階段首先進行2次對齊操作：（1）對第1階段選出的ROI進行對齊，把原圖像中ROI與特征圖中的像素對應起來；（2）把特征圖上大小不同的ROI轉(zhuǎn)換成統(tǒng)一大小.其次為了減少由池化過程帶來的誤差，通過雙線性插值法從特征圖上相鄰網(wǎng)格點計算每個像素值，獲取ROI包含的重要特征信息，完成分類、回歸和分割任務.最后通過在全連接層上增加分割分支，對每個ROI上的每個像素進行分類和回歸預測，并輸出最終的二值掩膜.

1.2 損失函數(shù)

在訓練過程中，每個采樣的ROI損失函數(shù)（L）包含分類損失（Lcls）、回歸框損失（Lbbox）和分割損失（Lmask）3個部分.分類和回歸框損失包含：經(jīng)過區(qū)域建議網(wǎng)絡（region proposal network，RPN）后的分類和回歸框損失；經(jīng)過Mask RCNN頭部的分類和回歸框損失.Lcls計算公式為

式中Ncls是訓練時取的小批量個數(shù)；pi是框預測為目標的概率；是像素的真實標簽，當標簽為負樣本時取 0，為正樣本時取 1；是 2個類別，即目標和非目標的對數(shù)損失，其公式為

式中l(wèi)cls是對于每個錨框計算對數(shù)損失，然后除以總的錨框數(shù)量求平均.

Lbbox函數(shù)公式為

式中λ是用于平衡分類和回歸損失的平衡參數(shù)；Nreg是錨框的數(shù)量；ti={tx，ty，tw，th}是一個向量，表示RPN訓練階段預測的錨框偏移量；是與ti維度相同的向量，表示RPN訓練階段相對真實錨框的偏移量；，式中R是光滑L1函數(shù)，記為L1S（x），其公式為

利用FCN對每個ROI的分割都輸出K個分辨率，為m×m的二進制掩膜，每個類別各一個掩膜，避免不同類別掩膜之間的競爭.利用分類網(wǎng)絡分支預測的目標類別標簽，選擇輸出的掩膜，檢測分類每個ROI，使用其分支的二值交叉熵誤差作為掩膜Lmask函數(shù)，其計算公式為

式中c表示ROI對應真實類別Lmask是由第c層的掩膜定義的；pij表示真實標簽為 1時第c層模型對（i，j）處像素預測為目標的概率.

1.3 改進Mask RCNN

近年來，注意力機制在圖像識別、目標檢測等任務中得到了廣泛的應用［14-15］，其只需增加微量計算量，就能使網(wǎng)絡在學習時自動注意到圖像中像素豐富的地方.Mask RCNN主要是通過增加FCN，實現(xiàn)對候選區(qū)域上逐像素的分類分割.由于一些腦腫瘤圖像上腫瘤與非腫瘤區(qū)域間的平滑過渡，使得FCN無法捕獲足夠的腫瘤邊緣信息，因此，在Mask RCNN的分割分支上增加通道注意模塊（channel attention module，CAM）和空間注意模塊（spatial attention module，SAM），引導模型分別在通道和空間維度上學習關注等問題.引入注意機制，可以使模型將注意力集中在內(nèi)容豐富的像素，即有腫瘤的像素上并有效地抑制噪聲.改進的分割分支分為4個步驟（圖2），分別是：（1）對第1階段中提取分辨率為14×14的ROI，經(jīng)過4個卷積層提取特征圖（X），X∈RW×H×C，其中W、H、C分別表示特征圖的寬、高和通道數(shù)；（2）將X輸入CAM模塊，加強模型對通道上重要特征的注意力，輸出通道引導注意特征圖1（Xcag）；（3）將Xcag輸入 SAM模塊，加強模型對重要特征位置的注意力，輸出空間引導注意特征圖2（Xsag）；（4）利用2×2的卷積層對Xsag采樣到28×28，最后利用1×1的卷積層對特征圖上每一像素進行類別預測，得到最終掩膜預測圖.其中CAM和SAM示意如圖3所示［15］.

圖2 改進的Mask RCNN分割分支

圖3 CAM和SAM示意

在CAM模塊中，為了聚合特征圖的空間信息，對X采用了全局平均池化和最大池化，得到2個通道描述Xavg，Xmax∈R1×1×C，然后分別送入一個 2層的神經(jīng)元個數(shù)設為C/r，第2層神經(jīng)元個數(shù)設為C，其中r表示壓縮率.將2個特征對應元素相加，送入sigmoid激活函數(shù)，得到權重系數(shù)（Mc），即Mc(X)=σ(MLP(Xavg）+MLP(Xmax))，式中 MLP為中間神經(jīng)網(wǎng)絡，σ是sigmoid函數(shù).將Mc和X相乘即可得到通道注意引導特征圖（Xcag），Xcag∈RW×H×C：Xcag=Mc?X，式中?代表逐元素相乘.

在SAM模塊中，首先對通道Xcag沿各自通道做平均池化和最大池化操作，生成池化特征圖（Pavg，Pmax∈RW×H×1）；然后將Pavg和Pmax對應元素相加級聯(lián)到一起；其次利用3×3的卷積層和sigmoid函數(shù)得到權重系數(shù)（Ms），即式中σ是 sigmoid函數(shù)，F(xiàn)3×3代表 3× 3卷積層，?代表級聯(lián)操作；最后得到空間注意引導特征圖（Xsag），Xsag∈RW×H×C：Xsag=Ms（Xcag）?Xcag.

2 數(shù)據(jù)集及預處理

2.1 數(shù)據(jù)集

文中使用的數(shù)據(jù)集是由2019年醫(yī)學圖像計算和計算機輔助干預（MICCAI）腦腫瘤挑戰(zhàn)賽提供的Brats19數(shù)據(jù)集，包含259個高級別膠質(zhì)瘤（high grade glioma，HGG）案例和76個低級別膠質(zhì)瘤（low grade glioma，LGG）案例.每個病例都包含4個不同的 MRI序列，分別是 TI、T1ce、T2 和 Flair序列.所有圖像集都是由1～4個評分員，遵循相同的注釋方案手動分割，并且這些注釋已經(jīng)獲得了經(jīng)驗豐富的神經(jīng)放射科醫(yī)生的批準.多模態(tài)MRI是通過不同的臨床方案和不同的掃描儀從19個機構獲得的，然后被共同配準到相同的注釋方案后，重采樣到1 mm×1 mm×1 mm，并顱骨分離［16］.

2.2 預處理

由MICCAI腦腫瘤挑戰(zhàn)賽提供的多模態(tài)MRI可視化后，觀察到腦MRI中大部分切片上病灶很小，甚至沒有.腦腫瘤區(qū)域示意如圖4所示，相比于灰色的腦部區(qū)域，黑色的背景區(qū)域在整幅圖像中所占比例很大，而腫瘤區(qū)域僅僅占據(jù)腦圖像上很小的一部分.如果對這些黑色的背景區(qū)域不加以處理，不僅會消耗大量的存儲空間，還會導致嚴重的類別不平衡問題.

圖4 腦腫瘤區(qū)域示意

為了緩解類別不平衡問題，提高訓練的準確度，在訓練前對圖像進行預處理去除無用信息.預處理主要分為5個步驟：（1）標準化多模態(tài)，不同模態(tài)的腦圖像中強度值和對比度變化很大，在采用Z-Score方式對圖像標準化之前，先去除圖像中1%的最大和最小強度值；（2）切片，將Brats19提供的3D體素圖切片為2D圖像后，保留含病灶區(qū)域的切片，剔除了無病灶區(qū)域的切片；（3）裁剪，考慮到機器對內(nèi)存的限制，對數(shù)據(jù)集進行裁剪，去除周圍多余的黑色背景信息；（4）合并通道，為了充分利用圖像多模態(tài)特征，根據(jù)分割協(xié)議［16］，將 Flair、T1ce與 T2切片組合為三通道圖像，將其及對應的真實分割圖保存為.npy文件；（5）數(shù)據(jù)增強，為了增強網(wǎng)絡的魯棒性，對圖像隨機進行向左向右翻轉(zhuǎn)和平移等數(shù)據(jù)，增強方法增加可用的數(shù)據(jù)集.

2.3 模型訓練

文中所有實驗都是以ResNet為Mask RCNN模型的骨干網(wǎng)絡.編寫的程序是基于Matterport Inc在MIT許可下發(fā)布的基于keras和Tensorflow的開源庫［17-19］.訓練、驗證和測試都是在機器NVIDIA Corporation GP102上實現(xiàn).本文研究了以50層殘差網(wǎng)絡（ResNet50）和 101層殘差網(wǎng)絡（ResNet101）為骨干網(wǎng)絡的Mask RCNN模型和改進Mask RCNN模型在腦腫瘤圖像分割上的表現(xiàn).

為了加快運行速度和特征學習的過程，本文使用了從MS COCO數(shù)據(jù)集上獲得的預訓練權重初始化模型［20］，而非端到端的訓練.該模型在訓練時使用學習率為0.001、動量為0.9的隨機梯度下降算法作為優(yōu)化算法.為了提高分割的準確率，在單個GPU上使用2張圖片作為小批量訓練集.

2.4 超參數(shù)微調(diào)

本文使用的是240×240×155的3D腦MRI，其中240×240表示圖像的大小，155表示圖像的通道數(shù).為了更好地適應模型，將其補零為256×256大小.本文研究的主要任務是要將腦腫瘤從背景區(qū)域中分割出來，所以將模型類別設置為腫瘤及背景2類.根據(jù)圖像大小，把RPN網(wǎng)絡的錨框大小設置為8×8、16×16、32×32、64×64和128×128共5種，錨框的長寬比設置為 1∶2、1∶1和 2∶1，以便更好地檢測到腫瘤的位置.實驗把Brats19的訓練集拆分為訓練集和測試集，把Brats19在Brats18訓練集上增加的49例HGG案例作為測試集.

3 評估與結果

3.1 評估度量

本文利用Dice系數(shù)（dice coefficient，Dice）、Hausdorff距離（hausdorff distance，HD）、敏感性（sensitivity，Sens）和特異性（specificity，Spec）4個度量，預測掩膜與給定的真實掩膜的一致性，以評估模型.

Dice系數(shù)的公式為

式中PT表示正確預測為正樣本，PF表示錯預測為正樣本，NF表示錯預測為負樣本，ytrue表示給定的真實掩膜輪廓，ppred表示模型預測的掩膜.Dice相似系數(shù)是集合相似度的度量指標，通常用于評估2個二進制集的匹配程度，值的范圍是0～1，CDice=1時表示分割結果最好.

HD計算公式為

式中x和y是集合X和Y的點，d(x，y)是x和y的歐式距離.HD是測量度量空間內(nèi)2個子集彼此間的距離.相比于對掩膜內(nèi)部更敏感的Dice，HD對分割邊界比較敏感.同時使用Dice與HD作為內(nèi)部和邊界的衡量，能提供更全面的分割精度視圖.

Sens針對的是正樣本，即真實分割值，表示樣本中有多少被正確預測；Spec即背景，針對的負樣本，表示背景中有多少被正確預測.這2個指標的公式分別為：

式中NT表示正確預測為負樣本.

3.2 實驗結果

本文分別對以ResNet50和ResNet101為骨干網(wǎng)絡的Mask RCNN模型及改進的Mask RCNN模型進行訓練，并分別用 ResNet50、ResNet101、IResNet50和IResNet101表示.在測試集上獲取的實驗結果如表1所示.以ResNet50為骨干網(wǎng)絡的模型，由于層數(shù)少在訓練時收斂速度更快，結果更準確.表明了使用更深的網(wǎng)絡層并不能有效地提高檢測精度，反而延長了模型的訓練時間.這可能是由于腦圖像與自然圖像不同，其本身是一個固定的器官，語義信息比較簡單且腫瘤大小相對于整個圖像所占的面積較小.50層的骨干網(wǎng)絡已經(jīng)能夠?qū)W習到圖像中足夠多特征信息，無需更深的骨干網(wǎng)絡層.所以較少的網(wǎng)絡層更有利于模型快速地進行學習圖像特征，進行分類分割任務.本文也嘗試迭代更多訓練次數(shù)，實驗結果表明并不能有效的提高Dice系數(shù)等評估度量，反而檢測不出一些腫瘤圖像中的腫瘤，存在過擬合的可能.

表1 不同Mask RCNN模型在測試集上的實驗結果

改進ResNet50的Mask RCNN模型，在測試集上的結果比原模型Mask RCNN上的各個評估度量都有提高.從表1中可以看出：Dice系數(shù)和Sens比原模型提高了約1%；改進ResNet101的Mask RCNN模型在Dice系數(shù)和Sens上比原模型準確度高了約1%，表明了改進的Mask RCNN模型分割分支上增加的注意機制，能夠有效地聚集到有效信息，即有腫瘤的區(qū)域，提高分割腫瘤的準確度.

利用不同層骨干網(wǎng)絡的原模型及改進模型的預測及真實分割圖如圖5和6所示.以ResNet50為骨干網(wǎng)絡的模型在預測腦腫瘤時，要比以Resnet101為骨干網(wǎng)絡的模型在腫瘤邊界分割更準確；以Resnet101為骨干網(wǎng)絡的模型在預測時，會丟失一些不連續(xù)腫瘤信息.而且改進的Mask RCNN模型不管是以ResNet50還是以ResNet101為骨干網(wǎng)絡，在預測階段對腫瘤邊界捕獲的細節(jié)信息要比原Mask RCNN模型更好，證明了改進模型的有效性.

圖5 高級別膠質(zhì)瘤案例上的整個腫瘤

圖6 不同Mask RCNN模型的預測輪廓與真實輪廓

4 結束語

本文提出了一種基于Mask RCNN改進的、全自動的多模態(tài)磁共振圖像腦腫瘤分割算法.為了提高分割腦腫瘤的準確性，在Mask RCNN的分割分支上，引入了通道注意模塊和空間注意模塊，幫助網(wǎng)絡在訓練時，集中于重要的特征信息同時抑制噪聲.使用ResNet50和ResNet101不同層次的骨干網(wǎng)絡，結果表明：以ResNet50為骨干網(wǎng)絡的模型已經(jīng)足夠從腦圖像中提取腫瘤特征信息，用更深的網(wǎng)絡層并不能提高腦腫瘤分割的分割精度，反而需要更長的訓練時間達到收斂.改進的模型在Dice系數(shù)、敏感性上都比原模型提高了約1%，證明了引入注意機制的有效性.總的來說，本文提出的解決方案是取代腦腫瘤手工測量的一種有前途的方法.此外，這種分割方法還可以推廣到其他醫(yī)學圖像分割任務上，如實時動態(tài)腦腫瘤、心臟分割等.文中為適應設計的模型結構，將MRI切片為2D圖像作為輸入，破壞了原腦MRI空間結構.如何利用3D網(wǎng)絡結構直接對3D腦MRI圖像進行有效的學習訓練是值得進一步研究的.