王瑞，劉志強，齊崇，孟藍熙，李少武

1.北京市神經(jīng)外科研究所/首都醫(yī)科大學附屬北京天壇醫(yī)院，北京 100070；2.國家癌癥中心/國家腫瘤臨床醫(yī)學研究中心/中國醫(yī)學科學院北京協(xié)和醫(yī)學院腫瘤醫(yī)院放療科，北京 100021

前言

腦膠質(zhì)瘤是最常見的腦部腫瘤［1］，根據(jù)2016版世界衛(wèi)生組織（World Health Organization,WHO）中樞神經(jīng)系統(tǒng)腫瘤分類標準［2］，腦膠質(zhì)瘤可以分為I～IV級：I級和II級為低級別腦膠質(zhì)瘤（Low Grade Gliomas,LGG），III 級和IV 級為高級別腦膠質(zhì)瘤（High Grade Gliomas,HGG）。其中LGG生長速度較慢，通常手術(shù)輔助其他治療手段預后較好，而HGG生長迅速、惡性程度高、侵襲性強，患者在手術(shù)切除后仍有很高的病死率，術(shù)后需要進一步輔助放療和化療，生存預后差。因此，腦膠質(zhì)瘤的準確分級在確定治療方案和預測預后方面起著重要作用。磁共振成像（Magnetic Resonance Imaging,MRI）已被廣泛應(yīng)用于腦膠質(zhì)瘤的無創(chuàng)診斷、監(jiān)控和隨訪［3］。與單模態(tài)MRI 相比，多模態(tài)MRI：包括T1加權(quán)像（T1）、T1對比增強加權(quán)像（T1C）、T2加權(quán)像（T2）、T2液體衰減反轉(zhuǎn)恢復像（FLAIR）、灌注加權(quán)像、彌散加權(quán)像、彌散張量加權(quán)像和波譜等，可以提供更豐富的腫瘤信息，為腫瘤的精確分級提供基礎(chǔ)。目前，腦膠質(zhì)瘤分級的標準方法基于組織病理學分析，存在以下局限性：（1）活檢是一種侵入性手術(shù)，有潛在的風險；（2）由于MRI 圖像上的腫瘤信號不均勻，活檢可能存在固有的取樣誤差；（3）不同檢驗者之間可能存在觀察的不確定性；（4）組織病理學分析費時，可能會延誤診斷。為克服以上缺點，發(fā)展計算機輔助腦膠質(zhì)瘤的自動分級技術(shù)尤為重要。如何利用多模態(tài)MRI 提供的豐富信息，快速實現(xiàn)腦膠質(zhì)瘤精確的自動分級是具有挑戰(zhàn)性的問題。

傳統(tǒng)的模式識別和機器學習方法（如線性判別分析［4-5］、K-均值聚類［6］、決策樹［7］、支持向量機［8-9］等）已經(jīng)應(yīng)用于單模態(tài)或多模態(tài)MRI 圖像實現(xiàn)腦膠質(zhì)瘤的分級，傳統(tǒng)的方法需要手動勾畫感興趣區(qū)域（Region of Interests,ROIs），基于ROIs 提取腫瘤形狀和統(tǒng)計特征、MRI 圖像強度特征、以及圖像紋理特征等用于圖像分類。這些方法訓練模型前需手動勾畫ROIs和特征提取，這個過程耗費時間和精力、并且依賴經(jīng)驗，從而影響分級效率和準確性。

深度卷積神經(jīng)網(wǎng)絡(luò)在圖像識別方面有很好的應(yīng)用效果［10-14］，與傳統(tǒng)方法相比，訓練模型的過程中可自動提取全面的圖像特征，在腫瘤自動分級應(yīng)用方面有很大的潛力，尤其是深度殘差網(wǎng)絡(luò)（Residual Network,ResNet）［15-16］，它具有容易優(yōu)化、增加深度提高準確性而不引起梯度消失的特點，同時考慮不同層面的MRI 圖像具有序列信息，二維網(wǎng)絡(luò)提取特征會丟棄掉部分信息，而三維（3D）網(wǎng)絡(luò)可以更好地捕獲序列信息和空間維度特征，而且不同模態(tài)的MRI具有不同的圖像信息。本研究基于3D深度殘差網(wǎng)絡(luò)和多模態(tài)MRI圖像實現(xiàn)腦膠質(zhì)瘤的自動分級。

1 資料和方法

腦膠質(zhì)瘤自動分級工作流程（圖1）主要包括：（1）多模態(tài)MRI 圖像預處理；（2）預處理后的多模態(tài)MRI 圖像和膠質(zhì)瘤分級標簽（LGG 或HGG）輸入3D深度殘差網(wǎng)絡(luò)模型進行訓練和驗證，確定最終的模型；（3）新患者的多模態(tài)MRI 圖像進行預處理；（4）預處理后的多模態(tài)MRI 圖像輸入到已經(jīng)訓練好的3D深度殘差網(wǎng)絡(luò)模型得到分級結(jié)果（LGG或HGG）。

1.1 數(shù)據(jù)

本研究中用于訓練和測試3D深度殘差網(wǎng)絡(luò)模型的數(shù)據(jù)來自BraTS2020公共數(shù)據(jù)集［17-19］，包括369例腦膠質(zhì)瘤，其中HGG 293例、LGG 76例。每例術(shù)前MRI圖像均包含T1、T1C、T2和FLAIR 4個模態(tài)的圖像（圖2）。這些數(shù)據(jù)來自于多家機構(gòu)的不同掃描設(shè)備，由1～4名醫(yī)生手動勾畫腫瘤區(qū)域，包括增強腫瘤區(qū)（Enhancing Tumor,ET）、瘤周水腫區(qū)域（Peritumoral Edema,ED）、壞死和非增強腫瘤核心區(qū)域（Necrotic/Non-enhancing Tumor Core,NCR/NET），并由神經(jīng)放射科醫(yī)生確認，根據(jù)組織病理學分析確定膠質(zhì)瘤分級并作為金標準用于模型訓練和測試。多模態(tài)MRI圖像已經(jīng)與標準空間的參考圖像進行配準，并將顱骨剝離分離出大腦區(qū)域，將大腦圖像重新采樣至（1×1×1）mm3體素分辨率，所有腫瘤區(qū)域的并集生成MASK結(jié)構(gòu)。

1.2 數(shù)據(jù)預處理

腦膠質(zhì)瘤多模態(tài)MRI 圖像3D 空間每個維度都具有復雜的成像特征，為了充分利用所有空間維度信息，本研究利用3D空間表示腦膠質(zhì)瘤的異質(zhì)性，即按照3D 腦組織的邊界輪廓對MRI 圖像和MASK 結(jié)構(gòu)進行3D 裁剪，并重新采樣到64×64×64 的體素，多模態(tài)MRI圖像和MASK 結(jié)構(gòu)作為模型輸入。為了減少非標準MRI 強度值偽影，對多模態(tài)MRI 圖像進行歸一化處理，如公式（1）所示：

其中，x表示每個模態(tài)MRI的強度值，μ表示MRI圖像中整個大腦非腫瘤區(qū)域強度值的平均值，σ表示對應(yīng)的標準差。歸一化后的強度值截斷在［-5,5］區(qū)間，并最終歸一到［0,1］之間，圖3是歸一化后的多模態(tài)MRI圖像強度值分布。

1.3 3D深度殘差網(wǎng)絡(luò)模型

本研究采用的3D 深度殘差網(wǎng)絡(luò)模型如圖4所示，圖4a 是20 層的3D 殘差網(wǎng)絡(luò)模型框架，圖4b～d 分別是3 個殘差模塊：Res-Block 0、Res-Block 1、Res-Block 2［16］。多模態(tài)的3D-MRI 圖像和腫瘤區(qū)3DMASK 作為模型輸入，經(jīng)過卷積核是3×3×3、特征圖數(shù)量是16、步長（Stride）是1 的3D 卷積（Conv3D），連接正則歸一化Batch Norm 和激活函數(shù)ReLU，連接殘差塊Res-Block 0 和Res-Block 1 的組合、兩次殘差塊Res-Block 2 和Res-Block 1 的組合，特征圖數(shù)量從64過渡到256，圖像尺寸從64×64×64 降到16×16×16，連接正則歸一化Batch Norm、激活函數(shù)ReLU、平均池化（Average Pooling）和Flatten，經(jīng)過全連接層Fullyconnected layer后，通過分類器Softmax classifier實現(xiàn)高低級別膠質(zhì)瘤分類。

1.4 訓練和測試

369 例腦膠質(zhì)瘤（293 例HGG 和76 例LGG）數(shù)據(jù)樣本分別被隨機分成訓練樣本（64%），驗證樣本（16%）和測試樣本（20%）。訓練過程中通過優(yōu)化輸入數(shù)據(jù)結(jié)構(gòu)和模型超參數(shù)，最終確定4個MRI模態(tài)的整個腦部區(qū)域和1個腫瘤MASK區(qū)域同時作為輸入，網(wǎng)絡(luò)模型的輸入數(shù)據(jù)維度是5×64×64×64，設(shè)置超參數(shù)BatchSize 為2，選擇Adam 優(yōu)化器沿著梯度下降的方向優(yōu)化模型，即每迭代2個訓練樣本更新一次優(yōu)化權(quán)值，設(shè)置最大迭代次數(shù)Epochs 為100，設(shè)置初始學習率（Learning Rate,LR）為1e-4。

本研究采用二值交叉熵函數(shù)Binary Crossentropy作為損失函數(shù)，如公式（2）所示：

其中，yi是第i個樣本的標簽，HGG 標記為1，LGG 標記為0，N是參與計算的樣本數(shù)量，p(yi)代表第i個樣本預測為HGG的概率。

訓練過程中自動調(diào)整LR，即訓練迭代次數(shù)增加10 次后，驗證數(shù)據(jù)集上的損失函數(shù)不再減小，LR 減小為原來的一半。為避免出現(xiàn)過擬合現(xiàn)象，訓練過程中應(yīng)用數(shù)據(jù)增強和Early-Stopping 技術(shù)，數(shù)據(jù)增強是訓練過程中將數(shù)據(jù)進行隨機翻轉(zhuǎn)或旋轉(zhuǎn)以增加訓練數(shù)據(jù)的多樣性，Early-Stopping是訓練迭代30次后，驗證數(shù)據(jù)集上的損失函數(shù)不再減小，停止繼續(xù)迭代，保留在驗證數(shù)據(jù)上損失函數(shù)最小的模型作為最終的模型。

對于測試樣本，將每例患者的多模態(tài)MRI 圖像經(jīng)過1.2 節(jié)中的預處理后輸入到已經(jīng)訓練好的3D 深度殘差網(wǎng)絡(luò)模型，即可以得到腫瘤的自動分級結(jié)果。

1.5 評價

分類結(jié)果的評價基于準確率（Accuracy,ACC）、敏感性（Sensitivity,SEN）、特異性（Specificity,SPE）、受試者工作特征（Receiver Operating Characteristic,ROC）曲線下面積（Area Under Curve,AUC）。定義高低級別膠質(zhì)瘤混合矩陣（表1），即患者被識別為HGG 為正例（Positive）事件，被識別為LGG 為負例（Negative）事件。預測為HGG，實際為HGG，即為正確的正例事件（True Positive,TP）；預測為LGG，實際為LGG，即為正確的負例事件（True Negative,TN）；預測為HGG，實際為LGG，即為錯誤的正例事件（False Positive,FP）；預測為LGG，實際為HGG，即為錯誤的負例事件（False Negative,FN），其中計算概率閾值設(shè)置為0.5，即預測概率≥0.5 時被識別為高級別HGG，否則被識別為LGG。

表1 高低級別腦膠質(zhì)瘤混合矩陣Table 1 Confusion matrix of high and low grade gliomas

ACC 表示預測正確的樣本占所有樣本的比例，如公式（3）所示：

SEN 表示實際為正例的樣本中，被預測為正例的樣本比例，即HGG 樣本中被預測為HGG 的比例，如公式（4）所示：

SPE表示在實際為負例的樣本中，被預測為負例的樣本比例，即LGG 樣本中被預測為LGG 的比例，如公式（5）所示：

2 結(jié)果

本研究的驗證數(shù)據(jù)集包括隨機選出的59 例腦膠質(zhì)瘤樣本，其中HGG 48 例、LGG 11 例；測試數(shù)據(jù)集包括隨機選出的75 例腦膠質(zhì)瘤樣本，其中HGG 62例、LGG 13 例。圖5是3D 深度殘差網(wǎng)絡(luò)預測腦膠質(zhì)瘤分級表現(xiàn)的ROC 曲線，對于驗證數(shù)據(jù)集，SEN、SPE、ACC 和AUC 分別為0.94、0.91、0.93、0.97；對于測試數(shù)據(jù)集，SEN、SPE、ACC 和AUC 分別為0.95、0.62、0.89和0.93。

本研究分別探究了不同的圖像區(qū)域、不同的MRI 模態(tài)組合作為輸入數(shù)據(jù)，以及使用不同的數(shù)據(jù)增強方式和網(wǎng)絡(luò)模型超參數(shù)組合時數(shù)據(jù)的分類結(jié)果。（1）表2是不同的圖像區(qū)域作為輸入數(shù)據(jù)的分類結(jié)果，其中參考模型代表1.2 小節(jié)數(shù)據(jù)預處理中的輸入數(shù)據(jù)，腫瘤區(qū)域代表只提取多模態(tài)MRI 圖像中的腫瘤MASK 區(qū)域；（2）表3是不同的MRI 模態(tài)組合作為輸入數(shù)據(jù)的分類結(jié)果，其中參考模型代表4個模態(tài)（T1、T1C、T2和FLAIR）MRI和MASK 區(qū)域；（3）表4是不同數(shù)據(jù)增強方式的分類結(jié)果，其中參考模型代表使用翻轉(zhuǎn)和旋轉(zhuǎn)的組合作為數(shù)據(jù)增強方式；（4）表5是使用不同網(wǎng)絡(luò)模型超參數(shù)組合的分類結(jié)果，其中參考模型代表使用1.3和1.4小節(jié)描述的超參數(shù)。

表2 不同圖像區(qū)域作為輸入數(shù)據(jù)的分類結(jié)果Table 2 Classification results with different image regions as input

表3 不同MRI模態(tài)組合作為輸入數(shù)據(jù)的分類結(jié)果Table 3 Classification results with different combinations of MRI modality as input

表4 不同數(shù)據(jù)增強方式的分類結(jié)果Table 4 Classification results of different data augmentation manners

表5 不同網(wǎng)絡(luò)模型超參數(shù)組合的分類結(jié)果Table 5 Classification results of different model superparameter combinations

3 討論

腦膠質(zhì)瘤的準確分級在精確制定治療方案和預測預后方面起著重要作用，侵入性活檢存在潛在風險和固有的取樣誤差，不同檢驗者的觀察存在不確定性且組織病理分析費時費力，自動分級技術(shù)可以克服活檢存在的以上缺點。相比于傳統(tǒng)的模式識別和機器學習方法，基于深度學習方法是近幾年的研究熱點，非常具有潛力。本文將3D 深度殘差網(wǎng)絡(luò)應(yīng)用在多模態(tài)MRI 數(shù)據(jù)上實現(xiàn)了對高低級別腦膠質(zhì)瘤的自動分級，文中利用的BraTS2020數(shù)據(jù)集是目前公開可以利用的多模態(tài)MRI 數(shù)據(jù)樣本，包含的數(shù)據(jù)豐富，是測試算法的優(yōu)質(zhì)數(shù)據(jù)庫。本文采用了20 層的3D 深度殘差網(wǎng)絡(luò)模型，二值交叉熵函數(shù)BinaryCrossentropy 作為損失函數(shù)，從不同角度（即不同的圖像區(qū)域、MRI 模態(tài)組合作為輸入數(shù)據(jù)，使用不同的數(shù)據(jù)增強方式和網(wǎng)絡(luò)模型超參數(shù)組合）來優(yōu)化模型，初步結(jié)果表明多模態(tài)MRI 和腫瘤MASK 區(qū)域的組合比只考慮多模態(tài)MRI腫瘤MASK 區(qū)域的結(jié)果要好（表2）；如果只考慮單模態(tài)MRI圖像序列，T1C的預測效果最好，如果考慮2 個模態(tài)MRI 圖像序列，［T1C,T1］或［T1C,FLAIR］的組合預測效果較好，如果考慮3 個模態(tài)的MRI 圖像序列，［T1,T1C,T2］的組合預測效果較好（表3）；訓練過程中數(shù)據(jù)進行增強處理可以提高預測精度，旋轉(zhuǎn)和翻轉(zhuǎn)組合的方式預測效果最好（表4）。同時，進一步探究了通過增加網(wǎng)絡(luò)深度評價模型的表現(xiàn)，從初步實驗結(jié)果（表6）可以看到通過將網(wǎng)絡(luò)深度增加到56 層［15-16］，測試數(shù)據(jù)集的ACC和AUC并沒有提高。

表6 不同深度的殘差網(wǎng)絡(luò)模型的分類結(jié)果Table 6 Classification results of residual networks with different depths

不同研究者利用深度學習網(wǎng)絡(luò)在腦膠質(zhì)瘤自動分級方面進行了不同的探索（表7）。Yang 等［20］利用2D 的GoogLeNet 和AlexNet 網(wǎng)絡(luò)，在113 例5 折交叉驗證數(shù)據(jù)集上，考慮T1C 模態(tài)作為輸入從頭開始訓練，GoogLeNet 網(wǎng)絡(luò)在驗證數(shù)據(jù)集的ACC、測試數(shù)據(jù)集的ACC 和AUC 分別為0.87、0.91 和0.94，AlexNet網(wǎng)絡(luò)在驗證數(shù)據(jù)集的ACC、測試數(shù)據(jù)集的ACC 和AUC 分別為0.87、0.86 和0.90。Naser 等［21］利 用VGG16 網(wǎng)絡(luò)，在110 例LGG 的5 折交叉驗證數(shù)據(jù)集上，考慮T1、FLAIR、T1C 的MRI 圖像數(shù)據(jù)作為輸入進行遷移學習，實現(xiàn)對II 級和III 級膠質(zhì)瘤的分級ACC為0.89。Ge 等［22］基于2D CNN 模型，在295 例BraTS2017 數(shù)據(jù)集上，考慮4 個模態(tài)MRI 圖像作為輸入，在測試數(shù)據(jù)集上實現(xiàn)LGG和HGG分類的ACC為0.91。Shahzadi 等［23］使用VGGNet-LSTM 模型，在60例BraTS2015數(shù)據(jù)集上，考慮單模態(tài)FLAIR圖像作為輸入數(shù)據(jù)，在測試數(shù)據(jù)集上實現(xiàn)LGG 和HGG 分類ACC為0.84。與前述研究相比，本文在BraTS2020數(shù)據(jù)集上，考慮4個模態(tài)的MRI數(shù)據(jù)和腫瘤MASK區(qū)域作為模型輸入從頭開始訓練，在驗證數(shù)據(jù)集上，ACC和AUC分別為0.93和0.97，在測試數(shù)據(jù)集上，ACC和AUC 分別為0.89 和0.93。本研究采用的數(shù)據(jù)是目前公開可以利用的數(shù)據(jù)，雖然與其他研究者用的數(shù)據(jù)不同，但初步結(jié)果表明與其他研究者的結(jié)果相近。

表7 不同模型預測腦膠質(zhì)瘤分級結(jié)果比較Table 7 Comparison of the performances of different models in glioma grading

本文利用BraTS2020 公開數(shù)據(jù)集，應(yīng)用3D 深度殘差網(wǎng)絡(luò)在多模態(tài)的MRI 圖像上實現(xiàn)了對高、低級別腦膠質(zhì)瘤的自動分級。研究采用的網(wǎng)絡(luò)模型不局限于對腦膠質(zhì)瘤的自動分級，還可以實現(xiàn)對其他腫瘤的分級。同時可以應(yīng)用在更多的醫(yī)學圖像處理領(lǐng)域，比如可用于腦膠質(zhì)瘤基因狀態(tài)預測和患者生存期預測等方面，從而為精準醫(yī)療的實現(xiàn)提供更多助力。