劉 穎，陳靜聰，胡小洋，章浩偉

基于Mask RCNN的橋小腦角區(qū)腦膜瘤與聽神經(jīng)瘤分類定位研究

劉 穎*，陳靜聰，胡小洋，章浩偉

上海理工大學 醫(yī)療器械與食品學院，醫(yī)學影像工程研究所，上海 200093

由于人體橋小腦角區(qū)的腦膜瘤與聽神經(jīng)瘤在影像學的表現(xiàn)以及發(fā)病位置極其相似，所以臨床診斷極易發(fā)生誤診．針對此問題，本文應用掩膜區(qū)域卷積神經(jīng)網(wǎng)絡（Mask RCNN）對兩類腫瘤進行分類定位研究．首先采集89名腦膜瘤與218名聽神經(jīng)瘤患者的T1WI-SE序列的磁共振圖像，對其進行預處理，再結合改進的特征金字塔網(wǎng)絡（FPN）算法進行網(wǎng)絡訓練．本文對比了三種不同的Mask RCNN主干網(wǎng)絡對兩者分類定位的效果．結果表明，結合改進的FPN算法和ResNet101作為主干網(wǎng)絡的Mask RCNN分類定位模型能夠有效實現(xiàn)對兩類腫瘤的分類定位，精確率為0.918 2、召回率為0.856 9、特異性為0.876 2、均值平均精度（）為0.90．

掩膜區(qū)域卷積神經(jīng)網(wǎng)絡（Mask RCNN）；特征金字塔網(wǎng)絡（FPN）算法；分類定位；腦膜瘤；聽神經(jīng)瘤

引 言

顱內(nèi)腫瘤是一種常見的神經(jīng)外科疾病，多數(shù)由顱內(nèi)各組織病變引起．其中，腦膜瘤的發(fā)病率約占所有顱內(nèi)腫瘤的12.5%[1]；聽神經(jīng)瘤發(fā)病率約占顱內(nèi)腫瘤的7%~12%，占橋小腦角區(qū)（Cerebellopontine Angle，CPA）腫瘤的70%~80%[2]．

磁共振成像（Magnetic Resonance Imaging，MRI）因具有簡單無創(chuàng)的特點，而被廣泛用于CPA腫瘤的醫(yī)學診斷和鑒別[3]．醫(yī)生大多依據(jù)聽神經(jīng)瘤會出現(xiàn)不同程度的聽道擴大，磁共振圖像中1呈低信號、2呈混雜信號；而腦膜瘤會出現(xiàn)“腦膜尾征”，磁共振圖像中1呈等信號、2呈略高信號的特點；再結合臨床經(jīng)驗來鑒別兩類腫瘤[4]．在腦部腫瘤的定位領域中，室間孔旁經(jīng)常會出現(xiàn)腦脊液流動偽影，對不明顯病灶的高信號可靠性分析造成影響．若僅靠醫(yī)生的經(jīng)驗判斷，則人工干擾成分較大，甚至容易發(fā)生誤診．馬云濤等[5]通過對29例聽神經(jīng)瘤和7例腦膜瘤的磁共振影像特征進行分析，得出腦膜瘤影像學表現(xiàn)與聽神經(jīng)無關，腦膜瘤患者內(nèi)聽道正常，且腦膜瘤多發(fā)于顳骨巖部后方進內(nèi)聽道口，依此可與聽神經(jīng)瘤區(qū)分，但兩者仍易發(fā)生誤診．張敏等[6]收集并探討了80例CPA腫瘤患者的病情，發(fā)現(xiàn)MRI是鑒別診斷CPA腫瘤的最佳方式：腦膜瘤出現(xiàn)的磁共振影像特征包括幕上腦室積水、內(nèi)聽道擴張、彌散加權成像（Diffusion Weighted Imaging，DWI）呈高信號、周圍蛛網(wǎng)膜下腔擴張；聽神經(jīng)瘤出現(xiàn)的磁共振影像特征包括囊變、內(nèi)聽道擴張等，可根據(jù)上述特征來區(qū)分兩者，但準確率仍待提高．

目前，應用深度學習神經(jīng)網(wǎng)絡算法實現(xiàn)對兩種腫瘤的定位鑒別的研究還尚少．徐楠楠等[7]發(fā)現(xiàn)支持向量機分類器（Support Vector Machine，SVM）能夠有效提取腦部紋理特征，并提出了一種基于SVM和非下采樣輪廓波變換（Nonsubsampled Contourlet，NSCT）的算法，可有效識別腦部腫瘤磁共振圖像，為醫(yī)生的鑒別診斷提供了良好的依據(jù)．Lavanyadevi等[8]首先用主成分分析法（Principal Component Analysis，PCA）完成磁共振圖像的預處理，然后應用灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）提取腦部紋理特征信息，最后通過概率神經(jīng)網(wǎng)絡（Probabilistic Neural Network，PNN）實現(xiàn)對腦腫瘤的分類鑒別，結果表明雖然此方法能夠有效鑒別腦部腫瘤，但是圖像特征提取忽略了腫瘤邊界信息，所以鑒別準確率仍然有待提高．Li等[9]提出了一種用于醫(yī)學圖像領域的自適應框架，稱其為聚集卷積神經(jīng)網(wǎng)絡（Clustering Convolutional Neural Networks，CLU-CNNs），結合全卷積網(wǎng)絡（Fully Convolutional Networks，F(xiàn)CN）對醫(yī)學圖像病灶區(qū)域進行識別檢測，結果表明檢測速率雖高達9.09幀/s，但是準確率仍然有提升空間．Yang等[10]應用協(xié)同訓練的卷積神經(jīng)網(wǎng)絡對多參數(shù)前列腺磁共振影像進行癌變區(qū)域的檢測，結果表明對于T2W檢測率為86.7%，表觀彌散系數(shù)（Apparent Diffusion Coefficient，ADC）檢測率為91.7%．Feldman等[11]應用掩膜區(qū)域卷積神經(jīng)網(wǎng)絡（Mask Region Convolutional Neural Network，Mask RCNN），對目標進行分類、回歸以及分割任務，實現(xiàn)了對于前列腺癌的定位檢測，結果表明此方法對前列腺癌的整體檢測率為81%，相比醫(yī)生提高14%．

更快速的區(qū)域卷積神經(jīng)網(wǎng)絡（Faster Region Convolutional Neural Network，F(xiàn)aster-RCNN）是一種可以對目標進行分類及回歸的檢測網(wǎng)絡，而Mask RCNN是Faster-RCNN的擴展，添加了一個額外的掩膜（Mask）分支對目標進行并行預測，可實現(xiàn)對目標的分類、回歸和分割，因具有高速、簡單直觀、高準確率（高分類準確率、高實例分割準確率、高定位檢測準確率）等優(yōu)點，而被廣泛應用于多個領域．歐攀等[12]利用實驗證明，經(jīng)過大量數(shù)據(jù)訓練的Mask RCNN網(wǎng)絡模型可以識別多類特征差異很大的目標物體，且可以達到較高的準確率，在目標檢測領域有廣闊的應用前景．張博等[13]提出了基于Mask RCNN的檢測與識別方法，成功應用于觸摸屏玻璃疵病的檢測中，其準確率高達96.7%．但此技術在醫(yī)學領域的應用還尚少．

本文首先對共1 806張（腦膜瘤606張，聽神經(jīng)瘤1 200張）磁共振圖像進行預處理，包括數(shù)據(jù)集的圖像處理、運用圖像標注工具—labelme對數(shù)據(jù)集進行勾畫、制作數(shù)據(jù)集標簽等；然后利用改進的特征金字塔網(wǎng)絡（Feature Pyramid Networks，F(xiàn)PN）算法進行網(wǎng)絡訓練，其可將網(wǎng)絡底層到高層的特征融合起來，從而充分提取各個階段的特征值；再將Mask RCNN主干網(wǎng)絡分別設置為殘差神經(jīng)網(wǎng)絡（Residual Neural Network，ResNet）——ResNet101、ResNet50，以及視覺幾何群網(wǎng)絡（Visual Geometry Group Network，VGG）——VGG16，并進行分類定位效果的對比；最后通過精確率（Precision）、召回率（Recall）、特異性（Specificity），以及均值平均精度（Mean Average Precision，）衡量模型的有效性．綜合評價上述模型對于腦膜瘤與聽神經(jīng)瘤的分類及定位效果，為臨床醫(yī)生的診斷提供更為可靠的依據(jù)．

1 實驗部分

1.1 實驗數(shù)據(jù)的來源

研究對象為經(jīng)過病例金標準驗證后，并在上海市華山醫(yī)院申請頭部MRI掃描CPA腦膜瘤和聽神經(jīng)瘤患者．所有患者均簽訂了知情同意書，由于T1WI-SE（1-Weighted Spin-Echo）序列能夠更好地呈現(xiàn)病灶區(qū)域的特征，使其更易與周圍鄰近組織區(qū)分開，所以本文選用T1WI-SE增強掃描圖像作為影像數(shù)據(jù)．圖像采集設備為GE Signa HDxt 1.5T MRI掃描儀，掃描層厚為2 mm，重復時間（Repetition Time，）為580 ms，層間隔為2 mm，采集矩陣（Acquisition Matric）為256*256，回波時間（Echo Time，）為8 ms．經(jīng)過數(shù)據(jù)篩選后，保留79例腦膜瘤患者圖像共606張、196例聽神經(jīng)瘤患者圖像共1 200張，訓練集、驗證集與測試集的比例為6:2:2．采用精確率、召回率、特異性以及四個指標對模型性能進行評估．實驗編譯環(huán)境為Python 3.6，操作系統(tǒng)為ubuntu 16.04 LTS，硬件環(huán)境為Intel(R)Core(TM)i5-6500 CPU，內(nèi)存為8.0 G．

1.2 實驗流程

首先對原始數(shù)據(jù)集進行篩選，剔除不包含腫瘤的影像數(shù)據(jù)并對其進行病例編號；然后將DICOM圖片轉化為JPG格式；運用圖像標準工具——labelme對病灶區(qū)域進行勾畫，記錄下坐標數(shù)據(jù)，生成json文件，再將json文件轉化為coco數(shù)據(jù)集輸入分類定位網(wǎng)絡中；最后，實驗對比了FPN+ResNet101、FPN+ResNet50、FPN+VGG16模型的分類定位效果，并使用精確率、召回率、特異性以及對模型進行評估，實驗流程如圖1所示．

1.3 數(shù)據(jù)預處理

第一步：對比度受限的自適應直方圖均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）算法預處理

經(jīng)過CLAHE算法預處理的圖片，其局部細節(jié)更加清晰、腫瘤病灶區(qū)域信息更加明顯、灰度范圍得到擴展、圖像更加平滑且噪聲減少，能夠提高神經(jīng)網(wǎng)絡模型訓練的準確率[14]．這是因為CLAHE算法對噪聲敏感程度最小，噪聲在此算法中增強幅度較小，因而能增強圖像對比度[15]．因此本文采用了CLAHE算法對原始數(shù)據(jù)集進行處理，處理前后的磁共振圖像及其灰度直方圖的對比如圖2和圖3所示．

圖1 本文實驗流程

圖2 原始圖像與預處理后圖像的對比.(a)原始圖像；(b) CLAHE算法預處理圖像

圖3 原始圖像與預處理圖像灰度直方圖的對比. (a)原始圖像的灰度直方圖；(b) CLAHE算法預處理后圖像的灰度直方圖

第二步：制作包含腫瘤位置信息的json文件

運用labelme對預處理后的數(shù)據(jù)集進行勾畫，然后記腦膜瘤標簽為meningioma,聽神經(jīng)瘤標簽為acoustic neuroma．勾畫完成后，對于生成的json文件再進行格式轉化，生成coco數(shù)據(jù)集．勾畫結果如圖4所示．

圖4 數(shù)據(jù)集勾畫結果. (a)腦膜瘤；(b)聽神經(jīng)瘤

1.4 基于改進FPN算法的Mask RCNN分類定位模型

1.4.1 Mask RCNN模型與FPN算法

Mask RCNN模型首先提取輸入圖片的特征圖，同時經(jīng)過區(qū)域建議網(wǎng)絡（Region Proposal Network，RPN）產(chǎn)生兩個輸出，分別是anchor類別（判斷為前景或背景）以及邊框精調(diào)結果（使邊界框能更好地擬合目標）；然后經(jīng)過感興趣區(qū)域特征聚集（Region of Interest Align，ROI Align）層，即感興趣區(qū)域池化（ROI Pooling）的改進，從源頭上解決了ROI Pooling的局限性，取消了量化操作，保留了像素值的浮點數(shù)坐標，并應用雙線性插值解決了在實例分割中掩膜無法對齊的問題，進一步改善了掩膜質量．其實現(xiàn)步驟如下所示：第一步，遍歷每個候選區(qū)域，并且保證像素邊界的浮點值，不對其進行量化處理．第二步，將候選區(qū)域劃分子區(qū)域，其邊界也不做量化處理．第三步，每個子區(qū)域中包含4個采樣點（每個采樣點的位置為將子區(qū)域平均分配為4個小矩形后的中心點），用雙線性內(nèi)插值的方法計算出這4個點的值，然后進行最大池化操作[16]；最后經(jīng)過掩膜分支，以及ROI分類器與邊界框回歸器，產(chǎn)生3個輸出，分別是目標的具體類別、更加精確的邊框精調(diào)結果，以及掩膜圖像．Mask RCNN的網(wǎng)絡結構具體如圖5所示[17]．

圖5 Mask RCNN的網(wǎng)絡結構圖

FPN算法不僅解決了如何處理大范圍尺度變化物體的問題，而且能夠使Faster-RCNN中RPN網(wǎng)絡的召回率提高8%，coco數(shù)據(jù)集的檢測性能提升2.3%[18]．FPN算法包含兩部分：第一部分簡述為自底向上的過程，與普通的CNN網(wǎng)絡沒有區(qū)別；第二部分為自頂向下的過程，而此過程中最重要的部分即是側向連接，通過上采樣的方式不僅能夠很好地利用高層的語義特征（益于分類），而且能結合底層的高分辨率細節(jié)特征（益于定位），使得高級特征與低級特征相互融合，提高了檢測的準確率．FPN算法的原理如圖6所示．

圖6 FPN算法的結構圖

1.4.2 腦膜瘤與聽神經(jīng)瘤的分類定位模型

任之俊等[19]提出了一種改進的FPN算法，并在coco數(shù)據(jù)集上得以驗證，改進后的在目標預測區(qū)域與實際區(qū)域之間的重疊度，即交并比（Intersection Over Union，IOU）閾值為0.75時的提高更加顯著，檢測準確率提高3.9%．為了進一步提高檢測準確率，本文基于FPN算法建立了腦膜瘤與聽神經(jīng)瘤分類定位模型，根據(jù)文獻[20]得到了改進FPN的思路，添加了一個自下而上的反向側面連接，進一步對模型進行了完善，總體框架如圖7所示．首先輸入經(jīng)過預處理的磁共振圖像（訓練集中輸入腦膜瘤361張，聽神經(jīng)瘤723張）；然后將添加反向側面連接的FPN算法應用至主干網(wǎng)絡ResNet101中，然后由RPN層評估目標候選框的百分數(shù)，保留最高值并輸出；最后利用雙線性插值進一步精調(diào)候目標選框、輸出目標掩膜圖像和目標類別．

此外，圖7檢測網(wǎng)絡框架中損失函數(shù)采用的為多任務損失函數(shù)，如(1)式所示：

代表分類損失，代表回歸損失，代表掩膜損失，代表分類種類個數(shù)，代表目標框個數(shù)，代表掩膜個數(shù)，i為小批量中anchor的一個索引，系數(shù)取值為1，向量代表的是目標框預測的偏移量，向量代表的是目標框相對于真實標簽（Ground Truth，GT）的實際偏移量．代表的是目標預測的概率值．代表若目標框內(nèi)物體為正例，則值為1；目標框內(nèi)物體為負例，則值為0．代表的是物體被預測為目標的置信度．

分類損失計算如(2)式所示：

回歸損失計算如(3)式所示：

網(wǎng)絡中的掩膜分支對于每個ROI的輸出為m2（個分辨率為*的二值掩膜，其中為分類種類數(shù)目），然后對其每個像素點均利用sigmoid函數(shù)，將平均二值交叉損失熵定義為整體損失值，掩膜損失計算如(5)式所示：

2 實驗結果

2.1 勾畫范圍擴大前與擴大后的對比結果

數(shù)據(jù)集經(jīng)過預處理后，在進行coco數(shù)據(jù)集制作中，我們發(fā)現(xiàn)目標的勾畫范圍對于最終輸出的掩膜質量有所影響．如圖8所示，若擴大數(shù)據(jù)集的勾畫范圍，則測試腫瘤的定位效果更佳、腫瘤邊界更清晰、病灶區(qū)域包裹更完善、目標擬合更完善．而勾畫范圍擴大前的數(shù)據(jù)集測試結果顯示腫瘤定位區(qū)域未包裹完善、邊界信息欠缺、目標框以及掩膜均未更佳地擬合目標物．

2.2 主干網(wǎng)絡ResNet101、ResNet50以及VGG16的對比

在三種不同的主干網(wǎng)絡模型驗證集的損失曲線[圖9(a)]中，訓練設定為10輪，每一輪訓練經(jīng)過100次迭代中．ResNet101作為主干網(wǎng)絡最為穩(wěn)定，收斂效果最好；ResNet50作為主干網(wǎng)絡，其損失曲線下降不平緩，收斂不穩(wěn)定；VGG16作為主干網(wǎng)絡，其損失曲線下降緩慢且收斂值相對于其他兩種主干網(wǎng)絡較大，收斂不佳．并且從模型對于腦膜瘤以及聽神經(jīng)瘤的預測結果[圖9(b)]中，也可以看出FPN+ResNet101輸出的目標掩膜圖像質量最佳，腫瘤邊界信息清晰，定位準確，而其他兩種主干網(wǎng)絡模型輸出的目標框以及掩膜均未更好地擬合目標物，包含的信息不完善．這證明應用添加了反向側面連接的FPN算法結合ResNet101建立的腦膜瘤與聽神經(jīng)瘤分類定位模型能夠實現(xiàn)對兩類腫瘤的有效判別以及準確定位，從而可以為臨床醫(yī)生的診斷提供可靠的依據(jù)．

圖8 調(diào)整勾畫范圍前后的結果對比

圖9 各主干網(wǎng)絡的(a)驗證集模型損失曲線和(b)輸出的目標掩膜圖像

2.3 評估模型

物體檢測過程中會產(chǎn)生多個目標框，Mask RCNN中采取非極大值抑制（Non-Maximum Suppression，NMS）的方法清除多余的目標框[21]．經(jīng)實驗效果論證，本文中將設為0.5，即當0.5<<1時，視為檢測正確，保留目標框；反之為檢測錯誤．其計算原理如圖10所示，其中A與B分別表示檢測過程中產(chǎn)生的目標框以及原標記框．

為了驗整本文研究提出的模型有效性，將未經(jīng)訓練的121張腦膜瘤以及240張聽神經(jīng)瘤圖像輸入模型中進行測試（設定腦膜瘤為正樣本，聽神經(jīng)瘤為負樣本），并用精確率（Precision）、召回率（Recall）、特異性（Specificity）以及對其進行評價．精確率、召回率、特異性以及的計算如(6)~(9)所示：

其中，代表樣本為正，檢測結果也為正；代表樣本為負，檢測結果為正；代表樣本為負，檢測結果也為負；代表樣本為正，檢測結果為負．代表一個類別的平均精度，即為測試集中所有圖像對于此類別的精度之和與包含此類目標的所有圖像數(shù)量的比值．代表所有類別的平均精度求和與類別數(shù)量的比值．表1為三類模型的評價指標比較．

表1 三類模型評價指標對比

由表1數(shù)據(jù)綜合得知本文提出的基于添加了反向側面連接的FPN算法與ResNet101作為主干網(wǎng)絡的Mask RCNN模型對腦膜瘤與聽神經(jīng)瘤的分類定位效果最好，性能最穩(wěn)定，能有效輔助臨床診斷．

3 結論與展望

臨床上腦膜瘤與聽神經(jīng)瘤的鑒別一直以來都是依靠醫(yī)生人工閱片結合經(jīng)驗判斷，但是人工干擾成分大，容易發(fā)生誤診，且定位病灶區(qū)域時可能與腦脊液運動偽影混淆．基于此，本文應用深度學習方法結合改進的FPN算法構建了一個能自動區(qū)分兩類腫瘤且精確定位的Mask RCNN模型，效果顯著，能較好地輔助臨床醫(yī)生進行診斷．

實驗首先對比了數(shù)據(jù)集的勾畫范圍對模型的定位效果產(chǎn)生的影響，結果表明勾畫范圍擴大后能包含病灶區(qū)域中更廣泛的圖像像素特征信息，使定位邊界清晰，掩膜質量更佳．然后對比了三類主干網(wǎng)絡結合添加了反向側面連接的改進FPN算法所建立的Mask RCNN分類定位模型的效果，結果表明ResNet101作為主干網(wǎng)絡，分類定位模型的損失曲線更為穩(wěn)定，收斂更佳，可達全局較優(yōu)解；而且改進FPN+ResNet101分類定位模型效果最好：精確率為0.918 2、召回率為0.856 9、特異性為0.876 2、為0.90．但該模型對聽神經(jīng)瘤的識別定位效果稍高于腦膜瘤，考慮可能是樣本數(shù)據(jù)量的原因（聽神經(jīng)瘤圖像總量約為腦膜瘤的兩倍）．后續(xù)研究中，若能夠不斷擴大樣本量，完善實驗的不足，則可以一定程度提高檢測模型的精確率[22]，使其能更好的應用至臨床領域．

利益沖突

無

[1] NIU L, ZHOU X M, DUAN C F, et al. Differentiation researches on the meningioma subtypes by radiomics from contrast enhanced MRI, a preliminary study[J]. World Neurosurg, 2019, 126: e646-e652.

[2] YE D S, XU S H, HUANG Y C, et al.MRI diagnostic value of cerebellopontine angle tumors[J].Chinese and Foreign Medical Research, 2017, 15(1): 50-51. 葉德湫, 許淑惠, 黃永礎, 等. 橋小腦角區(qū)腫瘤的MRI診斷價值[J]. 中外醫(yī)學研究, 2017, 15(1): 50-51.

[3] MA Y, GUO H, WANG Q S, et al. Correlations between morphological characteristics and expression levels of specific molecular biomarkers in glioblastoma[J]. Chinese J Magn Reson, 2018, 35(1): 22-30. 馬蕓, 郭虹, 王秋實, 等. 基于影像的形態(tài)學特征與膠質母細胞瘤特征分子表達的相關性研究[J]. 波譜學雜志, 2018, 35(1): 22-30.

[4] ZHANG Q. CT and MRI imaging analysis of occupying lesions in the cerebellar horn region[J]. Journal of Medical Imaging, 2019, 29(6): 913-916. 張芹. 橋小腦角區(qū)占位性病變CT和MRI影像學分析[J]. 醫(yī)學影像學雜志, 2019, 29(6): 913-916.

[5] MA Y T, CHEN X Y, TIAN G S, et al. MRI characteristics of space-occupying lesions in the cerebellopontine angle region[J]. Chinese Clinical Research, 2017, 30(6): 838-840. 馬云濤, 陳秀艷, 田貴森, 等. 橋小腦角區(qū)占位性病變核磁共振影像學特征[J]. 中國臨床研究, 2017, 30(6): 838-840.

[6] ZHANG M, ZHANG H Q. The application of MRI in the diagnosis of cerebellopontine angle tumor patients and its clinical value analysis[J]. China Medical Innovation, 2018, 15(34): 25-29. 張敏, 張海青. MRI在橋小腦角區(qū)腫瘤患者病情診斷中的應用及其臨床價值分析[J]. 中國醫(yī)學創(chuàng)新, 2018, 15(34): 25-29.

[7] XU N N, GE Y R, WANG J Y. Medical image recognition of brain MRI based on NSCT and SVM[J]. Modern Electronic Technology, 2014, 37(12): 63-66+69. 徐楠楠, 葛玉榮, 王佳奕. 基于NSCT和SVM的腦MRI醫(yī)學圖像識別[J]. 現(xiàn)代電子技術, 2014, 37(12): 63-66+69.

[8] LAVANYADEVI R, MACHAKOWSALYA M, NIVETHITHA J, et al. Brain tumor classification and segmentation in MRI images using PNN[C]. IEEE International Conference on Electrical. IEEE, 2017.

[9] LI Z N, DONG M H, WEN S P, et al. CLU-CNNs: Object detection for medical images[J]. Neurocomputing, 2019, 350: 53-59.

[10] YANG X, LIU C Y, WANG Z W, et al. Co-trained convolutional neural networks for automated detection of prostate cancer in multi-parametric MRI[J]. Med Image Anal, 2017, 42: 212-227.

[11] FELDMAN A M, DAI Z, CARVER E, et al. Utilizing a deep learning-based object detection and instance segmentation algorithm for the delineation of prostate and prostate cancer segmentation[J]. Int J Radiat Oncol, 2019, 105(1): S197-S198.

[12] OU P, LU K, ZHANG Z, et al. Object recognition and spatial localization based on Mask RCNN[J]. Computer Measurement & Control, 2019, 27(6): 172-176. 歐攀, 路奎, 張正, 等. 基于Mask RCNN的目標識別與空間定位[J]. 計算機測量與控制, 2019, 27(6): 172-176.

[13] ZHANG B, ZHOU J, WANG F, et al. Detection and recognition of touch screen glass defects based on Mask R-CNN[J]. Software Guide, 2019, 18(2): 64-67, 71. 張博, 周軍, 王芳, 等. 基于Mask R-CNN的觸摸屏玻璃疵病檢測與識別[J]. 軟件導刊, 2019, 18(2): 64-67, 71.

[14] WANG F, LU J D, SHEN G R, et al. Image segmentation of green apple based on CLAHE and open-close operation[J]. Computer Measurement and Control, 2017, 25 (2): 141-145. 王帆, 呂繼東, 申根榮, 等. 基于CLAHE和開閉運算的綠色蘋果圖像分割[J]. 計算機測量與控制, 2017, 25(2): 141-145.

[15] LI L, LI W J, WU Y Z. Underwater image enhancement algorithm based on red dark channel prior theory and CLAHE algorithm[J]. China Ship Research, 2019, 14(S1): 175-182. 李煉, 李維嘉, 吳耀中. 基于紅色暗通道先驗理論與CLAHE算法的水下圖像增強算法[J]. 中國艦船研究, 2019, 14(S1): 175-182.

[16] BAI T, PANG Y, WANG J C, et al. An optimized faster R-CNN method based on DRNet and ROI align for building detection in remote sensing images[J]. Remote Sens, 2020, 12(5): 762.

[17] HE K M, GKIOXARI G, DOLLáR P, et al. Mask R-CNN[C]. Proceedings of the IEEE international conference on computer vision. 2017: 2961-2969.

[18] MALHOTR K R, DAVOUDI A, SIEGEL S, et al. Autonomous detection of disruptions in the intensive care unit using deep mask R-CNN[C]. IEEE/CVF Conference on Computer Vision & Pattern Recognition Workshops. IEEE Computer Society, 2018.

[19] REN Z J, YUN S Z, LI D W, et al. Mask R-CNN target detection method based on improved feature pyramid[J]. Laser & Optoelectronics Progress, 2019, 56(4): 174-179. 任之俊, 藺素珍, 李大威, 等. 基于改進特征金字塔的Mask R-CNN目標檢測方法[J]. 激光與光電子學進展, 2019, 56(4): 174-179.

[20] CHANG S, ZHANG F, HUANG S, et al. Siamese feature pyramid network for visual tracking[C]. 2019 IEEE/CIC International Conference on Communications Workshops in China (ICCC Workshops). IEEE, 2019.

[21] 黃澤桑. 基于深度學習的目標檢測技術研究[D]. 北京: 北京郵電大學, 2019.

[22] WANG H Z, ZHAO D, YANG L Q, et al. An approach for training data enrichment and batch labeling in AI+MRI aided diagnosis[J]. Chinese J Magn Reson, 2018, 35(4): 50-59.汪紅志, 趙地, 楊麗琴, 等. 基于AI+MRI的影像診斷的樣本增廣與批量標注方法[J]. 波譜學雜志, 2018, 35(4): 50-59.

Classification and Localization of Meningioma and Acoustic Neuroma in Cerebellopontine Angle Based on Mask RCNN

*，，，

Institute of Medical Imaging Engineering, School of Medical Instrument and Food Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China

Differential diagnosis of meningioma and acoustic neuroma can be difficult because these two tumors have similar locations and appearances on medical images. To address this problem, mask region convolutional neural network (Mask RCNN) was used to classify and diagnose those two types of tumors. First, magnetic resonance images acquired with1-weighted spin-echo (T1WI-SE) sequence of 89 meningioma and 218 acoustic neuroma patients were collected and preprocessed. Then the improved feature pyramid networks (FPN) algorithm was used for model network training. The effects of three different backbone feature extraction layers on classification and location were compared. It was demonstrated that Mask RCNN model with improved FPN and ResNet101 as backbone network is able to effectively classify and locate meningioma and acoustic neuroma, the values of precision, recall, specificity, and mean average precision () are 0.918 2, 0.856 9, 0.876 2, and 0.90, respectively.

Mask RCNN, FPN algorithm, classification and localization, meningioma, acoustic neuroma

R739.41; O482.53

A

10.11938/cjmr20202825

2020-04-04;

2020-05-22

微創(chuàng)勵志創(chuàng)新基金資助項目(182702156).

* Tel: 18602168660, E-mail: ling2431@163.com.