袁典，杜昱崢，魏德健，張俊忠，曹慧*

0 引言

膝關(guān)節(jié)是人體結(jié)構(gòu)和功能最復(fù)雜的關(guān)節(jié)之一，半月板是位于膝關(guān)節(jié)脛骨面內(nèi)外兩側(cè)的半月形緩沖結(jié)構(gòu)，對(duì)于潤(rùn)滑膝關(guān)節(jié)軟骨和維持膝關(guān)節(jié)穩(wěn)固性起著關(guān)鍵作用[1]。但同時(shí)膝關(guān)節(jié)也是易受傷的關(guān)節(jié)之一，不同程度的半月板損傷幾率都高于膝關(guān)節(jié)其他部位，人體半月板一旦發(fā)生損傷，輕則使患者局部關(guān)節(jié)腫脹疼痛，影響正常的日常生活，重則會(huì)導(dǎo)致患者早期關(guān)節(jié)炎的形成和發(fā)展[2]。根據(jù)目前醫(yī)學(xué)技術(shù)得知，嚴(yán)重的半月板損傷給患者所帶來(lái)的傷害是不可逆轉(zhuǎn)的，半月板損傷的早期診斷與治療對(duì)于預(yù)防關(guān)節(jié)炎具有非常重要的意義[3-4]。

醫(yī)學(xué)圖像技術(shù)是骨關(guān)節(jié)疾病預(yù)防和診斷方式之一，其研究和發(fā)展為醫(yī)生進(jìn)行臨床診斷提供了更多的參考方案，近年來(lái)在很多領(lǐng)域得到了廣泛應(yīng)用并取得了一定的成果，例如骨質(zhì)疏松[5-7]、骨腫瘤[8-9]、軟骨及關(guān)節(jié)病變[10-11]等骨關(guān)節(jié)疾病的診斷治療。超過(guò)70%的骨關(guān)節(jié)疾病的診斷都依賴(lài)于醫(yī)學(xué)圖像技術(shù)，MRI 因具有非侵入、無(wú)輻射、無(wú)創(chuàng)傷以及準(zhǔn)確度高等優(yōu)勢(shì)，成為公認(rèn)的診斷半月板損傷的最佳醫(yī)學(xué)圖像技術(shù)[12-14]。但是在整張人體膝關(guān)節(jié)MRI圖像中，半月板所占面積小于1%，因此臨床醫(yī)師判斷的準(zhǔn)確性受限，給他們的專(zhuān)業(yè)能力帶來(lái)了挑戰(zhàn)。使用計(jì)算機(jī)技術(shù)來(lái)輔助臨床醫(yī)生診斷醫(yī)學(xué)圖像的想法已經(jīng)被科學(xué)界所采用[15]。卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征提取能力，對(duì)輸入的膝關(guān)節(jié)MRI圖像反復(fù)訓(xùn)練學(xué)習(xí)，可以解決煩瑣的人工分割半月板MRI圖像和半月板損傷檢測(cè)等問(wèn)題，進(jìn)而提高半月板MRI圖像分割、損傷檢測(cè)和分類(lèi)的效率和準(zhǔn)確率。因此，深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷的早期診斷中極具潛力。卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷智能診斷中已經(jīng)取得了初步的研究和應(yīng)用，但是目前鮮有文章同時(shí)對(duì)半月板MRI 圖像分割、圖像檢測(cè)和圖像分類(lèi)進(jìn)行全面總結(jié)。本文將對(duì)卷積神經(jīng)網(wǎng)絡(luò)基于MRI 在半月板圖像分割、損傷檢測(cè)和損傷分類(lèi)三個(gè)方面的最新研究進(jìn)展進(jìn)行綜述，旨在總結(jié)半月板損傷輔助診斷中提出的卷積神經(jīng)網(wǎng)絡(luò)模型以及應(yīng)用效果，并提出該研究領(lǐng)域目前存在的局限性和未來(lái)的發(fā)展方向，為相關(guān)領(lǐng)域的臨床應(yīng)用研究提供參考。

1 深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)

人工智能（artificial intelligence, AI）為醫(yī)學(xué)圖像領(lǐng)域帶來(lái)了巨大變革，近年來(lái)，AI的快速發(fā)展提高了醫(yī)學(xué)圖像的實(shí)用性[16]，兩者結(jié)合被認(rèn)為是最具發(fā)展前景的方向之一[17]，在臨床診斷和治療中具有較高的應(yīng)用價(jià)值。AI 的發(fā)展突飛猛進(jìn)，其各類(lèi)以深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)為代表的算法和工具應(yīng)運(yùn)而生。

1.1 深度學(xué)習(xí)

以神經(jīng)網(wǎng)絡(luò)為代表的機(jī)器學(xué)習(xí)算法，旨在使計(jì)算機(jī)具有學(xué)習(xí)新知識(shí)的能力，進(jìn)而改善并提高模型性能。在近幾十年的發(fā)展過(guò)程中，機(jī)器學(xué)習(xí)的一個(gè)重要子領(lǐng)域誕生——深度學(xué)習(xí)，深度學(xué)習(xí)能夠自動(dòng)學(xué)習(xí)特征層，可以高通量、自動(dòng)化提取高維度的特征信息，是目前最接近AI的算法[18]，其創(chuàng)新和應(yīng)用推動(dòng)著AI快速發(fā)展，醫(yī)學(xué)智能化研究由此進(jìn)入新的階段。深度學(xué)習(xí)技術(shù)在2017 年開(kāi)始廣泛應(yīng)用于醫(yī)學(xué)領(lǐng)域[19]，該技術(shù)優(yōu)于傳統(tǒng)的圖像分析方法，被稱(chēng)為計(jì)算機(jī)視覺(jué)領(lǐng)域最為先進(jìn)的圖像分析技術(shù)，深度學(xué)習(xí)基于分層人工神經(jīng)網(wǎng)絡(luò)，適合用于解釋醫(yī)學(xué)圖像之間的復(fù)雜關(guān)系，在輔助醫(yī)學(xué)圖像診斷分析中的大量應(yīng)用取得了重大進(jìn)展，其中研究熱點(diǎn)有肺結(jié)節(jié)分類(lèi)檢測(cè)[20]、糖尿病視網(wǎng)膜病變檢測(cè)[21]、阿爾茨海默病分類(lèi)診斷[22]等。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分析領(lǐng)域中最流行的深度神經(jīng)網(wǎng)絡(luò)類(lèi)型之一[23]，繼深度學(xué)習(xí)提出后，以卷積神經(jīng)網(wǎng)絡(luò)為內(nèi)核的深度學(xué)習(xí)技術(shù)得到了快速發(fā)展，算法與硬件技術(shù)的發(fā)展也推動(dòng)著深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)飛速發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征提取能力，是一種具有卷積計(jì)算和深度結(jié)構(gòu)的多層感知器，在醫(yī)學(xué)分析上比其他傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)更加優(yōu)越。卷積神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用在醫(yī)學(xué)圖像輔助診斷領(lǐng)域，它能夠有效地提取輸入的醫(yī)學(xué)圖像信息，在醫(yī)學(xué)圖像的圖像分割[24]、目標(biāo)檢測(cè)[25]和病理分類(lèi)[26]方面取得了一定成果。

卷積神經(jīng)網(wǎng)絡(luò)是一種在有監(jiān)督訓(xùn)練下進(jìn)行的深度學(xué)習(xí)算法，在醫(yī)學(xué)病理圖像分析與處理上具有優(yōu)越的能力，可以自動(dòng)檢測(cè)并提取重要的圖像特征信息[27]。在卷積神經(jīng)網(wǎng)絡(luò)中，輸入層作為第一層用于將圖像傳送至網(wǎng)絡(luò)模型中；卷積層作為核心特征提取器，主要利用滑動(dòng)固定尺寸的卷積核在膝關(guān)節(jié)MRI圖像上進(jìn)行運(yùn)算，提取有效特征，并生成特征圖；池化層通常位于兩個(gè)卷積層之間，對(duì)特征圖進(jìn)行下采樣，保留特征圖中的有效信息；激活層旨在加速模型的訓(xùn)練過(guò)程和提高模型的穩(wěn)定性，從而提高半月板的信息表達(dá)能力；全連接層位于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的末端，是特征空間到標(biāo)記空間的映射，主要用來(lái)得出網(wǎng)絡(luò)模型的檢測(cè)、分類(lèi)和分割結(jié)果。

2 卷積神經(jīng)網(wǎng)絡(luò)在半月板MRI圖像分割中的應(yīng)用

由于膝關(guān)節(jié)解剖結(jié)構(gòu)復(fù)雜，預(yù)先對(duì)MRI 圖像進(jìn)行分割能夠減少圖像中無(wú)用的信息，精確分割半月板對(duì)于了解半月板形態(tài)結(jié)構(gòu)、確定半月板病灶位置、診斷半月板損傷以及損傷等級(jí)的判斷具有重大應(yīng)用價(jià)值，作為圖像處理的前期工作的基礎(chǔ)和后續(xù)工作的基石，其性能影響著整個(gè)研究的完整性和準(zhǔn)確性。雖然放射科醫(yī)師的人工分割可以取得理想的分割效果，但是他們?cè)贛RI 圖像上分割半月板大約需要20 分鐘[28]。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，基于深度學(xué)習(xí)的圖像分割技術(shù)也應(yīng)運(yùn)而生，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)因具有良好的提取圖像深層特征的能力，成為現(xiàn)階段醫(yī)學(xué)圖像分割領(lǐng)域中的主流方法。

在圖像分割中主要采用Dice 相似系數(shù)（Dice similariy coefficient, DSC）作為分割結(jié)果準(zhǔn)確性的評(píng)價(jià)指標(biāo)，DSC 越大代表分割結(jié)果越準(zhǔn)確。2018 年TACK 等[29]率先使用2D U-Net 和3D U-Net 結(jié)合統(tǒng)計(jì)形狀模型（statistical shape models, SSMs）提出一種自動(dòng)分割膝關(guān)節(jié)半月板MRI 矢狀面圖像的方法，其中SSMs 用于去除小區(qū)域，重建半月板。該方法分割每對(duì)內(nèi)外側(cè)半月板約花費(fèi)1.5 分鐘，分割DSC 分別為83.8%和88.9%，獲得了顯著的分割效果，但是該方法只分割了一個(gè)MRI序列。為了評(píng)估半月板松弛和形態(tài)，同年NORMAN 等[30]基于2D U-Net對(duì)膝關(guān)節(jié)半月板進(jìn)行自動(dòng)分割，并與放射科醫(yī)生手動(dòng)分割進(jìn)行比較，該模型平均每5 秒產(chǎn)生自動(dòng)分割，外側(cè)半月板和內(nèi)側(cè)半月板的DSC 分別為80.9%和75.3%，其縱向分割結(jié)果與傳統(tǒng)的人工手動(dòng)分割效果基本一致，雖然此網(wǎng)絡(luò)模型具有良好的性能優(yōu)勢(shì)，但在精度方面還有提高的空間。

2019 年P(guān)EDOIA 等[31]首先通過(guò)隨機(jī)旋轉(zhuǎn)和平移圖像增強(qiáng)的方法將數(shù)據(jù)集中的訓(xùn)練集擴(kuò)大十倍，解決組間不平衡導(dǎo)致的過(guò)擬合問(wèn)題，隨后采用2D U-Net在1 478 名受試者的矢狀面圖像上自動(dòng)分割膝關(guān)節(jié)半月板，完整的分割過(guò)程總共需要9 秒，但是研究中使用的數(shù)據(jù)集有限，并不能代表準(zhǔn)確的臨床常規(guī)情況。2020年?LMEZ等[32]首先使用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（region convolutional neural networks, R-CNN）定位半月板區(qū)域，然后在卷積神經(jīng)網(wǎng)絡(luò)上利用膝關(guān)節(jié)兩種不同MRI圖像序列的對(duì)比度特征區(qū)分半月板與周?chē)M織，實(shí)現(xiàn)形態(tài)學(xué)圖像分割和分析，分割整個(gè)半月板的DSC為88.8%，但是將半月板進(jìn)行整體分割對(duì)于進(jìn)一步診斷其損傷的意義較小。

圖像分割主要是通過(guò)識(shí)別圖像的感興趣區(qū)域（region of interest, ROI）來(lái)確定病灶位置、形狀和輪廓等形態(tài)學(xué)信息。2020 年BYRA 等[33]將遷移學(xué)習(xí)應(yīng)用于2D U-Net，分別對(duì)兩個(gè)放射科醫(yī)生提供的膝關(guān)節(jié)MRI圖像進(jìn)行半月板分割的DSC 分別為86.0%和83.3%，而放射科醫(yī)生手動(dòng)分割半月板的DSC 為82.0%，表明所提出的深度學(xué)習(xí)模型與放射科醫(yī)生的人工手動(dòng)分割差異無(wú)統(tǒng)計(jì)學(xué)意義，可以用于半月板自動(dòng)分割，但是該方法并不能完全區(qū)分半月板與膝關(guān)節(jié)其他結(jié)構(gòu)。

為解決這一問(wèn)題，2020 年GAJ 等[34]提出了一種基于條件生成對(duì)抗性網(wǎng)絡(luò)（conditional generative adversarial nets, CGAN）的新方法，該方法只分割膝關(guān)節(jié)MRI 圖像局部ROI，并且對(duì)分割結(jié)果反復(fù)改進(jìn)，內(nèi)外側(cè)半月板的DSC 分別為87.0%和89.0%，結(jié)果優(yōu)于先前發(fā)表的基于卷積神經(jīng)網(wǎng)絡(luò)模型分割半月板的方法，證明基于CGAN 模型自動(dòng)分割半月板具有更高精度。2021 年JENO 等[35]提出了一種集成多類(lèi)半月板分割網(wǎng)絡(luò)的自動(dòng)分割方法，將2D U-Net 和目標(biāo)感知映射的CGAN 相結(jié)合，2D U-Net 用于在膝關(guān)節(jié)MRI 圖像中定位內(nèi)外側(cè)半月板，CGAN 用于在膝關(guān)節(jié)MRI 圖像中感知目標(biāo)，并只分割出半月板局部ROI，以此解決類(lèi)的不平衡以及過(guò)分割等問(wèn)題，試驗(yàn)結(jié)果再次證實(shí)利用目標(biāo)感知映射的對(duì)抗性學(xué)習(xí)可以提高卷積神經(jīng)網(wǎng)絡(luò)的分割性能。

卷積神經(jīng)網(wǎng)絡(luò)可以成功地在醫(yī)學(xué)圖像上進(jìn)行訓(xùn)練，并應(yīng)用于膝關(guān)節(jié)半月板MRI圖像的分割任務(wù)中，它的引入有助于縮短MRI圖像分割時(shí)間、提高M(jìn)RI圖像分割的效率、減少放射科醫(yī)師的主觀偏差?，F(xiàn)階段基于卷積神經(jīng)網(wǎng)絡(luò)的半月板MRI圖像分割研究成果取得了令人滿(mǎn)意的結(jié)果，這一研究領(lǐng)域在臨床和科學(xué)研究都有很大的前景，但是相關(guān)研究有限，仍處在發(fā)展階段，且算法的性能依然存在提升的空間[36]，因此未來(lái)需要發(fā)掘更多的深度學(xué)習(xí)模型去分割膝關(guān)節(jié)半月板，提高半月板MRI圖像分割的精度。卷積神經(jīng)網(wǎng)絡(luò)分割半月板MRI圖像的方法匯總?cè)绫?。

表1 卷積神經(jīng)網(wǎng)絡(luò)分割半月板MRI圖像方法匯總Tab.1 Summary of convolutional neural network segmentation methods for MRI images of meniscus

3 卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷檢測(cè)中的應(yīng)用

病灶檢測(cè)是指在醫(yī)學(xué)圖像中定位和識(shí)別檢測(cè)病變區(qū)域，對(duì)于為患者選擇合適的治療方案至關(guān)重要。深度學(xué)習(xí)的發(fā)展使得通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像檢測(cè)成為主流，基于卷積神經(jīng)網(wǎng)絡(luò)的不同網(wǎng)絡(luò)結(jié)構(gòu)在醫(yī)學(xué)圖像檢測(cè)方面具有較好的效果，且部分網(wǎng)絡(luò)結(jié)構(gòu)的診斷性能可與臨床醫(yī)師相媲美，有利于幫助醫(yī)師提高病灶檢測(cè)的效率與準(zhǔn)確率。

3.1 卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)半月板損傷

卷積神經(jīng)網(wǎng)絡(luò)可以通過(guò)其強(qiáng)大的特征提取、反復(fù)訓(xùn)練學(xué)習(xí)的能力，對(duì)直接輸入的膝關(guān)節(jié)MRI 圖像進(jìn)行檢測(cè)，避免煩瑣的人工分割半月板流程。2018 年BIEN 等[37]基于卷積神經(jīng)網(wǎng)絡(luò)提出了一種用于檢測(cè)膝關(guān)節(jié)MRI圖像中半月板損傷的MRNet模型，并發(fā)表了MRNet數(shù)據(jù)集。MRNet模型可以快速準(zhǔn)確地檢測(cè)膝關(guān)節(jié)MRI圖像，從而實(shí)現(xiàn)全自動(dòng)識(shí)別正常和損傷的半月板。該研究受臨床專(zhuān)家小組規(guī)模的限制，AUC、準(zhǔn)確度、敏感度和特異度分別為0.847、72.5%、71.0%和74.1%，結(jié)果顯示其性能低于參與研究的普通放射科醫(yī)生（平均準(zhǔn)確度、敏感度和特異度分別為84.9%、82.0%和88.2%），試驗(yàn)結(jié)果有待改善，可以在此基礎(chǔ)上改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)來(lái)提高卷積神經(jīng)網(wǎng)絡(luò)模型的性能和通用性。

為了提高模型的性能，2020 年TSAI 等[38]將卷積神經(jīng)網(wǎng)絡(luò)中的高效分層網(wǎng)絡(luò)架構(gòu)用于檢測(cè)膝關(guān)節(jié)MRI 圖像中半月板的損傷，研究中沒(méi)有使用遷移學(xué)習(xí)，而是從零開(kāi)始訓(xùn)練高效分層網(wǎng)絡(luò)，該模型采用一種新的切片特征提取網(wǎng)絡(luò)，結(jié)合多層切片歸一化和模糊降采樣，在兩個(gè)不同的數(shù)據(jù)集中檢測(cè)半月板損傷的AUC 分別為90.4%和91.3%，表明該模型具有一定的診斷價(jià)值。同年FRITZ 等[39]將一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的模型用于全自動(dòng)檢測(cè)半月板損傷，內(nèi)側(cè)半月板的敏感度、特異度和準(zhǔn)確性分別為84.0%、88.0%和86.0%，外側(cè)半月板的敏感度、特異度和準(zhǔn)確性分別為58.0%、92.0%和84.0%，在檢測(cè)內(nèi)外側(cè)和整體半月板損傷時(shí)的AUC分別為88.2%、78.1%和96.1%，但是與肌肉骨骼放射科醫(yī)師相比，其敏感度較低。

2021 年RIZK 等[40]開(kāi)發(fā)了一種基于3D 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的深度學(xué)習(xí)模型，分別用于檢測(cè)內(nèi)外側(cè)半月板的損傷，并使用放射科醫(yī)生標(biāo)記的子集進(jìn)行內(nèi)部驗(yàn)證，該方法得到內(nèi)外側(cè)半月板的AUC 分別為0.93 和0.84。同年QIU 等[41]將淺層網(wǎng)絡(luò)CNN1 和深層網(wǎng)絡(luò)CNN2 進(jìn)行聯(lián)合，提出了新的深度學(xué)習(xí)模型CNNf 用于膝關(guān)節(jié)半月板檢測(cè)。淺層網(wǎng)絡(luò)CNN1 主要獲取半月板簡(jiǎn)單的低層特征，深層網(wǎng)絡(luò)CNN2主要獲取半月板復(fù)雜的高層特征，最終由CNNf結(jié)合高低層特征來(lái)檢測(cè)膝關(guān)節(jié)MRI 圖像中半月板的損傷，該模型的AUC、準(zhǔn)確度、敏感度和特異度分別為0.968、93.9%、91.4%和94.7%。因此，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)可以有效提高半月板損傷診斷的準(zhǔn)確性，降低誤診率，但是研究中所使用的數(shù)據(jù)集有限，需要使用更多的數(shù)據(jù)來(lái)獲得更好的泛化性能，減少模型的過(guò)擬合現(xiàn)象。

3.2 R-CNN檢測(cè)半月板損傷

R-CNN 具有強(qiáng)大的特征提取能力，是第一個(gè)成功將深度學(xué)習(xí)應(yīng)用到目標(biāo)檢測(cè)上的算法[42]。R-CNN采用選擇性搜索算法提取大量目標(biāo)候選區(qū)域來(lái)完成對(duì)輸入圖像的目標(biāo)檢測(cè)任務(wù)，它的提出推動(dòng)了圖像目標(biāo)檢測(cè)的快速發(fā)展[43]。2020 年?LMEZ 等[32]基于R-CNN設(shè)計(jì)了一個(gè)用于自動(dòng)診斷MRI圖像中半月板損傷的模型，將卷積神經(jīng)網(wǎng)絡(luò)的特征與ROI 特征進(jìn)行結(jié)合，并使用遷移學(xué)習(xí)來(lái)訓(xùn)練R-CNN模型。

R-CNN顯著提高了目標(biāo)檢測(cè)的準(zhǔn)確率，但是訓(xùn)練過(guò)程過(guò)于煩瑣，檢測(cè)速度較慢，而且占用的存儲(chǔ)空間較大。為了改進(jìn)R-CNN的網(wǎng)絡(luò)效率，快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（fast region convolutional neural networks, Fast R-CNN）引入了感興趣區(qū)域池化（region of interest pooling, ROI Pooling）層，將Softmax分類(lèi)任務(wù)和邊框回歸任務(wù)進(jìn)行同時(shí)訓(xùn)練，在網(wǎng)絡(luò)訓(xùn)練時(shí)共享相同的卷積層，進(jìn)一步提升了目標(biāo)檢測(cè)的性能。更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（faster region convolutional neural networks, Faster R-CNN）在Fast R-CNN 的基礎(chǔ)上設(shè)計(jì)了一個(gè)區(qū)域候選網(wǎng)絡(luò)，區(qū)域候選網(wǎng)絡(luò)采用共享卷積層特性，實(shí)現(xiàn)了端到端的訓(xùn)練，降低了計(jì)算復(fù)雜度，從而可以更快速的確定目標(biāo)的精確位置，極大地提高了網(wǎng)絡(luò)的實(shí)時(shí)性。為了提升目標(biāo)檢測(cè)的速度和精 度，2019 年ROBLOT 等[44]基 于Fast R-CNN 和Faster R-CNN，提出了一種用于自動(dòng)檢測(cè)半月板損傷的分類(lèi)算法，他們?cè)?00張膝關(guān)節(jié)MRI圖像數(shù)據(jù)集上實(shí)現(xiàn)了半月板損傷的檢測(cè)，且AUC為94.0%。

為擴(kuò)展R-CNN技術(shù)，更加精準(zhǔn)地定位每個(gè)目標(biāo)，有學(xué)者提出了基于掩模區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（mask region-based convolutional neural network, Mask R-CNN）。Mask R-CNN是對(duì)Faster R-CNN的直觀擴(kuò)展，它使用感興趣區(qū)域?qū)R（region of interest align,ROI Align）代替原始的ROI Pooling 層，ROI Align 作為一個(gè)簡(jiǎn)單、無(wú)量化的層，保留了精確的空間位置，可以精準(zhǔn)對(duì)齊圖像像素點(diǎn)，將掩模精度提高了10%～50%[45]，從而提高了目標(biāo)檢測(cè)的準(zhǔn)確性。Mask R-CNN 不僅可以有效地檢測(cè)識(shí)別圖像中的目標(biāo)對(duì)象，同時(shí)還可以對(duì)每個(gè)目標(biāo)生成一個(gè)高質(zhì)量的二進(jìn)制掩碼[46]。

2019 年COUTEAUX 等[47]基 于Mask R-CNN 模型自動(dòng)定位MRI圖像上半月板的位置并檢測(cè)半月板的損傷，其中采用一種基于掩模區(qū)域的2D 卷積神經(jīng)網(wǎng)絡(luò)來(lái)定位內(nèi)側(cè)半月板和外側(cè)半月板，該研究將經(jīng)驗(yàn)豐富的放射科醫(yī)生的診斷結(jié)果作為參考標(biāo)準(zhǔn)，對(duì)半月板損傷檢測(cè)的AUC 達(dá)90.6%，位列AI 膝關(guān)節(jié)半月板撕裂挑戰(zhàn)賽第一，該模型在整體聚合時(shí)更具魯棒性，進(jìn)一步提高了對(duì)半月板損傷的檢測(cè)。2022 年LI等[48]基于3D Mask R-CNN在膝關(guān)節(jié)MRI圖像全自動(dòng)檢測(cè)半月板損傷，將檢測(cè)性能與兩名經(jīng)驗(yàn)豐富的放射科醫(yī)師的評(píng)估進(jìn)行比較，并通過(guò)關(guān)節(jié)鏡手術(shù)證實(shí)，在檢測(cè)半月板損傷方面的性能優(yōu)于放射學(xué)評(píng)估，AUC 值達(dá)90.6%。因此，3D Mask R-CNN 可以用于全自動(dòng)半月板損傷檢測(cè)，這能夠減少患者不必要的關(guān)節(jié)鏡檢查。

卷積神經(jīng)網(wǎng)絡(luò)在半月板病灶檢測(cè)對(duì)于輔助醫(yī)師臨床診斷半月板損傷具有一定的價(jià)值，在提高半月板損傷檢測(cè)正確率的同時(shí)，極大程度上減輕了臨床醫(yī)師的工作量。以上卷積神經(jīng)網(wǎng)絡(luò)模型的診斷性能大多可與臨床醫(yī)師相媲美，可以作為臨床診療的輔助手段，有助于醫(yī)師快速且準(zhǔn)確地檢測(cè)出半月板的損傷，為下一步半月板的損傷程度分級(jí)分期和個(gè)性化治療方案的選擇奠定了良好的基礎(chǔ)。卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)半月板損傷的方法匯總?cè)绫?。

表2 卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)半月板損傷的方法匯總Tab.2 Summary of methods for detecting meniscus damage using convolutional neural networks

4 卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷分類(lèi)中的應(yīng)用

大多數(shù)深度學(xué)習(xí)模型對(duì)膝關(guān)節(jié)半月板MRI圖像的分割和半月板損傷檢測(cè)診斷性能均接近于人類(lèi)。近年來(lái)，深度學(xué)習(xí)在半月板損傷方向和程度方面的研究也相繼提出，正確區(qū)分半月板損傷方向和程度可以為放射科醫(yī)師臨床診斷半月板損傷提供可靠的參考依據(jù)，對(duì)醫(yī)師為患者合理選擇個(gè)性化治療方案具有十分重要的臨床意義?，F(xiàn)階段卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷分類(lèi)中的應(yīng)用主要有損傷方向二分類(lèi)和損傷程度多分類(lèi)。

4.1 半月板損傷方向診斷二分類(lèi)

根據(jù)半月板損傷形態(tài)可將半月板損傷方向分為水平損傷和垂直損傷，準(zhǔn)確區(qū)分半月板損傷方向是臨床干預(yù)和術(shù)前診斷的重要前提，有助于節(jié)省醫(yī)師的臨床診斷時(shí)間以及制訂科學(xué)的靶向治療方案。

2019 年，ROBLOT 等[44]基 于Fast R-CNN 和Faster R-CNN的任務(wù)分類(lèi)算法，在一組膝關(guān)節(jié)矢狀面2D MRI圖像中判斷半月板損傷方向（垂直或水平），檢測(cè)損傷方向的AUC 為83.0%。與ROBLOT 等[44]的研究類(lèi)似，同年COUTEAUX 等[47]將Mask R-CNN 級(jí)聯(lián)為淺層卷積神經(jīng)網(wǎng)絡(luò)，利用集成聚合對(duì)膝關(guān)節(jié)矢狀面2D MRI圖像進(jìn)行魯棒性增強(qiáng)，來(lái)確定半月板損傷的方向?yàn)榇怪边€是水平，該任務(wù)的AUC為0.906。

以上兩項(xiàng)研究雖然都對(duì)半月板損傷方向做了分類(lèi)（垂直或水平），但是都只使用了一組膝關(guān)節(jié)矢狀面的2D MRI圖像，而膝關(guān)節(jié)MRI檢查通常包含矢狀面、冠狀面和軸狀面三個(gè)方向的多個(gè)序列的上百?gòu)垐D像，所以該兩項(xiàng)研究存在一定的局限性，擴(kuò)展數(shù)據(jù)庫(kù)或使用3D 數(shù)據(jù)可能有助于進(jìn)一步提高模型的性能。

4.2 半月板損傷程度診斷多分類(lèi)

半月板損傷的治療方法因損傷程度而異，半月板損傷程度一般分為三級(jí)，對(duì)于半月板Ⅰ級(jí)和Ⅱ級(jí)損傷往往采取保守治療，而對(duì)于半月板Ⅲ級(jí)損傷則需要進(jìn)一步確診是否進(jìn)行手術(shù)治療，正確區(qū)分半月板不同程度的損傷有助于為患者選擇恰當(dāng)?shù)闹委煼桨浮?/p>

2019 年，PEDOIA 等[31]使用3D 卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)半月板損傷和評(píng)估量化半月板損傷的嚴(yán)重程度等級(jí)，并納入年齡和性別等人口統(tǒng)計(jì)學(xué)信息，結(jié)合WORMS評(píng)分將半月板損傷分為正常半月板、輕中度損傷和嚴(yán)重?fù)p傷三種等級(jí)，相對(duì)應(yīng)的準(zhǔn)確率分別達(dá)到了80.7%、78.0%和75.0%，最終獲得了半月板病變嚴(yán)重程度分期的良好性能。2021 年，ASTUTO 等[49]驗(yàn)證AI技術(shù)可以幫助識(shí)別和評(píng)估膝關(guān)節(jié)半月板病變嚴(yán)重程度的假設(shè)，基于3D 卷積神經(jīng)網(wǎng)絡(luò)模型檢測(cè)膝關(guān)節(jié)MRI 圖像中的ROI，并對(duì)半月板損傷嚴(yán)重程度進(jìn)行分級(jí)，3D 卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)膝關(guān)節(jié)半月板損傷嚴(yán)重程度評(píng)分具有較高的敏感度、特異度和準(zhǔn)確度，敏感度為85.0%，特異度為89.0%，AUC為93.0%，對(duì)正常半月板、半月板部分損傷和半月板完全損傷三個(gè)等級(jí)的敏感度分別為85.0%、74.0%和85.0%。

2022 年張卿源[50]基于三層級(jí)連接殘差網(wǎng)絡(luò)提出了一種自動(dòng)檢測(cè)半月板損傷程度的分類(lèi)方法，他依據(jù)患者病情的嚴(yán)重程度以及半月板損傷信號(hào)的形態(tài)分為正常、輕度損傷、中度損傷以及重度損傷四類(lèi)，最終試驗(yàn)得到的分類(lèi)正確的概率分別為91.0%，79.0%，85.0%和99.0%，表明提出的三層級(jí)連接殘差網(wǎng)絡(luò)方法對(duì)半月板損傷程度的分類(lèi)有精準(zhǔn)的預(yù)測(cè)效果。同年，LI等[51]基于Mask R-CNN 構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，采用50層的殘差網(wǎng)絡(luò)開(kāi)發(fā)骨干網(wǎng)絡(luò)，能夠有效地區(qū)別正常的半月板和損傷的半月板，并能區(qū)分半月板的損傷是撕裂還是退變，研究結(jié)果由經(jīng)驗(yàn)豐富的醫(yī)生結(jié)合關(guān)節(jié)鏡手術(shù)進(jìn)行評(píng)估，對(duì)正常半月板、撕裂半月板和退變半月板的診斷準(zhǔn)確率分別為87.5%、87.0%和84.8%，可以作為臨床中輔助診斷半月板損傷的有效工具。

準(zhǔn)確區(qū)分半月板損傷方向和損傷程度對(duì)于患者的治療和預(yù)后具有極其重要的臨床意義，以上研究證明基于深度學(xué)習(xí)模型的分類(lèi)方式符合臨床需求，可以實(shí)現(xiàn)半月板損傷方向和損傷程度的自動(dòng)分級(jí)，驅(qū)動(dòng)AI 方法幫助放射科醫(yī)師讀取和分析醫(yī)學(xué)圖像，節(jié)省放射科醫(yī)師臨床診斷半月板損傷的時(shí)間。但是目前相關(guān)方面的研究較少，研究成果尚有提升空間，多數(shù)研究都缺乏一個(gè)實(shí)際的金標(biāo)準(zhǔn)作為參考，使用關(guān)節(jié)鏡作為模型結(jié)果的參考標(biāo)準(zhǔn)可能是未來(lái)的研究方向。

5 總結(jié)與展望

本文總結(jié)了基于MRI的卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷輔助診斷中的研究進(jìn)展，探討了現(xiàn)有研究存在的局限性，并指出了未來(lái)的研究方向。眾多卷積神經(jīng)網(wǎng)絡(luò)模型在MRI 圖像分割、檢測(cè)和分類(lèi)中的應(yīng)用逐漸深入，在半月板損傷輔助診斷方面也取得了較大的進(jìn)展，這對(duì)于半月板損傷診斷具有較高的臨床應(yīng)用價(jià)值。但是目前相關(guān)研究仍存在一定局限性：（1）膝關(guān)節(jié)MRI 圖像數(shù)據(jù)集缺乏且存在局限性。由于保護(hù)患者隱私和數(shù)據(jù)安全等原因，公開(kāi)的膝關(guān)節(jié)MRI醫(yī)學(xué)圖像數(shù)據(jù)集較為缺乏?；贛RI診斷半月板損傷時(shí)會(huì)一次性獲取人體膝關(guān)節(jié)矢狀位、冠狀位和軸狀位三個(gè)序列的圖像，但是大多數(shù)研究只分析MRI 圖像的其中一個(gè)序列，模型的適用范圍較小，因此在保證膝關(guān)節(jié)MRI 公開(kāi)數(shù)據(jù)集質(zhì)量的同時(shí)，提高數(shù)據(jù)集的規(guī)模，并對(duì)MRI 的多個(gè)序列同時(shí)進(jìn)行研究可能是未來(lái)努力的方向。（2）研究缺乏可信的參考標(biāo)準(zhǔn)。目前大多數(shù)研究都只以富有經(jīng)驗(yàn)的放射科醫(yī)生的診斷結(jié)果作為參考標(biāo)準(zhǔn)，缺少一個(gè)實(shí)際的金標(biāo)準(zhǔn)進(jìn)行對(duì)比參考，限制了相關(guān)研究的臨床適用性。未來(lái)可以嘗試使用膝關(guān)節(jié)鏡手術(shù)結(jié)果作為模型結(jié)果的參考標(biāo)準(zhǔn)，從而提高研究的可信度和權(quán)威性，對(duì)膝關(guān)節(jié)半月板損傷的研究也會(huì)起到巨大的推動(dòng)作用。（3）診斷程度受限。嚴(yán)重的半月板損傷可能會(huì)導(dǎo)致患者早期膝關(guān)節(jié)關(guān)節(jié)炎的形成和發(fā)展，目前卷積神經(jīng)網(wǎng)絡(luò)模型在半月板損傷診斷的大部分研究都只針對(duì)是否有損傷，較少的研究可以進(jìn)一步對(duì)半月板損傷進(jìn)行方向分類(lèi)和程度分級(jí)，并且還沒(méi)有基于半月板損傷預(yù)測(cè)膝關(guān)節(jié)骨關(guān)節(jié)炎發(fā)生的研究，通過(guò)半月板損傷程度的情況準(zhǔn)確預(yù)測(cè)膝關(guān)節(jié)骨關(guān)節(jié)炎的形成和發(fā)展將是未來(lái)的一個(gè)研究方向。

總之，盡管卷積神經(jīng)網(wǎng)絡(luò)基于MRI在半月板損傷輔助診斷領(lǐng)域的應(yīng)用和研究較少且正處于發(fā)展階段，但是該領(lǐng)域在未來(lái)的研究和發(fā)展中有廣闊的應(yīng)用前景，能夠輔助醫(yī)師臨床診斷半月板損傷，并提高診療的效率與準(zhǔn)確率，以期更好地實(shí)現(xiàn)精準(zhǔn)診療，卷積神經(jīng)網(wǎng)絡(luò)有望逐步發(fā)展成為臨床醫(yī)師的得力助手。

作者利益沖突聲明：全體作者均聲明無(wú)利益沖突。

作者貢獻(xiàn)聲明：袁典構(gòu)思和設(shè)計(jì)本綜述的框架，起草和撰寫(xiě)稿件，獲取、分析和解釋本綜述的文獻(xiàn)；曹慧、魏德健、張俊忠構(gòu)思和設(shè)計(jì)本綜述的框架，對(duì)稿件重要內(nèi)容進(jìn)行了修改，獲得國(guó)家自然科學(xué)基金項(xiàng)目基金資助；杜昱崢構(gòu)思和設(shè)計(jì)本綜述的框架，對(duì)稿件重要內(nèi)容進(jìn)行了修改；全體作者都同意發(fā)表最后的修改稿，同意對(duì)本研究的所有方面負(fù)責(zé)，確保本研究的準(zhǔn)確性和誠(chéng)信。