袁典,杜昱崢,魏德健,張俊忠,曹慧*
膝關(guān)節(jié)是人體結(jié)構(gòu)和功能最復(fù)雜的關(guān)節(jié)之一,半月板是位于膝關(guān)節(jié)脛骨面內(nèi)外兩側(cè)的半月形緩沖結(jié)構(gòu),對于潤滑膝關(guān)節(jié)軟骨和維持膝關(guān)節(jié)穩(wěn)固性起著關(guān)鍵作用[1]。但同時膝關(guān)節(jié)也是易受傷的關(guān)節(jié)之一,不同程度的半月板損傷幾率都高于膝關(guān)節(jié)其他部位,人體半月板一旦發(fā)生損傷,輕則使患者局部關(guān)節(jié)腫脹疼痛,影響正常的日常生活,重則會導(dǎo)致患者早期關(guān)節(jié)炎的形成和發(fā)展[2]。根據(jù)目前醫(yī)學(xué)技術(shù)得知,嚴重的半月板損傷給患者所帶來的傷害是不可逆轉(zhuǎn)的,半月板損傷的早期診斷與治療對于預(yù)防關(guān)節(jié)炎具有非常重要的意義[3-4]。
醫(yī)學(xué)圖像技術(shù)是骨關(guān)節(jié)疾病預(yù)防和診斷方式之一,其研究和發(fā)展為醫(yī)生進行臨床診斷提供了更多的參考方案,近年來在很多領(lǐng)域得到了廣泛應(yīng)用并取得了一定的成果,例如骨質(zhì)疏松[5-7]、骨腫瘤[8-9]、軟骨及關(guān)節(jié)病變[10-11]等骨關(guān)節(jié)疾病的診斷治療。超過70%的骨關(guān)節(jié)疾病的診斷都依賴于醫(yī)學(xué)圖像技術(shù),MRI 因具有非侵入、無輻射、無創(chuàng)傷以及準確度高等優(yōu)勢,成為公認的診斷半月板損傷的最佳醫(yī)學(xué)圖像技術(shù)[12-14]。但是在整張人體膝關(guān)節(jié)MRI圖像中,半月板所占面積小于1%,因此臨床醫(yī)師判斷的準確性受限,給他們的專業(yè)能力帶來了挑戰(zhàn)。使用計算機技術(shù)來輔助臨床醫(yī)生診斷醫(yī)學(xué)圖像的想法已經(jīng)被科學(xué)界所采用[15]。卷積神經(jīng)網(wǎng)絡(luò)具有強大的特征提取能力,對輸入的膝關(guān)節(jié)MRI圖像反復(fù)訓(xùn)練學(xué)習(xí),可以解決煩瑣的人工分割半月板MRI圖像和半月板損傷檢測等問題,進而提高半月板MRI圖像分割、損傷檢測和分類的效率和準確率。因此,深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷的早期診斷中極具潛力。卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷智能診斷中已經(jīng)取得了初步的研究和應(yīng)用,但是目前鮮有文章同時對半月板MRI 圖像分割、圖像檢測和圖像分類進行全面總結(jié)。本文將對卷積神經(jīng)網(wǎng)絡(luò)基于MRI 在半月板圖像分割、損傷檢測和損傷分類三個方面的最新研究進展進行綜述,旨在總結(jié)半月板損傷輔助診斷中提出的卷積神經(jīng)網(wǎng)絡(luò)模型以及應(yīng)用效果,并提出該研究領(lǐng)域目前存在的局限性和未來的發(fā)展方向,為相關(guān)領(lǐng)域的臨床應(yīng)用研究提供參考。
人工智能(artificial intelligence, AI)為醫(yī)學(xué)圖像領(lǐng)域帶來了巨大變革,近年來,AI的快速發(fā)展提高了醫(yī)學(xué)圖像的實用性[16],兩者結(jié)合被認為是最具發(fā)展前景的方向之一[17],在臨床診斷和治療中具有較高的應(yīng)用價值。AI 的發(fā)展突飛猛進,其各類以深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)為代表的算法和工具應(yīng)運而生。
以神經(jīng)網(wǎng)絡(luò)為代表的機器學(xué)習(xí)算法,旨在使計算機具有學(xué)習(xí)新知識的能力,進而改善并提高模型性能。在近幾十年的發(fā)展過程中,機器學(xué)習(xí)的一個重要子領(lǐng)域誕生——深度學(xué)習(xí),深度學(xué)習(xí)能夠自動學(xué)習(xí)特征層,可以高通量、自動化提取高維度的特征信息,是目前最接近AI的算法[18],其創(chuàng)新和應(yīng)用推動著AI快速發(fā)展,醫(yī)學(xué)智能化研究由此進入新的階段。深度學(xué)習(xí)技術(shù)在2017 年開始廣泛應(yīng)用于醫(yī)學(xué)領(lǐng)域[19],該技術(shù)優(yōu)于傳統(tǒng)的圖像分析方法,被稱為計算機視覺領(lǐng)域最為先進的圖像分析技術(shù),深度學(xué)習(xí)基于分層人工神經(jīng)網(wǎng)絡(luò),適合用于解釋醫(yī)學(xué)圖像之間的復(fù)雜關(guān)系,在輔助醫(yī)學(xué)圖像診斷分析中的大量應(yīng)用取得了重大進展,其中研究熱點有肺結(jié)節(jié)分類檢測[20]、糖尿病視網(wǎng)膜病變檢測[21]、阿爾茨海默病分類診斷[22]等。
卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分析領(lǐng)域中最流行的深度神經(jīng)網(wǎng)絡(luò)類型之一[23],繼深度學(xué)習(xí)提出后,以卷積神經(jīng)網(wǎng)絡(luò)為內(nèi)核的深度學(xué)習(xí)技術(shù)得到了快速發(fā)展,算法與硬件技術(shù)的發(fā)展也推動著深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)飛速發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)具有強大的特征提取能力,是一種具有卷積計算和深度結(jié)構(gòu)的多層感知器,在醫(yī)學(xué)分析上比其他傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)更加優(yōu)越。卷積神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用在醫(yī)學(xué)圖像輔助診斷領(lǐng)域,它能夠有效地提取輸入的醫(yī)學(xué)圖像信息,在醫(yī)學(xué)圖像的圖像分割[24]、目標檢測[25]和病理分類[26]方面取得了一定成果。
卷積神經(jīng)網(wǎng)絡(luò)是一種在有監(jiān)督訓(xùn)練下進行的深度學(xué)習(xí)算法,在醫(yī)學(xué)病理圖像分析與處理上具有優(yōu)越的能力,可以自動檢測并提取重要的圖像特征信息[27]。在卷積神經(jīng)網(wǎng)絡(luò)中,輸入層作為第一層用于將圖像傳送至網(wǎng)絡(luò)模型中;卷積層作為核心特征提取器,主要利用滑動固定尺寸的卷積核在膝關(guān)節(jié)MRI圖像上進行運算,提取有效特征,并生成特征圖;池化層通常位于兩個卷積層之間,對特征圖進行下采樣,保留特征圖中的有效信息;激活層旨在加速模型的訓(xùn)練過程和提高模型的穩(wěn)定性,從而提高半月板的信息表達能力;全連接層位于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的末端,是特征空間到標記空間的映射,主要用來得出網(wǎng)絡(luò)模型的檢測、分類和分割結(jié)果。
由于膝關(guān)節(jié)解剖結(jié)構(gòu)復(fù)雜,預(yù)先對MRI 圖像進行分割能夠減少圖像中無用的信息,精確分割半月板對于了解半月板形態(tài)結(jié)構(gòu)、確定半月板病灶位置、診斷半月板損傷以及損傷等級的判斷具有重大應(yīng)用價值,作為圖像處理的前期工作的基礎(chǔ)和后續(xù)工作的基石,其性能影響著整個研究的完整性和準確性。雖然放射科醫(yī)師的人工分割可以取得理想的分割效果,但是他們在MRI 圖像上分割半月板大約需要20 分鐘[28]。隨著計算機技術(shù)的不斷發(fā)展,基于深度學(xué)習(xí)的圖像分割技術(shù)也應(yīng)運而生,卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)因具有良好的提取圖像深層特征的能力,成為現(xiàn)階段醫(yī)學(xué)圖像分割領(lǐng)域中的主流方法。
在圖像分割中主要采用Dice 相似系數(shù)(Dice similariy coefficient, DSC)作為分割結(jié)果準確性的評價指標,DSC 越大代表分割結(jié)果越準確。2018 年TACK 等[29]率先使用2D U-Net 和3D U-Net 結(jié)合統(tǒng)計形狀模型(statistical shape models, SSMs)提出一種自動分割膝關(guān)節(jié)半月板MRI 矢狀面圖像的方法,其中SSMs 用于去除小區(qū)域,重建半月板。該方法分割每對內(nèi)外側(cè)半月板約花費1.5 分鐘,分割DSC 分別為83.8%和88.9%,獲得了顯著的分割效果,但是該方法只分割了一個MRI序列。為了評估半月板松弛和形態(tài),同年NORMAN 等[30]基于2D U-Net對膝關(guān)節(jié)半月板進行自動分割,并與放射科醫(yī)生手動分割進行比較,該模型平均每5 秒產(chǎn)生自動分割,外側(cè)半月板和內(nèi)側(cè)半月板的DSC 分別為80.9%和75.3%,其縱向分割結(jié)果與傳統(tǒng)的人工手動分割效果基本一致,雖然此網(wǎng)絡(luò)模型具有良好的性能優(yōu)勢,但在精度方面還有提高的空間。
2019 年P(guān)EDOIA 等[31]首先通過隨機旋轉(zhuǎn)和平移圖像增強的方法將數(shù)據(jù)集中的訓(xùn)練集擴大十倍,解決組間不平衡導(dǎo)致的過擬合問題,隨后采用2D U-Net在1 478 名受試者的矢狀面圖像上自動分割膝關(guān)節(jié)半月板,完整的分割過程總共需要9 秒,但是研究中使用的數(shù)據(jù)集有限,并不能代表準確的臨床常規(guī)情況。2020年?LMEZ等[32]首先使用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region convolutional neural networks, R-CNN)定位半月板區(qū)域,然后在卷積神經(jīng)網(wǎng)絡(luò)上利用膝關(guān)節(jié)兩種不同MRI圖像序列的對比度特征區(qū)分半月板與周圍組織,實現(xiàn)形態(tài)學(xué)圖像分割和分析,分割整個半月板的DSC為88.8%,但是將半月板進行整體分割對于進一步診斷其損傷的意義較小。
圖像分割主要是通過識別圖像的感興趣區(qū)域(region of interest, ROI)來確定病灶位置、形狀和輪廓等形態(tài)學(xué)信息。2020 年BYRA 等[33]將遷移學(xué)習(xí)應(yīng)用于2D U-Net,分別對兩個放射科醫(yī)生提供的膝關(guān)節(jié)MRI圖像進行半月板分割的DSC 分別為86.0%和83.3%,而放射科醫(yī)生手動分割半月板的DSC 為82.0%,表明所提出的深度學(xué)習(xí)模型與放射科醫(yī)生的人工手動分割差異無統(tǒng)計學(xué)意義,可以用于半月板自動分割,但是該方法并不能完全區(qū)分半月板與膝關(guān)節(jié)其他結(jié)構(gòu)。
為解決這一問題,2020 年GAJ 等[34]提出了一種基于條件生成對抗性網(wǎng)絡(luò)(conditional generative adversarial nets, CGAN)的新方法,該方法只分割膝關(guān)節(jié)MRI 圖像局部ROI,并且對分割結(jié)果反復(fù)改進,內(nèi)外側(cè)半月板的DSC 分別為87.0%和89.0%,結(jié)果優(yōu)于先前發(fā)表的基于卷積神經(jīng)網(wǎng)絡(luò)模型分割半月板的方法,證明基于CGAN 模型自動分割半月板具有更高精度。2021 年JENO 等[35]提出了一種集成多類半月板分割網(wǎng)絡(luò)的自動分割方法,將2D U-Net 和目標感知映射的CGAN 相結(jié)合,2D U-Net 用于在膝關(guān)節(jié)MRI 圖像中定位內(nèi)外側(cè)半月板,CGAN 用于在膝關(guān)節(jié)MRI 圖像中感知目標,并只分割出半月板局部ROI,以此解決類的不平衡以及過分割等問題,試驗結(jié)果再次證實利用目標感知映射的對抗性學(xué)習(xí)可以提高卷積神經(jīng)網(wǎng)絡(luò)的分割性能。
卷積神經(jīng)網(wǎng)絡(luò)可以成功地在醫(yī)學(xué)圖像上進行訓(xùn)練,并應(yīng)用于膝關(guān)節(jié)半月板MRI圖像的分割任務(wù)中,它的引入有助于縮短MRI圖像分割時間、提高MRI圖像分割的效率、減少放射科醫(yī)師的主觀偏差?,F(xiàn)階段基于卷積神經(jīng)網(wǎng)絡(luò)的半月板MRI圖像分割研究成果取得了令人滿意的結(jié)果,這一研究領(lǐng)域在臨床和科學(xué)研究都有很大的前景,但是相關(guān)研究有限,仍處在發(fā)展階段,且算法的性能依然存在提升的空間[36],因此未來需要發(fā)掘更多的深度學(xué)習(xí)模型去分割膝關(guān)節(jié)半月板,提高半月板MRI圖像分割的精度。卷積神經(jīng)網(wǎng)絡(luò)分割半月板MRI圖像的方法匯總?cè)绫?。
表1 卷積神經(jīng)網(wǎng)絡(luò)分割半月板MRI圖像方法匯總Tab.1 Summary of convolutional neural network segmentation methods for MRI images of meniscus
病灶檢測是指在醫(yī)學(xué)圖像中定位和識別檢測病變區(qū)域,對于為患者選擇合適的治療方案至關(guān)重要。深度學(xué)習(xí)的發(fā)展使得通過卷積神經(jīng)網(wǎng)絡(luò)進行圖像檢測成為主流,基于卷積神經(jīng)網(wǎng)絡(luò)的不同網(wǎng)絡(luò)結(jié)構(gòu)在醫(yī)學(xué)圖像檢測方面具有較好的效果,且部分網(wǎng)絡(luò)結(jié)構(gòu)的診斷性能可與臨床醫(yī)師相媲美,有利于幫助醫(yī)師提高病灶檢測的效率與準確率。
卷積神經(jīng)網(wǎng)絡(luò)可以通過其強大的特征提取、反復(fù)訓(xùn)練學(xué)習(xí)的能力,對直接輸入的膝關(guān)節(jié)MRI 圖像進行檢測,避免煩瑣的人工分割半月板流程。2018 年BIEN 等[37]基于卷積神經(jīng)網(wǎng)絡(luò)提出了一種用于檢測膝關(guān)節(jié)MRI圖像中半月板損傷的MRNet模型,并發(fā)表了MRNet數(shù)據(jù)集。MRNet模型可以快速準確地檢測膝關(guān)節(jié)MRI圖像,從而實現(xiàn)全自動識別正常和損傷的半月板。該研究受臨床專家小組規(guī)模的限制,AUC、準確度、敏感度和特異度分別為0.847、72.5%、71.0%和74.1%,結(jié)果顯示其性能低于參與研究的普通放射科醫(yī)生(平均準確度、敏感度和特異度分別為84.9%、82.0%和88.2%),試驗結(jié)果有待改善,可以在此基礎(chǔ)上改進卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)來提高卷積神經(jīng)網(wǎng)絡(luò)模型的性能和通用性。
為了提高模型的性能,2020 年TSAI 等[38]將卷積神經(jīng)網(wǎng)絡(luò)中的高效分層網(wǎng)絡(luò)架構(gòu)用于檢測膝關(guān)節(jié)MRI 圖像中半月板的損傷,研究中沒有使用遷移學(xué)習(xí),而是從零開始訓(xùn)練高效分層網(wǎng)絡(luò),該模型采用一種新的切片特征提取網(wǎng)絡(luò),結(jié)合多層切片歸一化和模糊降采樣,在兩個不同的數(shù)據(jù)集中檢測半月板損傷的AUC 分別為90.4%和91.3%,表明該模型具有一定的診斷價值。同年FRITZ 等[39]將一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的模型用于全自動檢測半月板損傷,內(nèi)側(cè)半月板的敏感度、特異度和準確性分別為84.0%、88.0%和86.0%,外側(cè)半月板的敏感度、特異度和準確性分別為58.0%、92.0%和84.0%,在檢測內(nèi)外側(cè)和整體半月板損傷時的AUC分別為88.2%、78.1%和96.1%,但是與肌肉骨骼放射科醫(yī)師相比,其敏感度較低。
2021 年RIZK 等[40]開發(fā)了一種基于3D 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的深度學(xué)習(xí)模型,分別用于檢測內(nèi)外側(cè)半月板的損傷,并使用放射科醫(yī)生標記的子集進行內(nèi)部驗證,該方法得到內(nèi)外側(cè)半月板的AUC 分別為0.93 和0.84。同年QIU 等[41]將淺層網(wǎng)絡(luò)CNN1 和深層網(wǎng)絡(luò)CNN2 進行聯(lián)合,提出了新的深度學(xué)習(xí)模型CNNf 用于膝關(guān)節(jié)半月板檢測。淺層網(wǎng)絡(luò)CNN1 主要獲取半月板簡單的低層特征,深層網(wǎng)絡(luò)CNN2主要獲取半月板復(fù)雜的高層特征,最終由CNNf結(jié)合高低層特征來檢測膝關(guān)節(jié)MRI 圖像中半月板的損傷,該模型的AUC、準確度、敏感度和特異度分別為0.968、93.9%、91.4%和94.7%。因此,改進卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)可以有效提高半月板損傷診斷的準確性,降低誤診率,但是研究中所使用的數(shù)據(jù)集有限,需要使用更多的數(shù)據(jù)來獲得更好的泛化性能,減少模型的過擬合現(xiàn)象。
R-CNN 具有強大的特征提取能力,是第一個成功將深度學(xué)習(xí)應(yīng)用到目標檢測上的算法[42]。R-CNN采用選擇性搜索算法提取大量目標候選區(qū)域來完成對輸入圖像的目標檢測任務(wù),它的提出推動了圖像目標檢測的快速發(fā)展[43]。2020 年?LMEZ 等[32]基于R-CNN設(shè)計了一個用于自動診斷MRI圖像中半月板損傷的模型,將卷積神經(jīng)網(wǎng)絡(luò)的特征與ROI 特征進行結(jié)合,并使用遷移學(xué)習(xí)來訓(xùn)練R-CNN模型。
R-CNN顯著提高了目標檢測的準確率,但是訓(xùn)練過程過于煩瑣,檢測速度較慢,而且占用的存儲空間較大。為了改進R-CNN的網(wǎng)絡(luò)效率,快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(fast region convolutional neural networks, Fast R-CNN)引入了感興趣區(qū)域池化(region of interest pooling, ROI Pooling)層,將Softmax分類任務(wù)和邊框回歸任務(wù)進行同時訓(xùn)練,在網(wǎng)絡(luò)訓(xùn)練時共享相同的卷積層,進一步提升了目標檢測的性能。更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region convolutional neural networks, Faster R-CNN)在Fast R-CNN 的基礎(chǔ)上設(shè)計了一個區(qū)域候選網(wǎng)絡(luò),區(qū)域候選網(wǎng)絡(luò)采用共享卷積層特性,實現(xiàn)了端到端的訓(xùn)練,降低了計算復(fù)雜度,從而可以更快速的確定目標的精確位置,極大地提高了網(wǎng)絡(luò)的實時性。為了提升目標檢測的速度和精 度,2019 年ROBLOT 等[44]基 于Fast R-CNN 和Faster R-CNN,提出了一種用于自動檢測半月板損傷的分類算法,他們在700張膝關(guān)節(jié)MRI圖像數(shù)據(jù)集上實現(xiàn)了半月板損傷的檢測,且AUC為94.0%。
為擴展R-CNN技術(shù),更加精準地定位每個目標,有學(xué)者提出了基于掩模區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(mask region-based convolutional neural network, Mask R-CNN)。Mask R-CNN是對Faster R-CNN的直觀擴展,它使用感興趣區(qū)域?qū)R(region of interest align,ROI Align)代替原始的ROI Pooling 層,ROI Align 作為一個簡單、無量化的層,保留了精確的空間位置,可以精準對齊圖像像素點,將掩模精度提高了10%~50%[45],從而提高了目標檢測的準確性。Mask R-CNN 不僅可以有效地檢測識別圖像中的目標對象,同時還可以對每個目標生成一個高質(zhì)量的二進制掩碼[46]。
2019 年COUTEAUX 等[47]基 于Mask R-CNN 模型自動定位MRI圖像上半月板的位置并檢測半月板的損傷,其中采用一種基于掩模區(qū)域的2D 卷積神經(jīng)網(wǎng)絡(luò)來定位內(nèi)側(cè)半月板和外側(cè)半月板,該研究將經(jīng)驗豐富的放射科醫(yī)生的診斷結(jié)果作為參考標準,對半月板損傷檢測的AUC 達90.6%,位列AI 膝關(guān)節(jié)半月板撕裂挑戰(zhàn)賽第一,該模型在整體聚合時更具魯棒性,進一步提高了對半月板損傷的檢測。2022 年LI等[48]基于3D Mask R-CNN在膝關(guān)節(jié)MRI圖像全自動檢測半月板損傷,將檢測性能與兩名經(jīng)驗豐富的放射科醫(yī)師的評估進行比較,并通過關(guān)節(jié)鏡手術(shù)證實,在檢測半月板損傷方面的性能優(yōu)于放射學(xué)評估,AUC 值達90.6%。因此,3D Mask R-CNN 可以用于全自動半月板損傷檢測,這能夠減少患者不必要的關(guān)節(jié)鏡檢查。
卷積神經(jīng)網(wǎng)絡(luò)在半月板病灶檢測對于輔助醫(yī)師臨床診斷半月板損傷具有一定的價值,在提高半月板損傷檢測正確率的同時,極大程度上減輕了臨床醫(yī)師的工作量。以上卷積神經(jīng)網(wǎng)絡(luò)模型的診斷性能大多可與臨床醫(yī)師相媲美,可以作為臨床診療的輔助手段,有助于醫(yī)師快速且準確地檢測出半月板的損傷,為下一步半月板的損傷程度分級分期和個性化治療方案的選擇奠定了良好的基礎(chǔ)。卷積神經(jīng)網(wǎng)絡(luò)檢測半月板損傷的方法匯總?cè)绫?。
表2 卷積神經(jīng)網(wǎng)絡(luò)檢測半月板損傷的方法匯總Tab.2 Summary of methods for detecting meniscus damage using convolutional neural networks
大多數(shù)深度學(xué)習(xí)模型對膝關(guān)節(jié)半月板MRI圖像的分割和半月板損傷檢測診斷性能均接近于人類。近年來,深度學(xué)習(xí)在半月板損傷方向和程度方面的研究也相繼提出,正確區(qū)分半月板損傷方向和程度可以為放射科醫(yī)師臨床診斷半月板損傷提供可靠的參考依據(jù),對醫(yī)師為患者合理選擇個性化治療方案具有十分重要的臨床意義。現(xiàn)階段卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷分類中的應(yīng)用主要有損傷方向二分類和損傷程度多分類。
根據(jù)半月板損傷形態(tài)可將半月板損傷方向分為水平損傷和垂直損傷,準確區(qū)分半月板損傷方向是臨床干預(yù)和術(shù)前診斷的重要前提,有助于節(jié)省醫(yī)師的臨床診斷時間以及制訂科學(xué)的靶向治療方案。
2019 年,ROBLOT 等[44]基 于Fast R-CNN 和Faster R-CNN的任務(wù)分類算法,在一組膝關(guān)節(jié)矢狀面2D MRI圖像中判斷半月板損傷方向(垂直或水平),檢測損傷方向的AUC 為83.0%。與ROBLOT 等[44]的研究類似,同年COUTEAUX 等[47]將Mask R-CNN 級聯(lián)為淺層卷積神經(jīng)網(wǎng)絡(luò),利用集成聚合對膝關(guān)節(jié)矢狀面2D MRI圖像進行魯棒性增強,來確定半月板損傷的方向為垂直還是水平,該任務(wù)的AUC為0.906。
以上兩項研究雖然都對半月板損傷方向做了分類(垂直或水平),但是都只使用了一組膝關(guān)節(jié)矢狀面的2D MRI圖像,而膝關(guān)節(jié)MRI檢查通常包含矢狀面、冠狀面和軸狀面三個方向的多個序列的上百張圖像,所以該兩項研究存在一定的局限性,擴展數(shù)據(jù)庫或使用3D 數(shù)據(jù)可能有助于進一步提高模型的性能。
半月板損傷的治療方法因損傷程度而異,半月板損傷程度一般分為三級,對于半月板Ⅰ級和Ⅱ級損傷往往采取保守治療,而對于半月板Ⅲ級損傷則需要進一步確診是否進行手術(shù)治療,正確區(qū)分半月板不同程度的損傷有助于為患者選擇恰當(dāng)?shù)闹委煼桨浮?/p>
2019 年,PEDOIA 等[31]使用3D 卷積神經(jīng)網(wǎng)絡(luò)檢測半月板損傷和評估量化半月板損傷的嚴重程度等級,并納入年齡和性別等人口統(tǒng)計學(xué)信息,結(jié)合WORMS評分將半月板損傷分為正常半月板、輕中度損傷和嚴重損傷三種等級,相對應(yīng)的準確率分別達到了80.7%、78.0%和75.0%,最終獲得了半月板病變嚴重程度分期的良好性能。2021 年,ASTUTO 等[49]驗證AI技術(shù)可以幫助識別和評估膝關(guān)節(jié)半月板病變嚴重程度的假設(shè),基于3D 卷積神經(jīng)網(wǎng)絡(luò)模型檢測膝關(guān)節(jié)MRI 圖像中的ROI,并對半月板損傷嚴重程度進行分級,3D 卷積神經(jīng)網(wǎng)絡(luò)模型對膝關(guān)節(jié)半月板損傷嚴重程度評分具有較高的敏感度、特異度和準確度,敏感度為85.0%,特異度為89.0%,AUC為93.0%,對正常半月板、半月板部分損傷和半月板完全損傷三個等級的敏感度分別為85.0%、74.0%和85.0%。
2022 年張卿源[50]基于三層級連接殘差網(wǎng)絡(luò)提出了一種自動檢測半月板損傷程度的分類方法,他依據(jù)患者病情的嚴重程度以及半月板損傷信號的形態(tài)分為正常、輕度損傷、中度損傷以及重度損傷四類,最終試驗得到的分類正確的概率分別為91.0%,79.0%,85.0%和99.0%,表明提出的三層級連接殘差網(wǎng)絡(luò)方法對半月板損傷程度的分類有精準的預(yù)測效果。同年,LI等[51]基于Mask R-CNN 構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),采用50層的殘差網(wǎng)絡(luò)開發(fā)骨干網(wǎng)絡(luò),能夠有效地區(qū)別正常的半月板和損傷的半月板,并能區(qū)分半月板的損傷是撕裂還是退變,研究結(jié)果由經(jīng)驗豐富的醫(yī)生結(jié)合關(guān)節(jié)鏡手術(shù)進行評估,對正常半月板、撕裂半月板和退變半月板的診斷準確率分別為87.5%、87.0%和84.8%,可以作為臨床中輔助診斷半月板損傷的有效工具。
準確區(qū)分半月板損傷方向和損傷程度對于患者的治療和預(yù)后具有極其重要的臨床意義,以上研究證明基于深度學(xué)習(xí)模型的分類方式符合臨床需求,可以實現(xiàn)半月板損傷方向和損傷程度的自動分級,驅(qū)動AI 方法幫助放射科醫(yī)師讀取和分析醫(yī)學(xué)圖像,節(jié)省放射科醫(yī)師臨床診斷半月板損傷的時間。但是目前相關(guān)方面的研究較少,研究成果尚有提升空間,多數(shù)研究都缺乏一個實際的金標準作為參考,使用關(guān)節(jié)鏡作為模型結(jié)果的參考標準可能是未來的研究方向。
本文總結(jié)了基于MRI的卷積神經(jīng)網(wǎng)絡(luò)在半月板損傷輔助診斷中的研究進展,探討了現(xiàn)有研究存在的局限性,并指出了未來的研究方向。眾多卷積神經(jīng)網(wǎng)絡(luò)模型在MRI 圖像分割、檢測和分類中的應(yīng)用逐漸深入,在半月板損傷輔助診斷方面也取得了較大的進展,這對于半月板損傷診斷具有較高的臨床應(yīng)用價值。但是目前相關(guān)研究仍存在一定局限性:(1)膝關(guān)節(jié)MRI 圖像數(shù)據(jù)集缺乏且存在局限性。由于保護患者隱私和數(shù)據(jù)安全等原因,公開的膝關(guān)節(jié)MRI醫(yī)學(xué)圖像數(shù)據(jù)集較為缺乏?;贛RI診斷半月板損傷時會一次性獲取人體膝關(guān)節(jié)矢狀位、冠狀位和軸狀位三個序列的圖像,但是大多數(shù)研究只分析MRI 圖像的其中一個序列,模型的適用范圍較小,因此在保證膝關(guān)節(jié)MRI 公開數(shù)據(jù)集質(zhì)量的同時,提高數(shù)據(jù)集的規(guī)模,并對MRI 的多個序列同時進行研究可能是未來努力的方向。(2)研究缺乏可信的參考標準。目前大多數(shù)研究都只以富有經(jīng)驗的放射科醫(yī)生的診斷結(jié)果作為參考標準,缺少一個實際的金標準進行對比參考,限制了相關(guān)研究的臨床適用性。未來可以嘗試使用膝關(guān)節(jié)鏡手術(shù)結(jié)果作為模型結(jié)果的參考標準,從而提高研究的可信度和權(quán)威性,對膝關(guān)節(jié)半月板損傷的研究也會起到巨大的推動作用。(3)診斷程度受限。嚴重的半月板損傷可能會導(dǎo)致患者早期膝關(guān)節(jié)關(guān)節(jié)炎的形成和發(fā)展,目前卷積神經(jīng)網(wǎng)絡(luò)模型在半月板損傷診斷的大部分研究都只針對是否有損傷,較少的研究可以進一步對半月板損傷進行方向分類和程度分級,并且還沒有基于半月板損傷預(yù)測膝關(guān)節(jié)骨關(guān)節(jié)炎發(fā)生的研究,通過半月板損傷程度的情況準確預(yù)測膝關(guān)節(jié)骨關(guān)節(jié)炎的形成和發(fā)展將是未來的一個研究方向。
總之,盡管卷積神經(jīng)網(wǎng)絡(luò)基于MRI在半月板損傷輔助診斷領(lǐng)域的應(yīng)用和研究較少且正處于發(fā)展階段,但是該領(lǐng)域在未來的研究和發(fā)展中有廣闊的應(yīng)用前景,能夠輔助醫(yī)師臨床診斷半月板損傷,并提高診療的效率與準確率,以期更好地實現(xiàn)精準診療,卷積神經(jīng)網(wǎng)絡(luò)有望逐步發(fā)展成為臨床醫(yī)師的得力助手。
作者利益沖突聲明:全體作者均聲明無利益沖突。
作者貢獻聲明:袁典構(gòu)思和設(shè)計本綜述的框架,起草和撰寫稿件,獲取、分析和解釋本綜述的文獻;曹慧、魏德健、張俊忠構(gòu)思和設(shè)計本綜述的框架,對稿件重要內(nèi)容進行了修改,獲得國家自然科學(xué)基金項目基金資助;杜昱崢構(gòu)思和設(shè)計本綜述的框架,對稿件重要內(nèi)容進行了修改;全體作者都同意發(fā)表最后的修改稿,同意對本研究的所有方面負責(zé),確保本研究的準確性和誠信。