額·圖婭，郭小超，王可，黃嘉豪，王祥鵬，張曉東，王霄英

動態(tài)對比增強(dynamic contrast-enhanced,DCE)-MRI能夠準(zhǔn)確直觀地顯示病灶形態(tài)和血供，對腹部疾病的檢出、鑒別診斷和術(shù)前分期等具有較高的臨床應(yīng)用價值，是診斷腹部病變的常用影像檢查技術(shù)。在DCE-MRI多期相圖像中，病灶在不同期相具有不同的特征性表現(xiàn)，診斷時醫(yī)師首先需識別圖像是哪個掃描期相的，再結(jié)合病灶的表現(xiàn)做出定性判斷[1]。這個過程不僅適用于醫(yī)師，也適用于人工智能(artificial intelligence，AI)軟件對疾病的診斷。

既往多項研究發(fā)現(xiàn)，AI影像診斷模型的準(zhǔn)確性受到圖像質(zhì)量的影響，圖像序列識別有誤、圖像質(zhì)量不合格等均會導(dǎo)致AI模型的診斷準(zhǔn)確性降低[2-3]，因此在AI診斷模型廣泛應(yīng)用于臨床之前需要先完成識別圖像性質(zhì)的工作。本研究中利用深度學(xué)習(xí)方法訓(xùn)練出能對上腹部DCE-MRI圖像的不同期相進(jìn)行自動分類的AI模型，此模型能挑選出合格的增強掃描各期相的圖像輸入到后續(xù)的AI診斷模型中，以保證AI診斷模型的準(zhǔn)確性。

材料與方法

本研究獲得了本院倫理審查委員會的批準(zhǔn)(2017-1382)，按照本單位人工智能模型訓(xùn)練規(guī)范來設(shè)計和執(zhí)行研究方案。

1.用例定義

根據(jù)本單位AI訓(xùn)練管理方法，首先定義研發(fā)上腹部DCE-MRI掃描期相分類模型的用戶樣例(use case)。包括上腹部DCE-MRI圖像性質(zhì)分類AI模型的名稱(identity document，ID)、臨床問題、場景描述、模型在實際工作中的調(diào)用流程以及模型輸入和輸出數(shù)據(jù)結(jié)構(gòu)等。將此次建立的AI模型的輸出結(jié)果定義為平掃、動脈早期、動脈晚期及門靜脈-延遲期。

2.研究隊列的建立

回顧性搜集2013年9月5日-2020年5月9日本院PACS中的圖像。入組標(biāo)準(zhǔn)為： ①登記檢查項目為“上腹部MR平掃+增強”、“上腹部MR增強”或“上腹部MRCP+增強”者；②自2013年9月5日開始，將本院4臺MR設(shè)備的掃描數(shù)據(jù)按時間順序入組，每臺MR設(shè)備入組110例次MR掃描圖像。排除標(biāo)準(zhǔn)：①圖像有明顯偽影；②DCE-MRI圖像不能被醫(yī)師按掃描期相準(zhǔn)確分組。

最終入組417例患者共1330個期相(將每個期相的圖像作為1組)的圖像數(shù)據(jù)用于深度學(xué)習(xí)模型的訓(xùn)練。其中，男219例，女198例，年齡10～97歲，平均(57.26±14.85)歲。4臺MR設(shè)備提供的圖像數(shù)據(jù)：GE discovery HD 750 3.0T，334組；Philips Achieva TX 3.0T，302組；Philips Ingenia 3.0T，399組；Siemens Magnetom Aera 1.5T，295組。增強掃描采用脂肪抑制GRE T1WI序列，使用高壓注射器經(jīng)靜脈團(tuán)注對比劑Gd-DTPA，劑量0.1 mmol/kg，注射流率2.0 mL/s，隨后以相同流率注射20 mL生理鹽水沖管。注射對比劑前采集平掃圖像，注射對比劑后18～25 s、60 s和180 s分別采集動脈早期及晚期、門靜脈期和延遲期圖像。

3.數(shù)據(jù)處理

將DICOM格式的圖像轉(zhuǎn)換為NIFTI格式。由兩位影像專家根據(jù)圖像特征，將每例次檢查中患者的平掃和DCE-MRI圖像按掃描期相進(jìn)行分組，分為4個掃描期相：平掃、動脈早期、動脈晚期和門靜脈-延遲期(圖1～3)，各掃描期相的評估標(biāo)準(zhǔn)詳見表1。共獲得1330組圖像數(shù)據(jù)用于訓(xùn)練模型，其中平掃445組、動脈早期223組、動脈晚期213組、門靜脈-延遲期449組。

圖1 肝臟層面DCE-MRI圖像，由兩位影像專家閱片確定各幀圖像的期相。a)平掃圖像，顯示腹部各器官均無強化；b)動脈早期圖像，顯示腹主動脈明顯強化，門靜脈無明顯強化；c)動脈晚期圖像，顯示腹主動脈明顯強化，門靜脈強化，肝靜脈無強化；d～f)門靜脈期-延遲期圖像，顯示門靜脈、肝靜脈明顯強化，肝實質(zhì)強化。

表1 掃描期相的評估標(biāo)準(zhǔn)

圖2 脾臟層面DCE-MRI圖像，由兩位影像專家閱片確定各幀圖像的期相。a)平掃圖像，顯示腹部各器官均無強化；b)動脈早期圖像，顯示腹主動脈及其分支明顯強化，門靜脈無明顯強化；c)動脈晚期圖像，顯示腹主動脈及其分支明顯強化，門靜脈強化，脾臟呈“花斑樣”強化，肝靜脈無強化； d～f) 門靜脈期-延遲期圖像，顯示門靜脈、肝靜脈明顯強化，肝實質(zhì)強化，脾臟逐漸均勻強化。 圖3 腎臟層面DCE-MRI，兩位影像專家閱片確定各幀圖像的期相。a)平掃圖像，顯示此層面上的腹部器官均不強化；b)動脈早期圖像，顯示腹主動脈及其分支明顯強化，門靜脈無明顯強化；c)動脈晚期圖像，顯示腹主動脈及其分支明顯強化，門靜脈強化，脾臟呈“花斑樣”強化，腎臟皮髓質(zhì)界限清晰，肝靜脈無強化；d～f)門靜脈-延遲期圖像，顯示門靜脈、肝靜脈明顯強化，肝實質(zhì)強化，腎臟逐漸均勻強化，脾臟均勻強化。

4.模型訓(xùn)練

訓(xùn)練分類模型時，硬件為GPU NVIDIA Tesla P100 16G，軟件包括Python3.6、Pytorch 0.4.1、Opencv、Numpy和SimpleITK等，使用Adam作為訓(xùn)練優(yōu)化器。

本研究使用的深度學(xué)習(xí)網(wǎng)絡(luò)是基于MedicalNe權(quán)重加載而來[4]。運用遷移學(xué)習(xí)的方法，凍結(jié)編碼器權(quán)重來提取圖像特征。保留編碼器部分，將網(wǎng)絡(luò)的解碼器部分(反卷積部分)替換為經(jīng)典分類結(jié)構(gòu)的卷積層+全連接層作為分類結(jié)構(gòu)。用于分類的卷積層有4層結(jié)構(gòu)：(1)池化層(步幅為2)；(2)卷積層(卷積核大小為3、數(shù)量為512)；(3)池化層(步幅為2)；(4)卷積層(卷積核大小為3、數(shù)量為512)。分類的全連接層由128個神經(jīng)元構(gòu)成，對圖像特征進(jìn)行組合分類，最后結(jié)果通過softmax函數(shù)計算輸出分類數(shù)組。

將1330組圖像數(shù)據(jù)隨機(jī)分為訓(xùn)練集(train set，n=1118)，調(diào)優(yōu)集(validation set，n=108)和測試集(test set，n=104)。模型訓(xùn)練時不同設(shè)備的圖像均按8︰1︰1隨機(jī)分到訓(xùn)練集、調(diào)優(yōu)集和測試集。輸入圖像設(shè)置為自動窗寬和窗位，圖像大小為64×128×160，輸出數(shù)據(jù)為模型分類預(yù)測結(jié)果。圖像擴(kuò)增方法包括平移、旋轉(zhuǎn)、左右鏡像和隨機(jī)噪聲等。訓(xùn)練3D-ResNet深度學(xué)習(xí)模型的主要參數(shù)：模型深度(model depth)=10，是否加載預(yù)訓(xùn)練模型(pretrained)=1，隱藏層數(shù)量配置(hidden layer cfg)=(128, 64)，丟棄比率(dropout)=0.2,數(shù)據(jù)單批次數(shù)量(batch size)=10，訓(xùn)練迭代次數(shù)(num_epochs)=200，學(xué)習(xí)率(learning_rate)=0.0001。

5.模型評價

以兩位影像專家閱片的結(jié)果為金標(biāo)準(zhǔn)，應(yīng)用混淆矩陣(confusion matrix)評價多分類模型的診斷效能[5]。

對測試集數(shù)據(jù)的統(tǒng)計使用sklearn.metrics軟件(https://scikit-learn.org/stable/modules/classes.html?highlight=metrics#module-sklearn.metrics)。測試集評價指標(biāo)包括宏符合率(macro accuracy,MAcc)、宏F1值(Macro F1)、微F1值(Micro F1)和召回率(recall rate)。對于多分類模型，MAcc和宏F1值兼顧了多分類所有類別的預(yù)測結(jié)果，而微F值是以目標(biāo)分類為正樣本，以其它所有分類為負(fù)樣本計算而得，與二分類的計算意義相同。

結(jié) 果

AI多分類模型對各期DCE-MRI圖像自動分類結(jié)果與真實數(shù)據(jù)的比較見表2。多分類模型的評價指標(biāo)基于混淆矩陣[5]，使用sklearn.metrics軟件對測試集的數(shù)據(jù)進(jìn)行分析。測試集中MAcc=0.995，Macro F1=0.796，Micro F1=0.989；以單個掃描期相評價，對平掃圖像的ACC=0.989，F(xiàn)1=0.979,召回率=0.958；動脈早期、動脈晚期和門靜脈-延遲期的ACC、F1、召回率均為1.000。

表2 3D-ResNet模型對各期DCE-MRI圖像自動分類結(jié)果與真實數(shù)據(jù)的比較 /組

在訓(xùn)練集、調(diào)優(yōu)集及測試集中AI模型的總體分期符合率分別為99.9%(1117/1118)、99.1%(107/108)、99.0%(103/104)。在訓(xùn)練集及調(diào)優(yōu)集中，各有1組肝臟多發(fā)轉(zhuǎn)移瘤的動脈晚期圖像被預(yù)測為動脈早期(圖4、5)，即在訓(xùn)練集及調(diào)優(yōu)集中對動脈晚期的預(yù)測符合率分別為99.5%(193/194)和90.9%(10/11)，而對平掃、動脈早期及門靜脈-延遲期的預(yù)測符合率均為100%；在測試集中，有1組左腎切除術(shù)后的平掃圖像被預(yù)測為不確定(圖6)，其預(yù)測符合率為97.5%(39/40)，AI模型對其余各期(動脈早期、動脈晚期及門靜脈-延遲期)圖像的預(yù)測符合率均為100%。

圖4 52歲女性患者的不同層面動脈晚期圖像(由兩位影像專家閱片確定)，顯示肝臟多發(fā)轉(zhuǎn)移瘤，最大者位于肝右葉。腹主動脈及分支明顯強化，脾臟呈"花斑樣"強化，腎臟皮髓質(zhì)界限清晰，門靜脈強化，肝靜脈無強化。可能由于肝臟占位巨大導(dǎo)致圖像中血管結(jié)構(gòu)顯示不清，模型將動脈晚期圖像的分類預(yù)測為“動脈早期”。a)肝頂部層面；b)肝臟上部層面；c)脾臟中部層面；d)腎臟上部層面；e)腎臟中部層面；f)肝右后葉下段層面。圖5 51歲女性患者，證實為結(jié)腸癌并多發(fā)肝轉(zhuǎn)移瘤。不同層面動脈晚期圖像(由兩位影像專家閱片確定)顯示肝內(nèi)多發(fā)轉(zhuǎn)移灶，腹主動脈及分支明顯強化，脾臟呈“花斑樣”強化，腎臟皮髓質(zhì)界限清晰，門靜脈強化，肝靜脈無強化?？赡苡捎趧用}晚期的門靜脈強化欠充分，模型將動脈晚期圖像的分類預(yù)測為“動脈早期”。 a)心臟層面；b)肝頂部層面；c)脾臟層面；d)肝右葉層面；e)腎臟層面；f)腎臟層面。

圖6 56歲女性患者，左側(cè)腎癌根治術(shù)后常規(guī)復(fù)查MRI。由兩位影像專家閱片確定圖a～f為不同層面的平掃圖像，顯示腹部臟器均無強化?？赡苡捎谄綊邎D像質(zhì)量欠佳，血流抑制效果不滿意，模型對平掃圖像的分類預(yù)測為“不確定”。a)心臟層面；b)肝頂部層面；c)脾臟中部層面；d)脾臟下部層面；e)腎臟中部層面；f)腎臟下部層面。

討 論

目前AI在腹部影像中的研究主要集中于多模態(tài)MRI及CT圖像的臟器和病灶的檢測、分割及分類，對實質(zhì)臟器進(jìn)行容積測量，對局灶性疾病進(jìn)行良惡性鑒別、病理分級等，相關(guān)研究結(jié)果顯示AI在疾病診斷、預(yù)后評估等方面具有相當(dāng)潛力[6-9]。本研究關(guān)注點不是影像診斷，而是利用AI技術(shù)識別不同期相的DCE-MRI圖像，模型預(yù)測的結(jié)果既可用于后續(xù)的AI診斷，又可用于圖像質(zhì)控。

本研究采用的網(wǎng)絡(luò)結(jié)構(gòu)為3D殘差網(wǎng)絡(luò)(residual network，ResNet)，是當(dāng)前用于圖像分類的深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks，DC-NN)的典型方法之一[10]。本次研究結(jié)果顯示，3D-ResNet AI模型在上腹部DCE-MRI圖像的掃描期相的甄別方面具有良好效能，在測試集中的預(yù)測符合率為99.0%(103/104)，與其他圖像序列甄別的研究結(jié)果相似[11-14]。在模型分類準(zhǔn)確性較高的情況下，可以將自動分類的數(shù)據(jù)用于后續(xù)的AI診斷模型。由于肝臟MRI診斷模型是基于增強掃描不同期相進(jìn)行訓(xùn)練的，只有輸入符合要求的圖像才能得到準(zhǔn)確的診斷結(jié)果，因此對掃描期相的準(zhǔn)確分類是診斷準(zhǔn)確的有效保證。除了應(yīng)用于AI診斷，本模型還有望應(yīng)用于掃描的質(zhì)控。由于實際工作中存在MR掃描儀型號多樣、參數(shù)設(shè)置不一致、少數(shù)患者配合欠佳等情況，因此日常工作中DCE-MRI圖像質(zhì)量不佳的情況偶有發(fā)生?；诖耍狙芯咳虢M了較多量的研究數(shù)據(jù)，來源于本單位較長時間段內(nèi)的多臺MR掃描儀，結(jié)果證明AI分類模型可以應(yīng)用于這些不同來源的圖像數(shù)據(jù)，模型以相同的標(biāo)準(zhǔn)評價動態(tài)增強掃描的期相，有望在科室范圍內(nèi)承擔(dān)圖像質(zhì)控的角色。

本研究是回顧性研究，納入了臨床實際工作中的圖像數(shù)據(jù)，時間跨度較大，設(shè)備多樣，所采取的掃描方案不同，對各臺設(shè)備的掃描方案不能強求一致。因此，我們根據(jù)肝臟病變MRI鑒別診斷的主要需求，強調(diào)分析肝臟DCE圖像時，必須具備以下各期相：1、平掃(蒙片)；2、動脈早期；3、動脈晚期；4、門靜脈-延遲期，對門靜脈期和延遲期的區(qū)分沒有做特殊要求。本研究結(jié)果表明，深度學(xué)習(xí)模型對區(qū)分4個期相圖像的符合率是可以接受的。但是對門靜脈期和延遲期的識別也是有必要的。我們在實際工作中采用的期相識別方法是：先用深度學(xué)習(xí)模型對一個完整DCE序列中拆分出來的圖像數(shù)據(jù)做預(yù)測，將所有預(yù)測為“門靜脈-延遲期”的圖像挑選出來，再用程序?qū)@幾個圖像排序。排序的依據(jù)是DICOM header中記錄的掃描時間，排序的規(guī)則是：在所有“門靜脈-延遲期”圖像中，先找出離動脈晚期最近的一個期相，認(rèn)為是“門靜脈期”；在“門靜脈期”之后的期相按時間由早到晚認(rèn)為是“延遲期1”、“延遲期2”、……。根據(jù)本研究組既往的研究結(jié)果(未包括在本文的內(nèi)容中)，將深度學(xué)習(xí)與規(guī)則相結(jié)合，區(qū)分門靜脈期和延遲期的準(zhǔn)確性與專家根據(jù)圖像特征的判斷結(jié)果大致相似，基本可以滿足臨床診斷的需求。這種將深度學(xué)習(xí)與傳統(tǒng)信息化工具相結(jié)合的方法，既可以用于圖像識別[15]，也可以用于流程優(yōu)化[16]，降低了模型訓(xùn)練的難度，提高了信息技術(shù)在臨床應(yīng)用中的可推廣性。

在本研究中，共有3例患者的單個DCE-MRI掃描期相未被正確識別，其中訓(xùn)練集與調(diào)優(yōu)集中分別有1組的動脈晚期圖像被錯誤地預(yù)測為動脈早期，結(jié)合相應(yīng)錯判圖像分析，可能是由于肝臟內(nèi)有體積較大的病灶對門靜脈強化信息造成了干擾，提示當(dāng)掃描范圍上腹部臟器內(nèi)具有嚴(yán)重影響圖像期相判別的疾病時，會對模型分類效能造成影響。另1組為測試集中平掃圖像被預(yù)測為不確定，可能是因為這個病例的平掃圖像中部分層面上下腔靜脈或腹主動脈由于流入增強效應(yīng)而呈高信號，而其它血管為低信號，從而造成模型分類錯誤。分析這3個病例的圖像中期相被誤判的原因，可以找到模型進(jìn)一步迭代的方向。未來應(yīng)挑選肝臟明顯結(jié)構(gòu)異常的病例增加到訓(xùn)練集中，以彌補當(dāng)前模型的不足。

本研究存在一定的局限性：(1)本研究是單中心研究，納入的掃描設(shè)備有限；(2)只對上腹部DCE-MRI圖像進(jìn)行分類，尚未對其它如T2WI等常規(guī)序列進(jìn)行分類，后續(xù)將進(jìn)一步進(jìn)行研發(fā)；(3)醫(yī)學(xué)影像診斷工作中AI模型可以用于圖像識別、病灶檢出、病灶分類、病灶分期和預(yù)測等[17]。本研究提出的深度學(xué)習(xí)模型只是上腹部MR增強掃描中AI應(yīng)用的初步研究，未來在識別圖像特征的基礎(chǔ)上，應(yīng)進(jìn)一步分割圖像中重要結(jié)構(gòu)[18]，基于不同臨床情況做出整體評估和重點病灶評估[19]，并給出必要的定性和定量診斷信息[20]，此時才能達(dá)到臨床應(yīng)用的需求。因此本研究提出的模型只是上腹部MR增強掃描AI診斷的第一步，后續(xù)還有很多研究工作需要完成。

總之，本研究中建立了一個AI分類模型用于區(qū)分上腹部DCE-MRI掃描期相，有利于工作流程的優(yōu)化，為后續(xù)對接上腹部疾病AI診斷模型打下基礎(chǔ)。