高天欣,褚天琪,張栩陽(yáng),梅玉倩,陳端端
(北京理工大學(xué)生命學(xué)院, 北京 100081)
心腦血管疾病具有高患病率、高致殘率和高死亡率的特點(diǎn),在我國(guó)現(xiàn)約有2.9 億患者,且高居因病死亡原因之首,已成為影響我國(guó)居民健康、阻礙社會(huì)經(jīng)濟(jì)發(fā)展的重大公共衛(wèi)生問(wèn)題和社會(huì)問(wèn)題[1-3]。近年,機(jī)器學(xué)習(xí)(ML)在醫(yī)學(xué)界受到較大的關(guān)注,如疾病診斷、藥物發(fā)現(xiàn)、流行病預(yù)測(cè)等。隨著計(jì)算機(jī)科學(xué)和醫(yī)學(xué)影像學(xué)的飛速發(fā)展,ML在醫(yī)學(xué)圖像分析領(lǐng)域,尤其在影像的自動(dòng)化精確診斷和信息的進(jìn)一步挖掘,如病灶識(shí)別[4]等具有革命性意義。ML作為人工智能(artificial intelligence, AI)的重要子集,通過(guò)數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練,使得算法模型在不同領(lǐng)域完成相關(guān)的判別和預(yù)測(cè)任務(wù),從算法類型上,可分為有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)以及強(qiáng)化學(xué)習(xí)三類[5]。臨床上,數(shù)字減影血管造影(digital subtraction angiography, DSA)、核磁共振成像(magnetic resonance image, MRI)、計(jì)算機(jī)斷層掃描(CT)、正電子發(fā)射斷層掃描(positron emission tomography, PET)、超聲成像等醫(yī)學(xué)影像技術(shù)在心腦血管疾病診斷和治療中發(fā)揮著不可或缺的作用,已廣泛用于診療過(guò)程。如何充分利用ML的方法分析、處理規(guī)模龐大的醫(yī)學(xué)圖像數(shù)據(jù),進(jìn)一步挖掘醫(yī)學(xué)信息,為臨床的診療以及評(píng)估提供更加科學(xué)的方法和依據(jù),是前沿醫(yī)學(xué)影像分析發(fā)展的關(guān)鍵[6]。以下簡(jiǎn)要概述幾種常用醫(yī)學(xué)圖像的特點(diǎn)。
計(jì)算機(jī)斷層掃描(CT)是根據(jù)人體不同組織對(duì)X射線的吸收率不同,計(jì)算機(jī)根據(jù)探測(cè)器接收到的X射線信號(hào)重建人體斷面3D圖像,可以準(zhǔn)確探查不同組織間密度的微小差別,且由于CT掃描時(shí)間短,可有效避免器官運(yùn)動(dòng)產(chǎn)生的偽影,提供清晰的人體骨性組織解剖結(jié)構(gòu)和病灶影像,但不能提供清晰的軟組織和病灶影像[6]。
CT血管造影(CT angiography,CTA)是經(jīng)靜脈注射含碘造影劑后行螺旋CT掃描,三維重建時(shí)去掉皮膚、肌肉、骨骼等不需要顯示的結(jié)構(gòu),只顯示血管和內(nèi)臟結(jié)構(gòu),不僅能提供血管腔的情況,還可提供血管壁的改變及相鄰血管與組織結(jié)構(gòu)的情況。CTA圖像清晰,在介入治療中發(fā)揮著重要作用。隨著介入放射學(xué)的發(fā)展,目前已經(jīng)廣泛應(yīng)用于臨床,如冠狀動(dòng)脈CTA(coronary CTA, CCTA)、腦血管CTA、頸動(dòng)脈CTA等。
磁共振成像(MRI)的模態(tài)比較多,對(duì)于人體沒有損害,且可以顯示高精度的軟組織器官,不同模態(tài)的影像數(shù)據(jù)訓(xùn)練的模型是不能交叉應(yīng)用的。其中,磁共振血管成像(MR angiography, MRA)是一種無(wú)創(chuàng)、不需對(duì)比造影劑的血管成像方法,對(duì)血流的流動(dòng)十分敏感,具有很高的瞬時(shí)清晰度。MRA可以有效的區(qū)分正常及異常血管結(jié)構(gòu),并判斷血管中是否存在血栓、出血、狹窄并確定其準(zhǔn)確部位。飛行時(shí)間法(time of flight, TOF)是臨床上應(yīng)用最廣泛的MRA方法,以血流或流入血管造影為基礎(chǔ),利用較短的回聲時(shí)間和流量補(bǔ)償,使流動(dòng)的血液比靜止的組織更加明亮,但在血流緩慢和血管細(xì)長(zhǎng)的情況下,不可避免地會(huì)由于噪聲、低對(duì)比度等而降低成像質(zhì)量[7]。MRA主要用于腦部血管、頸部血管、下肢血管等的檢查。
數(shù)字減影血管造影(DSA)是將造影前后的圖像相減而獲得的數(shù)字化圖像。該技術(shù)可以從X射線圖像中去除覆蓋在上面的骨骼和軟組織陰影,故可以高對(duì)比度顯示血管。因?yàn)榭梢詫?shí)時(shí)顯示,有利于介入性處理,因此,DSA是血管疾病診斷與介入治療手術(shù)導(dǎo)航的重要依據(jù),但其空間分辨率不高,細(xì)小血管顯示不清晰。
通過(guò)對(duì)掃描人體的超聲束的反射信號(hào)的接收、處理,獲得的體內(nèi)器官的圖像為超聲圖像。利用多普勒效應(yīng),超聲可以探查心臟活動(dòng)以及血流狀態(tài)。超聲設(shè)備不像CT或MRI那樣昂貴,且可獲得器官的任意斷面圖像,觀察運(yùn)動(dòng)器官的活動(dòng)情況,具有成像快、無(wú)損傷的優(yōu)點(diǎn)。不足之處在于圖像的對(duì)比分辨力和空間分辨力相比CT和MRI較低,另外,氣體對(duì)超聲影響很大,檢查結(jié)果容易受到患者腸氣干擾等多方面因素影響。
分類是將樣本歸類為先驗(yàn)已知類別的過(guò)程,其中以二分類最為常見。在圖像分類中,將一個(gè)或者多個(gè)圖像作為輸入,而輸出結(jié)果為一個(gè)診斷變量[8]。在醫(yī)學(xué)影像中,通常表現(xiàn)為將一組圖像分成不同的臨床相關(guān)類別、不同疾病類型,或者確定一幅圖像描述的疾病是良性,還是惡性[9]。
圖像分類是機(jī)器學(xué)習(xí)在心腦血管醫(yī)學(xué)圖像分析領(lǐng)域最早做出巨大貢獻(xiàn)的任務(wù)類型之一[8]。 其中ROC曲線下的面積(area under roc curve, AUC)可以作為評(píng)價(jià)二分類模型性能的一個(gè)指標(biāo),即曲線下方所圍成的面積越接近1,模型具有的性能越好。
阻塞性冠狀動(dòng)脈疾病是最常見的心血管疾病之一[10],是由動(dòng)脈粥樣硬化斑塊在冠狀動(dòng)脈壁上積聚導(dǎo)致的冠狀動(dòng)脈狹窄。在阻塞性冠狀動(dòng)脈疾病患者中,需要確定冠脈狹窄的功能以指導(dǎo)治療,多通過(guò)有創(chuàng)冠狀動(dòng)脈造影(invasive coronary angiography, ICA)測(cè)得的血流儲(chǔ)備分?jǐn)?shù)(fractional flow reserve, FFR)來(lái)確定。然而只有發(fā)生功能性顯著狹窄,即顯著限制血流的狹窄才需要進(jìn)行有創(chuàng)冠狀動(dòng)脈造影。目前一些學(xué)者在這方面應(yīng)用AI進(jìn)行了研究[11-14],Zreik 等[15]提出了一種無(wú)創(chuàng)檢測(cè)分類方法,用以區(qū)分患者是否有必要進(jìn)行ICA。通過(guò)對(duì)冠狀動(dòng)脈CT造影(CCTA)進(jìn)行深度無(wú)監(jiān)督分析,使用支持向量機(jī)(support vector machine, SVM)對(duì)提前轉(zhuǎn)化成編碼的動(dòng)脈進(jìn)行分類。其AUC在患者層面達(dá)到0.87±0.02,有助于顯著減少不必要的有創(chuàng)ICA檢測(cè)的數(shù)量。然而有時(shí)二分類不能滿足臨床的需求,Zreik 等[16]對(duì)于冠狀動(dòng)脈狹窄中不同類型的斑塊以及狹窄程度進(jìn)行了多任務(wù)分類。分類的輸入是通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)提取特征后,再經(jīng)由循環(huán)神經(jīng)網(wǎng)絡(luò)處理后得到的序列。斑塊類型的分類準(zhǔn)確率為0.77,狹窄程度分類的準(zhǔn)確率為0.80。結(jié)果表明,冠狀動(dòng)脈斑塊和狹窄的自動(dòng)檢測(cè)和分類是可行的,可以將患者自動(dòng)分為無(wú)冠狀動(dòng)脈斑塊和需要進(jìn)一步的心血管檢查的冠狀動(dòng)脈斑塊狹窄的患者。
煙霧病是一種累及頸內(nèi)動(dòng)脈及其近端分支的顱內(nèi)動(dòng)脈狹窄閉塞性疾病。目前確定煙霧病病情嚴(yán)重程度的標(biāo)準(zhǔn)是用導(dǎo)管血管造影術(shù)對(duì)主要顱內(nèi)血管進(jìn)行狹窄分級(jí)。然而,該方法存在圍手術(shù)期風(fēng)險(xiǎn),并使患者暴露在電離輻射下,因此不適合用于長(zhǎng)期監(jiān)測(cè)[17]。Waddle[18]等分析了非動(dòng)脈粥樣硬化顱內(nèi)血管狹窄和煙霧病患者的fMRI影像和人口統(tǒng)計(jì)學(xué)變量,應(yīng)用SVM對(duì)大腦半球區(qū)域是否發(fā)生新梗死進(jìn)行分類,ROC曲線下面積為0.94,特異度為0.85,敏感度為1.0。該研究結(jié)果強(qiáng)調(diào)了血流動(dòng)力學(xué)成像和機(jī)器學(xué)習(xí)在識(shí)別腦血管損傷方面的相關(guān)性。
此外,遷移學(xué)習(xí)也經(jīng)常會(huì)應(yīng)用到圖像分類任務(wù)中[19],通過(guò)使用預(yù)先訓(xùn)練的網(wǎng)絡(luò)(通常是使用自然圖像),用于深度網(wǎng)絡(luò)訓(xùn)練的大數(shù)據(jù)集的需求。目前CNN、SVM等機(jī)器學(xué)習(xí)算法在心腦血管醫(yī)學(xué)影像分析領(lǐng)域已經(jīng)顯示出令人滿意的分類結(jié)果,甚至可以超過(guò)人工在某些任務(wù)中的準(zhǔn)確性。
圖像檢測(cè)可以分為對(duì)于感興趣區(qū)域的定位和對(duì)于目標(biāo)病變的檢測(cè)。對(duì)于目標(biāo)對(duì)象在時(shí)間或者空間上的定位,已經(jīng)成為血管影像分割任務(wù)和臨床治療計(jì)劃制定的重要預(yù)處理步驟[8]。
腹主動(dòng)脈瘤(abdominal aortic aneurysm, AAA)是指主動(dòng)脈局部擴(kuò)張,超過(guò)其正常直徑50%以上的血管病變[20]。近幾年,主動(dòng)脈瘤的治療已經(jīng)從開放手術(shù)轉(zhuǎn)向一種微創(chuàng)的替代方案[21],稱為血管內(nèi)動(dòng)脈瘤修復(fù)術(shù)(endovascular aneurysm repair, EVAR),但其術(shù)后的隨訪對(duì)于評(píng)估患者的病情進(jìn)展和發(fā)現(xiàn)并發(fā)癥至關(guān)重要。Karen等[22]提出一種新的基于CNN的自動(dòng)檢測(cè)目標(biāo)血栓區(qū)域的方法,并用于后續(xù)的血栓分割。由于血栓的大小、形狀和方位各不相同,檢測(cè)起來(lái)十分困難,通過(guò)使用DetecNet檢測(cè)網(wǎng)絡(luò)學(xué)習(xí)更復(fù)雜的表示和數(shù)據(jù)驅(qū)動(dòng)的模型優(yōu)化,從而在CTA中提取目標(biāo)感興趣的區(qū)域,此DCNN模型的目標(biāo)是檢測(cè)CTA體積中的每個(gè)2D切片中血栓是否存在并確定其邊界,然后生成適合分割的連續(xù)3D感興趣區(qū)域。該方法在血栓檢測(cè)上取得的優(yōu)異性能,將為接下來(lái)的分割任務(wù)減少所需存儲(chǔ)量和計(jì)算時(shí)間。
對(duì)于目標(biāo)病變的檢測(cè),Wang等[4]通過(guò)機(jī)器學(xué)習(xí)(DCNN)對(duì)乳腺動(dòng)脈鈣化的定量檢測(cè)分析,來(lái)幫助識(shí)別和評(píng)估女性患冠心病風(fēng)險(xiǎn)的大小。另外,對(duì)于冠狀動(dòng)脈功能性狹窄程度的檢測(cè),僅從CCTA影像學(xué)的角度預(yù)測(cè)中、重度狹窄的病變時(shí),功能上表現(xiàn)不佳,因此需要FFR的進(jìn)一步評(píng)測(cè)[23]。在檢測(cè)病變特異性缺血方面,使用有創(chuàng)冠狀動(dòng)脈造影(ICA)對(duì)所使用的計(jì)算流體動(dòng)力學(xué)模型從CCTA中推導(dǎo)出的無(wú)創(chuàng)血流儲(chǔ)備分?jǐn)?shù)(CT-FFR)進(jìn)行了驗(yàn)證[24-25]。近年來(lái),基于機(jī)器學(xué)習(xí)方法開發(fā)了一種評(píng)估冠狀動(dòng)脈狹窄的功能嚴(yán)重性程度的算法(CT-FFR)[26-28]。Tesche等[29]對(duì)該算法的診斷性能做了進(jìn)一步評(píng)估,探索了冠狀動(dòng)脈鈣化評(píng)分對(duì)該算法的影響。研究表明該算法與臨床工作流程的整合,可能會(huì)減少下游測(cè)試的需要,并更好地為治療決策提供信息。
分割是心腦血管領(lǐng)域圖像分析中的一個(gè)熱點(diǎn)問(wèn)題,對(duì)于術(shù)前診療規(guī)劃以及臨床效果的評(píng)估都至關(guān)重要[30-31]。與自然圖像的人工標(biāo)注類似,傳統(tǒng)基于人工的血管分割與重建的時(shí)間成本非常高,另一方面血管結(jié)構(gòu)的標(biāo)注依賴于專家醫(yī)生的經(jīng)驗(yàn),不同專家的針對(duì)同一案例的標(biāo)注結(jié)果也往往存在經(jīng)驗(yàn)化的差異[32]。在心腦血管領(lǐng)域,圖像分割可以分為血管結(jié)構(gòu)的分割和病變的分割,需要全局和局部上、下文來(lái)執(zhí)行準(zhǔn)確的分割,針對(duì)不同的醫(yī)學(xué)成像技術(shù)特性(如分辨率、噪聲、血管對(duì)比度),選擇合適的分割算法,分割任務(wù)通常被定義為識(shí)別組成感興趣區(qū)域的輪廓或者內(nèi)部的一組體素[8]。
對(duì)于無(wú)癥狀的頸動(dòng)脈狹窄患者,斑塊的形態(tài)學(xué)評(píng)估可以輔助判斷斑塊破裂的風(fēng)險(xiǎn)和卒中的發(fā)生,超聲成像為此提供了一種安全和非侵入性的手段,而頸動(dòng)脈中膜-外膜邊界和管腔-內(nèi)膜邊界的分割是這一過(guò)程中必不可少的一部分。Azzopardi等[33]在頸動(dòng)脈的超聲影像上,使用結(jié)合幾何約束的CNN模型分割頸動(dòng)脈圖像中的中層外膜邊界和管腔內(nèi)膜邊界,融合幅度和相位數(shù)據(jù)作為輸入數(shù)據(jù)的雙峰源,并設(shè)計(jì)了一種新的幾何約束目標(biāo)函數(shù)用于深度模型的訓(xùn)練,該模型在中層外膜邊界和管腔內(nèi)膜邊界的Dice系數(shù)達(dá)到0.962和0.925。
中風(fēng)主要由腦動(dòng)脈瘤、動(dòng)靜脈畸形等嚴(yán)重的腦血管疾病引起,而準(zhǔn)確的腦血管分割是實(shí)現(xiàn)腦血管結(jié)構(gòu)可視化、血管診斷和計(jì)算機(jī)輔助治療的關(guān)鍵步驟。Zhang 等[34]基于顱內(nèi)飛行時(shí)間法(TOF-MRA)影像,構(gòu)造并訓(xùn)練了一種基于擴(kuò)張卷積的深度網(wǎng)絡(luò)。結(jié)合模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)的方法提出了一種新的腦血管自動(dòng)分割策略,平均Dice系數(shù)可達(dá)0.932。與其他方法相比,該模型對(duì)腦血管結(jié)構(gòu)的分割具有更好的完整性和敏感度,尤其是對(duì)細(xì)小血管也有良好的分割效果。而Zhang 等[35]提出了一種基于U-Net的深度學(xué)習(xí)方法,在DSA圖像上也實(shí)現(xiàn)了腦血管的自動(dòng)分割,準(zhǔn)確度達(dá)到0.978,平均Dice系數(shù)為0.8268。
機(jī)器學(xué)習(xí)中模型以及算法的訓(xùn)練需要基于準(zhǔn)確標(biāo)注的大量的訓(xùn)練數(shù)據(jù),以充分學(xué)習(xí)模型參數(shù),同時(shí)防止出現(xiàn)過(guò)擬合。增加可用訓(xùn)練數(shù)據(jù)量的一種常用技術(shù)是數(shù)據(jù)增強(qiáng),即將預(yù)定變換(如平移、旋轉(zhuǎn)等)應(yīng)用于已有的訓(xùn)練數(shù)據(jù)。而數(shù)據(jù)增強(qiáng)的另一種方式是合成全新的數(shù)據(jù),即圖像的生成。其中生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network, GAN)是圖像生成中最常使用的網(wǎng)絡(luò)模型,由生成器和鑒別器兩部分網(wǎng)絡(luò)組成,其中生成器生成新的血管幾何形狀,而鑒別器則將生成的血管與真實(shí)血管進(jìn)行區(qū)分,采用“零和博弈”的思想,優(yōu)化生成器和鑒別器兩個(gè)網(wǎng)絡(luò)的參數(shù)。
分析冠狀動(dòng)脈CT血管造影以檢測(cè)動(dòng)脈粥樣硬化斑塊或狹窄,對(duì)冠心病的診斷和預(yù)后具有臨床價(jià)值[36]。因此,對(duì)CCTA的定量分析一直是醫(yī)學(xué)圖像分析領(lǐng)域的研究熱點(diǎn)。2018年Yi等[37]訓(xùn)練了一個(gè)生成對(duì)抗網(wǎng)絡(luò)用于機(jī)器合成冠狀動(dòng)脈血管。通過(guò)將真實(shí)的和合成的血管的幾何形狀參數(shù)化為基于血管中心線的1D信號(hào),生成器合成具有特定特征的血管。與以往基于模型的血管合成方法不同,該生成方法能夠用數(shù)據(jù)驅(qū)動(dòng)的方法合成逼真的血管模型。該模型可有效地捕獲訓(xùn)練集中存在的數(shù)據(jù),并生成與在訓(xùn)練期間看到的樣本不同的新樣本。而從三維結(jié)構(gòu)轉(zhuǎn)為醫(yī)學(xué)影像也在Hamarneh等[38]使用關(guān)于組織密度的假設(shè),將合成的血管幾何形狀轉(zhuǎn)換成相應(yīng)的CT圖像的工作上有所突破,生成的數(shù)據(jù)對(duì)驗(yàn)證圖像分析技術(shù)是十分有意義的。
不同成像技術(shù)各有優(yōu)勢(shì),所含有的信息也不盡相同,在訓(xùn)練網(wǎng)絡(luò)模型或者優(yōu)化計(jì)算機(jī)輔助診斷時(shí)提供了不同的信息,而獲得相同患者的不同成像數(shù)據(jù)經(jīng)常不易實(shí)現(xiàn)。因此,機(jī)器學(xué)習(xí)還可應(yīng)用于醫(yī)學(xué)影像模態(tài)的轉(zhuǎn)換。磁共振成像(MRI)與計(jì)算機(jī)斷層掃描(CT)在圖像的生成中是兩種常用的醫(yī)學(xué)影像,2019年Rubin等[39]設(shè)計(jì)了一種條件生成對(duì)抗網(wǎng)絡(luò)(conditional GAN, CGAN),基于CT灌注影像重建出了MRI影像,并將生成的MRI影像作為額外的信道輸入到分割網(wǎng)絡(luò)中,提高了對(duì)于病變的分割效果。同年,Wang[40]等實(shí)現(xiàn)了從MRI圖像中生成CT圖像,研究了腦立體放射性治療中的劑量計(jì)算,并在生成CT與原始CT之間的軸向劑量平面上,采用3%/3 mm標(biāo)準(zhǔn)進(jìn)行伽瑪分析,進(jìn)一步評(píng)價(jià)生成CT的劑量準(zhǔn)確性。研究結(jié)果顯示通過(guò)率為97.5%~100%。在圖像的生成中,GAN發(fā)揮了不可或缺的作用,將生成模型和判別模型一起對(duì)抗訓(xùn)練,生成模型產(chǎn)生一張圖片去欺騙判別模型,再由判別模型去判斷這張圖片的真假,兩個(gè)模型在訓(xùn)練過(guò)程中的能力越來(lái)越強(qiáng),最終達(dá)到穩(wěn)態(tài)。
機(jī)器學(xué)習(xí)現(xiàn)已被應(yīng)用于心腦血管領(lǐng)域的多種醫(yī)學(xué)影像分析任務(wù)中,均取得了突破性的進(jìn)展,可在血管類疾病的臨床診療過(guò)程中起到巨大的輔助作用。傳統(tǒng)的機(jī)制驅(qū)動(dòng)方法高度依賴于復(fù)雜和繁復(fù)的模型參數(shù),而數(shù)據(jù)驅(qū)動(dòng)的出現(xiàn),讓我們對(duì)學(xué)習(xí)模型的優(yōu)化有了新的表達(dá)方式,但兩種驅(qū)動(dòng)方式有各自的優(yōu)勢(shì),未來(lái)將兩者結(jié)合可能對(duì)于模型的優(yōu)化有更好的方法和表達(dá);而多模態(tài)醫(yī)學(xué)影像的配準(zhǔn)與融合在機(jī)器學(xué)習(xí)中的進(jìn)一步應(yīng)用,可以實(shí)現(xiàn)對(duì)感興趣區(qū)域的信息的補(bǔ)充,或?qū)⑻岣邫C(jī)器學(xué)習(xí)的效率以及優(yōu)化學(xué)習(xí)的效果;在將來(lái)機(jī)器學(xué)習(xí)也許可以利用無(wú)監(jiān)督學(xué)習(xí)來(lái)減少對(duì)數(shù)據(jù)標(biāo)注的依賴,而強(qiáng)化學(xué)習(xí)的應(yīng)用或可以實(shí)現(xiàn)機(jī)器不依賴人的指導(dǎo)創(chuàng)造出更優(yōu)的醫(yī)學(xué)診斷與治療方案的目標(biāo)。
隨著機(jī)器學(xué)習(xí)和醫(yī)學(xué)影像學(xué)技術(shù)的發(fā)展,機(jī)器學(xué)習(xí)的應(yīng)用將減輕醫(yī)生的工作量,同時(shí)為患者提供更加準(zhǔn)確的診斷和治療的規(guī)劃,從而在減輕患者痛苦方面取得更大的進(jìn)步;因?yàn)槠湓谀承┓矫嬉呀?jīng)可以代替或者超越專家的診斷,故也會(huì)減輕醫(yī)生工作壓力,節(jié)約臨床診斷的寶貴時(shí)間;另外,形態(tài)學(xué)分析從二維向三維的轉(zhuǎn)變,有助于在一些疾病上建立標(biāo)準(zhǔn)化的測(cè)量體系。