張曉麗,張魁星 ,江 梅,魏本征,叢金玉
1.山東中醫(yī)藥大學(xué) 智能與信息工程學(xué)院,濟(jì)南 250355
2.山東中醫(yī)藥大學(xué) 醫(yī)學(xué)人工智能研究中心,山東 青島 266112
3.山東中醫(yī)藥大學(xué) 青島中醫(yī)藥科學(xué)院,山東 青島 266112
淋巴瘤是由于淋巴細(xì)胞病變形成的一類(lèi)惡性腫瘤[1],其種類(lèi)復(fù)雜多樣,在形態(tài)及臨床表現(xiàn)等方面多具異質(zhì)性[2]。在世界衛(wèi)生組織(World Health Organization,WHO)造血和淋巴組織腫瘤分類(lèi)中,目前已知的淋巴瘤病理類(lèi)型有近100種[3],通常被分為非霍奇金淋巴瘤(Non-Hodgkin Lymphoma,NHL)和霍奇金淋巴瘤(Hodgkin Lymphoma,HL)2 大類(lèi),且每個(gè)大類(lèi)中又含有多個(gè)小類(lèi)及亞型[4]。不同類(lèi)型的淋巴瘤治療和預(yù)后方案也各有差異,錯(cuò)誤診斷淋巴瘤類(lèi)型可導(dǎo)致病情加重,正確診斷并及早治療能夠有效提高淋巴瘤的治愈率[5]。
淋巴瘤的臨床表征繁雜,影像學(xué)及病理學(xué)檢查等在淋巴瘤的診斷和正確分類(lèi)方面具有非常重要的作用?;诹馨土鰣D像分類(lèi)技術(shù)實(shí)現(xiàn)淋巴瘤類(lèi)型的精確分類(lèi)能夠輔助醫(yī)生更為快速地診斷病情,選擇最佳治療方案。早期淋巴瘤圖像分類(lèi)的技術(shù)思想為對(duì)圖像勾畫(huà)感興趣區(qū)域(Region of Interest,ROI),并提取該區(qū)域的紋理、形態(tài)及顏色等特征,最后根據(jù)特征進(jìn)行分類(lèi)。而目前主要是利用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)對(duì)圖像處理,借助相關(guān)算法自動(dòng)提取醫(yī)學(xué)影像或病理圖像特征進(jìn)行分類(lèi)。在圖像分類(lèi)過(guò)程中,采用準(zhǔn)確度(Accuracy)、受試者工作特征曲線(xiàn)(Receiver Operating Characteristic Curve,ROC)及 ROC 曲線(xiàn)下面積(Area Under ROC Curve,AUC)等不同指標(biāo)作為分類(lèi)結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)。本文對(duì)目前基于機(jī)器學(xué)習(xí)等新技術(shù)的淋巴瘤圖像分類(lèi)模型做了系統(tǒng)總結(jié)與分析。
隨著成像技術(shù)的快速發(fā)展,利用影像學(xué)檢查可發(fā)現(xiàn)腫瘤的早期病變并對(duì)其進(jìn)行定量分析[6],結(jié)合病理圖像能夠?yàn)榇_診腫瘤類(lèi)型提供強(qiáng)有力的支持。醫(yī)學(xué)影像根據(jù)成像方式的不同可分為X射線(xiàn)、電子計(jì)算機(jī)斷層掃描(Computed Tomography,CT)、超聲圖像等,此類(lèi)圖像可由專(zhuān)業(yè)的醫(yī)學(xué)成像設(shè)備采得。如圖1 所示為采集的部分淋巴瘤影像圖像。
圖1 淋巴瘤影像圖像
當(dāng)前淋巴瘤醫(yī)學(xué)影像圖像分類(lèi)方法主要包括基于傳統(tǒng)特征提取的圖像分類(lèi)和基于機(jī)器學(xué)習(xí)的圖像分類(lèi),其基本過(guò)程如圖2所示,其中上支為基于傳統(tǒng)特征提取的方法,下支為基于機(jī)器學(xué)習(xí)的方法。
傳統(tǒng)特征提取的方法由經(jīng)驗(yàn)豐富的醫(yī)生手動(dòng)提取圖像的超聲、放射等特征,同時(shí)利用LBP算子、灰度共生矩陣等傳統(tǒng)方法對(duì)ROI區(qū)域提取紋理等特征,利用統(tǒng)計(jì)分析的方法得出分類(lèi)結(jié)果。
2016 年,李毓紅等[7]采用Logistic 回歸模型對(duì)腮腺多形性腺瘤與腺淋巴瘤超聲圖像的形態(tài)、回聲等特征分析實(shí)現(xiàn)了兩類(lèi)腫瘤的分類(lèi)。但該研究中涉及的樣本量及特征較少,尚需增加樣本量與特征量進(jìn)一步檢驗(yàn)。鄧晶等[8]回顧分析乳腺淋巴瘤的超聲圖像發(fā)現(xiàn)其超聲特征與病理基礎(chǔ)有關(guān),利用部分超聲特征有助于乳腺淋巴瘤的正確分類(lèi)。孫俊旗等[9]通過(guò)對(duì)鼻咽癌與鼻咽淋巴瘤患者的磁共振擴(kuò)散加權(quán)成像(Diffusion Weighted Imaging,DWI)進(jìn)行回顧性分析,對(duì)DWI圖像勾畫(huà)ROI區(qū)域并測(cè)量表觀擴(kuò)散系數(shù)(Apparent Diffusion Coefficient,ADC),分析得出DWI圖像結(jié)合ADC值能夠有效鑒別兩類(lèi)疾病。
2018年,孫振國(guó)等[10]采用紋理分析軟件提取原發(fā)性中樞神經(jīng)系統(tǒng)淋巴瘤(Primary Central Nervous System Lymphoma,PCNSL)與高級(jí)別膠質(zhì)瘤(High-Grade Glioma,HGG)的DWI 圖像的紋理特征,結(jié)合圖像的ADC 值鑒別 PCNSL 與 HGG。Niu 等[11]通過(guò)對(duì)比 88 例PCNSL 與HGG 的超聲造影與PET-CT 圖像特征發(fā)現(xiàn)兩類(lèi)圖像的特征參數(shù)具有極大相關(guān)性,結(jié)合兩類(lèi)圖像特征參數(shù)可提高淋巴瘤的診斷正確率。
2019 年,劉文華等[12]對(duì)71 例腮腺混合瘤與腺淋巴瘤患者的CT 圖像勾畫(huà)ROI 區(qū)域,使用紋理分析方法提取該區(qū)域的紋理參數(shù),通過(guò)選取具有代表性的紋理參數(shù)與腫瘤形態(tài)參數(shù)相結(jié)合鑒別腮腺混合瘤與腺淋巴瘤,能夠明顯提高診斷準(zhǔn)確率。李涵翰等[13]采用MaZda 軟件勾畫(huà)前縱隔淋巴瘤與胸腺瘤CT圖像的ROI區(qū)域并提取其紋理特征,得出WavEnLLs4 等紋理參數(shù)對(duì)鑒別兩類(lèi)疾病具有重要意義,能夠獲得較高的AUC值。Huang等[14]在提取紋理特征的基礎(chǔ)上,采用選擇算子以及邏輯回歸分析等方法分析胰腺淋巴瘤與胰腺癌圖像的CT 特征,提高了分類(lèi)準(zhǔn)確率。
圖2 淋巴瘤醫(yī)學(xué)影像圖像分類(lèi)系統(tǒng)框架
2020年,韓婷婷等[15]通過(guò)對(duì)眼眶淋巴瘤與眼眶炎性假瘤的對(duì)比度增強(qiáng)T1加權(quán)圖像(Contrast-Enhanced T1-Weighted Images,CE-T1WI)勾畫(huà)ROI區(qū)域,并提取該區(qū)域的紋理特征。使用主成分分析法(Principal Component Analysis,PCA)對(duì)有統(tǒng)計(jì)學(xué)意義的紋理參數(shù)降維。建立多變量Logistic 回歸模型檢驗(yàn)降維后的特征,該模型的AUC、靈敏度及特異度分別為0.913、87.5%、88.0%。李先曉等[16]通過(guò)對(duì)腮腺NHL 與多形性腺瘤的的超聲圖像提取超聲特征,使用統(tǒng)計(jì)學(xué)分析的方法實(shí)現(xiàn)了兩類(lèi)腫瘤的分類(lèi)。Shen 等[17]對(duì)胸腺淋巴瘤與胸腺癌的動(dòng)態(tài)對(duì)比增強(qiáng)磁共振成像(DCE-MRI)衍生參數(shù)進(jìn)行定量分析,經(jīng)統(tǒng)計(jì)學(xué)檢驗(yàn)可知DCE-MRI 圖像衍生參數(shù)對(duì)鑒別二者具有一定價(jià)值,其AUC 值、靈敏度、特異度分別為0.752、57.1%、93.3%。
基于傳統(tǒng)特征提取的淋巴瘤圖像分類(lèi)方式需要手動(dòng)勾畫(huà)淋巴瘤圖像的ROI區(qū)域,通過(guò)對(duì)ROI區(qū)域提取特征并進(jìn)行分析,得出分類(lèi)結(jié)果。該方法存在兩個(gè)弊端,一方面,在勾畫(huà)ROI區(qū)域上由于每個(gè)醫(yī)生的專(zhuān)業(yè)素養(yǎng)不同可能會(huì)引起誤差,影響最終的分類(lèi)結(jié)果;另一方面,在特征提取上,由于該方法提取的是圖像的底層特征,僅能完成幾類(lèi)簡(jiǎn)單的圖像分類(lèi),對(duì)于復(fù)雜度較高的圖像其分類(lèi)精度較低,無(wú)法達(dá)到精準(zhǔn)診斷的要求。
機(jī)器學(xué)習(xí)是利用計(jì)算機(jī)分析數(shù)據(jù),從已知數(shù)據(jù)中找到規(guī)律,并利用此規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行分析的一項(xiàng)技術(shù)[18],該技術(shù)可劃分為傳統(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí),其算法的多樣性為各種學(xué)習(xí)任務(wù)的實(shí)現(xiàn)提供了選擇條件[19]。隨著支持向量機(jī)(Support Vector Machine,SVM)[20]、隨機(jī)森林(Random Forest,RF)[21]與深度學(xué)習(xí)[22-23]等算法在醫(yī)學(xué)影像分類(lèi)領(lǐng)域的廣泛應(yīng)用,臨床上對(duì)腫瘤影像分類(lèi)的輔助診斷系統(tǒng)應(yīng)運(yùn)而生。利用人工智能技術(shù)對(duì)淋巴瘤影像分類(lèi)以提高臨床對(duì)淋巴瘤類(lèi)型診斷的效率和準(zhǔn)確性,逐步成為國(guó)內(nèi)外的研究熱點(diǎn)。
膠質(zhì)母細(xì)胞瘤(Glioblastoma,GBM)和PCNSL在磁共振成像(Magnetic Resonance Imaging,MRI)上有許多相似特性,準(zhǔn)確鑒別二者十分困難[24],Liu 等[25]采用Gabor小波分析法對(duì)GBM與PCNSL的MRI圖像提取紋理特征,利用SVM 與線(xiàn)性判別分析相結(jié)合的方法實(shí)現(xiàn)了二者的分類(lèi)。2017 年,Alcaide-Leon 等[26]在一階紋理特征的基礎(chǔ)上,進(jìn)一步提取圖像的二階紋理特征,采用SVM分類(lèi)器實(shí)現(xiàn)神經(jīng)膠質(zhì)瘤和PCNSL的分類(lèi),其AUC值可達(dá) 0.877。2018 年,Kunimatsu 等[27]選擇 PCNSL 與GBM 的CE-T1WI 圖像提取放射紋理特征,使用基于線(xiàn)性與基于高斯核的非線(xiàn)形SVM分類(lèi)器對(duì)經(jīng)PCA降維后的數(shù)據(jù)進(jìn)行訓(xùn)練,分類(lèi)準(zhǔn)確度可達(dá)75%,該研究表明基于SVM 分類(lèi)的方法具有一定的可行性,但其分類(lèi)精度較低無(wú)法達(dá)到臨床需求,尚需進(jìn)一步改進(jìn)。吳國(guó)慶等[28]針對(duì)GBM與PCNSL的MRI圖像紋理特征的差異性,提出基于稀疏表示體系的圖像鑒別方式。首先利用卷積神經(jīng)網(wǎng)絡(luò)分割出圖像中的腫瘤區(qū)域,其次運(yùn)用基于字典學(xué)習(xí)與迭代稀疏表示的方法篩選出高分辨力的特征,最后將特征輸入稀疏表示分類(lèi)器(Sparse Representation Classifier,SRC)進(jìn)行分類(lèi)。相較于 SVM 分類(lèi)器,利用SRC 分類(lèi)器能夠提高GBM 與PCNSL 兩類(lèi)疾病的分類(lèi)準(zhǔn)確率與魯棒性。Nakagawa 等[29]利用LIFFx 軟件提取GBM 與PCNSL 的MRI 圖像紋理特征,采用單變量Logistic回歸與極端梯度提升(eXtreme Gradient Boosting,XGBoost)的方法進(jìn)行區(qū)分GBM 與PCNSL。實(shí)驗(yàn)結(jié)果表明,通過(guò)對(duì)多個(gè)參數(shù)集成學(xué)習(xí)可提高分類(lèi)精度。Kim等[30]對(duì)PCNSL與GBM的MRI圖像提取放射性特征,采用邏輯分類(lèi)器、SVM分類(lèi)器與RF分類(lèi)器作為混合分類(lèi)模型實(shí)現(xiàn)了二者分類(lèi),準(zhǔn)確率、AUC 及敏感度分別為0.941、0.979、0.938。
2019 年,Shrot 等[31]通過(guò)對(duì) PCNSL、GBM 的 MRI 圖像進(jìn)行歸一化、分割ROI 區(qū)域等預(yù)處理,之后提取圖像特征,采用SVM 算法與二叉樹(shù)結(jié)合的方法對(duì)輸入的影像特征分類(lèi),結(jié)果顯示該模型具有較高的分類(lèi)精度。Swinburne 等[32]采用多層感知器(Multilayer Perceptron,MLP)模型對(duì)GBM、腦轉(zhuǎn)移瘤與中樞神經(jīng)系統(tǒng)淋巴瘤的MRI 圖像分析取得了良好的分類(lèi)效果。但由于樣本數(shù)據(jù)量少,缺乏代表性,該方法無(wú)法對(duì)復(fù)雜度較大的MRI圖像進(jìn)行準(zhǔn)確分類(lèi)。石頡等[33]分別對(duì)淋巴瘤與良性淋巴結(jié)的彈性和B 型超聲圖像提取影像組學(xué)特征,利用Adaboost 算法融合雙模態(tài)圖像特征,進(jìn)而輸出分類(lèi)結(jié)果。該方法克服了單模態(tài)圖像特征單一的局限性,充分利用不同模態(tài)圖像的特性,有效提高了分類(lèi)準(zhǔn)確率,為之后的模型優(yōu)化提供了一種新思路。
基于機(jī)器學(xué)習(xí)算法的淋巴瘤影像圖像分類(lèi)相比于傳統(tǒng)分類(lèi)方法無(wú)需標(biāo)定ROI區(qū)域,能夠直接提取圖像全局特征,利用分類(lèi)器得到分類(lèi)結(jié)果。該方法能夠較為客觀快速地做出決策,準(zhǔn)確率較高,但在特征提取與選擇時(shí)該方法具有盲目性,仍需要先驗(yàn)知識(shí)的指導(dǎo),在減少盲目性、提取更具價(jià)值的特征信息方面還需進(jìn)一步深入研究。
由此可知,基于傳統(tǒng)特征提取方法和機(jī)器學(xué)習(xí)算法的淋巴瘤醫(yī)學(xué)影像圖像分類(lèi)均需要先驗(yàn)知識(shí)的指導(dǎo),對(duì)分類(lèi)結(jié)果影響較大。此外,影像學(xué)檢查輻射性大且只能探查腫瘤病變較明顯的地方而不能精準(zhǔn)地觀察到極細(xì)微的病變,難以準(zhǔn)確判斷淋巴瘤,仍需結(jié)合病理學(xué)診斷的方法提高診斷的準(zhǔn)確性。
病理圖像是確診淋巴瘤的“金標(biāo)準(zhǔn)”[34]。組織活檢技術(shù)是獲取病理圖像的常用方式,該技術(shù)通過(guò)對(duì)患病部位進(jìn)行穿刺得到組織樣本,經(jīng)固定、切片、染色等步驟制成幾微米厚的薄片組織附著于載玻片上,之后利用顯微鏡、掃描儀等工具獲取病理圖像[35]。如圖3 所示為常見(jiàn)的淋巴瘤病理圖像。準(zhǔn)確診斷病理圖像具有重要的臨床研究?jī)r(jià)值,針對(duì)淋巴瘤病理圖像分類(lèi),目前研究多為基于傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法。
圖3 淋巴瘤病理圖像
早期,國(guó)內(nèi)外學(xué)者們利用機(jī)器學(xué)習(xí)技術(shù)在淋巴瘤病理圖像分類(lèi)方面進(jìn)行了諸多研究和探索。20世紀(jì)90年代末,Ruschenburg等[36]采用決策樹(shù)(Decision Tree,DT)中分類(lèi)樹(shù)的方法實(shí)現(xiàn)了對(duì)低級(jí)別非霍奇金淋巴瘤與肌上皮性涎腺炎的分類(lèi)。2010 年,Orlov 等[37]利用WNDCHARM多用途圖像分類(lèi)器[38]提取病理圖像的全局特征實(shí)現(xiàn)了濾泡性淋巴瘤(Follicular Lymphom,F(xiàn)L)、慢性淋巴細(xì)胞白血?。–hronic Lymphocytic Leukemia,CLL)及套細(xì)胞淋巴瘤(Mantle Cell Lymphoma,MCL)的分類(lèi),研究結(jié)果表明該方法能明顯提高分類(lèi)準(zhǔn)確率。之后,Zhang 等[39]采用二進(jìn)制模式、Gabor 濾波與灰度共生矩陣的方法提取FL、CLL、MCL三種淋巴瘤病理圖像的紋理特征;利用投票法對(duì)SVM、K最鄰近、MLP分類(lèi)器進(jìn)行集成,由集成分類(lèi)器實(shí)現(xiàn)淋巴瘤的分類(lèi)。2011 年,Zorman等[40]提出以RGB的R分量做為參考閾值獲取圖像特征,結(jié)合基于符號(hào)的機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)了對(duì)淋巴瘤病理圖像的自動(dòng)分類(lèi)。Arora等[41]提出使用聚類(lèi)的方法對(duì)FL病理圖像中的細(xì)胞進(jìn)行分割,通過(guò)有監(jiān)督的機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)FL的分級(jí),準(zhǔn)確率可達(dá)89%。Dimitropoulos[42]等在分割FL 圖像的基礎(chǔ)上,提出一種自適應(yīng)模糊神經(jīng)網(wǎng)絡(luò)的方法對(duì)FL 分級(jí),其準(zhǔn)確率為90.35%。2015 年,Yan 等[43]提出一種改進(jìn)的SVM 分類(lèi)算法分析七種類(lèi)型的淋巴瘤病理圖像,有效提高了模型的分類(lèi)性能。2016年,Gurcan 等[44]提出一種多階段的圖像增強(qiáng)、分割及分類(lèi)的方法,首先采用顏色增強(qiáng)和閾值分割的方法對(duì)FL、CLL、MCL三類(lèi)淋巴瘤病理圖像進(jìn)行分割,其次利用LBP、顏色直方圖等方法對(duì)分割后的圖像提取紋理、顏色等特征;最后采用優(yōu)化核函數(shù)的SVM分類(lèi)器進(jìn)行分類(lèi),該方法能夠達(dá)到95.5%的多分類(lèi)精度。2017年,Tosta等[45]采用模糊3-劃分熵多閾值分割等算法對(duì)FL、MCL 圖像分割細(xì)胞核、胞漿等組織,之后對(duì)分割結(jié)果提取紋理與顏色等特征,最后使用SVM 分類(lèi)器實(shí)現(xiàn)FL、MCL 的分類(lèi)。Roberto 等[46]提出一種基于滲透理論的新方法,結(jié)合關(guān)聯(lián)多尺度和多維度等對(duì)淋巴瘤病理圖像進(jìn)行定量分析,取得了較好的分類(lèi)效果。Zanchetta 等[47]運(yùn)用閾值分割法對(duì)FL、CLL、MCL 圖像分割并提取其特征,利用多項(xiàng)式(Polynomial,PL)分類(lèi)器實(shí)現(xiàn)三種疾病分類(lèi)。Ribeiro[48]等利用離散Curvelet 變換和Haralick 提取MCL、CLL、FL 三類(lèi)病理圖像特征,提出融合DT、RF 及SVM 三種分類(lèi)器特性的方法實(shí)現(xiàn)淋巴瘤圖像的分類(lèi)。2019 年,Martins 等[49]在多尺度與多維特征分析的基礎(chǔ)上,采用Hermite多項(xiàng)式(Hermite Polynomials,HP)分類(lèi)器實(shí)現(xiàn)了淋巴瘤病理圖像的分類(lèi)。Tosta 等[50]通過(guò)遺傳算法識(shí)別CLL 與FL 圖像的腫瘤細(xì)胞核,利用適應(yīng)度函數(shù)實(shí)現(xiàn)細(xì)胞核的無(wú)監(jiān)督分割與分類(lèi),其準(zhǔn)確率達(dá)98.14%。
隨著圖像分類(lèi)技術(shù)的推進(jìn),國(guó)內(nèi)也展開(kāi)了對(duì)病理圖像的分析。張建波等[51]利用淋巴瘤病理圖像特點(diǎn),提出一種監(jiān)督學(xué)習(xí)的SKLE方法提取圖像中的特征并降維,采用Simple Logistic分類(lèi)器對(duì)其分類(lèi),實(shí)驗(yàn)結(jié)果顯示該方法能有效提高淋巴瘤圖像的分類(lèi)精度。為國(guó)內(nèi)將機(jī)器學(xué)習(xí)應(yīng)用于淋巴瘤分類(lèi)打下了基礎(chǔ)。
深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的出現(xiàn),許多結(jié)構(gòu)模型被應(yīng)用到病理圖像分析中[52-53],其中最為常用的模型為卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN),其基本思想為利用端到端的學(xué)習(xí)方法,將圖像輸入至模型中,通過(guò)提取其特征并利用損失函數(shù)不斷優(yōu)化,從而輸出分類(lèi)結(jié)果。該結(jié)構(gòu)通過(guò)多層網(wǎng)絡(luò)能夠自動(dòng)提取圖像信息,無(wú)需進(jìn)行復(fù)雜的人工操作過(guò)程,有效提高了分類(lèi)準(zhǔn)確率?;诖耍芯繉W(xué)者們對(duì)基于深度學(xué)習(xí)淋巴瘤病理圖像分類(lèi)技術(shù)提出了眾多方案。傳統(tǒng)CNN網(wǎng)絡(luò)架構(gòu)示意圖如圖4所示。
圖4 CNN網(wǎng)絡(luò)架構(gòu)示意圖
Achi 等[54]提出一種成組圖像預(yù)測(cè)的方法分析良性淋巴結(jié)、彌漫性大B 細(xì)胞淋巴瘤(Diffuse Large B Cell Lymphoma,DLBCL)及伯基特淋巴瘤(Burkitt Lymphoma,BL)等全切片圖像,采用CNN算法構(gòu)建模型進(jìn)行病理圖像分類(lèi),與單一圖像預(yù)測(cè)相比,使用成組圖像預(yù)測(cè)具有更高的準(zhǔn)確率,該研究提出了一種分析全切片病理圖像的新思路。Brousset等[55]分別采用 VGGNet、GoogLeNet等不同架構(gòu)區(qū)分FL 與DLBCL,其AUC 值分別為0.95、0.882。該研究表明利用簡(jiǎn)單的CNN模型也可以提高病理圖像的分類(lèi)精度。Zhu等[56]提出了一種多空間圖像重建和遷移學(xué)習(xí)技術(shù)結(jié)合的新型分類(lèi)框架,利用CL、FL、MCL 病理圖像的三通道構(gòu)造新圖像,采用預(yù)訓(xùn)練的VGG-16 網(wǎng)絡(luò)提取原圖像與重構(gòu)圖像的高級(jí)語(yǔ)義特征,將長(zhǎng)短期記憶(Long Short-Term Memory,LSTM)層用于特征選擇與細(xì)化,最后通過(guò)softmax 分類(lèi)。該研究利用LSTM 增強(qiáng)特征的辨別能力能夠提高模型的準(zhǔn)確率。理論上,增加網(wǎng)絡(luò)深度或?qū)挾瓤梢蕴岣吣P唾|(zhì)量和計(jì)算能力,Guan等[57]在此基礎(chǔ)上提出應(yīng)用Inception-v3深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks,DCNN)對(duì)NHL、鱗狀細(xì)胞癌等病理圖像分類(lèi),總的分類(lèi)準(zhǔn)確率達(dá)到89.62%。Bai 等[58]提出一種多路徑集成的圖像分類(lèi)方法分析 CLL、FL、MCL 圖像,采用 RF 與GooLeNet 預(yù)訓(xùn)練模型進(jìn)行不同級(jí)別的融合,該模型準(zhǔn)確率可達(dá)99.1%,AUC 達(dá)0.998,明顯高于其他方法。Brancati 等[59]針對(duì)不同腫瘤提出一種基于FusionNet 的監(jiān)督編碼器(Supervised Encoder FusionNet,SEF)實(shí)現(xiàn)乳腺癌與淋巴瘤病理圖像分類(lèi),SEF通過(guò)較強(qiáng)的特征融合能力能夠提高分類(lèi)準(zhǔn)確率。Somaratne等[60]提出一種基于AlexNet模型的方法,通過(guò)對(duì)ImageNet圖像進(jìn)行預(yù)訓(xùn)練并進(jìn)行微調(diào)得到模型參數(shù),采用經(jīng)圖像增強(qiáng)與直方圖均衡化后的蘇木精-伊紅(Hematoxylin-Eosin,HE)染色圖像作為輸入,改進(jìn)的全連接層作為輸出,實(shí)現(xiàn)了FL與非FL的分類(lèi)。該方法雖然有效改善了數(shù)據(jù)不足的缺陷,但模型進(jìn)行預(yù)訓(xùn)練時(shí)耗時(shí)較長(zhǎng),還需進(jìn)一步改進(jìn)。
2020 年,Sheng 等[61]在 DCNN 的基礎(chǔ)上,提出使用更為高效的Faster R-CNN方法對(duì)淋巴瘤細(xì)胞圖像識(shí)別分類(lèi),采用四步交替迭代的方法得到高于96%的分類(lèi)準(zhǔn)確率,達(dá)到了良好的識(shí)別效果。但是該方法存在研究數(shù)據(jù)較少、耗時(shí)長(zhǎng)等不足,尚需進(jìn)一步完善。隨后,Miyoshi等[62]對(duì)DLBCL、FL等淋巴瘤病理圖像分別做倍率為5、20、40的放大處理,利用層數(shù)為11層的深度神經(jīng)網(wǎng)絡(luò)構(gòu)建分類(lèi)器對(duì)病理圖像分類(lèi),與病理學(xué)家診斷結(jié)果相比具有更高的準(zhǔn)確率。但是該方法在處理過(guò)程中需要病理學(xué)專(zhuān)家手動(dòng)注釋?zhuān)馁M(fèi)人力物力,還需設(shè)計(jì)一種自動(dòng)注釋軟件以提高效率。Mohlman[63]等在CNN 的基礎(chǔ)上,采用三個(gè)獨(dú)立的CNN 網(wǎng)絡(luò)實(shí)現(xiàn)了BL 和DLBCL的分類(lèi),結(jié)果顯示多個(gè)CNN 融合結(jié)構(gòu)在淋巴瘤分類(lèi)方面具有良好的應(yīng)用前景。Ganguly 等[64]利用ResNet 50作為預(yù)訓(xùn)練模型結(jié)合AdamW 優(yōu)化算法對(duì)NIA 數(shù)據(jù)集中的淋巴瘤病理圖像分類(lèi),取得98.13%的三分類(lèi)精度。該研究證明了深度神經(jīng)網(wǎng)絡(luò)的分類(lèi)性能不僅取決于網(wǎng)絡(luò)體系,還取決于使用的優(yōu)化算法,為之后分類(lèi)模型的優(yōu)化提供了一種新方向。Zhang等[65]在探索深度學(xué)習(xí)對(duì)淋巴瘤分類(lèi)的過(guò)程中,發(fā)現(xiàn)在數(shù)據(jù)預(yù)處理與特征提取方面深度學(xué)習(xí)還存在部分缺陷,基于此提出遷移學(xué)習(xí)與PCA 融合的方法實(shí)現(xiàn)NHL 的分類(lèi),三分類(lèi)準(zhǔn)確率達(dá)98.93%。該方法具有較強(qiáng)的模型通用性與較高的分類(lèi)能力。
由上述學(xué)者研究可知,目前基于機(jī)器學(xué)習(xí)與深度學(xué)習(xí)技術(shù)的分析已成為淋巴瘤病理圖像分類(lèi)的主要方法。深度學(xué)習(xí)將圖像特征提取與分析融為一體,相比于傳統(tǒng)的機(jī)器學(xué)習(xí)算法,分類(lèi)過(guò)程中采用監(jiān)督式或半監(jiān)督式的高效算法代替手動(dòng)獲取特征的方法[66],有效減少了中間過(guò)程產(chǎn)生的誤差,能夠提高淋巴瘤病理圖像的分類(lèi)準(zhǔn)確率。但由于深度神經(jīng)網(wǎng)絡(luò)是“黑匣子”網(wǎng)絡(luò),提取的特征在臨床上認(rèn)可度低,還需要進(jìn)一步結(jié)合臨床信息加以改進(jìn)從而增加對(duì)醫(yī)學(xué)方面的可解釋性。表1 所示為當(dāng)前基于淋巴瘤病理圖像分類(lèi)技術(shù)的研究概況。由表1可知使用深度學(xué)習(xí)技術(shù)在淋巴瘤圖像分類(lèi)中具有更好的應(yīng)用價(jià)值。
機(jī)器學(xué)習(xí)與深度學(xué)習(xí)技術(shù)是當(dāng)前研究淋巴瘤圖像分類(lèi)的重點(diǎn)技術(shù),該技術(shù)通過(guò)模擬人腦進(jìn)行分析學(xué)習(xí)的機(jī)制,利用多層神經(jīng)網(wǎng)絡(luò)對(duì)輸入的淋巴瘤圖像提取低層特征,進(jìn)一步將特征進(jìn)行組合得到更加抽象的高層語(yǔ)義特征,從而獲得區(qū)分淋巴瘤圖像類(lèi)別的顯著特性,以提高分類(lèi)準(zhǔn)確率。該技術(shù)為淋巴瘤圖像分類(lèi)提供了新思路、新方法,但是在淋巴瘤圖像分類(lèi)研究中依舊存在許多難點(diǎn)問(wèn)題亟待解決。
(1)淋巴瘤類(lèi)型復(fù)雜多樣,且在實(shí)際臨床中多種疾病存在交叉現(xiàn)象,增加了病理圖像的復(fù)雜度。如同時(shí)患有嗜血綜合征與淋巴瘤時(shí),由于兩類(lèi)疾病的結(jié)合,加大了圖像分類(lèi)的難度。
(2)由于成像設(shè)備不同,不同成像原理獲取的圖像存在較大差異,不同類(lèi)型的圖像對(duì)各種模型架構(gòu)的精準(zhǔn)選擇是淋巴瘤圖像分類(lèi)中面臨的最大挑戰(zhàn)。
(3)深度學(xué)習(xí)與傳統(tǒng)分類(lèi)方法相比,需要更大的數(shù)據(jù)量。由于淋巴瘤圖像需要借助掃描儀等設(shè)備和軟件才能導(dǎo)出,且涉及倫理問(wèn)題,圖像獲取難度大,公開(kāi)的數(shù)據(jù)量較少,在一定程度上給深度學(xué)習(xí)的應(yīng)用研究帶來(lái)了困難。
多年來(lái),淋巴瘤分類(lèi)一直是國(guó)內(nèi)外的研究熱點(diǎn),特別是近年來(lái),隨著人工智能技術(shù)的出現(xiàn),基于深度學(xué)習(xí)的淋巴瘤圖像分類(lèi)已成為國(guó)內(nèi)外學(xué)者的研究熱點(diǎn)。
表1 淋巴瘤病理圖像分類(lèi)技術(shù)總結(jié)
深度學(xué)習(xí)模型的多樣性與高效性為分類(lèi)工作的實(shí)現(xiàn)提供了技術(shù)支持,例如深層卷積神經(jīng)網(wǎng)絡(luò)能夠提高分類(lèi)準(zhǔn)確率;遷移學(xué)習(xí)可解決樣本數(shù)據(jù)稀缺的問(wèn)題;聯(lián)邦學(xué)習(xí)[67]可致力于改善各醫(yī)院數(shù)據(jù)不公開(kāi)、醫(yī)學(xué)圖像模態(tài)多樣等問(wèn)題。因此,以深度學(xué)習(xí)為基礎(chǔ)的分類(lèi)方法將會(huì)成為未來(lái)幾年淋巴瘤圖像分類(lèi)的主流技術(shù)。隨著研究的不斷深入,上述問(wèn)題必然會(huì)得到有效解決。
國(guó)內(nèi)外機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)的興起,使得人工智能技術(shù)對(duì)淋巴瘤圖像分類(lèi)含有巨大潛力。通過(guò)構(gòu)建機(jī)器學(xué)習(xí)分類(lèi)模型,在一定程度上降低了人為因素的干擾,提高了分類(lèi)精度。特別是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的提出為圖像分類(lèi)提供了一條更加精準(zhǔn)的方案,深度學(xué)習(xí)以其獨(dú)特的優(yōu)勢(shì)已在肺癌、皮膚癌、乳腺癌圖像分類(lèi)等領(lǐng)域[68-70]取得了巨大成績(jī),為醫(yī)學(xué)圖像分類(lèi)提供了新的方式方法,在輔助臨床治療與預(yù)后方面具有重要的研究?jī)r(jià)值。因此對(duì)深度學(xué)習(xí)技術(shù)加強(qiáng)理論與實(shí)驗(yàn)研究,能夠進(jìn)一步提高圖像分類(lèi)的準(zhǔn)確度。今后基于深度學(xué)習(xí)的淋巴瘤病理圖像分類(lèi)技術(shù)可能著重于以下幾個(gè)方向發(fā)展:
(1)研究適合不同數(shù)據(jù)規(guī)模的學(xué)習(xí)算法,逐漸增加模型深度尋找更體現(xiàn)原始數(shù)據(jù)特征的模型,以期獲得更為準(zhǔn)確的分類(lèi)精度。
(2)設(shè)計(jì)一種適合于淋巴瘤圖像分類(lèi)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)改進(jìn)網(wǎng)絡(luò)模型架構(gòu)與引入新參數(shù),使其能夠從大量無(wú)標(biāo)注的圖像數(shù)據(jù)中準(zhǔn)確分類(lèi)。
(3)設(shè)計(jì)一種將淋巴瘤影像圖像特征與病理圖像特征相融合的網(wǎng)絡(luò)模型,尋找兩類(lèi)圖像間的相關(guān)性,提高分類(lèi)準(zhǔn)確度。
(4)利用深度學(xué)習(xí)技術(shù)進(jìn)一步分析淋巴瘤患者的病理和影像圖像,對(duì)患者病情進(jìn)行風(fēng)險(xiǎn)評(píng)估與預(yù)測(cè),輔助臨床診斷和預(yù)后分析。
隨著人工智能技術(shù)的發(fā)展與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)算法的不斷優(yōu)化,未來(lái)將會(huì)產(chǎn)生更為高效、準(zhǔn)確的輔助診斷工具應(yīng)用于淋巴瘤圖像分類(lèi)方面,為臨床的精準(zhǔn)治療提供有效支撐。