邱越 李秋秋 王瑛 何宇騰
摘要:隨著人工智能的發(fā)展,深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分割的應(yīng)用越來越多。文章綜述了深度學(xué)習(xí)在醫(yī)學(xué)圖像分割中常用的框架和應(yīng)用,促進智能成像和深度學(xué)習(xí)在疾病早期診斷領(lǐng)域的應(yīng)用。
關(guān)鍵詞:深度學(xué)習(xí);醫(yī)學(xué)圖像;圖像分割
中圖分類號:TP393? ? ? 文獻標(biāo)識碼:A
文章編號:1009-3044(2022)10-0074-02
1 背景
在過去的幾十年里,醫(yī)學(xué)成像技術(shù),如計算機斷層掃描 (CT)、超聲、X 射線、磁共振成像(MRI)、正電子發(fā)射斷層掃描 (PET)和乳房 X 線照相術(shù)已被用于疾病的早期檢測、診斷和治療[1]。在臨床上,主要由人類專家如放射科醫(yī)生等進行醫(yī)學(xué)圖像判讀。然而,鑒于醫(yī)學(xué)圖像的廣泛差異和人類專家的潛在疲勞,急需計算機輔助醫(yī)學(xué)圖像的診斷。近年來,隨著人工智能的發(fā)展,開發(fā)計算機輔助方法幫助放射科醫(yī)生進行圖像分析和診斷,成為醫(yī)學(xué)成像研究和開發(fā)的重要方向。
醫(yī)學(xué)圖像分割,從背景醫(yī)學(xué)圖像(如 CT 或 MRI 圖像) 中識別器官或病變的像素,即提供有關(guān)這些器官的形狀和體積的關(guān)鍵信息,是醫(yī)學(xué)圖像分析中最具挑戰(zhàn)性的任務(wù)之一。 許多研究人員通過應(yīng)用現(xiàn)有技術(shù)提出了各種自動分割系統(tǒng)[2]。
2 深度學(xué)習(xí)
深度學(xué)習(xí)是計算機人工智能的子領(lǐng)域,可以視為對傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的改進,由多個層構(gòu)建。深度神經(jīng)網(wǎng)絡(luò)可以發(fā)現(xiàn)分級特征表示,可以從較低級別的特征中導(dǎo)出更高級別的特征,尤其是卷積網(wǎng)絡(luò),已迅速成為醫(yī)學(xué)圖像分割的首選方法。
2.1 醫(yī)學(xué)圖像常用的分割框架
深度學(xué)習(xí)已經(jīng)發(fā)展成為熱門的研究領(lǐng)域,有多種算法。這些算法幾乎涵蓋了圖像處理的所有方面,本文主要集中在醫(yī)學(xué)圖像分割方面。圖像分割可以看作是將圖像的每個像素分類為一個實例的過程,其中每個實例對應(yīng)一個類[3]。目前流行的語義圖像分割架構(gòu)包括 CNN、FCN、SegNet、U-Net、PSPNet 和 Mask R-CNN 等。
2.2.1 卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN) 是一種包含卷積計算,且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),是深度學(xué)習(xí)最重要的一種算法。它可以用于目標(biāo)檢測和圖像分類[4]。其良好的圖片處理能力源于其多卷積核和多層處理的特性,多卷積核使CNN能夠充分提取圖像特征,每個卷積核都對輸入圖像進行卷積處理,將原始圖像轉(zhuǎn)換為特征圖像,不同卷積核生成的不同圖像可以理解為該輸入圖像的不同通道。而多層處理是指將圖片不斷卷積和池化,最后在全連接層進行分類。在圖像處理中,一層卷積往往只學(xué)到了局部的特征,層數(shù)越多,學(xué)到的特征越全局化,多層處理使得低級的特征組合形成更高級的特征表示,從而達到良好的分類效果,如圖1所示。
2.2.2 全卷積網(wǎng)絡(luò)
全卷積網(wǎng)絡(luò)(Fully Convolutional Network,F(xiàn)CNs)[5]缺乏完全連接的層,只包含一個卷積層的層次結(jié)構(gòu)。與CNNs不同,CNNs用于在本地聚合信息以進行全局預(yù)測,F(xiàn)CNs可以用于從每個像素學(xué)習(xí)表示,因此,有可能能夠檢測到在整個圖像中可能稀疏發(fā)生的元素或特征。這個屬性使FCNs能夠做出像素級的預(yù)測,與CNNs相比,F(xiàn)CNs更具有優(yōu)勢:它能從整個圖像中進行重復(fù)特征學(xué)習(xí),圖2為全卷積網(wǎng)絡(luò)模型。
2.2.3 Unet
Unet[6](圖3) 最初由 Ronneberger 等人提出, 該模型建立在 FCN 的優(yōu)雅架構(gòu)之上。除了將網(wǎng)絡(luò)深度增加到 19 層之外,Unet 還受益于網(wǎng)絡(luò)不同階段之間跳過連接的卓越設(shè)計。所提出的結(jié)構(gòu)由分析和綜合兩條路徑組成。分析路徑遵循CNN的結(jié)構(gòu)。合成路徑,通常稱為擴展階段,由一個上采樣層和一個反卷積層組成。 Unet 最重要的特性是分析路徑到擴展路徑中等分辨率層間的快捷連接。這些連接為反卷積層提供了必要的高分辨率特征。
3 深度學(xué)習(xí)在醫(yī)學(xué)圖像分割上的應(yīng)用
隨著深度學(xué)習(xí)的發(fā)展,計算機視覺使用大量的深度學(xué)習(xí)對各種醫(yī)學(xué)圖像進行分割。Hosseini-Asl等人[7]在阿爾茨海默氏病的早期診斷中,提出了一種基于增強AlexNet的深度學(xué)習(xí)方法。 根據(jù)阿爾茨海默氏病的特點,研究了如何精確定位海馬體。他們將海馬體的分割與主流深度學(xué)習(xí)網(wǎng)絡(luò)進行了比較,包括 FCN、Unet、SegNet、Unet-3D 和 Mask-RCNN。 Chen等人[8]應(yīng)用深度神經(jīng)網(wǎng)絡(luò)分割左心房和心房瘢痕。作者采用了一個多視圖CNN的遞歸注意模塊融合互補視圖的特征,以獲得更好的分割精度。Zhang等人[9]建立了“肺癌早期計算機診斷系統(tǒng)”,對肺癌病理切片進行檢測,可以檢測出肺癌的幾種主要類型。
4 結(jié)論
深度學(xué)習(xí)是醫(yī)學(xué)圖像分析的強大工具之一。它已成功應(yīng)用于目標(biāo)檢測、分割和分類。在本文中,筆者首先綜述了應(yīng)用于醫(yī)學(xué)圖像分割最流行的網(wǎng)絡(luò)框架和應(yīng)用。深度學(xué)習(xí)不僅可以找到病灶區(qū)域,還可以對病變區(qū)域進行分割。深度學(xué)習(xí)在體現(xiàn)自身優(yōu)勢的同時,也存在一定不足,深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的發(fā)展依賴于醫(yī)學(xué)大數(shù)據(jù)的積累,每個深度學(xué)習(xí)模型都需要海量數(shù)據(jù)進行訓(xùn)練。此外,深度學(xué)習(xí)可以量化人類無法檢測到的圖像信息,從而輔助臨床決策,還可以將多個數(shù)據(jù)流聚集到功能強大的綜合診斷系統(tǒng)中,系統(tǒng)涵蓋射線照相圖像、基因組學(xué)、病理學(xué)、電子健康記錄等。總之,深度學(xué)習(xí)方法在醫(yī)學(xué)領(lǐng)域中發(fā)揮的作用將越來越重要。
參考文獻:
[1] Chan H P,Samala R K,Hadjiiski L M,et al.Deep learning in medical image analysis[J].Advances in Experimental Medicine and Biology,2020,1213:3-21.
[2] Hesamian M H,Jia W J,He X J,et al.Deep learning techniques for medical image segmentation:achievements and challenges[J].Journal of Digital Imaging,2019,32(4):582-596.
[3] Asgari Taghanaki S,Abhishek K,Cohen J P,et al.Deep semantic segmentation of natural and medical images:a review[J].Artificial Intelligence Review,2021,54(1):137-178.
[4] Litjens G,Kooi T,Bejnordi B E,et al.A survey on deep learning in medical image analysis[J].Medical Image Analysis,2017,42:60-88.
[5] Long J,Shelhamer E,Darrell T.Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.June 7-12,2015,Boston,MA,USA.IEEE,2015:3431-3440.
[6] Ronneberger O,F(xiàn)ischer P,Brox T.U-net:convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science.Cham:Springer International Publishing,2015:234-241.
[7] Hosseini-Asl E,Ghazal M,Mahmoud A,et al.Alzheimer's disease diagnostics by a 3D deeply supervised adaptable convolutional network[J].Frontiers in Bioscience (Landmark Edition),2018,23(3):584-596.
[8] Chen J, Yang G, Gao Z, Ni H, Firmin D, others Multiview two-task recursive attention model for left atrium and atrial scars segmentation. In: Frangi AF, Schnabel JA, Davatzikos C, Alberola-López C, Fichtinger G, editors. 21st International Conference on Medical Image Computing and Computer Assisted Intervention—MICCAI 2018, Vol. 11071. Granada: Springer; (2018). p. 455–63.
[9] He K M,Zhang X Y,Ren S Q,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.
【通聯(lián)編輯:唐一東】
收稿日期:2021-12-15
作者簡介:邱越(2000—) ,女,云南昆明人,本科在讀,主要研究方向為醫(yī)工交叉;李秋秋(2000—) ,女,云南易門縣人,本科在讀,主要研究方向為醫(yī)工交叉;王瑛(2000—) ,女,寧夏固原人,本科在讀,主要研究方向為醫(yī)工交叉;何宇騰(2000—) ,男,云南玉溪人,本科在讀,主要研究方向為醫(yī)工交叉。