宮進(jìn)昌，趙尚義，王遠(yuǎn)軍

上海理工大學(xué)醫(yī)學(xué)影像工程研究所，上海200093

前言

隨著醫(yī)學(xué)影像技術(shù)的發(fā)展，影像診斷在疾病診斷中發(fā)揮的作用越來越重要。醫(yī)學(xué)影像技術(shù)主要包括X 線檢查、計算機(jī)斷層成像（Computed Tomography, CT）、超聲（Ultrasound）和磁共振成像（Magnetic Resonance Imaging,MRI）等。影像輔助使得臨床醫(yī)生可以更加直觀和清晰地觀察正常和病變組織的解剖結(jié)構(gòu)，為臨床診斷、制定手術(shù)方案和生物醫(yī)學(xué)研究提供科學(xué)依據(jù)。由于醫(yī)學(xué)影像會輸出大量的數(shù)據(jù)，臨床醫(yī)生和研究者需要利用計算機(jī)進(jìn)行醫(yī)學(xué)圖像的自動處理和分析，而圖像分割是醫(yī)學(xué)圖像處理和定量分析的關(guān)鍵步驟之一［1］。

圖像分割是把圖像分成若干個區(qū)域并把圖像中的解剖結(jié)構(gòu)或感興趣區(qū)域提取出來。常用的傳統(tǒng)醫(yī)學(xué)圖像分割方法有：邊緣檢測法、閾值法和區(qū)域生長法等。其中，邊緣檢測法基于區(qū)域邊緣上的灰度值變化較大，通過檢測不同區(qū)域間的邊緣來分割圖像，該方法易產(chǎn)生過分割，也就是把圖像分割成過多的區(qū)域。閾值法的關(guān)鍵是確定閾值，如果只選一個閾值，該閾值將圖像分為目標(biāo)和背景兩類；如果選取多個閾值，則圖像分為多個目標(biāo)區(qū)域和背景。閾值法容易實現(xiàn)，但對圖像中灰度差異較小或灰度值有重疊的圖像難以準(zhǔn)確分割。區(qū)域生長法需要先選取一個種子點，然后將種子點像素周圍具有相似性質(zhì)的像素合并到種子像素所在的區(qū)域。區(qū)域生長法一般與其它分割方法一起使用，適用于分割小結(jié)構(gòu)如傷疤等?？傊?，這些方法需要較多的人機(jī)交互過程完成目標(biāo)提取，同時自我學(xué)習(xí)能力較弱，對噪聲、模糊等干擾抵抗力較弱。

目前，醫(yī)學(xué)圖像分割技術(shù)仍然不夠成熟，臨床實踐中沒有一種通用的醫(yī)學(xué)圖像分割方法，能夠?qū)λ袌D像都獲得令人滿意的分割結(jié)果，因此在實際應(yīng)用中面臨的分割問題需要具體分析來決定采用何種分割方法。近年來，計算機(jī)技術(shù)和人工智能迅速發(fā)展，計算機(jī)輔助診斷在臨床醫(yī)學(xué)得到廣泛應(yīng)用。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的分支，源于人工神經(jīng)網(wǎng)絡(luò)且應(yīng)用前景十分廣闊，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割也獲得廣泛關(guān)注［2］。深度學(xué)習(xí)具有自我學(xué)習(xí)能力、通用性和高效性等特點，可用于計算機(jī)輔助診斷。由于傳統(tǒng)的醫(yī)學(xué)圖像分割方法過多依賴醫(yī)學(xué)領(lǐng)域的先驗知識，同時在分割過程中耗費大量的人力和時間，因此提出基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）的醫(yī)學(xué)圖像分割方法。CNN 是深度學(xué)習(xí)模型之一，它基于多層感知器的算法，主要采用局部感知、權(quán)值共享和空間下采樣的結(jié)構(gòu)性思想來學(xué)習(xí)輸入和輸出之間的高度非線性映射，可應(yīng)用于醫(yī)學(xué)圖像的分類、分割和去噪等特征提取，并且分割算法的穩(wěn)定性和可重復(fù)較高。

本文旨在研究基于深度學(xué)習(xí)的定量分析醫(yī)學(xué)圖像病灶分割方法進(jìn)展。首先介紹CNN的基本結(jié)構(gòu)和基于CNN 的醫(yī)學(xué)圖像分割流程及評價指標(biāo)；接著介紹深度學(xué)習(xí)在醫(yī)學(xué)圖像分割中的應(yīng)用，包括肺結(jié)節(jié)、腦腫瘤和乳腺等病灶的分割；最后總結(jié)并討論對該領(lǐng)域的研究所面臨的問題和挑戰(zhàn)。

1 基于CNN的分割方法

1.1 CNN基本結(jié)構(gòu)

傳統(tǒng)的多層神經(jīng)網(wǎng)絡(luò)中輸入是一個矢量，但醫(yī)學(xué)圖像的矢量化會破壞圖像的結(jié)構(gòu)信息。CNN的輸入層、卷積層、激活層、池化層、全連接層及輸出層的結(jié)構(gòu)無需將輸入矢量化，從而更好地利用圖像的空間和結(jié)構(gòu)信息［3］。卷積層是卷積核通過滑動窗口計算而得，將卷積核的各個參數(shù)與對應(yīng)的局部像素值求加權(quán)，再加上一個偏置參數(shù)，即可得到卷積層上的結(jié)果。由于卷積操作是線性的，采用激活函數(shù)加入非線性因素，模擬更細(xì)微的變化，解決線性模型不能解決的問題。池化相當(dāng)于一種“壓縮”方法，即每次將輸入層的圖像卷積后，通過下采樣來減小圖像的規(guī)模，提取主要特征。通過池化，圖像維度降低，減少計算量和過擬合現(xiàn)象。經(jīng)過前面的操作把原始數(shù)據(jù)映射到隱層特征空間后，全連接層連接所有特征，把卷積輸出的二維特征轉(zhuǎn)化成一維向量送給分類器［4］。圖1為AlexNet CNN的一般結(jié)構(gòu)。

圖1 AlexNet CNN的一般結(jié)構(gòu)Fig.1 General structure of AlexNet CNN

CNN 的結(jié)構(gòu)實現(xiàn)對輸入數(shù)據(jù)的位移、尺度及形變的不變性，提高了運算速度和精度［5］。目前，CNN處理圖像的架構(gòu)主要有3種：一是從輸入圖像中提取每個像素周圍的N×N圖像塊作為網(wǎng)絡(luò)的輸入，在提取出來的圖像塊上訓(xùn)練模型，并給出類標(biāo)簽來識別正常組織和病灶；二是對輸入圖像的每個像素進(jìn)行預(yù)測，得到每個像素所屬的類，進(jìn)行像素級分割；三是級聯(lián)的CNN架構(gòu)，該架構(gòu)結(jié)合了上述兩個CNN架構(gòu)，前者用于訓(xùn)練模型，初始化預(yù)測類別標(biāo)簽，后者用于微調(diào)前者的輸出而獲得分割結(jié)果［6］。采用CNN分割醫(yī)學(xué)圖像中的病灶，一般需要先提取病灶的形態(tài)特征對病灶進(jìn)行分類，后對圖像進(jìn)行分割。

1.2 分割流程

1.2.1 預(yù)處理目前，大多數(shù)深度學(xué)習(xí)算法都是在公共數(shù)據(jù)集上進(jìn)行評估，如腦腫瘤分割（BRATS）數(shù)據(jù)集，該數(shù)據(jù)集主要用來對比和評估最新的腦腫瘤自動分割方法。但公共數(shù)據(jù)集的圖像數(shù)據(jù)有限，很難訓(xùn)練出泛化能力強的網(wǎng)絡(luò)，因此通過數(shù)據(jù)增強的方法來增加數(shù)據(jù)集大小。數(shù)據(jù)增強是通過對原始數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、平移和變形等變換增加訓(xùn)練數(shù)據(jù)的大小，且原始數(shù)據(jù)的隨機(jī)變換可以減少過擬合［7］。

由于醫(yī)學(xué)圖像存在灰度不均勻性、對比度變化大以及噪聲等缺點，因此，在分析之前需要對圖像進(jìn)行預(yù)處理［3］。（1）灰度歸一化：將所有圖像的灰度映射到標(biāo)準(zhǔn)或者參考灰度（如：0～4 095 之間）的過程。常用的灰度歸一化方法是將圖像的灰度分段，線性映射到參考灰度［8］。深度學(xué)習(xí)中常用的歸一化技術(shù)是計算Z-分?jǐn)?shù)，即將圖像中所有像素減去平均圖像灰度，并用像素值除以灰度的標(biāo)準(zhǔn)差。（2）去噪：減少醫(yī)學(xué)圖像中異常組織的Rician噪聲［9］。

1.2.2 訓(xùn)練集創(chuàng)建及標(biāo)注在深度學(xué)習(xí)中，將數(shù)據(jù)分為訓(xùn)練、驗證和測試集。訓(xùn)練集用來訓(xùn)練模型或確定參數(shù)；驗證集用來做模型的選擇，即模型的最優(yōu)化；測試集為了測試已訓(xùn)練好模型對不可見數(shù)據(jù)的泛化能力。實際應(yīng)用中一般將數(shù)據(jù)集分為兩類，即訓(xùn)練集和測試集。由于醫(yī)學(xué)圖像的真實數(shù)據(jù)有限，可采用交叉驗證法。在k倍交叉驗證中，數(shù)據(jù)被隨機(jī)分成k個大小相等的部分，保留k個部分中的一個作為測試集，剩下的k-1個作為訓(xùn)練集。

由于醫(yī)學(xué)圖像數(shù)據(jù)集已標(biāo)注的樣本數(shù)量不足，不能滿足臨床需求，而且手動標(biāo)注圖像需要耗費大量人力，因此需要對訓(xùn)練集進(jìn)行自動標(biāo)注。我們可以利用CNN 在圖像特征自學(xué)習(xí)方面的優(yōu)勢，對圖像進(jìn)行自動標(biāo)注。首先用無標(biāo)注圖像訓(xùn)練CNN，將圖像特征映射到隱層神經(jīng)網(wǎng)絡(luò)，同時初始化CNN。再采用反向傳播算法標(biāo)注誤差從而優(yōu)化權(quán)重，該網(wǎng)絡(luò)的總體誤差可視為每個誤差的總和，最后標(biāo)注圖像。

1.2.3 多層神經(jīng)網(wǎng)絡(luò)的構(gòu)建與優(yōu)化多層神經(jīng)網(wǎng)絡(luò)是相對于淺層神經(jīng)網(wǎng)絡(luò)而言的，其中多層神經(jīng)網(wǎng)絡(luò)含有多個隱藏層。淺層神經(jīng)網(wǎng)絡(luò)不能精確表征圖像的特征，且會出現(xiàn)過擬合問題。構(gòu)建多層神經(jīng)網(wǎng)絡(luò)需要提供自己的圖片數(shù)據(jù)集，訓(xùn)練網(wǎng)絡(luò)有3 種方法，一是利用已有的訓(xùn)練效果較好的多層神經(jīng)網(wǎng)絡(luò)如AlexNet、Inception 等從頭開始訓(xùn)練。首先確定網(wǎng)絡(luò)框架，準(zhǔn)備好需要訓(xùn)練的數(shù)據(jù)集，然后隨機(jī)初始化神經(jīng)元參數(shù)，把訓(xùn)練好的數(shù)據(jù)按批次放入該網(wǎng)絡(luò)，最后得到多層神經(jīng)網(wǎng)絡(luò)。但該方法需要大量數(shù)據(jù)集且耗時，可能會出現(xiàn)過擬合現(xiàn)象。二是利用一個已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)中卷積和池化的權(quán)重參數(shù)都是經(jīng)過大量訓(xùn)練和優(yōu)化的，因此可以利用其權(quán)重參數(shù)直接進(jìn)行特征提取。但由于已訓(xùn)練好的網(wǎng)絡(luò)類別和我們需要的類別可能不同，因此需要用自己的數(shù)據(jù)集至少對最后一層進(jìn)行訓(xùn)練，得到分類結(jié)果。第三種也是訓(xùn)練最后一層，但卷積和池化層的權(quán)重參數(shù)也參與訓(xùn)練，可嘗試采用較小的學(xué)習(xí)率做微調(diào)。

構(gòu)建多層網(wǎng)絡(luò)之后，網(wǎng)絡(luò)的效果可能不夠好，需要對網(wǎng)絡(luò)進(jìn)行優(yōu)化。由于網(wǎng)絡(luò)參數(shù)是影響網(wǎng)絡(luò)性能最重要的因素，包括隱藏層的層數(shù)、卷積核的大小、權(quán)重和迭代次數(shù)等。隱藏層的層數(shù)由訓(xùn)練集的尺寸和卷積核的大小共同決定；權(quán)重是神經(jīng)網(wǎng)絡(luò)通過反向傳播和優(yōu)化算法進(jìn)行優(yōu)化；迭代是一個完整訓(xùn)練集樣本通過網(wǎng)絡(luò)一次并返回一次的次數(shù)。迭代的次數(shù)越少，網(wǎng)絡(luò)的精度越低，但次數(shù)越多，計算量越大，因此選擇適當(dāng)?shù)牡螖?shù)來優(yōu)化網(wǎng)絡(luò)。

1.3 病灶檢測

病灶的檢測是計算機(jī)輔助疾病診斷的關(guān)鍵步驟之一，即從圖像中尋找病灶形狀、大小和所處的具體位置。由于醫(yī)學(xué)圖像受噪聲和成像質(zhì)量的影響，圖像灰度不均勻，不同病人的同類病灶形態(tài)特征差異很大。針對這些問題，深度學(xué)習(xí)方法通過建立大樣本數(shù)據(jù)來提高病灶檢測的準(zhǔn)確率，提高輔助診斷的效果。

目前，在深度學(xué)習(xí)中目標(biāo)檢測使用較多的網(wǎng)絡(luò)是R-CNN［10］。R-CNN先用選擇搜索的方法提取疑似病灶區(qū)域，然后采用深度神經(jīng)網(wǎng)絡(luò)提取病灶特征并分類，最后采用回歸器進(jìn)行位置修正。Faster R-CNN使用區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network, RPN）取代了R-CNN中選擇搜索方法，并把R-CNN中分類和位置修正放到同一個深度的網(wǎng)絡(luò)中，提高了運行速度并減少空間占用［11］。

1.4 基于測試集的病灶分割

基于深度學(xué)習(xí)的病灶分類使用一系列的病灶圖像即訓(xùn)練集，訓(xùn)練一個深層神經(jīng)網(wǎng)絡(luò)，然后用測試集測試該網(wǎng)絡(luò)識別病灶的準(zhǔn)確率，并進(jìn)行多次優(yōu)化訓(xùn)練以提高準(zhǔn)確度。訓(xùn)練出來的網(wǎng)絡(luò)可以提取病灶的同類特征，最后利用該網(wǎng)絡(luò)識別輸入的疑似病灶圖像，并按其特征進(jìn)行分類。實際上，利用深度學(xué)習(xí)進(jìn)行計算機(jī)輔助診斷的過程就是要先訓(xùn)練一個有效的分類器，后把提取出來的特征提供給分類器進(jìn)行分類。

找到真正的病灶后，可采用傳統(tǒng)的分割方法，如閾值法和區(qū)域生長法來分割病灶。醫(yī)生通過病灶分割得到結(jié)果，結(jié)合病人的相關(guān)資料可提高診斷速度和準(zhǔn)確度。表1總結(jié)了醫(yī)學(xué)圖像分割定量分析的參數(shù)。

2 深度學(xué)習(xí)在醫(yī)學(xué)圖像分割中的應(yīng)用

2.1 肺結(jié)節(jié)

表1 病灶分割定量分析的參數(shù)Tab.1 Segmentation parameters for quantitative analysis of lesion segmentation

由于肺癌在癌癥中的發(fā)病率和死亡率占首位，肺結(jié)節(jié)是可以癌變的肺部組織，故分類和分割肺結(jié)節(jié)對臨床醫(yī)生診斷有重要意義。近年來，研究者們對深度學(xué)習(xí)輔助分割肺結(jié)節(jié)做了深入的研究。Hua等［12］首次將深度學(xué)習(xí)應(yīng)用于肺結(jié)節(jié)分類問題的研究，他們引入深度信念網(wǎng)絡(luò)（Deep Belief Network,DBN）和CNN對肺結(jié)節(jié)的良惡性進(jìn)行分類，結(jié)果表明基于深度學(xué)習(xí)的肺結(jié)節(jié)分類靈敏度和特異性均高于基于特征計算的方法。Cheng 等［13］將堆棧式去噪自編碼器（Stacked Denoising Auto-encoder,SDAE）算法應(yīng)用于CT 圖像的肺結(jié)節(jié)分割，表明SDAE 算法優(yōu)于傳統(tǒng)的輔助診斷方法，且SDAE適用于存在固有噪聲的醫(yī)學(xué)圖像。Ciompi等［14］提出了基于多流多尺度卷積網(wǎng)絡(luò)的深度學(xué)習(xí)系統(tǒng)，處理原始的CT圖像，它可自動分類肺結(jié)節(jié)類型。 Liauchuk 等［15］利 用GoogLeNet CNN 檢測肺結(jié)節(jié)，繪制了受試者工作特性（Receiver Operating Characteristic, ROC）曲線，同時發(fā)現(xiàn)基于CNN檢測病灶和傳統(tǒng)的基于特征提取方法的ROC面積分別為0.969和0.895。

以上研究表明，基于深度學(xué)習(xí)的肺結(jié)節(jié)診斷具有相對較高的靈敏度和特異性，并且隨著3D神經(jīng)網(wǎng)絡(luò)發(fā)展，該輔助診斷方法將得到更加廣泛的應(yīng)用。

2.2 腦腫瘤分割

腦腫瘤的定量分析包括測量已成像的生物標(biāo)志物，如最大直徑、體積和數(shù)量來量化疾病，提取生物標(biāo)志物取決于對腫瘤的準(zhǔn)確分割。Havaei 等［16］提出基于CNN 的全自動腦腫瘤分割方法，該架構(gòu)可利用圖像的局部和全局特征，且在最后一層采用卷積的全連接層，使運行速度提高40 倍。Pereira 等［17］提出基于CNN 的神經(jīng)膠質(zhì)瘤分割方法，與Havaei 等[16]相比，他們采用3×3 的小型卷積核但具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)可降低過擬合和減少網(wǎng)絡(luò)參數(shù)，并獲得BRATS 2015挑戰(zhàn)賽的第二名。Zhang等［18］提出基于提取圖像塊的CNN 算法，采用嬰兒的多模態(tài)MRI 圖像，即T1、T2和部分各向異性圖像（Fraction Anisotropy, FA），分割正常腦結(jié)構(gòu)。由于CNN 可以整合多模態(tài)腦圖像，他們將T1、T2和FA的圖像作為輸入，然后輸出分割圖。結(jié)果表明CNN 算法優(yōu)于使用支持向量機(jī)（Support Vector Machine,SVM）和隨機(jī)森林（Random Forest,RF）的嬰兒腦組織分割方法。Nie等［19］提出完全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Neural Network,FCN）分割來自Zhang 等[18]相同數(shù)據(jù)集的嬰兒大腦圖像，使用FCN 進(jìn)行端到端的像素級訓(xùn)練，減少了網(wǎng)絡(luò)學(xué)習(xí)時間。Moeskops 等［20］使用多個卷積核的CNN 來分割嬰幼兒、年輕人和老年人的腦部圖像，并從有限的圖像數(shù)據(jù)中提取特征，采用數(shù)據(jù)增強提高網(wǎng)絡(luò)性能。

CNN可以自動學(xué)習(xí)多層次特征，結(jié)合局部感知、權(quán)值共享和下采樣來減少網(wǎng)絡(luò)參數(shù)，降低復(fù)雜度，實現(xiàn)對輸入信息的多層表達(dá)。CNN的這些特征能夠減少人工干預(yù)出現(xiàn)的評估錯誤且分割精度較高，把它應(yīng)用于腦部MRI分割可以輔助醫(yī)生診斷和定量分析腦部病灶。

2.3 乳腺病灶分割

乳腺癌是女性中最常見的癌癥類型之一，研究表明乳腺癌占全球癌癥的22.9%，因此使用醫(yī)學(xué)影像技術(shù)對乳腺癌進(jìn)行早期檢測對于提高存活率至關(guān)重要［21］。Dhungel 等［22］使用結(jié)構(gòu)化支持向量機(jī)（Structured Support Vector Machine,SSVM）結(jié)合深度學(xué)習(xí)分割乳房腫塊，表明SSVM和深度學(xué)習(xí)提高了乳房圖像分割的準(zhǔn)確性和有效性。Xu等［23］提出堆疊稀疏自動編碼器（Stacked Sparse Autoencoder,SSAE）用于乳腺癌組織病理學(xué)的自動化核檢測，發(fā)現(xiàn)SSAE優(yōu)于基線方法。Liu 等［24］采用基于深度多項式網(wǎng)絡(luò)（Deep polynomial network, DPN）和 多 核 學(xué) 習(xí)（Multiple Kernel Learning,MKL）的分類框架檢測和診斷乳腺的超聲圖像，發(fā)現(xiàn)DPN-MKL算法在基于超聲圖像的小數(shù)據(jù)集腫瘤分類方面優(yōu)于常用的深度學(xué)習(xí)算法。

綜上，深度學(xué)習(xí)在分割肺結(jié)節(jié)、腦腫瘤和乳腺癌等病灶時優(yōu)于傳統(tǒng)的分割方法，且圖像具有較高的靈敏度和特異性。與傳統(tǒng)分割方法相比，深度學(xué)習(xí)能夠減少人工干預(yù)出現(xiàn)的評估錯誤且分割精度高，把它應(yīng)用于醫(yī)學(xué)圖像病灶的分割可以輔助醫(yī)生定量分析和診斷疾病。

3 總結(jié)與展望

本文總結(jié)了基于深度學(xué)習(xí)的醫(yī)學(xué)圖像病灶分割方法和深度學(xué)習(xí)在醫(yī)學(xué)圖像分割中的應(yīng)用，可幫助醫(yī)生準(zhǔn)確、迅速地診斷疾病。研究的最新進(jìn)展表明深度學(xué)習(xí)在醫(yī)學(xué)圖像病灶分割領(lǐng)域有很大的前景，將其應(yīng)用于分割時明顯優(yōu)于淺層神經(jīng)網(wǎng)絡(luò)算法。盡管深度學(xué)習(xí)提高了計算機(jī)輔助診斷的準(zhǔn)確率，但仍存在一些問題：（1）醫(yī)學(xué)圖像數(shù)據(jù)集較小，而深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量數(shù)據(jù)，因此訓(xùn)練泛化能力強的深層神經(jīng)網(wǎng)絡(luò)具有挑戰(zhàn)性；（2）醫(yī)學(xué)圖像中組織的血管很難分辨，增加臨床疾病診斷的難度；（3）醫(yī)學(xué)圖像的形成受到噪聲、偏移場效應(yīng)和組織運動等影響，圖像具有模糊、不均勻性等特點，且人體解剖結(jié)構(gòu)復(fù)雜給圖像分割帶來困難。

目前深度學(xué)習(xí)在病灶分割方面應(yīng)用的發(fā)展方向集中為以下3 點：（1）對公共數(shù)據(jù)集采取數(shù)據(jù)增強的方法來增加數(shù)據(jù)集大小，且深層神經(jīng)網(wǎng)絡(luò)的應(yīng)用趨于三維化、網(wǎng)絡(luò)加深、跨數(shù)據(jù)集泛化等特點；（2）利用多模態(tài)數(shù)據(jù)做病灶分割可能改善圖像效果；（3）結(jié)合不同的深層神經(jīng)網(wǎng)絡(luò)提取圖像的跟更多信息。因此，我們接下來將結(jié)合多種深層神經(jīng)網(wǎng)絡(luò)應(yīng)用于腦腫瘤多模態(tài)圖像以實現(xiàn)更加準(zhǔn)確、快速的分割，提高其臨床診斷應(yīng)用。