刁 毅，張魁星，江 梅，徐云峰，魏本征

1.山東中醫(yī)藥大學(xué)智能與信息工程學(xué)院，濟(jì)南250355

2.山東中醫(yī)藥大學(xué)青島中醫(yī)藥科學(xué)院，山東青島266112

脊椎是人體骨骼系統(tǒng)中重要的組成部分，對維持人類正常生命活動(dòng)具有不可或缺的作用。隨著現(xiàn)代社會(huì)人們生活和工作方式的改變，脊椎疾病發(fā)病率逐年遞增，且逐漸呈現(xiàn)年輕化的趨勢[1]。常見的脊椎疾病包括頸椎病[2]、椎間盤退化[3]、脊柱畸形[4]等，嚴(yán)重的脊椎疾病易引起大腦供血不足，危及患者的生命安全[5]。

脊椎的磁共振成像（magnetic resonance image，MRI）、計(jì)算機(jī)斷層掃描（computer tomography，CT）和X 射線（X-ray）等醫(yī)學(xué)影像是脊椎疾病臨床診斷的重要依據(jù)[6]。脊椎解剖結(jié)構(gòu)復(fù)雜，通過對脊椎影像的精確分割和識(shí)別能夠直觀地展現(xiàn)脊椎的詳細(xì)信息，協(xié)助醫(yī)生精準(zhǔn)定位病灶，輔助臨床診療[7]。近年來，隨著人工智能技術(shù)的不斷發(fā)展，利用深度學(xué)習(xí)對醫(yī)學(xué)圖像進(jìn)行分析已經(jīng)取得了顯著的成效[8]。醫(yī)學(xué)圖像分割是計(jì)算機(jī)提供診斷輔助的關(guān)鍵步驟。將深度學(xué)習(xí)技術(shù)應(yīng)用于脊椎圖像分割能提高圖像分割的精度及分割效率，充分挖掘脊椎的影像信息，量化評(píng)估治療前后的效果，提升醫(yī)生的工作效率。同時(shí)，在臨床的智能決策和疾病預(yù)防中也起到良好的輔助作用。

深度學(xué)習(xí)是通過深度神經(jīng)網(wǎng)絡(luò)模仿人腦分析學(xué)習(xí)的一種機(jī)器學(xué)習(xí)技術(shù)[9]。深度學(xué)習(xí)的算法經(jīng)過不斷改進(jìn)和發(fā)展，在計(jì)算機(jī)視覺領(lǐng)域已經(jīng)逐漸超越了其他傳統(tǒng)的機(jī)器學(xué)習(xí)方法[10]，其中模型改進(jìn)包括結(jié)構(gòu)重組、正則化、參數(shù)優(yōu)化、新模塊開發(fā)等方向，提高了模型準(zhǔn)確率和泛化性。

通過對文獻(xiàn)的檢索發(fā)現(xiàn)，CNN、FCN、U-Net、GAN等高效的改進(jìn)模型在脊椎分割方向上取得了明顯的優(yōu)勢，國內(nèi)外研究學(xué)者針對上述模型進(jìn)行了深入的改進(jìn)研究，并取得了準(zhǔn)確高效的脊椎分割結(jié)果。由于脊椎圖像分割算法的應(yīng)用、網(wǎng)絡(luò)結(jié)構(gòu)和評(píng)價(jià)標(biāo)準(zhǔn)的多樣性，對全面系統(tǒng)地回顧深度學(xué)習(xí)在脊椎圖像分割的研究進(jìn)展具有很大的挑戰(zhàn)性[11]。本文系統(tǒng)地綜述了脊椎圖像分割的深度學(xué)習(xí)算法，結(jié)合近年來先進(jìn)的深度學(xué)習(xí)技術(shù)，討論了深度學(xué)習(xí)網(wǎng)絡(luò)模型用于脊椎分割的可行性，并對目前常用的深度學(xué)習(xí)框架進(jìn)行了對比，幫助研究者全面了解深度學(xué)習(xí)在脊椎分割上的發(fā)展現(xiàn)狀。表1 簡要概述了幾種常見的神經(jīng)網(wǎng)絡(luò)模型[12-24]。

表1 常見的深度神經(jīng)網(wǎng)絡(luò)模型Table 1 Common deep neural network models

1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

1.1 數(shù)據(jù)集

在制定脊椎圖像分割的策略時(shí)，數(shù)據(jù)集具有重要作用，但是由于隱私問題，使得脊椎圖像數(shù)據(jù)的共享變得困難。此外用于訓(xùn)練模型的脊椎數(shù)據(jù)還需要專家標(biāo)注，導(dǎo)致高質(zhì)量的標(biāo)注數(shù)據(jù)稀缺。目前常用的脊椎圖像的公開數(shù)據(jù)集如表2所示。

表2 常用的脊椎圖像數(shù)據(jù)集Table 2 Commonly used spine image datasets

1.2 評(píng)價(jià)指標(biāo)

深度學(xué)習(xí)在脊椎圖像分割任務(wù)中常用的評(píng)價(jià)指標(biāo)包括像素準(zhǔn)確率（pixel accuracy，PA）、交并比（intersectionover-union，IOU）、Dice系數(shù)（Dice coeffcient）、豪斯多夫距離（Hausdorff distance，HD）等。PA 是用正確分類的像素除以所有像素，即圖像中正確分類的像素百分比。IOU 是模型的分割結(jié)果與真實(shí)標(biāo)簽的交集和并集的比值。Dice 系數(shù)與IOU 類似，兩者是正相關(guān)的關(guān)系，區(qū)別是Dice 系數(shù)是取兩倍的交集除以像素總和。HD 也稱最大表面距離，應(yīng)用在衡量算法邊界分割的準(zhǔn)確程度，是兩個(gè)點(diǎn)集之間距離的度量。表3 匯總了脊椎圖像分割中常見的指標(biāo)。

表3 脊椎圖像分割模型的評(píng)價(jià)指標(biāo)Table 3 Evaluation metrics for spine image segmentation models

2 基于卷積神經(jīng)網(wǎng)絡(luò)的脊椎分割

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種常用于圖像處理的神經(jīng)網(wǎng)絡(luò)，能夠通過層層的特征提取學(xué)習(xí)輸入圖像和分割標(biāo)簽之間復(fù)雜的、非線性的數(shù)據(jù)關(guān)聯(lián)，有效利用圖像的空間信息，形成對數(shù)據(jù)的高效特征表示，卷積過程如圖1所示。CNN主要的模型結(jié)構(gòu)有卷積層、池化層、全連接層等[25]。其中，卷積層由卷積濾波器組成，通過對圖像數(shù)據(jù)進(jìn)行卷積操作來檢測特征圖中不同位置的局部特征，學(xué)習(xí)特征圖之間的連接權(quán)重。池化層是仿照人的視覺系統(tǒng)對視覺輸入對象進(jìn)行降維和抽象，減少下一層神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)的空間維度，這種操作也稱為下采樣，既保留了大部分的特征信息，還減少了模型參數(shù)和計(jì)算量。全連接層在神經(jīng)網(wǎng)絡(luò)中執(zhí)行高級(jí)推理，集成了來自給定輸入圖像的各種特征響應(yīng)，以提供最終結(jié)果。如表4總結(jié)了CNN在脊椎圖像分割上的文獻(xiàn)摘要[26-35]。

圖1 卷積過程示意圖Fig.1 Schematic diagram of convolution process

表4 基于CNN的脊椎分割論文摘要Table 4 Spine segmentation based on convolutional neural network

2.1 椎體分割

椎體是脊椎的主要部分，Rak等人[26]將CNN與基于編碼交換的圖形切割算法相結(jié)合，減少網(wǎng)絡(luò)的復(fù)雜性，避免了鄰接椎體之間模糊分割的問題，實(shí)現(xiàn)了在3D的脊椎圖像中對椎體的快速分割。3D CNN 需要承擔(dān)較大的處理成本和過擬合的風(fēng)險(xiǎn)，為了降低計(jì)算負(fù)荷Qadri等人[27]提出了OP-convNet模型來自動(dòng)分割椎體，該模型從脊椎圖像中提取重疊的圖像塊作為輸入，有效地保留了圖像中更多的局部信息。之后，Qadri 等人[28]又將CNN和堆疊稀疏自動(dòng)編碼器結(jié)合，提出了椎體的分割模型SVseg。SVseg 也以重疊的圖像塊作為訓(xùn)練數(shù)據(jù)，以無監(jiān)督的方式從未標(biāo)記的圖像塊中學(xué)習(xí)高級(jí)特征，然后采用監(jiān)督學(xué)習(xí)來完善特征表示，提高所學(xué)特征的可辨別性，最后通過邏輯回歸分類器微調(diào)模型。為了減輕對脊椎注釋數(shù)據(jù)集的需求，Kervadec等人[29]對基于部分標(biāo)記的脊椎圖像進(jìn)行了弱監(jiān)督分割，引入基于懲罰的不等式約束，提出一種新的損失函數(shù)，減少了訓(xùn)練的計(jì)算需求，通過只對一小部分像素進(jìn)行注釋，達(dá)到與全監(jiān)督相當(dāng)?shù)姆指钚阅芩健?/p>

2.2 多任務(wù)分割

脊椎的多個(gè)結(jié)構(gòu)是直接相互依賴和影響的，脊椎分割中CNN 框架下的多個(gè)任務(wù)也可以相互關(guān)聯(lián)，Tam 等人[30]提出了一種多尺度融合圖像特征的多任務(wù)回歸網(wǎng)絡(luò)（holistic multitask regression network，HMR-Net），HMR-Net 將多器官分割轉(zhuǎn)成多任務(wù)學(xué)習(xí)問題，利用了任務(wù)間的關(guān)聯(lián)性，具有良好的可移植性和通用性，通過在多個(gè)任務(wù)之間共享網(wǎng)絡(luò)參數(shù)實(shí)現(xiàn)更低的內(nèi)存消耗和更快的推理計(jì)算。Hong等人[31]結(jié)合殘差模塊和變分水平集提出了MMCL-Net模型，提高了模型對模糊邊緣的感知和識(shí)別能力，可以同時(shí)檢測、分割和分類椎間盤、椎體和神經(jīng)孔。多任務(wù)分割工作復(fù)雜，每個(gè)脊柱至少有十幾個(gè)目標(biāo)結(jié)構(gòu)，同時(shí)分割所有結(jié)構(gòu)比單目標(biāo)分割困難得多。Huang等人[32]引入了一種新型的半監(jiān)督混合脊柱網(wǎng)絡(luò)（semi-supervised hybrid spine network，SSHSNet）。首先采用2D半監(jiān)督的DeepLabv3+網(wǎng)絡(luò)，提取脊椎圖像的全局信息，對脊椎進(jìn)行粗分割。然后采用3D DeepLabv3+網(wǎng)絡(luò)結(jié)合交叉注意力模塊實(shí)現(xiàn)對椎體和椎間盤的精確分割，填補(bǔ)網(wǎng)絡(luò)的信息損失，提高特征表示能力。

3 基于全卷積神經(jīng)網(wǎng)絡(luò)的脊椎分割

全卷積網(wǎng)絡(luò)（FCN）是深度學(xué)習(xí)在語義分割上的開創(chuàng)性工作[36]。FCN將CNN最后的全連接層全部換成卷積層，利用反卷積層對最后一個(gè)卷積層的特征圖進(jìn)行上采樣，將其恢復(fù)到輸入圖像相同的尺寸，對上采樣的特征圖進(jìn)行像素分類，實(shí)現(xiàn)對圖像的分割，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。相較于傳統(tǒng)的CNN，F(xiàn)CN提高了脊椎圖像分割的精度和效率，表5簡要總結(jié)了FCN在脊椎圖像分割上的文獻(xiàn)摘要[37-42]。

圖2 全卷積分割網(wǎng)絡(luò)Fig.2 Full convolutional segmentation network

表5 基于FCN的脊椎分割論文摘要Table 5 Spine segmentation based on full convolutional neural network

3.1 椎間盤分割

椎間盤是相鄰椎骨之間的軟骨組織，從脊椎圖像中準(zhǔn)確分割椎間盤對于確定椎間盤疾病和患病程度具有重要作用。Chen 等人[37]使用端到端的3D FCN 對椎間盤進(jìn)行定位和分割，通過3D 卷積層對體素級(jí)別的特定區(qū)域進(jìn)行概率分析，使用平滑和閾值等技術(shù)進(jìn)行細(xì)化分割，同時(shí)還驗(yàn)證了空間信息在脊椎圖像處理任務(wù)上的重要性。

Li 等人[38]提出了一個(gè)集成的多尺度FCN 用于椎間盤的定位和分割，并結(jié)合隨機(jī)模態(tài)體素丟棄學(xué)習(xí)的方法，提高了椎間盤的分割精度。Das 等人[40]針對椎間盤分割任務(wù)提出了一個(gè)端到端的區(qū)域-圖像匹配學(xué)習(xí)的深度網(wǎng)絡(luò)（region-to-image matching network，RIMNet），對椎間盤進(jìn)行區(qū)域分類，區(qū)分每個(gè)椎間盤，并采用退出策略，通過隨機(jī)地禁用小批量的模式，實(shí)現(xiàn)了對MRI圖像進(jìn)行全自動(dòng)的椎間盤識(shí)別和分割。

3.2 椎體分割

相鄰脊椎的椎體具有很強(qiáng)的相似性，在對椎體進(jìn)行分割時(shí)不容易區(qū)分，Sekuboyina 等人[41]提出了相互補(bǔ)充的FCN 模型，分為兩個(gè)階段。第一階段使用多層感知器定位圖像中感興趣的腰椎區(qū)域，提供椎體的粗略定位；第二階段使用深層FCN，利用局部區(qū)域的背景信息一次性分割和標(biāo)記腰椎。兩者結(jié)合減少了脊椎區(qū)域外的噪聲，具有很強(qiáng)的魯棒性。Xia 等人[42]也提出了一種兩階段的分割方法，先使用3D FCN 對CT 圖像進(jìn)行粗分割，然后通過級(jí)聯(lián)細(xì)分割的CNN 來完成對多個(gè)椎體的分割和分類。

4 基于U-Net的脊椎分割

在對醫(yī)學(xué)圖像進(jìn)行處理時(shí)經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)量少的問題，U-Net 是Ronneberger 等人[20]提出的一種編碼器-解碼器的改進(jìn)模型，具有用于圖像下采樣的特征提取網(wǎng)絡(luò)和用于圖像上采樣的特征融合網(wǎng)絡(luò)，如圖3收縮路徑由卷積和池化兩層組成，可以壓縮圖像的空間信息，提取深層特征。在擴(kuò)展路徑中，空間信息與來自收縮路徑的特征相連接，可以使用有限數(shù)量的標(biāo)記訓(xùn)練圖像完成對圖像的高效分割。并且U-Net 通過跳躍連接的架構(gòu)將上采樣和下采樣圖像特征融合起來，可以獲得比較完整的椎骨上下文信息，普通的CNN 模型往往難以獲得準(zhǔn)確的脊椎分割結(jié)果，而U-Net創(chuàng)造性地設(shè)計(jì)了跳躍連接來結(jié)合低級(jí)和高級(jí)特征，即使在目標(biāo)物體相對于背景較小，數(shù)據(jù)樣本數(shù)量有限的情況下，也能取得很好的性能。因此，研究者針對脊椎圖像的分割算法有很多采用U-Net作為基本的網(wǎng)絡(luò)結(jié)構(gòu)。

圖3 U-Net網(wǎng)絡(luò)Fig.3 U-Net

如表6總結(jié)了近幾年U-Net在脊椎圖像分割上的文獻(xiàn)摘要[43-60]。

表6 基于U-Net的脊椎分割論文摘要Table 6 Spine segmentation based on U-Net

4.1 椎體分割

對于椎體分割任務(wù)，通過跳躍連接來獲得多尺度特征，以增加對比度，減少了脊椎、靜脈畸形等與背景之間的模糊邊界，從而實(shí)現(xiàn)更準(zhǔn)確的脊椎分割。Janssens 等人[43]基于3D 全卷積網(wǎng)絡(luò)提出了一種由定位和分割網(wǎng)絡(luò)組成的腰椎CT 圖像的自動(dòng)分割方法，先通過訓(xùn)練Localization Net來尋找腰部邊界框，然后通過類似U-Net網(wǎng)絡(luò)的Segmentation Net 進(jìn)行多類分割。為了利用相鄰椎骨的上下文信息，Al Arif等人[44]將FCN和2D U-Net相結(jié)合，通過一個(gè)全自動(dòng)深度學(xué)習(xí)框架實(shí)現(xiàn)了椎體定位、椎體中心定位和椎骨分割。

脊椎CT 和MR 的掃描結(jié)果經(jīng)常只覆蓋部分椎體，Lessmann等人[45]提出了一種迭代的分割方法，并使用大尺寸（128×128×128）的3D圖像塊來覆蓋整個(gè)椎體，避免了網(wǎng)絡(luò)輸入中出現(xiàn)某個(gè)椎體信息的缺失。該方法也有一定的局限性，找不到一個(gè)椎體可能會(huì)影響后續(xù)的椎體分割。Chuang等人[46]對該方法進(jìn)行了改進(jìn)，改變了網(wǎng)絡(luò)中的跳躍連接，減少了內(nèi)存的使用量，在輸出結(jié)果中提供了椎骨的標(biāo)記信息。將脊椎圖像的每個(gè)切片輸入到訓(xùn)練網(wǎng)絡(luò)，不僅節(jié)省了計(jì)算成本，而且還增加了訓(xùn)練的樣本數(shù)，通過2D網(wǎng)絡(luò)訓(xùn)練解決了3D椎體的分割。

Rehman等人[47]將參數(shù)水平集方法與U-Net相結(jié)合，提出了FU-Net 框架，提高了網(wǎng)絡(luò)在處理椎骨骨折時(shí)的收斂效果，成功解決了椎骨破裂的圖像分割任務(wù)。Zhang 等人[48]對椎體間的空間關(guān)系進(jìn)行建模，設(shè)計(jì)了一個(gè)序列條件強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)（sequential conditional reinforcement learning network，SCRL）。SCRL 使用了注意力模塊來考慮脊椎的全局信息，首次將深度強(qiáng)化學(xué)習(xí)應(yīng)用到脊椎分割上，并獲得了效果顯著的分割精度。Cheng 等人[49]提出了一種二階段的CT 脊椎圖像自動(dòng)定位與分割方法。第一階段使用2D-Dense-U-Net，通過對帶有密集的椎體質(zhì)心標(biāo)記的切片來定位椎體。第二階段通過3D-Dense-U-Net實(shí)現(xiàn)對每個(gè)椎體的分割。然后，將分割的椎體合并成一個(gè)完整的脊柱，并重新采樣到原始分辨率，實(shí)現(xiàn)了對脊椎的實(shí)例分割。

U-Net可以有效實(shí)現(xiàn)全局和局部的特征信息交互融合，普鐘等人[50]針對脊椎的空間位置信息與通道信息的融合問題提出了融合多注意力的脊椎圖像分割網(wǎng)絡(luò)（multi-attention U-Net，MAU-Net）。使用了坐標(biāo)注意力模塊，還引入了雙支路通道模塊代替跳躍連接，通過位置信息對通道信息進(jìn)行編碼，增強(qiáng)網(wǎng)絡(luò)的全局特征提取。Zhang 等人[51]在U-Net 的基礎(chǔ)上擴(kuò)大了網(wǎng)絡(luò)結(jié)構(gòu)的深度，并在特征提取的雙卷積中加入了通道注意模塊，改進(jìn)后的網(wǎng)絡(luò)稱為SeUneter。它包含兩個(gè)部分：SeDeepUnet模型和后處理。SeDeepUnet 實(shí)現(xiàn)對頸椎的分割，而后處理則是通過使用頸椎圖像的先驗(yàn)知識(shí)來調(diào)整分割結(jié)果，以獲得更精確的結(jié)果。

4.2 多任務(wù)分割

脊椎病變可能是脊椎的多個(gè)部位引起，多任務(wù)分割同時(shí)分割多類對象，并將分割與分類等其他任務(wù)相結(jié)合。為了解決不同目標(biāo)之間的非線性關(guān)系，達(dá)到對多個(gè)脊椎部位進(jìn)行準(zhǔn)確分割的目的，Pang 等人[52]將用于3D 粗分割的3D圖卷積分割網(wǎng)絡(luò)（graph convolutional segmentation network，GCSN）和用于2D 細(xì)分割的2D 殘差U-Net 組合，提出了一種二階段框架SpinePareNet。SpinePareNet通過脊椎間的依賴關(guān)系與3D GCSN相結(jié)合來提取語義信息，隨后通過2D 殘差U-Net 網(wǎng)絡(luò)對高分辨率脊椎圖像切片進(jìn)行細(xì)化分割。但是對圖像邊界模糊的骶骨周圍分割效果不好，無法分割不完整的椎體。此后，為了解決脊椎分割中的類間相似性問題，Pang等人[53]又提出了一種檢測引導(dǎo)的混合監(jiān)督分割網(wǎng)絡(luò)（detection-guided mixed-supervised segmentation network，DGMSNet），由檢測路徑和分割路徑組成。通過檢測路徑來提取脊椎的語義特征，進(jìn)而指導(dǎo)分割路徑產(chǎn)生準(zhǔn)確的分割結(jié)果，緩解了類間相似性，實(shí)現(xiàn)對椎體和椎間盤的準(zhǔn)確分割。Li等人[54]在U-Net網(wǎng)絡(luò)中嵌入了雙分支多尺度注意力模塊，將原始U-Net中兩個(gè)下采樣或上采樣之間的兩個(gè)卷積層替換為一個(gè)卷積層和一個(gè)雙分支多尺度注意力模塊。該模塊的作用是在保留圖像關(guān)鍵信息的同時(shí)，還能夠適應(yīng)不同尺度的目標(biāo)，該方法可以提高分割效率，減少重復(fù)工作。

5 基于生成對抗網(wǎng)絡(luò)的脊椎分割

生成對抗網(wǎng)絡(luò)（GAN）是區(qū)別于CNN的另一種神經(jīng)網(wǎng)絡(luò)，由生成器和判別器組成，如圖4。生成器從指定訓(xùn)練集中獲取的隨機(jī)向量產(chǎn)生偽樣本，而判別器對輸入樣本是真實(shí)數(shù)據(jù)還是偽樣本進(jìn)行分類輸出。結(jié)合語義分割的要求和GAN的特點(diǎn)，Luc等人[61]訓(xùn)練了一個(gè)卷積語義分割網(wǎng)絡(luò)和一個(gè)對抗網(wǎng)絡(luò)，將GAN 的思想第一次應(yīng)用于語義分割。其中卷積語義分割網(wǎng)絡(luò)Segmentor是一個(gè)基于CNN 的傳統(tǒng)分割網(wǎng)絡(luò)，生成一個(gè)接近真實(shí)值的分割圖，對抗網(wǎng)絡(luò)是GAN中的判別器，利用博弈的思想對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖4 GAN網(wǎng)絡(luò)Fig.4 Generative adversarial network

Han 等人[62]為了在一個(gè)網(wǎng)絡(luò)模型中完成椎間盤、椎體和椎間孔的語義分割，利用遞歸生成對抗網(wǎng)絡(luò)Spine-GAN 對MRI 脊椎圖像進(jìn)行多任務(wù)自動(dòng)分割和分類，并使用LSTM（long short-term memory）發(fā)現(xiàn)多個(gè)對象之間的空間關(guān)系。通過使用概率圖對相鄰椎骨和椎間盤之間的相關(guān)性進(jìn)行建模，完成了對椎間盤、椎體和神經(jīng)孔的語義分割，在253 例患者的脊柱圖像上取得了96.2%的像素準(zhǔn)確率。

Gong等人[63]為了在MRI圖像上實(shí)現(xiàn)對椎間盤、神經(jīng)孔、硬膜囊和后弓的同步分割和疾病診斷，提出了Axial-SpineGAN，包括生成器、判別器和診斷器。生成器采用增強(qiáng)特征融合模塊和增強(qiáng)邊界對齊模塊，解決了脊椎結(jié)構(gòu)多樣性中正常與異常結(jié)構(gòu)之間差異微小的問題，提升了對邊界像素的精確分類。鑒別器采用對抗性學(xué)習(xí)模塊，避免了因訓(xùn)練數(shù)據(jù)不足而導(dǎo)致的過擬合。診斷器采用了一個(gè)自動(dòng)診斷模塊來提供脊椎疾病的自動(dòng)識(shí)別。Axial-SpineGAN 在分割精度方面Dice 系數(shù)為94.90%±1.80%，可以為MRI圖像上的多個(gè)脊椎結(jié)構(gòu)提供自動(dòng)分割和疾病診斷。

常用的脊椎成像方式CT、MRI 和X 射線都可以提供高質(zhì)量的影像輸出。超聲波成像安全和經(jīng)濟(jì)，但圖像質(zhì)量低，而圖像的質(zhì)量很大程度上會(huì)影響分割結(jié)果的準(zhǔn)確。Huang等人[64]針對脊椎超聲圖像的噪聲問題提出了一個(gè)具有選擇性特征共享機(jī)制的多任務(wù)框架，框架包括兩個(gè)部分：基于生成對抗網(wǎng)絡(luò)的噪聲去除，通過弱監(jiān)督的方式實(shí)現(xiàn)對噪聲的掃描去除；脊椎分割，預(yù)測準(zhǔn)確的脊椎圖像。同時(shí)提出了一個(gè)選擇性的特征共享策略，兩個(gè)任務(wù)之間有選擇地傳輸特征，在處理噪聲的同時(shí)完成脊椎分割。

GAN 在脊椎分割任務(wù)中將對抗損失融入分割損失，利用判別器對分割結(jié)果進(jìn)行判斷，提高了分割結(jié)果的完整性。并可以通過生成器改善數(shù)據(jù)集過小的問題，從而增加數(shù)據(jù)在總體的連續(xù)性，與直接使用真實(shí)特征圖的其他模型相比，GAN提高了全局級(jí)別的精度，并避免了脊椎圖像分割中的過擬合。但在實(shí)際訓(xùn)練GAN網(wǎng)絡(luò)模型時(shí)，由于生成器和鑒別器的訓(xùn)練過程類似于博弈過程而非優(yōu)化，會(huì)導(dǎo)致訓(xùn)練難度很大[65]，在對文獻(xiàn)的檢索時(shí)發(fā)現(xiàn)將GAN 作為改進(jìn)網(wǎng)絡(luò)的脊椎分割文獻(xiàn)很少，把GAN中的生成對抗機(jī)制應(yīng)用到脊椎分割任務(wù)中還有很大的研究空間。表7總結(jié)了近年來GAN在脊椎圖像分割上的文獻(xiàn)摘要[62-63，66-68]。

表7 基于GAN的脊椎分割論文摘要Table 7 Spine segmentation based on GAN

6 討論

深度學(xué)習(xí)作為一項(xiàng)新興技術(shù)，其在脊椎圖像分割領(lǐng)域的應(yīng)用已經(jīng)逐漸成熟，不斷改進(jìn)的新型網(wǎng)絡(luò)架構(gòu)提高了脊椎分割的準(zhǔn)確度和魯棒性。但目前仍有許多問題值得繼續(xù)研究，深度學(xué)習(xí)要成為臨床醫(yī)生的有力工具仍存在許多改進(jìn)的空間。

6.1 樣本局限

脊椎的臨床病理情況復(fù)雜多樣，脊椎圖像之間存在明顯差異性。這就需要有經(jīng)驗(yàn)的專業(yè)醫(yī)師對脊椎圖像進(jìn)行標(biāo)記，但也增加了脊椎數(shù)據(jù)的獲取難度[69]。此外，脊椎數(shù)據(jù)集經(jīng)常存在類別不均衡的問題，體現(xiàn)為一些類別的樣本分布稀疏，訓(xùn)練樣本的數(shù)據(jù)分布與臨床的常規(guī)脊椎數(shù)據(jù)分布差別很大，進(jìn)而導(dǎo)致模型在學(xué)習(xí)這類數(shù)據(jù)時(shí)，由包含較多樣本的類別主導(dǎo)了模型的收斂，影響網(wǎng)絡(luò)的泛化性。

一些方法可以在一定程度上緩解這些問題，一種是通過遷移學(xué)習(xí)技術(shù)，將網(wǎng)絡(luò)在大型數(shù)據(jù)集中學(xué)習(xí)到的權(quán)重轉(zhuǎn)移到當(dāng)前的任務(wù)中，減少對訓(xùn)練數(shù)據(jù)的需求[70]。另一種是數(shù)據(jù)增強(qiáng)技術(shù)，如圖像的旋轉(zhuǎn)、平移、縮放、裁剪等方式，或GAN圖像生成技術(shù)，通過這類合成圖像的方法，來滿足數(shù)據(jù)多樣性的需求，實(shí)現(xiàn)對數(shù)據(jù)集的擴(kuò)充。

6.2 分割精度

脊椎結(jié)構(gòu)復(fù)雜，脊椎圖像中不同類別之間的特征相似，且不同位置的椎骨形狀大小各異，因此在提取脊椎圖像特征時(shí)，類內(nèi)差異通常會(huì)大于類間差異。并且脊椎圖像由于圖像噪聲、病理變化等原因，容易存在邊緣模糊、對比度不明顯等問題，這對分割小而復(fù)雜的器官，如椎管和椎間孔的分割產(chǎn)生了很大的挑戰(zhàn)。

此外，通過對大量網(wǎng)絡(luò)改進(jìn)工作的研究發(fā)現(xiàn)，大部分研究者在對脊椎圖像處理時(shí)只關(guān)注了脊椎的結(jié)構(gòu)特征，即只分析了分割結(jié)果，沒有將預(yù)測結(jié)果與醫(yī)學(xué)信息相結(jié)合。只有少數(shù)研究者實(shí)現(xiàn)了對脊椎的同步分割和診斷，通過神經(jīng)網(wǎng)絡(luò)直接生成放射科醫(yī)生級(jí)別的分割結(jié)果和報(bào)告，這對脊椎的病理分析有很大幫助，進(jìn)一步擴(kuò)大了圖像分析的功能范圍。

6.3 網(wǎng)絡(luò)的可解釋性

深度神經(jīng)網(wǎng)絡(luò)通過復(fù)雜的層與層之間的交互獲得最后的預(yù)測，研究者只能通過結(jié)果看到網(wǎng)絡(luò)的預(yù)測準(zhǔn)確與否，但是無法理解網(wǎng)絡(luò)到底學(xué)到了什么樣的特征，又是怎樣學(xué)到的這些特征[71]，這個(gè)過程類似于“黑匣子”[72]。深度學(xué)習(xí)的可解釋性還需要研究人員和臨床醫(yī)生的共同努力，也需要患者的信任和支持。

7 總結(jié)

本文主要從三個(gè)方向?qū)ι疃葘W(xué)習(xí)在脊椎分割領(lǐng)域進(jìn)行綜述。首先，對深度學(xué)習(xí)的網(wǎng)絡(luò)框架進(jìn)行了介紹。其次，全面概述了脊椎分割中采用的深度學(xué)習(xí)方法，回顧了深度學(xué)習(xí)在脊椎分割方向的最新進(jìn)展。最后，總結(jié)了當(dāng)前脊椎分割所面臨挑戰(zhàn)和前景，并提出了相應(yīng)的解決方案。

目前深度學(xué)習(xí)方面的改進(jìn)創(chuàng)新大多屬于開源狀態(tài)，計(jì)算資源也不斷改善，數(shù)據(jù)隱私等道德方面以及與預(yù)測風(fēng)險(xiǎn)相關(guān)的問責(zé)機(jī)制也正在受到關(guān)注，基于深度學(xué)習(xí)的脊椎圖像分割已經(jīng)成為研究趨勢。因?qū)嶋H可用的脊椎圖像數(shù)據(jù)較少，未來深度學(xué)習(xí)在脊椎圖像分割的研究方向可以考慮結(jié)合半監(jiān)督學(xué)習(xí)的方式從樣本量比較少的脊椎圖像中獲取特征信息。其次，在計(jì)算成本過大的情況下，通過對深度學(xué)習(xí)模型進(jìn)行輕量化設(shè)計(jì)，提高對三維脊椎圖像的分割速度也是未來的發(fā)展方向之一。