林 嵐，吳玉超，王婧璇，吳水才

(北京工業(yè)大學(xué)生命科學(xué)與生物工程學(xué)院智能化生理測量與臨床轉(zhuǎn)化北京市國際科研合作基地, 北京 100124)

在過去的幾十年中，結(jié)構(gòu)和功能神經(jīng)影像成像技術(shù)的巨大發(fā)展，使其在神經(jīng)系統(tǒng)疾病的診斷中扮演著越來越重要的角色[1].通過非侵入式的神經(jīng)影像技術(shù)，醫(yī)療工作者們在不斷提高空間分辨率和時間分辨率的條件下，獲取了大量患者的影像數(shù)據(jù).這為了解大腦的解剖結(jié)構(gòu)及其工作機制，特別是高級認(rèn)知活動的內(nèi)在機制奠定了堅實基礎(chǔ).現(xiàn)在，神經(jīng)影像技術(shù)已被廣泛用于研究癲癇、腦卒中、腦腫瘤、多發(fā)性硬化癥、神經(jīng)退行性疾病(如阿爾茨海默癥)等疾病[2-7].當(dāng)前，基于神經(jīng)影像的正常與病理腦組織分割和臨床解釋一般依賴于神經(jīng)放射科專家們的主觀定性解釋，利用計算機算法自動分析更多是一種輔助手段.由于神經(jīng)影像數(shù)據(jù)量大，完全依賴于手工分割既煩瑣耗時，結(jié)果又比較主觀，不能適應(yīng)現(xiàn)代神經(jīng)影像學(xué)的發(fā)展要求.隨著計算機技術(shù)的普及，準(zhǔn)確、自動化的神經(jīng)影像分割方法已成為放射科醫(yī)生的一項重要需求.神經(jīng)影像分割方法旨在大腦中定義不同類別的感興趣區(qū)域：如大腦、腦組織結(jié)構(gòu)類型或更局部的腦解剖區(qū)域.在分割過程中，所面臨的挑戰(zhàn)包括低信噪比、影像灰度不均勻、部分容積效應(yīng)、形狀復(fù)雜性等方面.傳統(tǒng)的神經(jīng)影像分割方法主要包括基于閾值的方法、基于區(qū)域的方法及像素分類方法等[8-9].當(dāng)前，一些新方法進一步將傳統(tǒng)分割方法與腦模板/圖譜的先驗知識相結(jié)合[10-11]，將腦圖譜的先驗知識融入分割過程.該類方法基于模型描述分割任務(wù)，設(shè)定解空間，最后通過數(shù)學(xué)計算優(yōu)化最大化目標(biāo)函數(shù)(或等效地最小化能量函數(shù))來實現(xiàn)分割模型[12].然而，這類方法對先驗知識有較大依賴，對原始輸入數(shù)據(jù)或模型特征敏感度高，當(dāng)分割數(shù)據(jù)與先驗知識不能很好匹配時往往分割性能不佳.與這些分割方法不同，圖像語義分割是更高層次的圖像分割方法.它既包含圖像分割，又包含對每個像素所屬分類的密集預(yù)測.給定一份神經(jīng)影像，語義分割模型不僅能對圖像進行自動分割，而且能識別出圖像中的內(nèi)容.深度學(xué)習(xí)方法不再需要明確地指定影像特征，而是基于層次型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，自動從大型神經(jīng)影像數(shù)據(jù)庫中隱式地學(xué)習(xí)數(shù)據(jù)中的高級抽象.2014年，加州大學(xué)伯克利分校的Long等[13]提出了基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)進行圖像語義分割的代表作——全卷積網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN).該網(wǎng)絡(luò)的核心思想是在已訓(xùn)練好的CNN中，用卷積層來替換全連接層，從而可以保存分割的位置信息，并進行密集的像素預(yù)測.輸入圖像的每一個像素在輸出圖像中都有對應(yīng)的類別標(biāo)注，實現(xiàn)了像素級一對一的類別標(biāo)注映射.

在大量的圖像分割問題中，基于CNN的語義分割技術(shù)表現(xiàn)出較前文所述傳統(tǒng)方法更優(yōu)的性能.因此，它也開始被應(yīng)用到神經(jīng)影像的研究領(lǐng)域.本文針對神經(jīng)影像研究中的具體分割應(yīng)用，以基于CNN的語義分割技術(shù)為主線，評述了該應(yīng)用領(lǐng)域的現(xiàn)狀和挑戰(zhàn).首先，簡述了CNN的結(jié)構(gòu)和特點，從語義分割網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)出發(fā)，介紹語義分割的最新進展.隨后，介紹了基于CNN的語義模型在神經(jīng)影像領(lǐng)域的應(yīng)用成果.最后，指出該領(lǐng)域中存在的問題及未來的研究方向.

1 語義分割網(wǎng)絡(luò)及其發(fā)展

1.1 CNN

基于CNN的語義分割并不是一個獨立發(fā)展的領(lǐng)域，其發(fā)展過程在一定程度上與CNN發(fā)展同步.CNN的設(shè)計思想來源于貓的大腦視覺皮層對于信息的分層處理機制.最前面的層提取的是最簡單的信息，并逐漸得到高層次的抽象信息[14].CNN解決了以往機器學(xué)習(xí)中需要人工設(shè)計特征的難題，能夠?qū)W習(xí)輸入數(shù)據(jù)的分層特征表示；網(wǎng)絡(luò)的不同層能對特征進行不同級別的抽象[15-17].通常，CNN由3個主要的層組成，分別是卷積層、池化層和全連接層.訓(xùn)練分為前向和后向階段.前向階段用每一層的權(quán)重和偏差來表示輸入圖像.然后利用預(yù)測輸出和真值標(biāo)簽的差異來計算損失誤差.在后向階段，基于損失誤差用鏈?zhǔn)椒▌t來計算每個參數(shù)的梯度，并根據(jù)梯度對所有參數(shù)進行更新.經(jīng)過充分的前向和后向迭代，網(wǎng)絡(luò)可以獲得較好學(xué)習(xí)效果.AlexNet模型[18]在2012年計算機視覺大賽以絕對優(yōu)勢迎來了CNN的應(yīng)用熱潮.隨著CNN架構(gòu)的不斷發(fā)展，一些著名的CNN模型應(yīng)運而生，它們通常被作為語義分割系統(tǒng)的基礎(chǔ)網(wǎng)絡(luò).常用的CNN模型及它們的主要貢獻如表1所示.

表1 經(jīng)典CNN模型及其特點

1.2 語義分割與FCN

圖像語義分割是一種密集預(yù)測的任務(wù)，其目標(biāo)在于標(biāo)記圖像中每一個像素，實現(xiàn)像素級別的分類.CNN的多層結(jié)構(gòu)可以自動進行特征提取和學(xué)習(xí)，并對提取到的特征進行圖像分類.但是，CNN中的全連接層會對多次卷積后獲取的高度抽象化特征進行整合與歸一化，將卷積層產(chǎn)生的二維特征圖壓縮成一個固定長度的一維特征向量，從而丟失了關(guān)鍵的空間信息.FCN是對CNN的延伸，主要使用了卷積化、上采樣和跳躍結(jié)構(gòu)3種技術(shù)，其具體結(jié)構(gòu)如圖1所示，在結(jié)構(gòu)圖中還標(biāo)出了每層所得特征圖的通道數(shù).卷積化技術(shù)把傳統(tǒng)CNN最后的全連接換成了卷積層，輸入圖像的大小不再受限，將分類網(wǎng)絡(luò)輸出變化成二維的目標(biāo)物熱力圖.同時，針對池化層下采樣后的特征圖與原圖像大小不一致這一問題，采用轉(zhuǎn)置卷積上采樣，可將熱力圖上采樣到與輸入圖像相同尺度.跳躍連接將低層網(wǎng)絡(luò)的細(xì)節(jié)信息和高層網(wǎng)絡(luò)的位置信息進行結(jié)合，將不同分辨率的特征圖整合到同一尺度并進行融合.FCN是語義分割問題中的關(guān)鍵里程碑，為圖像語義分割指明了方向.當(dāng)然，它也存在結(jié)果圖像過于模糊或平滑，不夠精細(xì)，不能分割出目標(biāo)圖像的細(xì)節(jié)這樣一些缺陷.

圖1 FCN網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 FCN model illustration

1.3 編碼器- 解碼器結(jié)構(gòu)與語義網(wǎng)絡(luò)優(yōu)化

一個通用的語義分割模型可以被認(rèn)為是一個基于前端的編碼器和一個基于后端的解碼器網(wǎng)絡(luò)組成的綜合體[22].前端編碼器通常是一個預(yù)訓(xùn)練的CNN分類網(wǎng)絡(luò)，其中的卷積層和池化層會逐漸縮減輸入數(shù)據(jù)的空間維度，降低特征維度.當(dāng)后端解碼器接收到前端編碼器的特征表達(dá)后，會通過反卷積層等逐步恢復(fù)目標(biāo)的細(xì)節(jié)和空間維度，將編碼器學(xué)習(xí)到的較低分辨率的可判別特征從語義上映射到較高分辨率的像素空間，以獲得密集分類.FCN是最為典型的編碼- 解碼器結(jié)構(gòu)，當(dāng)前這種結(jié)構(gòu)已成為圖像語義分割的基本框架.語義網(wǎng)絡(luò)的發(fā)展主要來源于對編碼器結(jié)構(gòu)、解碼器結(jié)構(gòu)的優(yōu)化，以及設(shè)置獨立的后處理模塊來優(yōu)化分割結(jié)果.幾種最為典型的語義分割網(wǎng)絡(luò)架構(gòu)如表2所示.

2 基于CNN的語義分割網(wǎng)絡(luò)在腦神經(jīng)影像上的應(yīng)用

對腦神經(jīng)影像進行定量分析是許多神經(jīng)疾病的常規(guī)檢查步驟，而感興趣區(qū)分割是定量分析的關(guān)鍵步驟.研究者們在運用分割方法對正常腦組織結(jié)構(gòu)(例如，白質(zhì)和灰質(zhì))和病變腦組織(例如，腦腫瘤)分割方面已經(jīng)進行了大量的努力，但此類方法還面臨著一些挑戰(zhàn).基于CNN的語義分割網(wǎng)絡(luò)由于可以避免傳統(tǒng)算法的局限性，自動學(xué)習(xí)神經(jīng)影像中有價值的成像特征，實現(xiàn)像素級別分類預(yù)測，因此越來越受到學(xué)術(shù)界和工程界的重視.

表2 典型語義分割網(wǎng)絡(luò)比較

2.1 非腦組織去除

從神經(jīng)影像中去除非腦組織是大量神經(jīng)影像分析工作的第一步流程，其準(zhǔn)確性會嚴(yán)重影響后續(xù)的處理步驟[33].當(dāng)前，多種方法已被用于健康成人的腦磁共振成像(magnetic resonance imaging, MRI)的研究，并取得了較好的效果.但當(dāng)面對其他模態(tài)的影像數(shù)據(jù)、嬰幼兒大腦[34]、存在病理改變的大腦以及動物模型腦圖像[6]時，結(jié)果往往不盡人意.如在計算機斷層掃描圖像(computed tomography，CT)中，眼睛和頸部等組織的CT衰減系數(shù)與大腦組織相似，因此為MRI而設(shè)計的方法在這些區(qū)域一般表現(xiàn)較差.Akkus等[35]對比了二維U- Net、2種改進的二維U- Net、三維U- Net和SegNet 5種類型的語義網(wǎng)絡(luò)對CT圖像中的非腦組織去除效果.其中，對二維U- Net的第1個改進版本是通過提升編碼器的卷積步幅來改善降采樣效果.同時用leakyReLU替代ReLU作為激活函數(shù).對二維U- Net的第2個改進版本是對收縮路徑和擴展路徑中對應(yīng)卷積塊之間加入批處理規(guī)范化和殘差連接.三維U- Net網(wǎng)絡(luò)由于計算量的原因，對訓(xùn)練數(shù)據(jù)進行了4倍的降采樣，同時對分割結(jié)果進行4倍升采樣.結(jié)果顯示，未優(yōu)化改進的二維U- Net具有最好的分割性能，同時該方法比傳統(tǒng)方法具有更好的泛化能力.Zhao等[36]將深度貝葉斯CNN與全連通三維條件隨機場相結(jié)合，對100只靈長類動物的MRI的T1像進行了非腦組織去除.貝葉斯SegNet不僅能夠獲得高分辨率像素級的分割結(jié)果，而且能夠在測試階段通過蒙特卡羅采樣來測量模型的不確定性.全連通三維條件隨機場進一步對概率分割結(jié)果進行優(yōu)化，在動物模型中展示了優(yōu)異的性能.

2.2 腦組織結(jié)構(gòu)分割

腦組織結(jié)構(gòu)分割方法一般集中在將神經(jīng)影像分割為3種不同腦組織結(jié)構(gòu)，即白質(zhì)、灰質(zhì)和腦脊液.這類方法對于腦組織結(jié)構(gòu)和顱內(nèi)體積的大規(guī)模定量評估非常重要，實踐中一般需要進一步結(jié)合腦圖譜或腦模板中的先驗信息.近年來，基于CNN的語義網(wǎng)絡(luò)開始被用于該領(lǐng)域，往往可以提供比閾值分割等傳統(tǒng)方法更好的性能，特別在先驗知識不足的領(lǐng)域.Chen等[37]提出了一種改進的U- Net模型，在編碼器收縮路徑中使用不同大小的卷積核提取圖像特征并進行拼接，結(jié)果顯示在灰質(zhì)、白質(zhì)和腦脊液這3個基本腦組織結(jié)構(gòu)上較U- Net具有更好的性能.Chen等[38]提出了一種體素級殘差網(wǎng)絡(luò)(voxelwise residual network, VoxResNet)用于白質(zhì)、灰質(zhì)和腦脊液的分割.深度殘差學(xué)習(xí)的改變表現(xiàn)在訓(xùn)練時，不是簡單地堆疊層，而是通過將輸出表述為輸入和輸出的一個非線性變換的線性疊加來緩解網(wǎng)絡(luò)隨層數(shù)變深出現(xiàn)的網(wǎng)絡(luò)退化問題，這樣可以充分利用更深的網(wǎng)絡(luò)來獲得性能提升.在該研究中，VoxResNet由25層網(wǎng)絡(luò)層組成，比一般的語義分割網(wǎng)絡(luò)在深度上有所提升.同時，VoxResNet將殘差結(jié)構(gòu)從二維擴展到三維，以滿足三維MRI腦組織結(jié)構(gòu)分割的任務(wù).T1像、水抑制像等多種模態(tài)的互補信息以及多尺度的上下文信息被整合到VoxResNet中，將低級的圖像外觀特征，隱式的形狀信息和高級的上下文信息無縫集成在一起，進一步提高分割性能.該方法在醫(yī)學(xué)圖像計算與計算機輔助干預(yù)學(xué)會舉辦的腦MRI分割大挑戰(zhàn)競賽中[39]獲得了第1名的成績.該競賽的第2名是一種名為多模態(tài)聚合網(wǎng)絡(luò)的方法[40].該方法的主要創(chuàng)新在于利用不同膨脹率的空洞卷積，獲得不同尺寸的感受野，同時使用Inception結(jié)構(gòu)來融合多尺度的特征.同時，也使用了3個子網(wǎng)絡(luò)來學(xué)習(xí)3種不同模態(tài).最后的特征為多模態(tài)的互補信息和多尺度的上下文信息的融合.

月齡為6～8個月的嬰兒，白質(zhì)和灰質(zhì)在MRI的T1像和T2 像中會表現(xiàn)出相近的信號強度水平，因此組織對比度差，分割困難.Nie等[41]針對6～8個月健康嬰兒的T1像、T2像和彌散加權(quán)像3種影像模態(tài)，對于每個模態(tài)采用一個單獨的FCN網(wǎng)絡(luò)進行訓(xùn)練，然后將高層特征融合在一起，以進行最終分割.結(jié)果表明，該模型在準(zhǔn)確性方面明顯優(yōu)于使用普通FCN的方法.后續(xù)的研究中，Nie等[42]進一步將語義網(wǎng)絡(luò)從二維FCN擴展到三維FCN，并通過使用整合上下文語意信息、融合不同尺度特征等方法進行網(wǎng)絡(luò)優(yōu)化，取得了更優(yōu)的結(jié)果.

2.3 腦區(qū)分割

腦區(qū)分割中的一部分研究旨在將整個大腦分割成多個腦區(qū).而另一部分研究則集中在分割一個或多個特定的腦區(qū)結(jié)構(gòu).以在人類記憶中起著重要作用的海馬區(qū)為例，其萎縮已被證明是一種預(yù)測輕度認(rèn)知障礙、阿爾茨海默病及記憶相關(guān)的神經(jīng)系統(tǒng)疾病的生物標(biāo)志物.由于海馬區(qū)結(jié)構(gòu)尺寸小、形態(tài)復(fù)雜，從神經(jīng)影像中準(zhǔn)確地分割海馬子區(qū)是一項頗具挑戰(zhàn)性的任務(wù).Shi等[43]提出了一種使用生成對抗網(wǎng)絡(luò)在腦MRI中進行海馬子區(qū)分割的方法.生成對抗網(wǎng)絡(luò)不需要大量有標(biāo)注數(shù)據(jù)就可以學(xué)習(xí)深度表征[44-45].該模型由2個主要部分組成.一部分是通過對U- Net進行改進獲得生成網(wǎng)絡(luò)，其被訓(xùn)練用于對二維的MRI切片進行語義分割.另一部分是基于CNN的對抗網(wǎng)絡(luò)，被用來區(qū)分專家注釋和生成網(wǎng)絡(luò)生成的分割圖像.生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的互相博弈學(xué)習(xí)來產(chǎn)生符合需求的輸出.該模型在海馬和較大海馬子區(qū)的分割中均獲得了很高的準(zhǔn)確性.現(xiàn)有的海馬子區(qū)分割方法一般是基于成人受試者設(shè)計的.Zhu等[46]提出了一種U- Net擴張密集網(wǎng)絡(luò)來進行嬰兒海馬子區(qū)域分割.嵌入式擴散密集網(wǎng)絡(luò)可以在保持高空間分辨率的同時生成多尺度特征，這有助于將收縮路徑中的低級特征與擴展路徑中的高級特征融合.為了進一步提高性能，他們在每對卷積層與U- Net擴張密集網(wǎng)絡(luò)間加入一個殘差連接，獲得了殘差U- Net擴張密集網(wǎng)絡(luò).與三維U- Net相比，該網(wǎng)絡(luò)性能上有一定提高.紋狀體是大腦基底神經(jīng)節(jié)之一，其主要機能為調(diào)節(jié)肌肉張力、協(xié)調(diào)各種精細(xì)復(fù)雜的運動.如紋狀體受到損害，則其功能發(fā)生障礙.Shakeri等[47]采用 FCN網(wǎng)絡(luò)對紋狀體皮層下結(jié)構(gòu)(丘腦、尾狀核和蒼白球等)進行了分割，并在輸出端設(shè)計了馬爾可夫隨機場對分割結(jié)果進行優(yōu)化改進.實驗結(jié)果顯示該模型優(yōu)于Freesurfer等最先進的自動腦區(qū)分割工具.

2.4 腦部病灶分割

腦損傷的定量分析包括測量腦損傷區(qū)域，以及量化腦疾病的病灶區(qū)大小.腦卒中是腦疾病患者長期殘疾或死亡的主要原因之一，其中腦缺血導(dǎo)致了大約80%的腦卒中[48]的發(fā)生.擴散加權(quán)MRI對急性病變的檢測和定量對缺血性腦卒中的診斷和治療具有重要意義.Chen等[49]提出了一種由2個子網(wǎng)絡(luò)構(gòu)成的急性缺血性病變分割系統(tǒng).第1個子網(wǎng)絡(luò)的輸入為圖像塊，由多個并行的DeconvNet結(jié)合[50]輸出具有語義描述的分割概率圖，并通過對概率圖進行閾值分割來得到急性缺血性損傷病變區(qū)域和假陽性區(qū)域.第2個子網(wǎng)絡(luò)使用概率圖和原始圖像為輸入，對檢測結(jié)果進行重新評估，排除假陽性誤報.結(jié)果顯示該網(wǎng)絡(luò)可以比FCN、U- Net和Deeplab提供更優(yōu)的分割結(jié)果.

神經(jīng)膠質(zhì)瘤是成人最常見的腦腫瘤，占所有原發(fā)性腦腫瘤的40%左右，腫瘤分割對腦癌的診斷和預(yù)后具有重要意義.神經(jīng)膠質(zhì)瘤通常具有很強的浸潤性，存在邊界模糊和對比度差的特點.Cui等[51]使用多模態(tài)(T1像、T2像、T1像增強和水抑制像)腦腫瘤分割數(shù)據(jù)集，設(shè)計了一種級聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)來實現(xiàn)對腦膠質(zhì)瘤的自動語義分割.第1個網(wǎng)絡(luò)為腫瘤定位網(wǎng)絡(luò)，為一種FCN結(jié)構(gòu).2個跳躍結(jié)構(gòu)被用于減輕局部圖像特征的損失和融合中間層獲得的局部信息與深層的全局信息.第2個網(wǎng)絡(luò)為腫瘤內(nèi)分類網(wǎng)絡(luò)，將定義的腫瘤區(qū)域標(biāo)記為多個腫瘤亞區(qū).Wang等[52]提出了一種寬殘差網(wǎng)絡(luò)和金字塔池化網(wǎng)絡(luò)的方法來自動分割腦膠質(zhì)瘤.該方法主要分為3個大的步驟.首先，寬殘差網(wǎng)絡(luò)被用于從多模態(tài)影像提取腦腫瘤的關(guān)鍵表達(dá)特征.隨后，金字塔池化網(wǎng)絡(luò)被用于提取不同尺度的全局先驗表達(dá)，并與寬殘差網(wǎng)絡(luò)的輸出特征進行融合.最后，尺度恢復(fù)模塊輸出與輸入圖像一樣大小的像素級的語義分割結(jié)果，該方法在腦膠質(zhì)瘤分割上具有很好的分割效果.

3 討論與結(jié)論

隨著CNN技術(shù)的發(fā)展成熟，基于CNN的語義分割網(wǎng)絡(luò)在神經(jīng)影像領(lǐng)域相繼取得了不少令人興奮的成果，但它們還具有一定的局限性.首先，基于語義的深度網(wǎng)絡(luò)在性能改進上很大程度會依賴于大規(guī)模影像數(shù)據(jù)集，而神經(jīng)影像領(lǐng)域數(shù)據(jù)集相對較小，這制約了該類方法性能的進一步提升.對于較小數(shù)據(jù)集，存在2種形式的改進策略.一種是進行數(shù)據(jù)增強，如隨機變換(如翻轉(zhuǎn)、旋轉(zhuǎn)、平移和變形)的方法.另一種是使用遷移學(xué)習(xí)，即用在大型數(shù)據(jù)集上預(yù)訓(xùn)練的網(wǎng)絡(luò)，在小數(shù)據(jù)集上進行微調(diào)訓(xùn)練.其次，訓(xùn)練語義分割網(wǎng)絡(luò)需要標(biāo)簽數(shù)據(jù).因此，語義網(wǎng)絡(luò)面臨更嚴(yán)峻的問題是缺乏足夠的專家標(biāo)注影像數(shù)據(jù).生成對抗網(wǎng)絡(luò)是一種無監(jiān)督的學(xué)習(xí)方式，降低模型對標(biāo)簽的依賴，是未來該領(lǐng)域研究一個可能的重要發(fā)展方向.最后，神經(jīng)影像數(shù)據(jù)通常是三維或更高維度，現(xiàn)有的語義分割網(wǎng)絡(luò)更多集中在二維.相比二維模型，三維模型需要更多計算代價，隨著現(xiàn)代圖形處理器技術(shù)的發(fā)展，該問題將會得到緩解.

對網(wǎng)絡(luò)結(jié)構(gòu)的改進也需要深入探索.編碼- 解碼網(wǎng)絡(luò)具有簡潔高效的優(yōu)點，但在復(fù)雜多變的神經(jīng)影像分割任務(wù)中，需要針對不同的任務(wù)特點進行改進.語義網(wǎng)絡(luò)的最優(yōu)設(shè)計往往需要設(shè)計者通過大量優(yōu)化實驗來獲取.基于CNN的語義網(wǎng)絡(luò)一般以鏈?zhǔn)浇Y(jié)構(gòu)為主體，中間可能存在部分的多叉結(jié)構(gòu).而這些結(jié)構(gòu)往往是基本子結(jié)構(gòu)的重復(fù)，通過這些子結(jié)構(gòu)重疊拼接來形成總體網(wǎng)絡(luò).因此，對語義分割網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化可以被看成這些子結(jié)構(gòu)的優(yōu)化拼接.對網(wǎng)絡(luò)結(jié)構(gòu)進行編碼，用強化學(xué)習(xí)的方法獲得最優(yōu)語義網(wǎng)絡(luò)，是該領(lǐng)域發(fā)展的又一方向.

目前，基于CNN的語義分割已成為神經(jīng)影像研究領(lǐng)域的一項重要的工具,其廣泛的應(yīng)用領(lǐng)域和良好的實踐效果已日益受到了國內(nèi)外學(xué)者關(guān)注.但該領(lǐng)域目前還處于高速發(fā)展階段，在方法改進方面還有不少余地.預(yù)計未來幾年該方法在神經(jīng)影像研究中將取得重大進展，具有更光明的前景.