要媛媛,劉宇航,程雨菁,彭夢曉,鄭 文,2

(1.太原理工大學計算機科學與技術(shù)學院(大數(shù)據(jù)學院),山西 晉中 030600; 2.長治醫(yī)學院山西省智能數(shù)據(jù)輔助診療工程研究中心,山西 長治 046000)

1 引言

圖像分割技術(shù)旨在將感興趣區(qū)域(Region of Interest)從某視野內(nèi)分離出來。醫(yī)療圖像中對感興趣區(qū)域(如肝臟、腫瘤)的研究具有極其重要的意義。將圖像分割技術(shù)應(yīng)用于醫(yī)療領(lǐng)域(如CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等圖像),能夠幫助醫(yī)生更加清晰地認識各內(nèi)部器官或病理結(jié)構(gòu),達到智能輔診、高效診斷的效果。

主流的基于全監(jiān)督的深度學習分割模型在標記豐富的數(shù)據(jù)上訓練時可以取得良好的效果。這些有監(jiān)督的神經(jīng)網(wǎng)絡(luò)的性能在很大程度上取決于訓練數(shù)據(jù)集的質(zhì)量和數(shù)量,例如注釋良好的數(shù)據(jù)的數(shù)量、類分布的平衡度以及樣本表示[1,2]。就自然圖像而言,大量含標注的公開數(shù)據(jù)集(如VOC(Visual Object Classes)等)使得研究人員極易獲得預訓練模型,便于開展后期研究。然而,對醫(yī)療圖像的認知往往基于豐富的臨床專業(yè)知識,獲取含標注的醫(yī)療圖像會耗費大量的人力成本及時間成本。此外,疾病多種多樣,影像表現(xiàn)復雜多變,以某一訓練好的特定模型認知全部未知類別的特征極不現(xiàn)實。受人類僅使用少量輸入數(shù)據(jù)來區(qū)分對象的認知能力的啟發(fā),小樣本學習技術(shù)應(yīng)運而生,探求模型是否擁有從少量樣本中學習和概括的能力。

傳統(tǒng)的深度學習模型用小樣本訓練時易導致過擬合或?qū)δ繕巳蝿?wù)的欠擬合。為避免此類問題,需要依賴于具有許多注釋訓練類的大型訓練數(shù)據(jù)集,但這樣又違背了小樣本學習的初衷。自監(jiān)督學習主要是利用圖像著色、超像素生成偽標簽等輔助任務(wù)從原始的無監(jiān)督數(shù)據(jù)中提取有效信息。這些有效信息用于訓練網(wǎng)絡(luò),從而學習到對下游任務(wù)有價值的表征。其特征在于,模型訓練過程中使用的信息源于自身,而非受人為因素影響的外部標注,以此為模型提供豐富的內(nèi)部信息。

小樣本分割FSS(Few-Shot Segmentation)的目標是使用相應(yīng)的注釋掩碼分割查詢圖像中選定類別的目標區(qū)域。FSS最流行的方法是基于度量的原型學習。通過掩碼平均池化,將每個類別在空間上平均為一個一維代表原型或線性分類器的權(quán)重向量,例如,PANet(Prototype Alignment Network)[3]、PFENet(Prior guided Feature Enrichment Network)[4]、SG-One(Similarity Guidance network to tackle the One-shot)[5]、CANet(Class-Agnostic segmentation Network)[6]。然而,因人體構(gòu)造復雜,且器官、病灶或其他興趣目標在醫(yī)學圖像中占比較小,存在前景-背景極其不平衡的問題。如果背景中的無關(guān)外觀信息被錯誤地識別和破壞,就可能使得前景-背景邊界模糊,增加預測的難度。因此,通過掩碼平均池化操作,此類原型網(wǎng)絡(luò)可能會丟失圖像的詳細空間信息。

針對醫(yī)學圖像復雜、可能存在多個感興趣區(qū)域、預訓練模型難獲得,以及前景-背景極其不平衡的問題,本文使用超像素分割方法為圖像生成偽標簽,為模型提供從圖像本身獲取信息的可能;同時,摒棄掩碼平均池化操作,聚焦于局部特征及全局特征,引入注意力機制以明確前景-背景邊界,達到對感興趣的區(qū)域進行分割的目的。

本文提出的SSF-MANet(Self-Supervised Few-shot learning with Multi-Attention mechanism Network)旨在通過構(gòu)造融合樣本自身通道信息、空間信息及樣本間信息等多類信息的模型,探尋小樣本數(shù)據(jù)的內(nèi)在關(guān)聯(lián),以便在綜合考量局部及全局信息后完成對興趣目標的分割。首先,SSF-MANet模型利用依賴于超像素經(jīng)旋轉(zhuǎn)及亮度改變后生成的偽標簽得到特征圖譜,自適應(yīng)局部原型池化網(wǎng)絡(luò)ALPNet(Adaptive Local Prototype pooling Network)分別接收support特征及query特征。之后,將得到的support特征傳入外部注意力機制部分,以捕獲樣本間的聯(lián)系;query特征則被傳入通道-空間雙注意力機制中,以便于圖像內(nèi)部多尺度特征的融合。最后,基于相似度的分類器對原型向量和query的特征圖譜進行對比,并進行聚類融合得到最后的分割結(jié)果。值得注意的是,在整個過程中,通過PANet模型中的原型對齊正則化更新?lián)p失,以便最終的分割結(jié)果更接近真實的語義標簽而非偽標簽。

2 相關(guān)工作

2.1 小樣本語義分割

是否擁有從少量樣本中學習和概括的能力,是將人工智能和人類智能進行區(qū)分的明顯分界點。小樣本學習更傾向于模擬人類從少數(shù)樣本中認知事物,受到了越來越多研究者的關(guān)注。

小樣本圖像語義分割的關(guān)鍵點在于構(gòu)建query集與僅有的少數(shù)support集樣本間的關(guān)系。多分支方式[6-8]的引入使得模型在充分獲取support及query集各自的特點后進行融合,進而對query圖像的分割結(jié)果進行動態(tài)調(diào)整,以遞進的方式對圖像分割模型進行改進和完善。CANet 在多分支結(jié)構(gòu)的基礎(chǔ)上,引入密集比較模塊,開始注重support圖像和query圖像間的多層次特征比較。之后的過程中,研究人員常常引入余弦相似度以匹配support和query圖像間的特征。Zhang等人[5]首先采用掩碼平均池化(Masked Average Pooling)策略,通過只考慮support圖像的像素來生成引導特征,然后利用余弦相似度度量引導特征與query圖像特征之間的關(guān)系。

為分析query圖像和support圖像之間的細粒度對應(yīng)關(guān)系,Min等人[9]提出利用多層次特征相關(guān)和高效四維卷積的超相關(guān)擠壓網(wǎng)絡(luò),旨在從中間卷積層的不同層次中提取多樣特征,以從粗到細的方式逐步將高相關(guān)的高級語義和低級幾何線索壓縮到精確的分割掩碼中。在醫(yī)學圖像分割領(lǐng)域,Roy等人[10]提出了一種新穎的Few-Shot框架,用于只有少量注釋切片的醫(yī)學圖像分割,條件分支和分割結(jié)構(gòu)通過“通道擠壓和空間激勵”模塊增強交互。

這些研究應(yīng)用元學習的思想動態(tài)調(diào)整分割結(jié)果,并在此基礎(chǔ)上進行圖像間的多層次特征比較,證明了元學習獲得共同知識并概括到新任務(wù)的能力。然而,這些研究局限于搜索匹配小樣本間的信息。本文將重點轉(zhuǎn)移至建立樣本自身空間及通道信息,以便準確捕獲數(shù)據(jù)特征,從而提高目標任務(wù)中的分割性能。

2.2 注意力機制

獲取多個尺度豐富的上下文信息往往需要依賴于注意力機制。Vaswani等人[11]率先提出融合注意力機制的Tranformer模型以捕獲長距離的依賴關(guān)系,為圖像分割工作提供了異于RNN(Recursive Neural Network)和CNN(Convolutional Neural Network)的工作思路。

受全卷積網(wǎng)絡(luò)有效感知域較小、無法充分捕獲長距離信息等特點的限制,研究人員將注意力機制引入到多尺度輸入的語義分割網(wǎng)絡(luò)中[12,13],以緩解局部鄰域約束。SENet(Squeeze-and-Excitation Network)[14]則更關(guān)注圖像通道間的關(guān)系,通過計算各特征通道的重要性,然后針對不同的任務(wù)增強或者抑制不同的通道,達到提取特征權(quán)重的目的。

為了捕捉豐富的上下文信息,Fu等人[15]與基于多尺度特征融合的方法不同,提出了位置注意模塊和通道注意模塊,分別對空間和通道維度上的語義相互依賴關(guān)系進行了建模,利用自注意力機制,自適應(yīng)地整合局部特征及其全局依賴關(guān)系。

注意力機制在捕獲樣本內(nèi)部各空間、通道間長距離信息的應(yīng)用中逐漸深入人心,如何建模樣本間的特征關(guān)系成為研究人員關(guān)心的問題。EA(External Attention)[16]考慮到自注意力機制具有二次復雜度,并且忽略了不同樣本之間的潛在相關(guān)性,提出外部注意力,依靠2個外部的、小的、可學習的、共享的內(nèi)存,隱式地考慮所有數(shù)據(jù)樣本之間的相關(guān)性。

DANet(Dual Attention Network)[15]及EA[16]分別從不同的角度出發(fā),進行樣本內(nèi)及樣本間關(guān)系的建模,隱式地學習了整個數(shù)據(jù)集的特征。本文利用以上注意力機制模塊,盡可能多地捕獲樣本自身通道信息、空間信息及樣本間信息等多類信息。

2.3 自監(jiān)督學習

自監(jiān)督學習的出發(fā)點是考慮在缺少標簽或完全沒有標簽的情況下,依然能夠?qū)W習到表示原始圖像的有意義的特征,其從數(shù)據(jù)本身提取信息的思想被越來越多的人接受。

為了緩解數(shù)據(jù)稀疏問題,研究人員基于圖像修復的思想,通過填補洞的方式為圖像增添標注[17,18]。然而,Context encoders等工作[17-24]從自我監(jiān)督中學習到的參數(shù)對本文的分割任務(wù)不具有強相關(guān)性,往往需要進行第二階段的微調(diào)。與此不同的是,Li 等人[25]提出了一個新的自我監(jiān)督的方法,即在查詢圖像的背景中通過超級像素生成偽類,以提供額外的訓練數(shù)據(jù)。偽類的引入使得研究人員必須關(guān)注其與真實分割的相關(guān)性,PANet[3]在訓練過程中進一步引入了一種原型對齊正則化,通過反向執(zhí)行few-shot分割,從查詢圖像和支持圖像中提取原型,并在嵌入空間中對齊。

本文沿用文獻[25]的思路,通過使用超像素分割方法為圖像生成偽標簽,對圖像內(nèi)部的相似顏色、紋理等特征進行聚類。超像素作為真實物體語義掩碼的緊湊構(gòu)建塊,與分割真實物體直接相關(guān)。

2.4 超像素分割

超像素是由一系列位置相鄰且顏色、亮度、紋理等特征相似的像素點組成的小區(qū)域。這些小區(qū)域大多保留了進一步進行圖像分割的有效信息,且一般不會破壞圖像中物體的邊界信息,用少量的超像素代替大量像素表達圖像特征,降低了圖像處理的復雜度。分割趨于使一個區(qū)域內(nèi)的元素相似,不同區(qū)域內(nèi)的元素不相似。EGBIS(Efficient Graph-Based Image Segmentation)算法是基于圖的貪心聚類算法。為了解決EGBIS算法容易過分割的問題,Felzenszwalb等人[26]結(jié)合流行的超像素方法SLIC(Simple Linear Iterative Cluster)[27],在構(gòu)造無向圖前,先對原圖進行預分割,得到形狀大小基本一致且貼合圖像邊界的SLIC超像素;然后以超像素的顏色平均值對其進行特征描述,將每個超像素視為無向圖節(jié)點,構(gòu)造無向權(quán)重圖,進而實現(xiàn)基于圖的無監(jiān)督分割。由此生成的超像素在形狀上更加多樣化,更易分辨出未知類別的形態(tài)。

本文采用文獻[26]中的方法對圖像進行超像素預分割。

Figure 1 Structure of SSL-MANet圖1 SSL-MANet結(jié)構(gòu)

3 模型介紹

本節(jié)首先介紹小樣本自監(jiān)督學習研究的問題表述,闡述研究過程中的N-way K-shot問題。然后,介紹架構(gòu)中的MAP(Mixed Attention Pooling)模塊,重點是通過自適應(yīng)池化網(wǎng)絡(luò)捕獲的原型向量如何融合多注意力機制,以突出表現(xiàn)其多尺度的特征信息。最后,介紹如何將依賴于偽標簽生成的分割結(jié)果與真實的語義標簽相匹配。

3.1 問題的提出

小樣本學習的研究目的是用少量的標記樣本迅速完成訓練,建立泛化性能較好的模型。在小樣本圖像分割中,給定一個包含訓練語義類別Ctr的訓練集Dtr和一個包含測試未見類別Cte的測試集Dte,其中Ctr∩Cte=?。任務(wù)是給定幾個Cte的注釋例子(如參照幾個腎臟標記圖像來分割腎臟),在Dtr上訓練一個分割模型,該模型可以在Dte的圖像中分割語義類Cte,而無需重新訓練。在每個推理過程中,都會給出一個支持集S= {(xs,ys(cj))}(其中s=1,2,3,…,N代表支持集中第s個圖像及其對應(yīng)的標注,cj代表第j個類)和一個查詢集Q={xq}(其中,q=1,2,3,…,N代表查詢集中第q個圖像)。一個支持-查詢對(S,Q)包括一個episode對。如果有N個要分割的類(也稱為N個任務(wù))和每個類的S中的K個標記的圖像,則每個episode對都定義了一個N-way-K-shot的分割子問題。背景類被表示為c0,不計入Ctr或Cte。

3.2 網(wǎng)絡(luò)架構(gòu)

(1)小樣本圖像利用特征提取器將其表征為向量。fθ(·):χ→ε,其中θ為參數(shù),ε代表分割操作的特征空間。

(2)提議的融合多注意力機制的原型池化模塊,用于從支持標簽及特征中提取原型向量,g(·,·):ε×Y→ε。

(3)基于相似度的分類器通過比較原型和查詢特征進行前景-背景的分割,sim(·,·):ε×ε→Y。

(4)原型對齊正則化模塊,通過反向執(zhí)行few-shot分割,從查詢圖像和支持圖像中提取原型,并在嵌入空間中對齊。

網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。Adaptive local prototype pooling模塊用于從支持特征和標簽中提取表示原型;FSS model模塊用于原型從嵌入空間中支持和查詢圖像對齊。過程中,特征提取器網(wǎng)絡(luò)fθ(·)通過將xs和xq映射到特征空間ε,為ALP(Adaptive Local Prototype pooling)提供了特征圖。ALP將每個(fθ(xs),ys(cj)) 對作為輸入,計算語義類cj和背景c0的局部原型及類級原型。這些原型以后將被用作每個類別的參考,輔助分割查詢圖像。所有cj的原型形成一個原型集合P={pk(cj)},j= 0,1,2,…,N,其中k是原型索引,每個cj的k≥1。這個原型集合被分類器sim(·,·)用來預判查詢圖像的分割,即yq=sim(P,fθ(xq))。即首先測量每個pk(cj)和查詢特征圖fθ(xq)之間的相似性,然后將這些相似性融合在一起。

MAP模塊中,自適應(yīng)局部原型池模塊(ALP)保留了原型中的局部信息。受Fu等人[28]的工作啟發(fā),每一個興趣目標向量由多個子目標組成。在ALP中,每個局部原型只在覆蓋在支持物上的局部池化窗口內(nèi)計算,即只代表對象的一部分支持,并且只代表興趣目標的一個部分。具體來說,對每個fθ(xs)∈RD×H×W進行平均池化,池化窗口大小為(LH,LW),其中(H,W)是空間大小,D是通道深度。值得注意的是,(LH,LW)決定了在表示空間E中計算每個局部原型的空間范圍。在平均池化特征圖的空間位置(m,n)上獲得的具有未決定類c的局部原型pmn(c)由式(1)給出:

pmn(c)=avgpool(fθ(xs))(m,n)

(1)

其中,mLH≤h<(m+1)LH,nLW≤w<(n+1)LW。

考慮到超像素分割可能將興趣目標分割為多個部分,使用掩蔽平均池化法計算一個類級原型pg(cj)(如式(2)所示),以避免類內(nèi)信息的丟失。

(2)

其中,g代表全局類別。

之后,為捕獲圖像內(nèi)自身多尺度信息及圖像間信息,分別將Q集(查詢集)及S集(支持集)中的圖像傳入通道-空間混合注意力模塊及外部注意力模塊中,以充分利用樣本自身的特征及少數(shù)樣本間可能存在的關(guān)聯(lián)性。

針對查詢集中的圖像特征A∈RC×H×W,首先輸入一個卷積層,分別生成2個新的特征圖B和C,其中B,C∈RC×H×W;然后進行向量化操作,將RC×H×W轉(zhuǎn)化為RC×N(C代表圖像的通道數(shù),N=H×W);接下來,將C的轉(zhuǎn)置與B矩陣進行乘法操作,得到圖像內(nèi)像素的相似度矩陣?？臻g注意力圖S∈RN×N的計算公式如式(3)所示:

(3)

其中,sji表示第i個位置對第j個位置的影響。

2個位置的特征表征越相似,它們之間的相關(guān)性就越大。將通過空間注意力模塊的特征圖D∈RC×H×W轉(zhuǎn)化為RC×N形式后,將其乘以一個尺度參數(shù)α,并對特征A進行元素求和運算,得到最終輸出Ej∈RC×H×W,如式(4)所示:

(4)

與空間注意力模塊不同,通道注意力不需要通過卷積重新生成的2個新特征圖,而是直接從輸入的特征圖A計算通道注意力圖(X∈RC×C),如式(5)所示:

(5)

其中,xji表示第j個通道對第i個通道的影響。與空間注意力一樣,將其乘以一個尺度參數(shù)β,并對特征A進行元素求和運算,得到最終輸出Ej∈RC×H×W,如式(6)所示:

(6)

針對支持集中的圖像特征,設(shè)計隨機初始化的共享矩陣M∈RT×d,M是隨機初始化的,d是特征向量的維數(shù),T是實驗設(shè)置的超參數(shù),將其設(shè)置為64,參照自注意力機制的公式,將DA記為一種M對輸入特征F的注意力矩陣,如式(7)所示:

DA=(γ)i,j=Norm(FMT)

Fout=DAM

(7)

其中,(γ)i,j表示第i個像素和第j行之間的相似度。M是共享的,所以能夠隱式地考慮不同樣本之間的關(guān)聯(lián)。

3.3 基于超像素分割的自監(jiān)督學習

本文所用的語義類標注偽標簽依賴于超像素分割生成結(jié)果,模型訓練前就已得到了這些分割好的超像素偽標簽。為了使得模型訓練所得的分割結(jié)果更貼近真實的語義標簽而非偽標簽,引入原型對齊正則化模塊,在余弦相似度對比分割結(jié)果的過程中,通過反向執(zhí)行few-shot分割,不斷提高圖像的分割效果。

(8)

4 實驗與結(jié)果分析

4.1 數(shù)據(jù)集

本文實驗在CHAOS(Combined CT-MR Healthy Abdominal Organ Segmentation)健康腹部器官分割比賽中的Abdominal-MRI和Abdominal-CT數(shù)據(jù)集上進行,包括20位不同患者的圖像。該數(shù)據(jù)庫不包括注釋器官(即肝臟、腎臟、脾臟)邊界處的任何腫瘤或病變。

下載數(shù)據(jù)集后,將數(shù)據(jù)轉(zhuǎn)換為nii文件并以病人ID命名,以便于查看。為了統(tǒng)一實驗設(shè)置,所有圖像都被重新制作成二維軸向切片,并調(diào)整為256×256像素,然后生成超像素偽標簽。每個二維切片在通道尺寸上重復3次,以適應(yīng)網(wǎng)絡(luò)。

4.2 評價指標及實驗設(shè)置

為了評估改進模型的效果,本文采用了常用的圖像分割指標DSC(Dice Similariy Coefficient)和Recall對圖像分割結(jié)果的精準度進行量化。DSC是一種集合相似度度量指標,通常用于計算2個樣本的相似度,其計算如式(9)所示:

(9)

其中,T1和T2分別表示2個樣本,T1∩T2表示2個樣本的交集,|T1|和|T2|分別表示2個樣本的元素個數(shù)。

召回率(Recall)又稱查全率,是一個類別被預測正確的概率,如式(10)所示:

(10)

其中,TP表示模型預測結(jié)果為正,并且實際結(jié)果也為正的數(shù)量;FN表示模型預測結(jié)果為負,但實際結(jié)果為正的數(shù)量。

本文中沿用SSL-ALPNet(Superpixel-based Self-supervised Learning Adaptive Local Prototype pooling enpowered prototypical Network)[30]中的實驗設(shè)置,設(shè)置1(set 1)使用少量樣本建立標準分割標注,這與多數(shù)傳統(tǒng)方式相同,為了模擬極端的標注稀疏情況,僅采用1-shot設(shè)置。為了評估對未見過的測試類的泛化能力,設(shè)置2(set 2)通過從訓練數(shù)據(jù)集中刪除包含測試類的圖像,強制測試類(甚至是未標記的)完全不被看到。

4.3 對比實驗

本文使用DSC和Recall評價指標,將SSF-MANet與醫(yī)學圖像FSS方法SE-Net及SSL- ALPNet模型進行比較,結(jié)果如表1和表2所示。其中,表2顯示的是強制測試類完全不被看到的情況。圖2展示的是Abdominal-CT數(shù)據(jù)集下分割結(jié)果的定性對比圖。在不使用任何人工注釋的情況下,本文提出的模型在4個目標器官上整體DSC提升了3%左右。

相較于本文的baseline模型SSL-ALPNet,融合多注意力機制的模型SSF-MANet在腎臟及肝器官上的分割DSC平均提升了約4.5%,而脾臟器官部分的分割DSC降低1.9%左右。

綜合脾臟器官分割指標DSC下降的原因,注意力機制將重心更多轉(zhuǎn)向于空間等多維度信息。而脾臟在影像學中大而集中,且其在成像中偏獨立,周圍可能對其產(chǎn)生影響的器官較少,過多在意捕獲遠距離信息反而會給脾臟的分割帶來噪聲,影響分割結(jié)果。同樣成像較大而密集的器官,肝臟通常在圖像中呈現(xiàn)更為明顯的邊界,并且其組織結(jié)構(gòu)相對均勻。這種特性在初始生成超像素的過程中起到了關(guān)鍵作用,因為它使肝臟更容易被清晰地劃分為一塊完整的超像素,為模型分割提供了良好的數(shù)據(jù)基礎(chǔ)。

同時還注意到,同為腎臟,右腎的分割效果明顯好于左腎的。從器官成像角度考慮,由于右腎上方有肝臟,所以右腎通常較低,造成右腎較左腎小5%左右。因此,考量右腎分割效果好于左腎的原因在于,前者成像特點突出,且與大而集中的肝相鄰,邊界清晰;前者成像區(qū)域較小,在超像素聚類融合時優(yōu)勢更明顯,可以在一定程度上免去生成超像素帶來的誤差。

Table 1 DSC comparison of SSF-MANet model and other models on CHAOS dataset (set1)表1 SSF-MANet模型與其他模型在CHAOS數(shù)據(jù)集上的DSC對比(set1)

Table 2 DSC comparison of SSF-MANet model and other models on CHAOS dataset (set2)表2 SSF-MANet模型與其他模型在CHAOS數(shù)據(jù)集上的DSC對比(set2)

Figure 2 Segmentation results under the Abdominal-CT dataset圖2 Abdominal-CT數(shù)據(jù)集下分割結(jié)果

4.4 消融實驗

為了探究本文引入多注意力機制對模型分割結(jié)果的整體影響,分別對通道-空間注意力模塊及外部注意力模塊進行消融實驗,結(jié)果如表3所示。

很多情況下,僅加入通道-空間注意力機制或外部注意力機制都可能導致分割性能降低。主要原因在于,Abdominal-MRI圖像中的大多數(shù)器官與周圍的組織有明顯的對比,對某一圖像內(nèi)進行單一長距離建模時,可能會給圖像的分割帶來一定程度的噪聲。此時,如果能將support中僅有的數(shù)據(jù)關(guān)聯(lián)起來,就能夠在整體上對圖像的分割起到更積極的作用。

圖3為支持集內(nèi)不同樣本數(shù)量對分割效果影響程度的曲線圖。可以看到,在樣本數(shù)量達到10個左右時,曲線逐漸平緩,DSC在0.81附近。Kavur等人[30]在該數(shù)據(jù)集上的全監(jiān)督工作,Dice>0.8,與本文結(jié)果的差距較小,足以證明小樣本學習工作的可信性。由此說明,本文模型克服了圖像標注的困難,解決了標注稀缺的問題,在可接受誤差范圍內(nèi),小樣本學習極大程度上解決了醫(yī)療領(lǐng)域的圖像分割難題。

Table 3 Results of ablation experiment (set2)表3 消融實驗結(jié)果(set2)

Figure 3 Effect of the number of support set samples on the segmentation effect using DSC as an indicator圖3 以DSC為指標探究支持集樣本數(shù)量 對分割效果的影響

5 結(jié)束語

本文提出將多種注意力機制模塊加入到小樣本自監(jiān)督學習網(wǎng)絡(luò)中,在利用超像素分割等方法從圖像自身獲取信息的基礎(chǔ)上,以較小的成本,盡可能多地挖掘小樣本數(shù)據(jù)的內(nèi)在關(guān)聯(lián)信息,以便在綜合考量局部及全局信息后完成對感興趣目標的分割。本文通過使用位置和通道雙注意力模塊對單一圖像內(nèi)部的多尺度特征進行融合,使用外部注意力模塊顯著突出樣本間的聯(lián)系。實驗結(jié)果表明,本文模型在小樣本數(shù)據(jù)情況下,具有較高的準確度,在多個評估指標上均優(yōu)于其他模型的。這表明,多注意力機制在小樣本醫(yī)學圖像分割任務(wù)中是一種有效的解決方案。但是,在實驗結(jié)果分析中還發(fā)現(xiàn),SSF-MANet在分割大而集中的感興趣目標時稍顯遜色,后續(xù)工作會不斷改進模型結(jié)構(gòu),使其能在多變的病灶及其他可能存在的感興趣目標分割任務(wù)中,獲得穩(wěn)定的提升效果。

小樣本學習因數(shù)據(jù)稀疏問題,相較傳統(tǒng)深度學習模型,可能會帶來一定的分割精度損失。與傳統(tǒng)深度學習模型對比后,通過調(diào)整N-way-K-shot任務(wù)數(shù),尋找分割性能提升臨界值,評估小樣本學習的意義。研究結(jié)果表明,本文模型在小樣本數(shù)據(jù)支撐下的精度損失在可接受范圍內(nèi)。

本文實驗在CHAOS分割比賽的數(shù)據(jù)集上進行,分割的目標為健康者的器官,這與醫(yī)療領(lǐng)域病灶分割需求不相符合。因此,后期會在含病灶的其他數(shù)據(jù)集上進行進一步的測試及模型調(diào)優(yōu),使其在醫(yī)療圖像分割領(lǐng)域中具有普適性,同時憑借其較低的計算復雜度和較少的訓練樣本需求的優(yōu)勢,更廣泛地應(yīng)用于智能輔診領(lǐng)域。