李 鏘，李瑞璇，劉恒忻，關(guān) 欣，Mohammed Jajere Adamu

(天津大學(xué)微電子學(xué)院，天津 300072)

腦腫瘤是人類大腦膠質(zhì)細(xì)胞病變而引發(fā)的疾病之一，大腦生長(zhǎng)的異常細(xì)胞嚴(yán)重影響人體健康，而且腦腫瘤病發(fā)率很高，每年的發(fā)病率約為每10 萬人中3～8 例[1].腦部的核磁共振成像(magnetic resonance imaging，MRI)通過無創(chuàng)技術(shù)得到高質(zhì)量的顱骨偽影圖像，在腦腫瘤診斷中起重要作用[2].醫(yī)生可以通過多模態(tài)的腦腫瘤圖像確定腫瘤的大小和形狀，但是從MRI 圖像中提取關(guān)鍵信息極為困難.與二維圖像相比，由于三維圖像擁有額外的維數(shù)，其數(shù)據(jù)量更大，圖像分析難度更大.此外，膠質(zhì)瘤普遍呈觸角結(jié)構(gòu)生長(zhǎng)，不均勻且沒有規(guī)律，分割時(shí)很容易出現(xiàn)邊界模糊的現(xiàn)象.而在醫(yī)學(xué)領(lǐng)域?qū)δ繕?biāo)分割精確度要求很高，通常情況下腦腫瘤圖像需要經(jīng)驗(yàn)豐富的專家花費(fèi)大量時(shí)間進(jìn)行標(biāo)注，這些因素使得三維腦腫瘤圖像自動(dòng)分割成為研究的熱點(diǎn).

近年來U-Net 架構(gòu)[3]因?yàn)楦咝院屯ㄓ眯栽卺t(yī)學(xué)圖像處理任務(wù)中得到廣泛應(yīng)用，成為腦腫瘤圖像分割的主流框架，其利用上、下采樣編碼捕獲圖像高級(jí)語義信息，通過模塊的跳躍連接獲得目標(biāo)位置信息.隨著研究的進(jìn)一步開展，許多U-Net 變體逐漸出現(xiàn)在醫(yī)學(xué)圖像領(lǐng)域，有效解決了2D 到3D 圖像擴(kuò)展出現(xiàn)的各種問題.一些研究設(shè)計(jì)小的3×3 卷積核實(shí)現(xiàn)更多的非線性計(jì)算來解決過擬合問題[4]，級(jí)聯(lián)策略解決類不平衡問題，密集塊、跳躍連接也被應(yīng)用在網(wǎng)絡(luò)中來降低參數(shù)提高效率[5-10].

雖然U-Net 及其變體在分割方法上取得了令人印象深刻的結(jié)果，但是醫(yī)學(xué)圖像的計(jì)算量往往較大，卷積核大小的局限使得U-Net 難以對(duì)圖像進(jìn)行全局處理，無法通過擴(kuò)大感受野來捕獲長(zhǎng)距離的空間相關(guān)性信息.目前基于Transformer 的方法被越來越多地用在三維醫(yī)學(xué)圖像處理中，在全局上、下文交互建模得到較好效果[11]，TransBTS[12]將變換器與3D-UNet結(jié)合捕獲了長(zhǎng)距離空間相關(guān)信息，但網(wǎng)絡(luò)的計(jì)算復(fù)雜性非常大且訓(xùn)練成本很高，難以投入實(shí)際應(yīng)用.研究者將目標(biāo)轉(zhuǎn)向輕量級(jí)網(wǎng)絡(luò)來降低計(jì)算復(fù)雜度，Chen等[13]開發(fā)的DMF-Net 通過使用擴(kuò)張卷積和多光纖單元減輕了計(jì)算復(fù)雜度高的問題.Luo 等[14]使用分層解耦卷積(hierachical-decoupled convolution，HDC)來代替三維卷積，通過用高效地表達(dá)多視圖的空間環(huán)境來進(jìn)一步降低計(jì)算成本.輕量級(jí)網(wǎng)絡(luò)在參數(shù)降低的同時(shí)出現(xiàn)分割精度局限性，不能完全獲得三維卷積的效果，而且仍然存在長(zhǎng)距離上、下文關(guān)聯(lián)不足的問題.Zhao 等[15]在DMF-Net 基礎(chǔ)上嘗試將循環(huán)卷積單元連接到三維多纖單元，通過循環(huán)卷積層的特征積累來增強(qiáng)模型的上、下文信息整合能力，在輕量條件下進(jìn)行了全局信息關(guān)聯(lián)，獲得了不錯(cuò)的分割效果，然而這些工作忽略了對(duì)細(xì)節(jié)域信息的處理.

多尺度方法被認(rèn)為能有效改善網(wǎng)絡(luò)分割性能，提取全局關(guān)聯(lián)信息和局部細(xì)節(jié)，同時(shí)融合所提取的包含位置信息和語義信息的多尺度圖像特征.Google-Net[16]通過引入不同大小的卷積核，拓寬了網(wǎng)絡(luò)的多尺度表示；Zhang 等[17]嘗試了特征提取后在連接處進(jìn)行多尺度融合.此外，腦腫瘤分割任務(wù)也常應(yīng)用多尺度特征抽取器Inception 模塊[18-20]，Ibtehaz 等[21]通過使用跳躍連接，巧妙地將平行連接的起始點(diǎn)修改為連續(xù)連接，并獲得了不同的尺度特征.隨后研究者能通過輕量級(jí)的方式降低了3D Inception 的計(jì)算復(fù)雜度，如深度可分離卷積代替標(biāo)準(zhǔn)卷積，3D ESP-Net[22]將ESP-Net[23]擴(kuò)展到3D 腦腫瘤分割任務(wù).Wang 等[24]提出DFP-Net，將擴(kuò)張卷積和特征金字塔聯(lián)系到一起，使用具有不同擴(kuò)張率和多個(gè)接收?qǐng)龅倪^濾器及池化操作來檢測(cè)輸入特征，在輕量化和精度上均有更好的效果.雖然多尺度方法同時(shí)提取全局和局部特征，包含了細(xì)節(jié)域信息，但腦腫瘤圖像往往存在大量細(xì)節(jié)區(qū)域信息，尤其是邊緣區(qū)域不規(guī)則的特點(diǎn)顯著，因此局部域的特征增強(qiáng)對(duì)分割準(zhǔn)確性也至關(guān)重要.

研究者對(duì)于腦腫瘤圖像的局部細(xì)節(jié)特征增強(qiáng)問題進(jìn)一步展開研究.Cui 等[25]利用單獨(dú)的分支處理該層級(jí)邊緣信息再級(jí)聯(lián)到整體網(wǎng)絡(luò)，但并聯(lián)的方式會(huì)增加額外的參數(shù).注意力模塊被應(yīng)用于特征增強(qiáng)和融合，如Hu 等[26]提出的通道注意力機(jī)制(squeeze and excitation，SE)模塊可以自適應(yīng)地重新校準(zhǔn)特征，使網(wǎng)絡(luò)能夠通過學(xué)習(xí)自動(dòng)獲取每個(gè)通道的權(quán)重，Zhang等[27]在級(jí)聯(lián)處加入注意力模塊，將語義更強(qiáng)的深度特征送到SE 中，從而獲得精確的高級(jí)別細(xì)節(jié)信息，張為等[28]提出多尺度空間注意力來關(guān)注圖像關(guān)鍵部位信息.卷積注意力模塊(convolutional block attention module，CBAM)將空間注意力和通道注意力結(jié)合，加強(qiáng)目標(biāo)特征并做多維度融合，能夠有效地提高重要信息的表達(dá)同時(shí)抑制背景信息，TADPN[29]提出空間和通道注意力來增強(qiáng)特征提取能力.此外，更多的研究者通過后處理的方式來細(xì)化分割，定位局部域目標(biāo)像素.DFP-Net 利用3D 條件隨機(jī)場(chǎng)CRF 對(duì)分割結(jié)果進(jìn)行后處理，解決了下采樣時(shí)因圖像尺寸縮小引起的局部細(xì)節(jié)被忽略的問題，但是這種方式在訓(xùn)練低分辨率圖像時(shí)會(huì)丟失一些特征信息.Liu 等[30]將注意力機(jī)制添加到特征提取后的精細(xì)分割模塊中，提高網(wǎng)絡(luò)模型的聚焦能力，并進(jìn)一步提高小目標(biāo)區(qū)域的分割精度.

現(xiàn)有腦腫瘤分割網(wǎng)絡(luò)存在的問題可以總結(jié)為：①三維圖像分割受限于參數(shù)量和卷積核的尺寸，難以建立全局上下文信息關(guān)聯(lián)，并且網(wǎng)絡(luò)難以訓(xùn)練；②大部分方法沒有重視目標(biāo)細(xì)節(jié)域的處理，邊界處分割準(zhǔn)確性不足.針對(duì)這些問題，本文提出一種兼顧全局和局部的輕量級(jí)腦腫瘤分割網(wǎng)絡(luò)，以少量的參數(shù)完成較高的分割精度.該分割網(wǎng)絡(luò)以3D U-Net 為基礎(chǔ)框架，特征提取階段以循環(huán)分層解耦卷積單元為基本模塊，將循環(huán)卷積連接到分層解耦中，多視圖解耦降低了計(jì)算復(fù)雜度，同時(shí)利用多時(shí)域在不同位置得到的反饋信息建立上下文信息聯(lián)系，解決全局樣本中不同切片間和不同局部域各自獨(dú)立問題.在上采樣和下采樣連接處加入改進(jìn)的包含擴(kuò)張金字塔和注意力機(jī)制的多尺度特征處理模塊，結(jié)合多維度擴(kuò)張卷積來提取全局低級(jí)位置信息和細(xì)節(jié)域高級(jí)語義信息，通過注意力機(jī)制來增強(qiáng)所提取的目標(biāo)信息進(jìn)行多尺度融合，利用像素定位針對(duì)細(xì)節(jié)域局部信息做分割的細(xì)化處理，將上述過程獲得的包含了大量復(fù)雜信息的特征圖通過非線性最大濾波模塊進(jìn)行像素激活，聚合多維度特征并突出局部區(qū)域中激活值較大的預(yù)測(cè)像素點(diǎn)，增強(qiáng)目標(biāo)像素與其他像素的區(qū)別，解決邊界像素模糊問題.

綜上所述，本文提出了一種包括特征提取和像素級(jí)定位的完整輕量網(wǎng)絡(luò)，主要由循環(huán)分層解耦模塊組成，將循環(huán)卷積連接到卷積層，分層解耦降低計(jì)算開銷，循環(huán)卷積進(jìn)行特征積累解決全局長(zhǎng)距離上、下文信息關(guān)聯(lián)不足問題.其次，提出了包含擴(kuò)張金字塔和注意力機(jī)制的多尺度特征模塊，提取融合全局和局部特征，增強(qiáng)目標(biāo)區(qū)域特征表達(dá).最后，針對(duì)腦腫瘤圖像細(xì)節(jié)信息較多的特點(diǎn)，設(shè)計(jì)了最大濾波的像素定位模塊，對(duì)所提取的特征圖進(jìn)一步做像素點(diǎn)激活，解決由于忽略局部域細(xì)節(jié)造成的邊界模糊問題.

1 研究方法

如圖1 所示，本文提出的RHMF-Net 是一個(gè)基于輕量網(wǎng)絡(luò)的先提取后定位、模擬全局和局部多尺度特征的輕量腦腫瘤分割網(wǎng)絡(luò).首先特征提取階段循環(huán)分層解耦(recurrent hierarchical-decoupled convolution，RHDC)模塊為基本編解碼模塊，以多尺度特征處理模塊(multiscale feature processing module，MFPM)連接編解碼.在像素定位階段利用最大濾波(maximum filtering，MAXF)模塊做后處理細(xì)化粗分割，最后利用Softmax 整合生成與輸入圖像大小相同的圖像，獲得圖像的最終分割結(jié)果.

圖1 算法整體框架Fig.1 Overall algorithm framework

1.1 特征提取基本模塊

1.1.1 循環(huán)卷積單元

特征提取基本模塊為輕量分層解耦結(jié)構(gòu)，其多視角融合思想很大程度上解決了參數(shù)冗雜的問題.然而三維圖像切片間和遠(yuǎn)距離不同局部域間的依賴關(guān)系也至關(guān)重要，分層解耦結(jié)構(gòu)將圖片直接分層忽略切片間的聯(lián)系，而且卷積核大小的局限忽略了不同局部域間信息的關(guān)聯(lián).為了獲得有關(guān)聯(lián)的上、下文信息，本文利用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(recurrent convolutional neural networks，RCNN)通過多時(shí)域的反饋信息積累將上、下文序列進(jìn)行緊密關(guān)聯(lián)，避免了不同局部域彼此獨(dú)立.

RCNN 可以聯(lián)系之前一段時(shí)間內(nèi)獲得的信息對(duì)當(dāng)前輸入做下一步預(yù)測(cè)，提高語義的豐富性使得預(yù)測(cè)更加準(zhǔn)確，在三維圖像處理任務(wù)中能更好地處理局部區(qū)域內(nèi)的信息關(guān)聯(lián).RCNN 接收一個(gè)新的輸入，整合當(dāng)前輸入和之前時(shí)間內(nèi)的信息生成一個(gè)整合之前一段時(shí)間的總體輸出.具體來說，T 時(shí)間某位置根據(jù)之前網(wǎng)絡(luò)各個(gè)位置的整體反饋進(jìn)行預(yù)測(cè)，通過聯(lián)系全局來對(duì)局部域類別區(qū)分.作為RCNN 基本單位，循環(huán)卷積單元本質(zhì)在于T 個(gè)時(shí)間步的權(quán)重共享，因此每一步的輸出不僅依賴于當(dāng)前時(shí)間步 Tn，并且依賴于之前的時(shí)間步 T0～ Tn?1，圖2 為 T0～ T3循環(huán)卷積過程.

圖2 循環(huán)卷積單元結(jié)構(gòu)Fig.2 Structure of the recurrent convolutional unit

循環(huán)卷積主要表現(xiàn)為離散時(shí)間的特征積累，在T = 0卷積層僅與當(dāng)前輸入有關(guān)，中間累積隱藏層，最后在 Tu時(shí)刻輸出，這里包含了一個(gè)前饋層和u 個(gè)遞歸子層.表示第l 層的輸出，時(shí)間T 處網(wǎng)絡(luò)的輸出可以表示為

式中：r1為前饋卷積層的輸入；r2為第l 層輸入；fl為卷積運(yùn)算；和分別為 r1和 r2的權(quán)重；bi為偏置，經(jīng)過σ激活函數(shù)激活.

設(shè) xl表示第l 層輸入( m, n )位置上第i 個(gè)特征，最終輸出表示為

1.1.2 循環(huán)分層解耦卷積模塊

將循環(huán)卷積單元連接到分層解耦卷積模塊，RHDC 模塊整體結(jié)構(gòu)如圖3 所示.整個(gè)過程基于多視角形式維系了低參數(shù)量的上、下文信息整合能力，以極少的計(jì)算代價(jià)獲得全局關(guān)聯(lián)信息，且與二維方法相比，三維空間背景感知力得以提高.主干網(wǎng)絡(luò)采用4 個(gè)循環(huán)分層解耦卷積模塊的下采樣編碼器和4 個(gè)對(duì)應(yīng)解碼器組成.其中分層解耦卷積模塊以跨空間域和通道域的分層解耦卷積為單位，主要是主卷積在聚焦視圖上分層提取多尺度特征并通過互補(bǔ)的視角來提取三維空間上下文特征，在減少參數(shù)數(shù)量級(jí)的同時(shí)更好地融合三維空間信息.將輸入特征圖通過1×1×1 三維卷積后，在空間上將3×3×3 的三維卷積核分解，得到3×3×1 和1×3×3 兩種互補(bǔ)的三維卷積，也就是三維圖像的兩個(gè)不同角度二維視圖.將通道分為4 組，第1 組使用1×1×1 卷積核提取圖像特征，其余使用3×3×1 卷積核提取腦腫瘤相關(guān)特征，然后將4 組特征圖進(jìn)行連接來整合通道間的信息，最后使用1×3×3 卷積核從多個(gè)角度提取空間特征信息，避免了計(jì)算整個(gè)三維卷積計(jì)算的開銷，并可以有針對(duì)地獲得目標(biāo)信息，輸出可表示為

圖3 RHDC模塊整體結(jié)構(gòu)Fig.3 Overall structure of the RHDC module

式中：x 為模塊輸入；x1～x4為按照通道劃分的4 組特征圖；h1～h4表示不同分支處理結(jié)果；RConv 為3×3×1 循環(huán)卷積；C 為連接；Conv_1 為1×1×1 卷積；W 為1×3×3 卷積.

1.2 多尺度特征處理模塊

在循環(huán)卷積建立全距離上、下文聯(lián)系后，編碼器的上、下采樣連接處加入了MFPM 模塊，主要是從局部和全局角度進(jìn)一步捕捉多尺度圖像特征并進(jìn)行融合處理，獲得目標(biāo)區(qū)域信息同時(shí)抑制背景信息在網(wǎng)絡(luò)中的流動(dòng).首先使用由多個(gè)并行擴(kuò)張卷積層組成的擴(kuò)張?zhí)卣鹘鹱炙?dilated feature pyramid，DFP)獲得多尺度特征，然后將所得的特征圖通過CBAM 注意力機(jī)制[31]，在通道維度增強(qiáng)多尺度目標(biāo)語義關(guān)鍵信息，在空間維度得到目標(biāo)位置信息并有效融合.多尺度特征處理模塊的結(jié)構(gòu)如圖4 所示，其由DFP 和CBAM 兩個(gè)模塊組成，有效地增強(qiáng)了網(wǎng)絡(luò)的多尺度特征提取融合能力.

圖4 MFPM模塊結(jié)構(gòu)Fig.4 Structure of the MFPM module

擴(kuò)張金字塔中擴(kuò)張卷積層可以擴(kuò)展卷積的感受野，卷積層能提取更加豐富的特征，模塊由疊加了多個(gè)擴(kuò)張率不同、步長(zhǎng)為1 的3×3×3 卷積層組成，為了獲得大小不變的輸出，進(jìn)行與擴(kuò)張率相等大小的填充(padding)，最后求和來融合多個(gè)結(jié)果.DConv 為擴(kuò)張卷積，將各級(jí)結(jié)果相加得到最終輸出為

CBAM 將通道和空間上的作用模塊分解，分別在通道和空間維度對(duì)特征圖進(jìn)行處理，增強(qiáng)輸入關(guān)鍵信息的同時(shí)抑制背景信息，由于CBAM 模塊沒有直接計(jì)算3D 圖像，生成的特征圖參數(shù)量很小.模塊首先在通道維度壓縮圖像，對(duì)金字塔的多尺度目標(biāo)信息進(jìn)一步做增強(qiáng)處理，其主要基于通道關(guān)系進(jìn)行通道特征的校準(zhǔn)進(jìn)而增強(qiáng)特征表達(dá)，可以結(jié)合深層和淺層特征，增強(qiáng)分辨率較高但語義較弱特征.通道注意力將每個(gè)通道都設(shè)為一個(gè)特征檢測(cè)目標(biāo)，增強(qiáng)輸入圖像關(guān)鍵點(diǎn)，并通過壓縮通道輸入圖的空間維度來聚合空間信息.Ic( x )表示通道注意力的輸出，其公式為

式中：AvgPool 為平均池化加強(qiáng)整體重要信息；MaxPool 為最大池化去除低能量信息，抑制非重要信息的流動(dòng)；MLP 表示多層感知器和隱藏層組成的權(quán)值共享網(wǎng)絡(luò)得到的一維注意力圖信息聚合，在元素求和后經(jīng)過σ激活函數(shù)得到輸出.

空間注意力模塊更加注重目標(biāo)信息，將特征圖沿通道池化，得到二維特征，利用特征空間的內(nèi)部依賴關(guān)系生成空間注意力圖.空間注意力模塊是通道注意力模塊的互補(bǔ)操作，首先沿通道軸分別進(jìn)行AvgPool、MaxPool 兩次池化，ψ表示聚合操作，這樣可以有效地突出目標(biāo)區(qū)域，最后建立連接生成特征圖Is( x) 為

1.3 最大濾波像素定位模塊

腦腫瘤占圖像整體部分很小，沒有具體形狀而且邊緣突觸較多，這些無規(guī)則的細(xì)小邊緣呈復(fù)雜狀態(tài)分布，難以被準(zhǔn)確捕捉并正確分類，且編碼解碼網(wǎng)絡(luò)處理后的特征圖包含大量上、下文關(guān)聯(lián)信息以及多尺度信息，如果直接對(duì)特征圖進(jìn)行分割，很難完成目標(biāo)像素精準(zhǔn)分類，尤其是邊緣部分的判斷困難，極易出現(xiàn)邊界模糊現(xiàn)象.針對(duì)這個(gè)問題，本文設(shè)計(jì)了像素定位模塊來連接上、下采樣和分割模塊，對(duì)所提取的特征圖進(jìn)一步建模來精確捕捉目標(biāo)區(qū)域進(jìn)行邊緣細(xì)化，實(shí)現(xiàn)更精確的分割.新模塊利用3D 最大濾波作為新的后處理步驟來進(jìn)行定位以細(xì)化粗分割，整體結(jié)構(gòu)如圖5 所示.

圖5 MAXF模塊結(jié)構(gòu)Fig.5 Structure of the MAXF module

卷積是一種平移等方差的線性運(yùn)算，因此在這種相似的模式下即使是處于不同位置的像素所產(chǎn)生的輸出也極為相似，這對(duì)像素-標(biāo)簽形式的語義分割工作有極大障礙，由特征提取后的卷積譜圖仍存在模糊的分割點(diǎn).最大濾波器補(bǔ)償局部區(qū)域內(nèi)卷積對(duì)于細(xì)節(jié)點(diǎn)的判別，多用于關(guān)鍵點(diǎn)的探測(cè)，利用最大池化來選擇局部區(qū)域中激活值最高的預(yù)測(cè)點(diǎn)，細(xì)化粗密集的預(yù)測(cè).

最大濾波在許多任務(wù)中展現(xiàn)了一定的特征強(qiáng)化作用，但是最大濾波只考慮單尺度特征，并不適用于三維譜圖的分割，因此將最大濾波器擴(kuò)展成為3D 最大濾波器，利用3D 最大濾波來選擇最終分割的像素信息，它可以變換三維特征圖中每個(gè)尺度的特征，在特征圖的每個(gè)通道上分別采用3D 最大濾波.M 為最大濾波處理，在給定的位置i，對(duì)于空間位置s 的尺度τ和φ×φ空間距離獲得局部區(qū)域 Is三維鄰域的最大值，這個(gè)操作由3D 最大濾波實(shí)現(xiàn)，具體表示為

為將3D 最大濾波嵌入到特征提取的分割結(jié)構(gòu)，本文提出了MAXF 模塊.MAXF 可以來選擇局部區(qū)域的高預(yù)測(cè)值像素，增強(qiáng)與其他像素區(qū)別，而且整個(gè)結(jié)構(gòu)是由簡(jiǎn)單的可微算子構(gòu)造，計(jì)算開銷很小，模塊輸出y，則有

除3D 最大濾波之外，MAXF 主要包含Conv_3 三維卷積、歸一化處理Norm 以及激活函數(shù)Relu.

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)及評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)在MICCAI 腦腫瘤分割比賽的BraTS2020數(shù)據(jù)集[32-33]進(jìn)行算法的性能評(píng)估.數(shù)據(jù)集包含訓(xùn)練集和驗(yàn)證集，其中訓(xùn)練集有369 個(gè)病例，驗(yàn)證集有125 個(gè)病例，圖像大小為240×240×155.訓(xùn)練集包含專家對(duì)每幅圖像手動(dòng)進(jìn)行標(biāo)注的真實(shí)結(jié)果(ground truth，GT)，驗(yàn)證集未公開GT，需要將結(jié)果上傳至官網(wǎng)進(jìn)行驗(yàn)證.每個(gè)受試者都有4 張MRI 圖像，分別為T1 加權(quán)(T1)、T1 加權(quán)對(duì)比度增強(qiáng)(T1ce)、T2 加權(quán)(T2)和液體衰減反轉(zhuǎn)恢復(fù)(Flair).多模態(tài)3D 核磁共振成像來自于19 個(gè)醫(yī)學(xué)機(jī)構(gòu)，用到不同的協(xié)議、磁場(chǎng)強(qiáng)度以及MTI 掃描儀.GT 的注釋包括4 種腫瘤區(qū)，分別是正常組織(標(biāo)簽0)、壞死部分和非增強(qiáng)腫瘤區(qū)(標(biāo)簽1)、腫瘤周處水腫(標(biāo)簽2)和活動(dòng)性增強(qiáng)腫瘤(標(biāo)簽4).注釋合并為3 種嵌套的子區(qū)域：整體腫瘤區(qū)(whole tumor，WT)包含標(biāo)簽1、2、4；核心腫瘤區(qū)(tumor core，TC)包含標(biāo)簽1、4；增強(qiáng)腫瘤區(qū)(enhancing tumor，ET)包含標(biāo)簽1.

實(shí)驗(yàn)分別計(jì)算了整體腫瘤、核心腫瘤和增強(qiáng)腫瘤的Dice 相似系數(shù)及Hausdorff 距離.其中，Dice 相似系數(shù)是分割任務(wù)最常用的評(píng)估方式，主要表述模型得到的輸出結(jié)果與真實(shí)值的符合程度.Dice 計(jì)算結(jié)果是真實(shí)陽性與所有結(jié)果中包括假陽性和假陰性的比例，Dice 值越高表示模型的分割性能越好，具體表示為

式中：TP 表示真陽性；FP 為模型預(yù)測(cè)的假陽性；FN為模型預(yù)測(cè)的假陰性.

Hausdorff 距離評(píng)估真實(shí)分割結(jié)果邊界到預(yù)測(cè)得到的邊界之間的距離，計(jì)算預(yù)測(cè)區(qū)域與真實(shí)值之間的距離，并測(cè)量腫瘤邊界分割的質(zhì)量，可表示為

式中a 和b 分別是集合A 和B 的歐幾里得距離.

2.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)基于python 3.8、pytorch 1.9.0 環(huán)境，服務(wù)器運(yùn)行環(huán)境為Ubuntu 16.04，CPU 為Intel Core i99900X(3.5 GHz)，顯卡為11 GB 的Nvidia GTX 2080Ti.圖6 為算法整體流程，主要包含4 個(gè)步驟：預(yù)處理、網(wǎng)絡(luò)訓(xùn)練、保存模型以及驗(yàn)證集分割.首先將4 種模態(tài)的腦腫瘤訓(xùn)練集圖像做預(yù)處理，因?yàn)獒t(yī)學(xué)圖像數(shù)據(jù)集很少，為了增加訓(xùn)練數(shù)據(jù)的樣本量、增強(qiáng)算法的魯棒性和泛化能力，進(jìn)行數(shù)據(jù)集擴(kuò)充，對(duì)圖像做隨機(jī)旋轉(zhuǎn)和隨機(jī)強(qiáng)度偏移的數(shù)據(jù)增強(qiáng)并進(jìn)行裁剪.剪后的128×128×128 大小的圖像輸入到RHMFNet，批處理量為8，批量歸一化采用同步批歸一化(synchronized match norm)，激活函數(shù)使用ReLu 函數(shù)，初始學(xué)習(xí)率為1×10－3，Adam 優(yōu)化器進(jìn)行網(wǎng)絡(luò)自動(dòng)優(yōu)化，訓(xùn)練輪數(shù)900，每批訓(xùn)練計(jì)算損失函數(shù)并更新參數(shù).網(wǎng)絡(luò)的平均訓(xùn)練時(shí)間為12.5 h，而同等硬件設(shè)備條件下的3D-UNet 平均訓(xùn)練時(shí)間為85 h.本文應(yīng)用廣義Dice 損失(generalized Dice loss，GDL)為損失函數(shù)，定義為

圖6 算法流程Fig.6 Flow chart of the proposed algorithm

式中：rlm和 plm分別為類別l 下第m 個(gè)位置處的真實(shí)值和預(yù)測(cè)概率；ωl為每個(gè)類別的權(quán)重，定義為

保證分母值不為零，令ε＝1×10－5.最后得到訓(xùn)練結(jié)果在驗(yàn)證集上做分割結(jié)果驗(yàn)證.

表1 展示了RHMF-Net 的網(wǎng)絡(luò)架構(gòu)具體細(xì)節(jié)及參數(shù).特征提取步驟包含編碼層、解碼層以及連接層，編碼層、解碼層均由RHDC 及3×3×3 卷積或3×3×3 反卷積為基礎(chǔ)模塊上、下采樣，解碼層包含了對(duì)應(yīng)的殘差連接.連接層由多尺度模塊連接編解碼層，特征圖的大小并未改變.特征提取后的特征圖尺寸還原到輸入的原圖像尺寸，經(jīng)過像素定位的后處理，主要為3×3×3 卷積和最大池化.

表1 RHMF-Net架構(gòu)細(xì)節(jié)Tab.1 Structural details of RHMF-Net

2.3 結(jié)果分析

本節(jié)主要對(duì)網(wǎng)絡(luò)性能進(jìn)行詳細(xì)的分析，對(duì)不同模塊進(jìn)行有效性驗(yàn)證和消融實(shí)驗(yàn)，分析各個(gè)模塊的性能，并將RHMF-Net 與現(xiàn)有的腦腫瘤分割網(wǎng)絡(luò)進(jìn)行對(duì)比，驗(yàn)證本文網(wǎng)絡(luò)的有效性.

2.3.1 消融實(shí)驗(yàn)

為了驗(yàn)證方法的有效性，進(jìn)行了兩個(gè)階段的消融實(shí)驗(yàn)，分析其在ET、WT 和TC 3 個(gè)區(qū)域的Dice 值和Hausdorff 距離上的效果.第1 階段在基礎(chǔ)網(wǎng)絡(luò)上評(píng)估每個(gè)模塊的有效性，第2 階段對(duì)網(wǎng)絡(luò)整體進(jìn)行了單個(gè)模塊的消融實(shí)驗(yàn)，進(jìn)一步對(duì)各模塊分析.以HDCNet 為基礎(chǔ)網(wǎng)絡(luò)，RHMF-Net 主要包括特征提取階段的 RCNN、MFPM，以及像素定位階段提出的MAXF，實(shí)驗(yàn)結(jié)果如表2 所示.

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)下的Dice系數(shù)和Hausdorff距離Tab.2 Dice coefficient and Hausdorff distance under different network structures

1) 評(píng)估循環(huán)卷積模塊的影響

RHDC 將RCNN 連接到分層解耦模塊中，與HDC 相比，RCNN 在3 個(gè)區(qū)域的精度均有明顯提升，相比于HDC 分別增加了0.67%、1.07%和0.21%，Hausdorff 距離也有改善.消融去實(shí)驗(yàn)結(jié)果如表2 中第5 行所示，相比于RHMF，去除RCNN 后的網(wǎng)絡(luò)各項(xiàng)指標(biāo)明顯下降.實(shí)驗(yàn)結(jié)果表明，RCNN 對(duì)網(wǎng)絡(luò)的各項(xiàng)指標(biāo)都有提升，對(duì)于整體腫瘤判別效果提升最為明顯，說明RCNN 的時(shí)域關(guān)聯(lián)性提升了網(wǎng)絡(luò)整體預(yù)測(cè)能力.

2) 評(píng)估多尺度處理模塊的影響

多尺度模塊包含擴(kuò)張金字塔和CBAM 注意力機(jī)制，模塊作用網(wǎng)絡(luò)對(duì)于整體腫瘤和核心腫瘤的判別效果有所提升，分別為0.36%和1.05%.消融實(shí)驗(yàn)結(jié)果如表2 中第6 行所示，相比于RHMF，去除MFPM后網(wǎng)絡(luò)的各項(xiàng)指標(biāo)明顯下降.實(shí)驗(yàn)結(jié)果表明，多尺度模塊聚焦于不同尺度特征，能有效地提取融合全局和細(xì)節(jié)信息.

3) 評(píng)估最大濾波模塊的影響

像素定位階段的最大濾波模塊作為后處理步驟連接編碼層和分割層.表 2 中第 4 行是嵌入了MAXF 的HDC 的實(shí)驗(yàn)結(jié)果，相比于HDC 分割效果有明顯提升，在消融實(shí)驗(yàn)(第7 行)中，核心腫瘤精度下降最多.實(shí)驗(yàn)結(jié)果表明：MAXF 專注于細(xì)節(jié)域信息捕捉，在細(xì)節(jié)信息較多的腫瘤分割任務(wù)中，能有效地解決邊緣模糊問題.

2.3.2 與先進(jìn)網(wǎng)絡(luò)對(duì)比情況

為了進(jìn)一步驗(yàn)證網(wǎng)絡(luò)的有效性，在BraTS2020驗(yàn)證集上將RHMF-Net 與經(jīng)典網(wǎng)絡(luò)以及先進(jìn)網(wǎng)絡(luò)比較.表3 列出了經(jīng)典腦腫瘤分割網(wǎng)絡(luò)和最新的先進(jìn)網(wǎng)絡(luò)，以及目前效果最好的輕量網(wǎng)絡(luò)的分割結(jié)果.由表3 可以看出，大部分方法較經(jīng)典網(wǎng)絡(luò)有更好的分割能力，此外，輕量網(wǎng)絡(luò)很大程度上降低了參數(shù)量，與傳統(tǒng)3D 方法相比減少了計(jì)算開銷.

表3 不同腦腫瘤分割網(wǎng)絡(luò)在BraTS2020驗(yàn)證集上的性能比較Tab.3 Performance comparison of different brain-tumor segmentation networks on the BraTS2020 validation dataset

與其他方法相比，RHMF-Net 在參數(shù)和精度上均有一定競(jìng)爭(zhēng)力，在增強(qiáng)腫瘤、全腫瘤和核心腫瘤3 個(gè)區(qū)域上分割結(jié)果分別為77.23%、90.01%和83.10%，參數(shù)量為0.42×106，遠(yuǎn)低于其他先進(jìn)網(wǎng)絡(luò)，但同時(shí)與其分割精度相當(dāng).在輕量網(wǎng)絡(luò)中，RHMF-Net 也有較好的表現(xiàn).其中HDC-Net 為參數(shù)量最低的輕量網(wǎng)絡(luò)，RHMF-Net 在3 個(gè)區(qū)域的Dice 值上分別高于HDC-Net 0.47%、1.23%和2.72%，且僅增加很少參數(shù).VT-UNet 是先進(jìn)方法Transformer 的輕量化變體，有良好的分割性能，RHMF-Net 雖然在增強(qiáng)腫瘤與整體腫瘤區(qū)域上的精度略低于VT-UNet，但是在核心腫瘤和Hausdorff 距離上都有更好的表現(xiàn)，且參數(shù)量為VT-UNet 的1/28.

2.3.3 單維度注意力模塊有效性驗(yàn)證

經(jīng)典的SE 是單維度通道注意力模塊，關(guān)注特征信息在通道間的關(guān)系，校準(zhǔn)動(dòng)態(tài)通道特征；而對(duì)于分辨率較高但語義較弱的特征，CBAM 還結(jié)合了空間注意力，從空間塊中獲得高級(jí)的類別信息，有助于重構(gòu)原始圖像分辨率.本節(jié)實(shí)驗(yàn)對(duì)比了CBAM 與SE模塊的分割性能，二者均為輕量化模塊，并不影響網(wǎng)絡(luò)的參數(shù)量，最終比較結(jié)果如表4 所示.

表4 不同注意力模塊的分割結(jié)果對(duì)比Tab.4 Comparison of segmentation results under different attention modules

相比于單維度的通道注意力模塊SE，CBAM 在BraTS2020 數(shù)據(jù)集的分割結(jié)果更好，能更好地提取圖像的整體特征，可以結(jié)合圖像深層和淺層多類別特征信息，增強(qiáng)目標(biāo)信息同時(shí)獲得位置信息，更靈活高效地處理多尺度關(guān)系，顯著提升分割效果.

2.3.4 不同損失函數(shù)對(duì)比實(shí)驗(yàn)

考慮到網(wǎng)絡(luò)性能，本文比較了不同損失函數(shù)對(duì)網(wǎng)絡(luò)的影響，如表5 所示.在本文網(wǎng)絡(luò)Softmax Dice Loss(SDL)、Focal Loss(FL)和GDL 均表現(xiàn)出良好的分割能力，說明本文所提網(wǎng)絡(luò)有一定的穩(wěn)定性.SDL和FL 分別在整體腫瘤和增強(qiáng)腫瘤上出現(xiàn)最高值，但是其他區(qū)域的分割效果并不突出，而GDL 的分割結(jié)果的整體上都接近于最高值，并在核心腫瘤、Hausdorff 距離有最好的表現(xiàn)，能更好地指導(dǎo)手術(shù)，因此本文最終采用GDL 作為損失函數(shù).

表5 不同損失函數(shù)的分割結(jié)果對(duì)比Tab.5 Comparison of segmentation results under different loss functions

2.3.5 分割結(jié)果可視化

為了直觀展示本文網(wǎng)絡(luò)分割效果，對(duì)RHMF-Net和其他網(wǎng)絡(luò)的分割結(jié)果進(jìn)行可視化對(duì)比.由于MICCAI 官方競(jìng)賽網(wǎng)站未公開驗(yàn)證集的真實(shí)分割結(jié)果，本文展示了在BraTS2020 訓(xùn)練集上的分割結(jié)果圖像.圖7 為水平面、矢狀面和冠狀面的腦腫瘤圖像，紅、黃、綠3 種顏色代表不同的腫瘤類別，從左到右分別為(a)未分割原圖、(b)經(jīng)典網(wǎng)絡(luò)U-Net 分割結(jié)果圖像、(c)先進(jìn)網(wǎng)絡(luò)TransBTS 分割結(jié)果圖像、(d)輕量網(wǎng)絡(luò) HDC-Net 分割結(jié)果圖像、(e)本文網(wǎng)絡(luò)RHMF-Net 分割結(jié)果圖像和(f)專家手動(dòng)標(biāo)注結(jié)果(GT).可以看出與其他網(wǎng)絡(luò)結(jié)果相比，本文網(wǎng)絡(luò)和先進(jìn)網(wǎng)絡(luò)與專家標(biāo)注結(jié)果更為接近.

圖7 MRI分割結(jié)果圖像Fig.7 MRI images of segmentation results

3 結(jié) 語

本文針對(duì)腦腫瘤圖像特征提出了一種結(jié)合全局依賴關(guān)系和局部細(xì)節(jié)信息處理的輕量網(wǎng)絡(luò)，用于多模態(tài)三維腦腫瘤圖像的精細(xì)分割，緩解人工處理代價(jià)過大和普通機(jī)器處理訓(xùn)練較難的問題.在本文網(wǎng)絡(luò)中，采用結(jié)合了輕量卷積塊的循環(huán)卷積單元來替代經(jīng)典3D 卷積，添加多尺度處理模塊，更好地捕捉全局和細(xì)節(jié)信息，提出最大濾波模塊用于特征提取后的細(xì)節(jié)域像素定位處理，以增強(qiáng)網(wǎng)絡(luò)的分割效果.在BraTS2020 數(shù)據(jù)集上的分割結(jié)果分別為77.23%、90.01%和83.10%，參數(shù)量為0.42×106，與其他網(wǎng)絡(luò)相比，在具有較少數(shù)據(jù)量的同時(shí)達(dá)到較高的分割精度.改進(jìn)后的網(wǎng)絡(luò)能夠處理全局性關(guān)系和細(xì)節(jié)分割，明顯改善了三維圖像計(jì)算開銷巨大和輕量網(wǎng)絡(luò)分割精度不足的問題.