黃文博， 屈超凡， 燕 楊

（長(zhǎng)春師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，吉林 長(zhǎng)春 130032）

1 引 言

脈絡(luò)膜層是位于眼底視網(wǎng)膜下方的血管層，其主要功能是為視網(wǎng)膜提供氧氣和營(yíng)養(yǎng)［1］。臨床研究表明，觀察脈絡(luò)膜厚度的變化對(duì)于預(yù)測(cè)相關(guān)眼部疾病至關(guān)重要。如成人年齡及近視度數(shù)的增加會(huì)導(dǎo)致脈絡(luò)膜厚度變薄，糖尿病視網(wǎng)膜病變會(huì)導(dǎo)致脈絡(luò)膜厚度變厚［2］。因此，脈絡(luò)膜分割及厚度分析在眼部疾病的早期預(yù)測(cè)及診斷中具有重要意義。

目前，眼科醫(yī)生想要獲得準(zhǔn)確的脈絡(luò)膜邊界，需在眼底OCT 圖像中手動(dòng)測(cè)量其厚度，耗時(shí)費(fèi)力。眼底OCT 圖像脈絡(luò)膜區(qū)域中，脈絡(luò)膜與鞏膜之間對(duì)比度較低，脈絡(luò)膜自動(dòng)分割存在脈絡(luò)膜下邊界模糊，難以界定等困難［3］。針對(duì)這些問(wèn)題，國(guó)內(nèi)外學(xué)者對(duì)脈絡(luò)膜分割展開(kāi)了較為深入的研究。Yan 等［4］提出了上下文高效自適應(yīng)網(wǎng)絡(luò)（Context Efficient Adaptive Network，CEA-Net），用于OCT 圖像中脈絡(luò)膜的自動(dòng)分割，以CE-Net為主干模型，整合高效通道注意力（Efficient Channel Attention， ECA）模塊以實(shí)現(xiàn)精確的分割性能。許祥叢等［5］提出了壓縮-激勵(lì)-拼接（Squeeze-Excitation-Connection，SEC）模塊，并與U-Net 相結(jié)合稱為SEC-Unet。SEC 模塊作為注意力機(jī)制通過(guò)自適應(yīng)學(xué)習(xí)通道之間相互關(guān)系提高網(wǎng)絡(luò)的表達(dá)能力和性能，使網(wǎng)絡(luò)更適應(yīng)脈絡(luò)膜分割任務(wù)，但注意力的計(jì)算僅在局部范圍內(nèi)進(jìn)行，對(duì)全局上下文沒(méi)有充分關(guān)注。Zhu 等［6］提出脈絡(luò)膜U 型網(wǎng)絡(luò)，捕捉脈絡(luò)膜層和脈絡(luò)膜血管之間的相關(guān)特征和特定特征，生成像素級(jí)分類，實(shí)現(xiàn)脈絡(luò)膜層的自動(dòng)分割。Khaing 等［7］提出以UNet 作為主干模型，集成具有不同膨脹率的膨脹卷積，實(shí)現(xiàn)脈絡(luò)膜分割。膨脹卷積的空洞間隔不合適，可能導(dǎo)致感受野過(guò)大或過(guò)小，因此沒(méi)能捕獲更多的上下文信息來(lái)進(jìn)行預(yù)測(cè)。Xu 等［8］提出結(jié)合圖像增強(qiáng)和基于注意力的密集（Attentionbased Dense，AD）U-Net 模型，在U-Net 基礎(chǔ)上加入注意力門機(jī)制，使網(wǎng)絡(luò)能夠加強(qiáng)對(duì)圖像感興趣的區(qū)域關(guān)注，從而對(duì)脈絡(luò)膜進(jìn)行分割。WU 等［9］提出邊界增強(qiáng)編碼器-解碼器架構(gòu)，邊界增強(qiáng)模塊構(gòu)成每個(gè)編碼器-解碼器層的主干，特征提取分別使用不同擴(kuò)張率的擴(kuò)張卷積來(lái)獲取不同感受野下的相關(guān)圖像特征。這意味著不同位置上計(jì)算的特征主要關(guān)注局部區(qū)域，而不是圖像的全局信息。通道增強(qiáng)分支的重點(diǎn)仍是局部區(qū)域特征增強(qiáng)，缺乏全局信息獲取。

綜上所述，現(xiàn)有方法實(shí)現(xiàn)脈絡(luò)膜分割多數(shù)只關(guān)注局部信息，雖能對(duì)脈絡(luò)膜細(xì)節(jié)進(jìn)行學(xué)習(xí)，但欠缺對(duì)圖像上下文和全局結(jié)構(gòu)信息的學(xué)習(xí)，從而沒(méi)能有效兼顧脈絡(luò)膜OCT 圖像的全局信息及局部細(xì)節(jié)，導(dǎo)致脈絡(luò)膜在OCT 圖像分割任務(wù)中存在定位和分割困難及分割結(jié)果邊界模糊等問(wèn)題，脈絡(luò)膜自動(dòng)精準(zhǔn)分割仍面臨挑戰(zhàn)。

本文提出一種基于TransGLnet 網(wǎng)絡(luò)的脈絡(luò)膜自動(dòng)分割方法，用于在OCT 圖像中自動(dòng)分割脈絡(luò)膜層。為了解決網(wǎng)絡(luò)在訓(xùn)練過(guò)程中產(chǎn)生全局信息丟失及局部細(xì)節(jié)不準(zhǔn)確等問(wèn)題，引入專注于全局信息和局部細(xì)節(jié)的全局注意力模塊［10］（Global Attention Module，GAM）和局部注意力模塊（Local Attention Module，LAM）［11］，幫助網(wǎng)絡(luò)捕捉圖像的整體上下文和語(yǔ)義信息，同時(shí)網(wǎng)絡(luò)聚焦于圖像的細(xì)節(jié)和局部特征，跨越語(yǔ)義鴻溝，使得網(wǎng)絡(luò)能夠綜合考慮到圖像的全局結(jié)構(gòu)和局部細(xì)節(jié)，從而更全面地理解圖像內(nèi)容和語(yǔ)義信息，顯著提升模型性能。

2 網(wǎng)絡(luò)設(shè)計(jì)

2.1 網(wǎng)絡(luò)搭建

本文搭建的TransGLnet 網(wǎng)絡(luò)由編碼器和解碼器兩部分組成，如圖1 所示。其主干網(wǎng)絡(luò)為TransUnet［12］。 編碼器由卷積層、特征層及Transformer 編碼器組成。在特征提取過(guò)程中，卷積層有獲取局部信息的能力，但對(duì)獲取全局上下文的能力很弱，Transformer 對(duì)來(lái)自卷積神經(jīng)網(wǎng)絡(luò)特征映射的標(biāo)記化圖像塊進(jìn)行編碼，作為提取全局上下文的輸入序列，主要衡量序列中所有元素之間的相關(guān)性，但忽略了局部細(xì)節(jié)信息。為了增強(qiáng)網(wǎng)絡(luò)對(duì)全局與局部信息獲取的能力，探索特征圖中元素之間的空間位置關(guān)系，本文引入GAM 和LAM 來(lái)探索不同范圍內(nèi)元素之間的相關(guān)性以及特征圖的局部細(xì)節(jié)。為了提高圖像分割的精度和感興趣區(qū)域的重建效果，這里采用與編碼器對(duì)稱的解碼器來(lái)恢復(fù)圖像中的感興趣區(qū)域。由于下采樣在特征提取的過(guò)程中不可避免地會(huì)丟失特征圖中的一些前景信息，為了解決這個(gè)問(wèn)題，通過(guò)跳躍連接將編碼器的多尺度特征信息和上采樣提取的上下文信息進(jìn)行特征融合。

圖1 TransGLnet 整體框架Fig.1 Overall framework of TransGLnet

2.2 全局注意力模塊

全局注意力模塊GAM 嵌入到卷積層之中，如圖2 所示。卷積層與ResNet50［13］網(wǎng)絡(luò)架構(gòu)基本相同。本文輸入的原始特征圖尺寸為3×224×224。經(jīng)過(guò)一系列卷積運(yùn)算后，最終輸出的特征圖尺寸為1 024×14×14。在計(jì)算空間有限的情況下，使用Transformer 計(jì)算特征圖中元素之間的相關(guān)性往往需要大量的計(jì)算資源。由于較大的輸入批量往往會(huì)因計(jì)算資源不足而導(dǎo)致實(shí)驗(yàn)失敗，因此，采用組歸一化來(lái)克服批歸一化在小批量下實(shí)驗(yàn)效果不佳的缺點(diǎn)，使用自注意力機(jī)制來(lái)實(shí)現(xiàn)GAM。為了提取全局特征，GAM 從輸入特征的線性卷積開(kāi)始，每個(gè)卷積都具有1×1內(nèi)核。這種線性變換的結(jié)果假設(shè)成f(x)，g(x)和h(x)。GAM 的核心思想是特征之間的矩陣乘法，如下：

圖2 全局注意力模塊結(jié)構(gòu)Fig.2 Structure of global attention module

其中S代表Sigmoid 函數(shù)；γ是一個(gè)超參數(shù)，本文設(shè)置為1。

將注意力輸出結(jié)果乘以標(biāo)量γ，以調(diào)節(jié)GAM對(duì)輸出的貢獻(xiàn)。如果γ為零，則整個(gè)全局信息模塊的貢獻(xiàn)為零，輸入x直接傳遞到下一層。使用矩陣乘法能夠創(chuàng)建多個(gè)不同特征之間的非線性交互。例如，f(x)中的每個(gè)特征都與g(x)中的所有特征相乘，從而幫助捕獲全局特征，且無(wú)需額外的參數(shù)。在將Softmax 函數(shù)應(yīng)用于矩陣乘法輸出之后，每個(gè)特征圖都成為一個(gè)注意力掩碼，可以使網(wǎng)絡(luò)集中注意力于h(x) 中的特定區(qū)域，忽略其他區(qū)域。將Softmax 函數(shù)輸出與h(x)相乘可以過(guò)濾掉注意力為零的區(qū)域，從而確保只有關(guān)注的區(qū)域傳遞到下一層。

2.3 局部注意力模塊

直接使用Transformer 探索全局元素的關(guān)系，網(wǎng)絡(luò)很難關(guān)注特征圖的細(xì)節(jié)信息。為了進(jìn)一步探索特征圖中元素之間的空間位置關(guān)系，這里使用LAM 來(lái)探索局部范圍內(nèi)元素之間的位置關(guān)系。LAM 流程如圖3 所示。輸入到網(wǎng)絡(luò)的特征圖是RC×H×W，其中C為通道數(shù)，H和W分別為特征圖的高度和寬度。為了方便介紹此模塊，這里C=1，H=W=4。

圖3 局部注意力模塊流程Fig.3 Process of local attention module

特征融合過(guò)程如圖4 所示，輸入到網(wǎng)絡(luò)的原始特征圖為F1∈R1×4×4，并且以1/4 的特征圖為基本單位探索元素間的空間位置關(guān)系。對(duì)輸入的原始特征圖F1進(jìn)行切割，得到4 個(gè)特征塊，每個(gè)特征塊的尺寸為H/4×W/4。接著，針對(duì)每個(gè)特征塊進(jìn)行所有元素的每行位置不變、每列位置從大到小重新排列，得到新的特征塊。然后，對(duì)新特征塊中元素進(jìn)行轉(zhuǎn)置操作，得到改變后的新特征塊。將完成元素轉(zhuǎn)置的特征塊拼接，得到特征圖F2。類似地，特征圖F3和F4是在特征圖F2和F3的基礎(chǔ)上，按照相同的特征圖切割、元素空間位置偏移、轉(zhuǎn)置以及特征塊組合得到的。最后，通過(guò)4 個(gè)尺寸為1×1 的卷積分別作用于特征圖F1，F(xiàn)2，F(xiàn)3和F4，將它們相加得到特征圖J1。J1中每個(gè)元素都是通過(guò)特征圖F1 中的局部區(qū)域元素交互得到的。LAM 以1/4 特征圖為基本單元，感受野較小，因此更有利于網(wǎng)絡(luò)提取圖像的局部細(xì)節(jié)信息。

圖4 特征融合過(guò)程示意圖Fig.4 Schematic of feature fusion process

2.4 損失函數(shù)

醫(yī)學(xué)圖像中待分割的前景信息通常占據(jù)整幅圖像的較小比例，并且不同類別的前景區(qū)域的尺寸和形狀也不同，這使得在學(xué)習(xí)和訓(xùn)練過(guò)程中，網(wǎng)絡(luò)容易出現(xiàn)過(guò)擬合現(xiàn)象。為了應(yīng)對(duì)這種情況，這里采用Dice loss［14］作為損失函數(shù)的一部分，從而改善網(wǎng)絡(luò)的泛化能力和抗過(guò)擬合能力。Dice loss 基于Dice 系數(shù)，用來(lái)度量分割結(jié)果與真實(shí)標(biāo)簽之間的相似度。使用Dice Loss 可以使網(wǎng)絡(luò)更好地學(xué)習(xí)圖像的邊界和細(xì)節(jié)信息，從而提高分割精度，其公式如下：

其中：i屬于元素的具體索引值，Pi為預(yù)測(cè)圖中第i個(gè)元素值屬于某一類別前景的概率，Gi是標(biāo)簽圖中第i個(gè)元素的真實(shí)值。除此之外，本文使用交叉熵?fù)p失（Cross Entory Loss，CEL）作為損失函數(shù)的一部分，即：

其中：Pi(correct)表示某點(diǎn)的元素值被正確預(yù)測(cè)的概率，H×W表示最終預(yù)測(cè)圖的尺寸。

最后，損失函數(shù)由CEL 損失函數(shù)和 Dice 損失函數(shù)組成，具體公式如下：

所有實(shí)驗(yàn)均默認(rèn)在λ1和λ2為0.5 的情況下進(jìn)行。

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)在Pytorch 深度學(xué)習(xí)框架下搭建，實(shí)驗(yàn)環(huán)境為python 3.9，pytorch 2.0.0，cuda 12.0。將數(shù)據(jù)集中80%的圖像劃分為訓(xùn)練集，20%的圖像劃分為測(cè)試集。采用指數(shù)衰減調(diào)整學(xué)習(xí)率ExponentialLR，其中Gamma 為0.9，優(yōu)化器為Adam，訓(xùn)練epoch 為50，batch_size 為2。

3.1 數(shù)據(jù)集

本文采用的數(shù)據(jù)集是廣州婦女兒童醫(yī)學(xué)中心的視網(wǎng)膜OCT 圖像［15］。從OCT 數(shù)據(jù)集中隨機(jī)選取300 幅圖像。脈絡(luò)膜層分割黃金標(biāo)準(zhǔn)由兩位眼科醫(yī)師使用Image J 軟件在OCT 圖像上進(jìn)行手工標(biāo)注。在標(biāo)記脈絡(luò)膜下邊界時(shí)，眼科醫(yī)師最初通過(guò)使用分段線工具選擇稀疏點(diǎn)來(lái)標(biāo)記，然后通過(guò)樣條線擬合操作進(jìn)行平滑處理。最后進(jìn)行微調(diào)，以確保繪制的曲線邊界清晰，具體過(guò)程如圖5 所示。

圖5 脈絡(luò)膜標(biāo)記過(guò)程Fig.5 Choroidal labeling process

當(dāng)出現(xiàn)邊界標(biāo)注不一致時(shí)，兩位醫(yī)師會(huì)討論標(biāo)注邊界的異議，共同解決標(biāo)注不確定性，達(dá)成一致意見(jiàn)。若無(wú)法達(dá)成一致，邀請(qǐng)第三位眼科醫(yī)師評(píng)估標(biāo)注結(jié)果，作為仲裁者解決異議，最終達(dá)成一致的脈絡(luò)膜邊界標(biāo)注結(jié)果。

3.2 評(píng)價(jià)指標(biāo)

本文使用Dice 系數(shù)、準(zhǔn)確率（Accuracy）、均交并比（Miou）、F1 值以及豪斯多夫距離（Hausdorff Distance，HD）5 個(gè)指標(biāo)來(lái)評(píng)估性能。其計(jì)算公式如下：

其中：TP 為預(yù)測(cè)正確的正樣本像素?cái)?shù)量，F(xiàn)P 為預(yù)測(cè)錯(cuò)誤的正樣本像素?cái)?shù)量，TN 為預(yù)測(cè)正確的負(fù)樣本像素?cái)?shù)量，F(xiàn)N 為預(yù)測(cè)錯(cuò)誤的負(fù)樣本像素?cái)?shù)量，k+1 為包括背景在內(nèi)的類的數(shù)量。

其中：X和Y分別表示預(yù)測(cè)圖和標(biāo)簽圖，x和y分別表示預(yù)測(cè)圖和標(biāo)簽圖中的像素表示預(yù)測(cè)圖中像素到標(biāo)簽圖中像素的最短距離集合表示該最短距離集合中的最大距離表示標(biāo)簽圖中像素到預(yù)測(cè)圖中像素的最短距離集合表示該最短距離集合中的最大距離。

3.3 實(shí)驗(yàn)結(jié)果

由表1 可知，本文方法的Dice 系數(shù)為0.91，準(zhǔn)確率達(dá)到0.98，MIoU 達(dá)到0.89，F(xiàn)1 值達(dá)到0.9，豪斯多夫距離為6.56。實(shí)驗(yàn)結(jié)果表明，使用TransGLnet 網(wǎng)絡(luò)訓(xùn)練取得了較好的分割結(jié)果，相對(duì)于TransUnet，本文網(wǎng)絡(luò)的Dice 提高了10%。相對(duì)于其他脈絡(luò)膜自動(dòng)分割方法，本文方法的各項(xiàng)性能指標(biāo)均有提高，證明本文訓(xùn)練策略具有很高的穩(wěn)定性。

表1 不同網(wǎng)絡(luò)脈絡(luò)膜分割結(jié)果比較Tab.1 Comparison of choroid segmentation results among different networks

圖6 展現(xiàn)了脈絡(luò)膜OCT 圖像訓(xùn)練和測(cè)試結(jié)果的可視化。其中，第一張圖片是原始圖片，第二張圖片是標(biāo)簽圖片，接下來(lái)的幾張圖片是不同分割方法的可視化結(jié)果。將本文方法與現(xiàn)有的脈絡(luò)膜自動(dòng)分割方法進(jìn)行比較，包括U-Net［16］，AttU-Net［17］，R2U-Net［18］，R2AU-Net［19］，TransUnet［20］，Swin-Unet［21］。

圖6 脈絡(luò)膜分割實(shí)例結(jié)果的可視化Fig.6 Visualization of choroid segmentation example results

U-Net 是一個(gè)由跳躍連接將編碼器-解碼連接的U 形結(jié)構(gòu)，該網(wǎng)絡(luò)廣泛應(yīng)用于醫(yī)學(xué)圖像分割任務(wù)。AttU-Net 以U-Net 為主干，在跳躍連接處加入注意力門機(jī)制，抑制輸入圖像中的不相關(guān)區(qū)域，突出特定局部區(qū)域的顯著特征。R2U-Net 以U-Net 為主干，結(jié)合殘差連接和循環(huán)連接，增強(qiáng)U-Net 在處理長(zhǎng)距離依賴和特征傳遞方面的能力。R2AU-Net 結(jié)合遞歸殘差卷積層，更好地表示分割任務(wù)的特征和注意力區(qū)域，以突出顯示通過(guò)跳躍連接傳遞的顯著特征。TransUnet 將Transformer 和U-Net 結(jié)合利用Transformer 的自注意力機(jī)制來(lái)捕捉圖像中的全局上下文信息。Swin-Unet 基于純Transformer 的U 形編碼器-解碼器網(wǎng)絡(luò)用于醫(yī)學(xué)圖像分割，將SwinTransformer 塊作為特征表示和遠(yuǎn)程語(yǔ)義信息交互學(xué)習(xí)的基本單元。

分割結(jié)果顯示，由于脈絡(luò)膜下邊界模糊，在其他網(wǎng)絡(luò)處理圖像中明顯可見(jiàn)脈絡(luò)膜下邊界參差不齊且不連續(xù)，相比之下，本文方法分割脈絡(luò)膜得到了相對(duì)平滑和完整的層邊界。在特征提取中，卷積層獲取局部信息的能力很強(qiáng)，但對(duì)全局的建模能力較弱。Transformer 主要衡量序列中所有元素間的相關(guān)性，卻忽略了局部細(xì)節(jié)信息的重要性。本文提出的方法得益于其對(duì)全局的建模能力的增強(qiáng)和增加對(duì)局部細(xì)節(jié)信息的重視，因此相比于基準(zhǔn)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)，本文網(wǎng)絡(luò)的學(xué)習(xí)能力得到增強(qiáng)。

為驗(yàn)證本文模型的有效性，還針對(duì)美國(guó)國(guó)立衛(wèi)生研究院國(guó)家醫(yī)學(xué)圖書館提供的500 張肺部X射線圖片［22］進(jìn)行分割，分割結(jié)果如圖7 所示。實(shí)驗(yàn)結(jié)果表明，本文提出的TransGLnet 模型在該數(shù)據(jù)集上也體現(xiàn)出優(yōu)秀的性能，Dice 系數(shù)達(dá)到0.94，HD 為8.92。通過(guò)觀察分割結(jié)果發(fā)現(xiàn)，TransGLnet 模型對(duì)于全局建模能力以及局部細(xì)節(jié)信息的重視，使其在肺部分割任務(wù)上表現(xiàn)出較好的效果，進(jìn)一步證明了TransGLnet 模型具有較強(qiáng)的泛化能力，能夠在不同數(shù)據(jù)集和任務(wù)中取得良好的性能表現(xiàn)。

圖7 肺部分割實(shí)例結(jié)果的可視化Fig.7 Visualization of results of lung segmentation example

4 消融實(shí)驗(yàn)

為驗(yàn)證添加模塊的有效性，本文進(jìn)行了消融實(shí)驗(yàn)，消融模型1（Ablation 1）代表只包含GAM，消融模型2（Ablation 2）代表只包含LAM，使用相同的訓(xùn)練和測(cè)試集對(duì)消融模型進(jìn)行訓(xùn)練和驗(yàn)證。

圖8 為消融實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果表明，分別添加兩個(gè)模塊到主干網(wǎng)絡(luò)效果都有提升，Dice 分別提高了4%和6%，同時(shí)添加兩模塊，Dice 提高了10%，模型的整體性能顯著提升。

圖8 消融實(shí)驗(yàn)結(jié)果Fig.8 Ablation experiment results

5 結(jié) 論

脈絡(luò)膜分析對(duì)于確定眼病的發(fā)病機(jī)制和治療策略至關(guān)重要，使用計(jì)算機(jī)快速準(zhǔn)確地分割脈絡(luò)膜可以輔助醫(yī)生預(yù)測(cè)相關(guān)眼部疾病。本文以TransUnet 為主干網(wǎng)絡(luò)，融入GAM 和LAM 模塊。通過(guò)對(duì)下采樣過(guò)程中的特征進(jìn)行處理，將它與上采樣路徑中的特征進(jìn)行拼接，以增加圖像細(xì)節(jié)并更充分地利用每一層的多尺度信息。實(shí)驗(yàn)結(jié)果表明，本文方法的Dice 系數(shù)為0.91，準(zhǔn)確率達(dá)到0.98，MIoU 達(dá)到0.89，F(xiàn)1 值達(dá)到0.9，HD為6.56，相比現(xiàn)有方法各項(xiàng)指標(biāo)均有所提高，可為臨床提供可準(zhǔn)確的脈絡(luò)膜分割結(jié)果。