劉麗霞，宣士斌，劉暢，李嘉祥

（廣西民族大學(xué)人工智能學(xué)院，南寧 530006）

0 概述

醫(yī)學(xué)圖像分割在疾病診斷、監(jiān)測(cè)和治療中起關(guān)鍵作用。在醫(yī)學(xué)圖像中注釋與在自然圖像中注釋不同，醫(yī)學(xué)圖像通常是由一組專家注釋，以減輕特定專家由于專業(yè)水平不同等原因產(chǎn)生的主觀偏見。由于醫(yī)學(xué)圖像存在質(zhì)量不高、明暗處理、噪聲等因素，使在醫(yī)學(xué)圖像中描繪精確對(duì)象邊界成為一項(xiàng)艱巨且繁瑣的任務(wù)，導(dǎo)致高度不確定的病理區(qū)域在專家之間（不同專家對(duì)同一圖像進(jìn)行注釋）和專家內(nèi)部（同一專家在不同時(shí)間對(duì)同一圖像進(jìn)行注釋）有很大的差異，幾乎沒(méi)有一個(gè)專家的注釋能夠精確捕捉到所有圖像上的目標(biāo)區(qū)域。當(dāng)前大部分研究成果［1-3］通常需要唯一的標(biāo)簽，而獲得唯一標(biāo)簽的做法通常是多數(shù)投票、STAPLE［4］或其他融合標(biāo)簽的策略［5］，也有研究人員通過(guò)標(biāo)簽采樣［6］或多頭策略［7］探索多專家注釋的影響。這些策略雖然易于實(shí)施，但是完全忽略了多個(gè)專家之間潛在的不確定性信息，使模型過(guò)度自信。

為避免神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果過(guò)度自信，研究人員［8-9］提出不確定性估計(jì)，即對(duì)分割預(yù)測(cè)結(jié)果的可靠性程度進(jìn)行評(píng)估，在已有分割模型的預(yù)測(cè)基礎(chǔ)上，增加關(guān)于分割網(wǎng)絡(luò)不確定性估計(jì)的研究，結(jié)合不確定性的量化指標(biāo)，優(yōu)化模型訓(xùn)練過(guò)程，提升模型的分割性能。不確定性估計(jì)有助于提高深度神經(jīng)網(wǎng)絡(luò)決策的可解釋性和分割結(jié)果的可靠性，能夠提供關(guān)于系統(tǒng)對(duì)給定患者執(zhí)行給定任務(wù)信心的信息，可以用來(lái)指示潛在的誤分割區(qū)域，從而指導(dǎo)醫(yī)生對(duì)不確定性高的部分給予更多的關(guān)注，較好地輔助臨床醫(yī)學(xué)診斷。

早期利用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行不確定性估計(jì)的研究主要集中在圖像分類和檢測(cè)這些粗粒度的預(yù)測(cè)任務(wù)中，此后KENDALL 等［9］將其推廣到需要對(duì)逐像素預(yù)測(cè)結(jié)果進(jìn)行不確定性估計(jì)的圖像分割領(lǐng)域，將不確定性分為認(rèn)知不確定性（Epistemic uncertainty）和任意不確定 性（Aleatoric uncertainty）。HüLLERMEIER 等［10］提出神經(jīng)網(wǎng)絡(luò)中認(rèn)知不確定性和隨機(jī)不確定性的概念，并通過(guò)不同方法對(duì)其進(jìn)行建模和量化。不確定性度量除了在醫(yī)學(xué)圖像分析領(lǐng)域起重要作用外，在計(jì)算機(jī)視覺（自動(dòng)駕駛）、自然語(yǔ)言處理（機(jī)器翻譯、語(yǔ)音識(shí)別）等領(lǐng)域也發(fā)揮著重要作用。文獻(xiàn)［11］概述了不確定性度量在這些應(yīng)用領(lǐng)域的研究進(jìn)展，并提供大量參考文獻(xiàn)和對(duì)開放性問(wèn)題進(jìn)行討論，目前貝葉斯神經(jīng)網(wǎng)絡(luò)、集成模型、概率U-Net、測(cè)試時(shí)間擴(kuò)充等方法可用于估計(jì)不確定性，但國(guó)內(nèi)相關(guān)研究報(bào)道相對(duì)較少。

本文考慮標(biāo)簽和數(shù)據(jù)中的人工不確定性，利用專家注釋之間的確定（一致認(rèn)可）和不確定（分歧）區(qū)域來(lái)反映預(yù)測(cè)結(jié)果的可靠程度，提高模型不確定性量化的性能，并通過(guò)網(wǎng)絡(luò)學(xué)習(xí)生成最終的校準(zhǔn)分割概率圖。

1 相關(guān)工作

近年來(lái)，學(xué)者對(duì)估算深度神經(jīng)網(wǎng)絡(luò)中的不確定性進(jìn)行了研究［12］，提出各種方法對(duì)其進(jìn)行量化，主要研究集 中在貝葉 斯推理［9，13-14］、集成方法［16-18］、概率U-Net［20-21］或利用多個(gè)標(biāo)簽和專家之間可變性來(lái)構(gòu)建能反映不確定性的分割框架［24-25，30］。通過(guò)貝葉斯神經(jīng)網(wǎng)絡(luò)（Bayesian Neural Network，BNN）學(xué)習(xí)權(quán)重分布，是目前預(yù)測(cè)不確定性常用的方法。該方法首先在BNN 參數(shù)上指定先驗(yàn)分布［9］，然后在給定訓(xùn)練數(shù)據(jù)的情況下計(jì)算參數(shù)上的后驗(yàn)分布，從而量化預(yù)測(cè)認(rèn)知不確定性。任意不確定性則使網(wǎng)絡(luò)分割輸出均值和方差σ2，其中代表網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，方差σ2代表不確定性度量結(jié)果。BNN 采用蒙特卡羅（Monte Carlo，MC）dropout［13］來(lái)反映與網(wǎng)絡(luò)參數(shù)相關(guān)的不確定性，用MC dropout 近似BNN 的后驗(yàn)概率。然而，使用MC dropout 獲得的不確定性估計(jì)值往往會(huì)被錯(cuò)誤校準(zhǔn)，即該值與模型誤差不一致［14］。HUMT 等［15］提出一種新的貝葉斯優(yōu)化算法，以減輕真實(shí)權(quán)重后驗(yàn)擬合不足的傾向，并證明拉普拉斯近似的超參數(shù)可以有效優(yōu)化，分割預(yù)測(cè)結(jié)果的校準(zhǔn)性能得到提高。此后，研究人員致力于利用集成學(xué)習(xí)來(lái)改進(jìn)不確定性校準(zhǔn)。LAKSHMINARAYANAN等［16］提出一種非貝葉斯神經(jīng)網(wǎng)絡(luò)的方法，使用集成學(xué)習(xí)的優(yōu)勢(shì)對(duì)與訓(xùn)練數(shù)據(jù)一致的多個(gè)模型進(jìn)行平均預(yù)測(cè)，從而對(duì)分類和回歸任務(wù)結(jié)果進(jìn)行更準(zhǔn)確的不確定性估計(jì)。BELUCH 等［17］和GUSTAFSSON 等［18］在圖像分類任務(wù)中發(fā)現(xiàn)集成方法比MC dropout 在主動(dòng)學(xué)習(xí)任務(wù)上能提供更準(zhǔn)確的校準(zhǔn)預(yù)測(cè)。與MC dropout 不同，使用深度集成不需要修改網(wǎng)絡(luò)架構(gòu)，但集成方法需要從頭開始訓(xùn)練模型，這對(duì)大型數(shù)據(jù)集和復(fù)雜模型來(lái)說(shuō)計(jì)算成本很高。STAHL 等［19］通過(guò)在MNIST 數(shù)據(jù)集上對(duì)比基于Softmax 輸出、網(wǎng)絡(luò)集成、貝葉斯神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼器等方法的不確定性量化結(jié)果，對(duì)深度學(xué)習(xí)中的不確定性量化進(jìn)行了評(píng)估。KOHL 等［20］提出一種概率U-Net 網(wǎng)絡(luò)，通過(guò)將貝葉斯全連接網(wǎng)絡(luò)（Full Connected Network，F(xiàn)CN）與條件方差自動(dòng)編碼器相結(jié)合，為模糊圖像提供多個(gè)分割假設(shè)。BAUMGARTNER 等［21］提出一個(gè)多尺度潛在變量的概率層次模型，并將獨(dú)立的潛在變量用于不同的分辨率，變量自動(dòng)編碼器用于推理。GANTENBEIN 等［22］通過(guò)添加可逆塊提高內(nèi)存效率，在保持分割精度不變的前提下節(jié)省內(nèi)存。

上述方法通過(guò)使用不同策略進(jìn)行不確定性估計(jì)，但仍然沒(méi)有充分利用多專家注釋工作中豐富的差異信息，浪費(fèi)了現(xiàn)有多專家注釋的人工數(shù)據(jù)集，無(wú)法在多個(gè)專家對(duì)同一圖像的獨(dú)立注釋場(chǎng)景中學(xué)習(xí)圖像分割任務(wù)。圖1 提供了在眼底圖像視杯和視盤注釋過(guò)程中專家之間存在的明顯不確定或爭(zhēng)議區(qū)域，特別是在視杯邊界信息與背景非常相似的位置。目前，多專家間可變性問(wèn)題開始引起研究人員的關(guān)注。HU 等［23］量化了因觀察者間的分歧而出現(xiàn)多個(gè)注釋時(shí)的不確定性，使用概率U-Net 網(wǎng)絡(luò)量化肺異常分割的不確定性。MIRIKHARAJI 等［24］提出使用FCN 集成來(lái)處理分割注釋中的差異，通過(guò)有效利用多個(gè)專家的意見，并從所有可用注釋中學(xué)習(xí)，捕獲了2 種類型的不確定性。ZENG 等［25］提出一個(gè)新的擴(kuò)展Dice 和擴(kuò)展Dice 損失函數(shù)，有效地評(píng)估多個(gè)可接受注釋的分割性能。WANG 等［26］提出一種具有不確定性的分割網(wǎng)絡(luò)，從每個(gè)肺結(jié)節(jié)的不同注釋中學(xué)習(xí)，預(yù)測(cè)具有高度不確定性的肺結(jié)節(jié)區(qū)域。VALIUDDIN 等［27］使用規(guī)范化流（Normalizing Flows，NFs）來(lái)建模單注釋數(shù)據(jù)和多注釋數(shù)據(jù)，允許對(duì)任意不確定性進(jìn)行更復(fù)雜的建模。ZHANG 等［28］提出U-Net-and-a-half 網(wǎng)絡(luò)，并從多個(gè)專家對(duì)同一組圖像執(zhí)行的注釋中學(xué)習(xí)。YU 等［29］提出一種多分支結(jié)構(gòu)，在不同敏感度設(shè)置下生成3 個(gè)預(yù)測(cè)，以利用多評(píng)分者共識(shí)信息進(jìn)行青光眼分類。YANG 等［30］提出一種基于U-Net 的多解碼器體系結(jié)構(gòu)，并使用交叉損失函數(shù)彌補(bǔ)不同分支之間的差距，方法簡(jiǎn)單易用。

圖1 多專家注釋的視杯和視盤對(duì)比Fig.1 Comparison of optic cup and optic disc annotated by multiple experts

JI 等［31］提出MRNet 醫(yī)學(xué)圖像分割框架，考慮多評(píng)分員之間的一致和不一致信息，包含由粗到精兩級(jí)處理管道，第1 級(jí)管道使用U-Net獲得粗略預(yù)測(cè)結(jié)果，第2 級(jí)管道由多評(píng)分者重建模塊（Multi-rater Reconstruction Module，MRM）和多評(píng)分者感知模塊（Multi-rater Perception Module，MPM）組成。提出的專業(yè)感知推斷模塊（Expertise-aware Inferring Module，EIM）將評(píng)分員的專業(yè)知識(shí)線索明確整合到高級(jí)語(yǔ)義特征中（即兩級(jí)管道中編解碼器的瓶頸處），使用MRM 模塊來(lái)重建單個(gè)評(píng)分員的評(píng)分，并用MPM 模塊細(xì)化粗略預(yù)測(cè)以形成最終校準(zhǔn)的分割圖。但MRNet 模型存在幾點(diǎn)不足：首先模型構(gòu)建過(guò)于復(fù)雜，導(dǎo)致模型參數(shù)過(guò)多，不易于推廣使用；其次使用兩級(jí)處理管道造成編碼結(jié)構(gòu)復(fù)雜，導(dǎo)致特征提取存在不一致性；最后MRM 模塊將第1 級(jí)管道中的粗略預(yù)測(cè)與輸入圖像相結(jié)合，并將其作為特征提取的輸入，使生成的特征不是純粹的輸入原圖像的特征。在MRM模塊中僅在解碼器最后一層使用多個(gè)1×1 卷積層重構(gòu)各個(gè)評(píng)分者的注釋，使重構(gòu)存在一定的局限性。

受文獻(xiàn)［30］的啟發(fā)，本文僅使用單級(jí)處理管道，并將多解碼器分支作為重構(gòu)模塊，以精簡(jiǎn)模型結(jié)構(gòu)。本文的改進(jìn)措施具體如下：

1）在MRNet 模型體系結(jié)構(gòu)的基礎(chǔ)上，使用多解碼器增強(qiáng)重構(gòu)的潛在能力，并允許同時(shí)學(xué)習(xí)由多個(gè)專家對(duì)同一組圖像執(zhí)行的注釋。

2）在編碼器-解碼器的瓶頸處嵌入整合了多專家專業(yè)知識(shí)的先驗(yàn)信息，提高每個(gè)解碼分支的泛化性。

3）使用軟注意機(jī)制增強(qiáng)多解碼器中多個(gè)預(yù)測(cè)結(jié)果的模糊區(qū)域和邊界，并在公開的RIGA 視網(wǎng)膜杯盤分割數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

2 本文模型

將提出的多解碼器不確定性感知（Multidecoder Uncertainty Aware）分割模型記為MUA-Net，圖2 為MUA-Net 的總體框架，包含一個(gè)編碼器、多個(gè)解碼器、EIM模塊以及雙分支軟注意機(jī)制。圖2 上半部分是編碼器-解碼器和EIM 模塊，從不同專家對(duì)同一圖像的多個(gè)注釋中學(xué)習(xí)，每個(gè)注釋獲得一個(gè)解碼器分支，解碼器的數(shù)量與專家注釋的數(shù)量一致。圖2下半部分是雙分支軟注意機(jī)制，利用不確定性映射獲得最終的分割概率圖。在該模型中，采用U-Net作為主要架構(gòu)［32］，考慮到VGG 架構(gòu)能保留輸入圖像的拓?fù)浜兔翡J的感知特征，模型選擇以VGG16 為主干的DeepLab-V3+作為編碼器。所有輸入圖像通過(guò)同一編碼器生成圖像特征值，構(gòu)成一個(gè)多解碼器共享的低維特征空間。每個(gè)專家對(duì)應(yīng)一個(gè)解碼器，每個(gè)解碼器從對(duì)應(yīng)專家獨(dú)立生成的注釋中學(xué)習(xí)獲得圖像掩碼。多解碼使重構(gòu)的多專家信息與原始多專家信息更相似，以達(dá)到通過(guò)訓(xùn)練好的模型來(lái)預(yù)測(cè)多專家注釋的目的，提高每個(gè)分支的預(yù)測(cè)能力。本文采用單個(gè)編碼器和多個(gè)解碼器結(jié)構(gòu)，這是相對(duì)文獻(xiàn)［31］的不同之處，既簡(jiǎn)化了模型，又增強(qiáng)了模型的重構(gòu)能力。為提高每個(gè)分支的泛化能力，在編碼器-解碼器的瓶頸處引入文獻(xiàn)［31］中的EIM 模塊，因?yàn)閮H使用多解碼器的每個(gè)分支學(xué)習(xí)相應(yīng)的注釋是不夠的，還需通過(guò)EIM 模塊將多專家注釋的先驗(yàn)信息嵌入編碼器提取的高層語(yǔ)義特征中，使學(xué)習(xí)的多個(gè)目標(biāo)暴露于解碼器之前，以提高編碼器提取特征的動(dòng)態(tài)表示能力。最后，在每個(gè)解碼分支得到的初始預(yù)測(cè)估計(jì)代表不同區(qū)域間專家可變性的像素級(jí)不確定性映射，然后利用本文提出的帶有雙分支軟注意機(jī)制的不確定性映射進(jìn)一步細(xì)化、捕捉和強(qiáng)調(diào)模糊區(qū)域，得到最終的分割概率圖。

圖2 本文模型的整體框架Fig.2 Overall framework of model in this paper

2.1 EIM 模塊

EIM 模塊利用各專家的專業(yè)知識(shí)水平作為先驗(yàn)信息，并將其以條件信息的形式嵌入到分割網(wǎng)絡(luò)中，以提高編碼器提取特征的動(dòng)態(tài)表示能力。在EIM 模塊中，多個(gè)專家的專業(yè)知識(shí)水平形成歸一化的，其中V和N分別代表評(píng)分專家相應(yīng)權(quán)重和評(píng)分專家總數(shù)。expertnessV作為先驗(yàn)知識(shí)饋送到網(wǎng)絡(luò)，在每次訓(xùn)練迭代過(guò)程中，考慮到不同專家的臨床專業(yè)知識(shí)水平不同但重要性相同，因此設(shè)置為所有專家的權(quán)重一致。

為有效將多專家專業(yè)知識(shí)線索集成到語(yǔ)義特征表示中，將嵌入的expertnessV作為隱藏狀態(tài)，利用ConvLSTM模塊［33］生成增強(qiáng)的特 征，如圖3所示。ConvLSTM 是一個(gè)功能強(qiáng)大的遞歸模塊，其不僅能捕獲特征和不同專業(yè)水平（即隱藏狀態(tài)）之間的相關(guān)性，還能感知有區(qū)別的動(dòng)態(tài)特征。更具體地說(shuō)，ConvLSTM 模塊將從編碼器獲取的高級(jí)特征圖（即f）作為EIM 的輸入，并使用歸一化expertnessV作為初始隱藏狀態(tài)h0。為了將V轉(zhuǎn)換為適合ConvLSTM模塊的格式，將V擴(kuò)展到與f相同的維度，該過(guò)程可定義為式（1）所示：

圖3 EIM 模塊Fig.3 EIM module

2.2 多解碼器

為同時(shí)學(xué)習(xí)由多個(gè)專家對(duì)同一組圖像給出的注釋所獲得的圖像掩碼，并且共享低維的特征空間，提出多解碼器結(jié)構(gòu)。每個(gè)解碼器用于測(cè)量和擬合一個(gè)注釋，嘗試捕獲多專家注釋的專業(yè)知識(shí)。具體地說(shuō)，每個(gè)解碼分支能對(duì)編碼器提取的圖像高級(jí)特征逐步恢復(fù)近似配對(duì)的注釋，使重構(gòu)的多專家信息與原始多專家信息更加相似，以達(dá)到通過(guò)訓(xùn)練好的模型來(lái)預(yù)測(cè)多專家注釋過(guò)程的目的，提高每個(gè)分支的預(yù)測(cè)能力。

如圖2 的上半部分所示，N個(gè)注釋專家就有N個(gè)解碼器分支，它們共享相同的特征提取過(guò)程，每個(gè)解碼分支都有特定的學(xué)習(xí)目標(biāo)，學(xué)習(xí)單個(gè)專家專業(yè)知識(shí)的注釋，在逐步上采樣后獲得最終的解碼特征Fi，以及通過(guò)1×1 卷積運(yùn)算處理的初始預(yù)測(cè)Pi。使用重構(gòu)損失Lrec衡量重建的多專家注釋與各個(gè)專家真實(shí)注釋的相似程度，其定義為表示二進(jìn)制交叉熵?fù)p失，N是專家總數(shù)，Pi∈RW×H×C和表示第i個(gè)專家相應(yīng)的重構(gòu)預(yù)測(cè)和注釋；W、H和C分別表示圖像寬度、高度和通道數(shù)。每個(gè)解碼分支包含的二進(jìn)制交叉熵?fù)p失函數(shù)能較好地給編碼器反饋提取特征的信息，多解碼器的重構(gòu)損失為每個(gè)解碼器損失的組合取平均值，其表達(dá)方式為

通過(guò)N個(gè)解碼器重構(gòu)N個(gè)專家的注釋后，專家之間的分歧區(qū)域通過(guò)粗預(yù)測(cè)的像素標(biāo)準(zhǔn)偏差進(jìn)行估計(jì)，即不確定性映射，該方法可以從可能導(dǎo)致分割不確定性的區(qū)域中學(xué)習(xí)有價(jià)值的視覺特征，從而獲得更好的分割結(jié)果。使用式（2）獲得不確定性映射，并在雙分支軟注意機(jī)制中進(jìn)一步處理。

2.3 軟注意機(jī)制

多個(gè)專家之間的分歧，即爭(zhēng)議區(qū)域，反映了醫(yī)學(xué)圖像中不同區(qū)域的不確定性或難度水平。因此，如何更好地利用這些信息提高分割性能是一個(gè)重要的研究問(wèn)題。本文利用雙分支軟注意機(jī)制能夠更好地捕捉和強(qiáng)調(diào)模糊區(qū)域，其中一個(gè)分支對(duì)應(yīng)眼底圖像的視杯，另一個(gè)分支對(duì)應(yīng)視盤?；?.1 節(jié)獲得的不確定映射，使用空間注意策略［34］來(lái)強(qiáng)調(diào)高度不確定性區(qū)域。然而，估計(jì)的不確定性映射可能在對(duì)象邊界附近包含潛在的不確定性或不完整性，如果使用“硬”空間注意，可能會(huì)對(duì)模型性能產(chǎn)生負(fù)面影響。因此，采用“軟”注意，以擴(kuò)大不確定區(qū)域的覆蓋范圍，從而有效地感知和捕捉多個(gè)專家之間的不一致線索。軟化操作可以表示為式（3）所示：

其中：FGauss表示具有高斯核和零偏差的卷積運(yùn)算；Ωmax表示一個(gè)最大函數(shù)，用于保留高斯濾波圖和原始不確定性圖之間的較高值。在本文中，高斯核的大小和標(biāo)準(zhǔn)偏差可以通過(guò)模型訓(xùn)練進(jìn)行學(xué)習(xí)，并分別用32 和4 作為高斯核和標(biāo)準(zhǔn)偏差的初始值。

在高度不確定的區(qū)域中引入軟注意機(jī)制，以增強(qiáng)特征圖F的高度確定區(qū)域，其中F為每個(gè)解碼器分支最終解碼特征Fi的組合，表達(dá)式為F=，該表達(dá)式充分考慮了多專家的一致性。換言之，初始預(yù)測(cè)的高度不確定和確定區(qū)域都得到了加強(qiáng)。將F發(fā)送到2 個(gè)平行分支，2 個(gè)分支分別代表視杯和視盤分割任務(wù)。軟空間注意分別從中獲得，如圖2 所示，在原始特征F和空間增強(qiáng)特征之間采用跳躍連接，以避免傳播到網(wǎng)絡(luò)的注意力圖的潛在錯(cuò)誤。該過(guò)程描述如下：

將細(xì)化的特征Fcup、Fdisc進(jìn)一步連接并輸入到一個(gè)1×1 卷積層中以獲得最終的分割預(yù)測(cè)M，該過(guò)程的表達(dá)式如式（5）所示：

最終將分割預(yù)測(cè)概率圖M和由多個(gè)專家對(duì)同一圖像注釋的圖像掩碼乘以expertnessV中對(duì)應(yīng)的權(quán)重獲得）進(jìn)行二進(jìn)制交叉熵?fù)p失，即LM=lBCE(M,GTs)。所以最終的損失組合如下：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

RIGA benchmark［35］是一個(gè)公開的視網(wǎng)膜杯盤分割數(shù)據(jù)集，共750 幅彩色眼底圖像，包括來(lái)自MESSIDOR 的460 幅圖像、來(lái) 自BinRushed 的195 幅圖像和來(lái)自Magrabia 的95 幅圖像。來(lái)自不同組織的6 位眼科專家為該數(shù)據(jù)手動(dòng)標(biāo)記了視杯和視盤輪廓掩模。在模型訓(xùn)練期間，從BinRushed 和MESSIDOR 中分別選擇195 個(gè)樣本和460 個(gè)樣本作為訓(xùn)練集，選擇具有95 個(gè)樣本的Magrabia 集作為評(píng)估模型的測(cè)試集，該測(cè)試集與訓(xùn)練數(shù)據(jù)集不同源。

3.2 實(shí)現(xiàn)細(xì)節(jié)和評(píng)價(jià)指標(biāo)

在實(shí)驗(yàn)中，MUA-Net 采用PyTorch 平臺(tái)實(shí)現(xiàn)，并在具有48 GB 內(nèi)存的NVIDIA RTX 8000 GPU 上進(jìn)行訓(xùn)練和測(cè)試。所有訓(xùn)練和測(cè)試圖像都統(tǒng)一調(diào)整尺寸為256×256 像素。提出的模型使用Adam 優(yōu)化器以端到端的方式進(jìn)行訓(xùn)練，初始學(xué)習(xí)率設(shè)置為1×10-4，批量大小為8，共60 個(gè)epoch。

MUA-Net 模型的目標(biāo)是生成概率圖M，該概率圖M可以反映潛在的多專家之間的不確定性，即校準(zhǔn)預(yù)測(cè)，用于眼底視杯和視盤圖像分割。為更好地評(píng)估校準(zhǔn)模型預(yù)測(cè)，使用平均精度（Mean Accuracy，Acc）、文獻(xiàn)［31］中的Dice 系數(shù)（Dice coefficient，D）、交并比（Intersection over Union，IoU）進(jìn)行多個(gè)閾值級(jí)別的度量。本文為公平比較，將閾值參數(shù)設(shè)置為（0.1，0.3，0.5，0.7，0.9）。在每個(gè)閾值級(jí)別下，生成預(yù)測(cè)概率圖M和GTs，并與對(duì)應(yīng)閾值進(jìn)行二值化，然后分別計(jì)算Acc、D 和IoU。對(duì)在多個(gè)閾值處獲得的Acc、D 和IoU 取平均值，然后獲得軟度量，并分別表示為Accs、Ds和IoUs。軟分?jǐn)?shù)越高，表示模型性能校準(zhǔn)得越好。

3.3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文模型的有效性，以單一專家注釋作為標(biāo)簽，使用基線U-Net 訓(xùn)練單個(gè)專家，獲得6 個(gè)不同的模型（Ophthalmologist 1～Ophthalmologist 6），并與對(duì)應(yīng)的標(biāo)簽進(jìn)行評(píng)估。為證明GTs的有效性，使用不同的標(biāo)簽訓(xùn)練相同的MUA-Net，包括單個(gè)眼科專家注釋的標(biāo)簽（GT1～GT6），Random（在訓(xùn)練過(guò)程中，隨機(jī)從標(biāo)簽池中采樣）以及STAPLE［4］，結(jié)果如表1 所示，其中分別代表視杯的平均精度、Dice 系數(shù)、交并比，分別代表視盤的平均精度、Dice 系數(shù)、交并比。實(shí)驗(yàn)結(jié)果表明，在模型Ophthalmologist 1～Ophthalmologist 6中，Ophthalmologist 4 在視杯分割中的各指標(biāo)均獲得了最高值，與其他模型相比，其分別提 高1.15～3.54 個(gè)百分點(diǎn)，3.6～8.8 個(gè)百分點(diǎn)和4.1～11.5 個(gè)百分點(diǎn)，可見不同專家的專業(yè)能力差距較大，難以確定唯一的標(biāo)簽。Ophthalmologist 1～Ophthalmologist 6 模型在視盤分割中的最高值與最低值的差值分別為0.86、1.09、3.41 個(gè)百分點(diǎn)，對(duì)視盤的分割性能比視杯的分割性能差異更小，這是因?yàn)樵谧⑨屵^(guò)程中視盤相較視杯的邊界更加明顯。Ophthalmologist 1～Ophthalmologist 6 模型性能的差異體現(xiàn)了評(píng)分專家注釋圖像分割掩碼的差異，再次驗(yàn)證了考慮多個(gè)專家專業(yè)知識(shí)并同時(shí)學(xué)習(xí)的必要性。此外，本文模型MUA-Net（GTs）的各指標(biāo)均取得最優(yōu)值，MUA-Net（STAPLE）次之。MUA-Net（GTs）模型的比次優(yōu)的MUA-Net（STAPLE）模型分別高1.06、1.04 和1.9 個(gè)百分點(diǎn)。MUA-Net（GTs）模型在視盤分割的比次優(yōu)的MUA-Net（STAPLE）模型分別高0.25、1.44和0.84 個(gè)百分點(diǎn)。這些對(duì)比實(shí)驗(yàn)證明本文模型MUA-Net 和（GTs）在多個(gè)專家注釋的情況下獲得更好的校準(zhǔn)結(jié)果。

表1 不同模型在RIGA 數(shù)據(jù)集下的結(jié)果對(duì)比Table 1 Comparison of results of different models under RIGA dataset %

MUA-Net 模型可視化的結(jié)果如圖4 所示，由圖4可知，MUA-Net 模型生成的概率圖具有很好的校準(zhǔn)效果，特別是能較好地反映不同專家間的爭(zhēng)議區(qū)域。

圖4 眼底視杯和視盤的分割結(jié)果對(duì)比Fig.4 Comparison of segmentation results of fundus optic cup and optic disc

為證明本文所提MUA-Net 模型的有效性，將其與最先進(jìn)的視杯視盤分割模型進(jìn)行比較，模型包括AGNet［36］、CENet［37］、ResUnet［38］、pOSAL［39］、BEAL［40］和MRNet［31］，結(jié)果見表2?？梢钥吹?，與最先進(jìn)的眼底視杯視盤分割方法相比，本文MUA-Net 性能優(yōu)異，在視杯分割時(shí)，本文模型的比MRNet 模型分別提升0.75、0.39、0.41 個(gè)百分點(diǎn)。在視盤分割時(shí)，本文模型的比MRNet模型分別提升了0.25、0.47 個(gè)百分點(diǎn)。雖然本文模型在視盤分割時(shí)的值沒(méi)有取得最優(yōu)值，但僅比最先進(jìn)的MRNet 模型低0.02 個(gè)百分點(diǎn)。綜上，本文模型具有更好的校準(zhǔn)預(yù)測(cè)性能。

表2 不同視杯和視盤分割模型在RIGA 數(shù)據(jù)集下的結(jié)果比較Table 2 Comparison of the results of different optic cup and optic disc segmentation models under RIGA dataset%

3.4 消融實(shí)驗(yàn)

為驗(yàn)證本文MUA-Net 模型中各模塊的有效性，進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如表3 所示，其中“√”表示使用該模塊，“×”表示不使用該模塊。所有的實(shí)驗(yàn)均使用GTs進(jìn)行評(píng)估。使用基本的U-Net，即單一的編碼器-解碼器結(jié)構(gòu)作為基線模型。隨后在基線模型的基礎(chǔ)上逐步加入多解碼器、EIM 模塊、雙分支軟注意機(jī)制。添加多解碼器結(jié)構(gòu)之后，模型的校準(zhǔn)預(yù)測(cè)性能獲得了有效提高（表3 中的b 行），尤其是視杯分割時(shí)的值比基線模型（表3 中的a 行）分別增加2.40、2.73 個(gè)百分點(diǎn)。這有效證明了使用多解碼比單解碼更能有效重構(gòu)多專家的信息。通過(guò)將EIM模塊嵌入到編碼器-解碼器的瓶頸處值分別增加了1.00，1.82 個(gè)百分點(diǎn)（表3 中c 行比圖3 中b 行），即具有EIM 模塊的模型有更高的校準(zhǔn)預(yù)測(cè)性能。這是因?yàn)橥ㄟ^(guò)EIM 模塊引入多專家專業(yè)知識(shí)，能夠提高模型的動(dòng)態(tài)表示能力，有效利用多專家線索提高校準(zhǔn)分割結(jié)果。在未加入雙分支軟注意機(jī)制時(shí)，本文模型的各項(xiàng)指標(biāo)均已優(yōu)于MRNet 模型。為進(jìn)一步提升本文模型性能，引入雙分支軟注意機(jī)制以更好地強(qiáng)調(diào)模糊區(qū)域和邊界，其性能比表3 中c 行的分別提升了0.27，0.28 個(gè)百分點(diǎn)。

表3 在RIGA 數(shù)據(jù)集下的消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiment under RIGA dataset %

4 結(jié)束語(yǔ)

針對(duì)由多個(gè)專家對(duì)同一組圖像進(jìn)行注釋時(shí)無(wú)法達(dá)成共識(shí)的問(wèn)題，提出一種基于多解碼器與不確定性感知體系結(jié)構(gòu)的MUA-Net 模型。以端到端的方式同時(shí)學(xué)習(xí)多個(gè)注釋，利用多解碼器重構(gòu)多個(gè)專家豐富的注釋信息，在編解碼器的瓶頸處加入EIM 模塊，以此作為多專家的先驗(yàn)信息，并使用軟注意機(jī)制細(xì)化模糊區(qū)域以更好地反映確定和不確定區(qū)域。實(shí)驗(yàn)結(jié)果表明，本文模型與MRNet 模型相比，能夠提高模型的動(dòng)態(tài)表示能力和校準(zhǔn)預(yù)測(cè)性能。在多個(gè)專家的注釋無(wú)法達(dá)成共識(shí)的臨床應(yīng)用中，預(yù)測(cè)不確定性至關(guān)重要，但由于現(xiàn)有的不確定性量化模型大部分在有監(jiān)督的環(huán)境中提出，而在半監(jiān)督環(huán)境下的研究較少，因此下一步將研究半監(jiān)督的醫(yī)學(xué)圖像分割，并對(duì)其不確定性進(jìn)行量化，從而更好地輔助臨床醫(yī)學(xué)診斷。