劉靖宇,楊誠奕,鄧云迪

(1.電子科技大學(xué) 醫(yī)學(xué)院,四川 成都 611731;2.電子科技大學(xué) 信息與通信工程學(xué)院,四川 成都 611731)

近年來,科學(xué)技術(shù)飛速發(fā)展,醫(yī)學(xué)診斷所依賴的醫(yī)療圖像也越來越多,如:腦成像、超聲圖像、眼底圖像等.大量醫(yī)療圖像診斷需求給醫(yī)生帶來了極大的工作壓力.醫(yī)療圖像分割作為醫(yī)療圖像處理技術(shù)的基礎(chǔ)任務(wù),其目的是將圖像劃分為不同區(qū)域,對其中的病例結(jié)構(gòu)進(jìn)行檢測、提取和識別.計(jì)算機(jī)視覺(Computer Vision,CV)技術(shù)的研究在醫(yī)學(xué)圖像分割的應(yīng)用為醫(yī)生帶來了許多便利,極大提升了工作效率.如Wu 等人在2019年提出了Vessel-Net,[1]通過卷積塊和多路徑監(jiān)督模塊實(shí)現(xiàn)了視網(wǎng)膜的血管分割.Ali R 等人[2]提出了一種新的基于模糊廣義學(xué)習(xí)系統(tǒng)的技術(shù),將RGB 圖像中興趣區(qū)域提取、數(shù)據(jù)增強(qiáng)和紅綠通道提取聚合到一起,輸入到基于模糊廣義學(xué)習(xí)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)中,對醫(yī)療圖像進(jìn)行分割.類似的研究在肺部和肺結(jié)節(jié)影像、[3-6]腦腫瘤分割、[7][8]宮頸鱗癌和腺鱗癌篩選等方向均有應(yīng)用.

由于醫(yī)療圖像的隱私性,不同醫(yī)療機(jī)構(gòu)所存有的圖像數(shù)據(jù)互不相通,這給深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練出具有足夠泛化能力的模型帶來極大的困難.因此研究者們提出了用聯(lián)邦學(xué)習(xí)[9]進(jìn)行訓(xùn)練,即只將子節(jié)點(diǎn)的加密信息或訓(xùn)練后網(wǎng)絡(luò)權(quán)重傳輸?shù)街鞴?jié)點(diǎn)訓(xùn)練合并,再將網(wǎng)絡(luò)權(quán)重分發(fā)至各個(gè)子節(jié)點(diǎn)(不同醫(yī)療機(jī)構(gòu)),以此保證各子節(jié)點(diǎn)數(shù)據(jù)的隱私.Chang 等人[10]提出了一種分布式異步鑒別器對抗網(wǎng)絡(luò)AsynDGAN,同時(shí)兼顧數(shù)據(jù)隱私保護(hù)和通信效率高的優(yōu)點(diǎn),在隱私敏感的健康實(shí)體學(xué)習(xí)問題上應(yīng)用驗(yàn)證了所提出的框架.Rieke N 等人[11]在2020年探討了聯(lián)邦學(xué)習(xí)如何為未來的數(shù)字健康提供解決方案,并強(qiáng)調(diào)了需要解決的挑戰(zhàn)和考慮.Sheller M J 等人[12]首次將聯(lián)邦學(xué)習(xí)用于多醫(yī)療機(jī)構(gòu)協(xié)作,在不共享患者數(shù)據(jù)的情況下實(shí)現(xiàn)深度學(xué)習(xí)建模.此后聯(lián)邦學(xué)習(xí)在醫(yī)療健康方面也起到了越來越重要的作用.[13][14]

然而目前聯(lián)邦學(xué)習(xí)在醫(yī)療圖像分割上的效果仍然不佳,本文提出結(jié)合主動(dòng)學(xué)習(xí)策略更加高效地利用子節(jié)點(diǎn)數(shù)據(jù)信息,以提升整體任務(wù)的效果.

1 算法描述

1.1 聯(lián)邦學(xué)習(xí)

在本文討論的聯(lián)邦學(xué)習(xí)模式中,存在K 個(gè)源節(jié)點(diǎn)S= {S1,S2,…,SK},在節(jié)點(diǎn)Sk中都包含Nk個(gè)樣本標(biāo)簽對.任務(wù)目標(biāo)是利用來自K個(gè)源節(jié)點(diǎn)的數(shù)據(jù)信息訓(xùn)練出模型f,并在目標(biāo)節(jié)點(diǎn)T上進(jìn)行測試.

在聯(lián)邦學(xué)習(xí)的訓(xùn)練階段,通常設(shè)置一個(gè)中心節(jié)點(diǎn)用于匯總K 個(gè)客戶端(即源節(jié)點(diǎn))的訓(xùn)練信息.在每一輪訓(xùn)練開始時(shí),每個(gè)客戶端都會(huì)從中心節(jié)點(diǎn)復(fù)制一份網(wǎng)絡(luò)模型f的參數(shù)W,之后根據(jù)各自局部數(shù)據(jù)Sk繼續(xù)訓(xùn)練其客戶端的模型f k.在一輪訓(xùn)練結(jié)束時(shí),中心節(jié)點(diǎn)會(huì)將各個(gè)客戶端的參數(shù)平均聚合更新中心節(jié)點(diǎn)的網(wǎng)絡(luò)參數(shù),以備下一輪訓(xùn)練時(shí)重新分發(fā)至其他客戶端.

由于聯(lián)邦學(xué)習(xí)不允許客戶端直接訪問其他客戶端,為了在各客戶端的內(nèi)部訓(xùn)練中也能利用其他客戶端的信息,本文采用FDG(Federated Domain Generalization)聯(lián)邦學(xué)習(xí)模型.[15]FDG 提出利用頻率空間中固有的信息,將原始圖像中的分布信息分離出來,在不泄露隱私的情況下在客戶端之間共享.對于尺寸為N的樣本圖像x,通過傅里葉變換得到其頻率空間,其公式表式如式（1）.

其中頻率空間F(x)可以進(jìn)一步分離出幅值信息Z(x)∈?N×N和相位信息P(x)∈?N×N.如圖2 所示,相位信息相比幅值信息能夠提供更高層的語義信息.因此在第k個(gè)客戶端訓(xùn)練時(shí),從其他K-1 客戶端數(shù)據(jù)中隨機(jī)選取M 個(gè)樣本的幅值信息傳入其中,再與第k 個(gè)客戶端數(shù)據(jù)的相位信息經(jīng)過插值生成新的訓(xùn)練數(shù)據(jù)集Skg=

圖2 相位信息和幅值信息

1.2 圖像分割網(wǎng)絡(luò)

圖像分割網(wǎng)絡(luò)目標(biāo)是對圖像的所有像素進(jìn)行分類以劃分出前后景.首先將基礎(chǔ)分類網(wǎng)絡(luò)VGG16的全連接層替換為卷積層,得到全卷積網(wǎng)絡(luò)(Fully Convolutional Networks, FCN)以保持特征的二維形態(tài).轉(zhuǎn)換后得到的FCN 結(jié)構(gòu)為:Input- (64C3-64C3-P2) - (128C3-128C3-P2) -(256C3-256C3-256C3-P2)-(512C3- 512 C3-512C3-P2)*2-4096C7-4096C1-3C1,其中64C3表示卷積核為3×3、通道數(shù)為256 的卷積層；P2 表示卷積核為2×2的最大池化層.

經(jīng)過FCN 的特征提取后,雖然特征保持了圖像的二維形態(tài),但相對原圖的尺寸縮小了32 倍.要對原圖的每一個(gè)像素都進(jìn)行分類,需要通過反卷積對其上采樣進(jìn)行放大.[16]圖1展示了FCN-8s的反卷積得到原輸入尺寸的示意圖.其中最后一個(gè)池化層pool5得到的特征圖反卷積至32倍得到原圖尺寸,記作FCN-32s；pool5 反卷積2 倍與pool4 特征相加得到合并特征,再反卷積16 倍得到原圖尺寸,記作FCN-16s；FCN1-16s 的合并特征與pool3 特征相加再反卷積8 倍得到原圖尺寸,記作FCN-8s.

圖1 圖像分割網(wǎng)絡(luò)FCN 反卷積示意圖[16]

經(jīng)過反卷積后得到的特征圖尺寸為H×W×3,其中H 和W 分別為特征圖的高和寬與原圖輸入尺寸一致,3 為通道數(shù)表示三個(gè)分類結(jié)果,即前景類別1、前景類別2 和背景.沿通道維度進(jìn)行SoftMax 計(jì)算,得到各像素點(diǎn)位置對應(yīng)分類的概率,即可得到前后景的分割結(jié)果以及前景對應(yīng)類別.同時(shí)對每個(gè)像素分類結(jié)果計(jì)算交叉熵?fù)p失以訓(xùn)練網(wǎng)絡(luò).

1.3 主動(dòng)學(xué)習(xí)策略

在FDG方法中,各客戶端結(jié)合其他客戶端數(shù)據(jù)的相位信息是通過隨機(jī)挑選生成的,這使得模型訓(xùn)練過程振蕩極大難以收斂,若直接選用所有客戶端數(shù)據(jù)則存在數(shù)據(jù)冗余、訓(xùn)練消耗大的問題.本文通過設(shè)計(jì)一種主動(dòng)學(xué)習(xí)策略,主動(dòng)從其他客戶端中挑選出對當(dāng)前客戶端最有訓(xùn)練價(jià)值的樣本幅值信息.

在挑選其他客戶端幅值信息時(shí),為盡可能保證訓(xùn)練的穩(wěn)定性,應(yīng)選取與本地客戶端相位信息更為匹配的樣本.本文提供設(shè)計(jì)一個(gè)匹配網(wǎng)絡(luò)來實(shí)現(xiàn)這一目標(biāo).

本文所設(shè)計(jì)的匹配網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示.網(wǎng)絡(luò)整體由兩個(gè)全連接層組成,本地客戶端的相位信息P(xlocal)和外地客戶端的幅值信息Z(xout)分別傳入第一層全連接層,被提取出長度為128 的特征信息,其公式表示如式(2).

圖3 匹配網(wǎng)絡(luò)結(jié)構(gòu)圖

其中,flatten(·)函數(shù)是將矩陣形式的相位信息和幅值信息展開成一維向量,即

其中W2∈?64×128和b2∈?64×1分別為第二層的參數(shù)矩陣和偏置值.

最后,通過歐式距離計(jì)算與的相似度,再將所有其他客戶端幅值信息按相似度從高到低排序,選取M 個(gè)最相似的樣本幅值信息加入本地客戶端生成新的訓(xùn)練數(shù)據(jù).

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集介紹

本文使用的數(shù)據(jù)集為MESSIDOR 視網(wǎng)膜數(shù)據(jù)集,［18］由法國國防研究部在2004年資助的TECHNO-VISION 項(xiàng)目收集建立,是目前世界上最大的眼底視網(wǎng)膜圖像數(shù)據(jù)庫,包含1200張圖片.任務(wù)的目標(biāo)是將眼底圖像中的視杯(Optic Cup)和視盤(Optic Disc)分割出來,如圖4所示.

圖4 眼底圖像數(shù)據(jù)

原始圖像包含1440×960、2240×1488 和2304×1536 三種大小,本文將所有樣本統(tǒng)一裁剪至包含目標(biāo)區(qū)域的800×800 圖片,再縮小為384×384,如圖5所示.

圖5 圖片預(yù)處理

2.2 實(shí)驗(yàn)設(shè)置

本文將所有樣本數(shù)據(jù)劃分至4個(gè)不同的客戶端,各客戶端的數(shù)據(jù)按3:1 分為訓(xùn)練集和測試集.在訓(xùn)練階段,所有客戶端都采用相同的超參數(shù),采用的圖像分割網(wǎng)絡(luò)為FCN-8s,使用Adam 優(yōu)化器,以0.001 的學(xué)習(xí)率更新模型參數(shù).總共聯(lián)邦訓(xùn)練輪次為100,每個(gè)客戶端內(nèi)部訓(xùn)練輪次為1.實(shí)驗(yàn)通過深度學(xué)習(xí)開源框架PyTorch 實(shí)現(xiàn),所用實(shí)驗(yàn)環(huán)境配置如表1所示.

表1 實(shí)驗(yàn)環(huán)境配置

2.3 結(jié)果分析

2.3.1 主動(dòng)學(xué)習(xí)與隨機(jī)挑選對比

表2展示了本文所提出的主動(dòng)挑選策略與隨機(jī)挑選在實(shí)驗(yàn)中的對比結(jié)果,其中由于Dice 指標(biāo)越高越好,而HD指標(biāo)是越低越好,因此用Total=Dice-HD 作為整體評價(jià)指標(biāo).本文實(shí)驗(yàn)設(shè)置從其他客戶端分別用隨機(jī)和主動(dòng)各選取20%和30%樣本的幅值信息.結(jié)果顯示,在20%的情況下,主動(dòng)方法在Dice 指標(biāo)上比隨機(jī)高2.51%,總指標(biāo)高3.75%；在選取30%幅值信息的情況下,主動(dòng)方法Total 指標(biāo)比隨機(jī)高出3.02%.這充分說明了本文所提出的主動(dòng)聯(lián)邦學(xué)習(xí)方法在眼底圖像分割任務(wù)上的優(yōu)勢.

表2 隨機(jī)挑選與主動(dòng)方法在FCN-8s網(wǎng)絡(luò)中的對比結(jié)果

此外,對比20%隨機(jī)與30%隨機(jī)的結(jié)果發(fā)現(xiàn),后者的Total 指標(biāo)比前者高出1.98%.30%主動(dòng)比20%主動(dòng)的Total指標(biāo)只高出1.25%.這說明了增加選取其他客戶端的幅值信息量,能夠有效提升模型的性能,同樣顯然會(huì)帶來額外的運(yùn)算量.在主動(dòng)學(xué)習(xí)中增加數(shù)據(jù)量帶來的效果提升小于隨機(jī)挑選,這是因?yàn)殡S機(jī)挑選的幅值信息具有不確定性,在不同比例的選擇條件下實(shí)驗(yàn)結(jié)果波動(dòng)較大.另一方面,隨著數(shù)據(jù)量選擇比例的增大,主動(dòng)選擇與隨機(jī)選擇的差距會(huì)逐漸縮小,因?yàn)榇蟛糠謹(jǐn)?shù)據(jù)都被選擇加入了訓(xùn)練.

2.3.2 不同分割網(wǎng)絡(luò)應(yīng)用的對比

為驗(yàn)證所提主動(dòng)挑選策略在不同圖像分割網(wǎng)絡(luò)的適用性,本節(jié)實(shí)驗(yàn)對比了在FCN-32s、FCN-16s、FCN-8s 以及U-Net[17]四種分割網(wǎng)絡(luò)上,主動(dòng)挑選與隨機(jī)挑選20%數(shù)據(jù)進(jìn)行聯(lián)邦學(xué)習(xí)的效果.

表3展示了本文所提主動(dòng)方法應(yīng)用在不同圖像分割網(wǎng)絡(luò)中的結(jié)果.結(jié)果顯示在所有測試的四個(gè)分割網(wǎng)絡(luò)上,主動(dòng)挑選的方法均優(yōu)于隨機(jī)挑選.FCN-32s 與FCN-16s 的Total 指標(biāo)低于FCN-8s,這是因?yàn)镕CN-32s 與FCN-16s 反卷積所使用的特征圖僅包含最后兩層池化層的高階特征,FCN-8s 融合了前兩者的信息達(dá)到了最佳的效果.U-Net 作為經(jīng)典圖像分割網(wǎng)絡(luò),達(dá)到了與FCN-8s接近的效果.

表3 隨機(jī)挑選與主動(dòng)方法在不同網(wǎng)絡(luò)中的Total 結(jié)果

結(jié) 語

本文提出了一種主動(dòng)聯(lián)邦學(xué)習(xí)方法,在訓(xùn)練過程中同時(shí)保證隱私性和數(shù)據(jù)的高效利用.通過在眼底圖像分割任務(wù)中的實(shí)驗(yàn)表明,本文所提出的主動(dòng)聯(lián)邦學(xué)習(xí)方法相比傳統(tǒng)聯(lián)邦學(xué)習(xí)中的隨機(jī)挑選幅值信息,可以更有效的提取出對本地客戶端訓(xùn)練最有價(jià)值的數(shù)據(jù)樣本.經(jīng)過在不同圖像分割網(wǎng)絡(luò)上的測試,進(jìn)一步驗(yàn)證了本文所提方法的廣泛適用性.在訓(xùn)練過程中,本文所提方法能夠在計(jì)算量與模型效果間達(dá)到良好的平衡,僅使用有限的其他客戶端樣本幅值,就能達(dá)到較為理想的分割效果.但是在實(shí)際應(yīng)用中,所提方法仍有一定的局限性.主動(dòng)學(xué)習(xí)需要對所有客戶端數(shù)據(jù)計(jì)算相似性,所消耗的計(jì)算資源較多,對比方法仍有較大的改進(jìn)空間.下一步將對此難題進(jìn)行深入研究,進(jìn)一步提高模型的運(yùn)算效率,提升模型在實(shí)際應(yīng)用中的效果.