李純真

（福州大學(xué) 先進(jìn)制造學(xué)院，福建 泉州 362200）

0 引 言

近年來，國家相關(guān)部委為推進(jìn)“互聯(lián)網(wǎng)+醫(yī)療健康”戰(zhàn)略，多次發(fā)文倡導(dǎo)各醫(yī)療機(jī)構(gòu)加快信息互通共享，推進(jìn)信息化和數(shù)字化建設(shè)，全面推進(jìn)醫(yī)院轉(zhuǎn)型發(fā)展。其中，醫(yī)學(xué)影像對最終診斷病情起到了不可替代的作用，醫(yī)院在常規(guī)臨床診斷中產(chǎn)生了大量的影像數(shù)據(jù)。這些影像數(shù)據(jù)需要經(jīng)驗(yàn)豐富的醫(yī)生耗費(fèi)大量時(shí)間進(jìn)行標(biāo)注，并且由于一些法律和道德的限制，收集患者數(shù)據(jù)并進(jìn)行統(tǒng)一存儲(chǔ)并不可行。利用分布式技術(shù)對存儲(chǔ)在不同醫(yī)院的影像數(shù)據(jù)進(jìn)自動(dòng)分析，成為未來醫(yī)療健康大數(shù)據(jù)的發(fā)展方向。

聯(lián)邦學(xué)習(xí)提供了一種去中心化的隱私保護(hù)解決方案，可以在不共享本地?cái)?shù)據(jù)的情況下，利用這些分散的數(shù)據(jù)在幾個(gè)機(jī)構(gòu)之間協(xié)同訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型[1]。在一些醫(yī)學(xué)影像分析任務(wù)如新冠肺炎檢測[2]、乳腺癌分類[3]、腦腫瘤分割[4]上，聯(lián)邦學(xué)習(xí)已經(jīng)被證明與集中數(shù)據(jù)訓(xùn)練的模型性能相差無幾。然而，上述任務(wù)所采用的數(shù)據(jù)集來源于單一的臨床中心和相同的成像協(xié)議，無法模擬聯(lián)邦學(xué)習(xí)面臨的實(shí)際環(huán)境。實(shí)際上，由于成像儀器、患者的人口特征以及地域不同，不同醫(yī)療機(jī)構(gòu)之間的采集的心臟磁共振成像（Magnetic Resonance Imaging，MRI）圖像存在一些如圖1所示的差異。傳統(tǒng)聯(lián)邦學(xué)習(xí)的做法是訓(xùn)練一個(gè)全局模型。盡管該模型在所有客戶端上可以取得較高的平均性能，但是對于數(shù)據(jù)分布差異較大的客戶端來說，該模型并不適配本地?cái)?shù)據(jù)，造成性能損失。

圖1 不同制造商的MRI成像對比

與傳統(tǒng)聯(lián)邦學(xué)習(xí)對本地模型進(jìn)行加權(quán)聚合的做法不同，個(gè)性化聯(lián)邦學(xué)習(xí)是以分散的方式為每個(gè)客戶學(xué)習(xí)個(gè)性化的模型。主流的個(gè)性化方法包括多任務(wù)學(xué)習(xí)、模型分層以及模型插值方法。DENG等人提出的自適應(yīng)個(gè)性化聯(lián)邦學(xué)習(xí)（Adaptive Personalized Federated Learning，APFL）算法將本地模型與全局模型進(jìn)行自適應(yīng)加權(quán)，獲得個(gè)性化模型[5]。ARIVAZHAGAN等人將模型分成個(gè)性化層和基礎(chǔ)層，所有客戶端模型共享基本層，不同客戶端具有不同的個(gè)性化頂層來適應(yīng)本地?cái)?shù)據(jù)分布[6]。THAPA等提出將模型最后一層保留在本地客戶端，減少因標(biāo)簽傳輸導(dǎo)致的通信成本增加問題和數(shù)據(jù)泄露問題[7]。FALLAH等借鑒元學(xué)習(xí)思想，將服務(wù)器發(fā)送給客戶端的模型進(jìn)行初始化，然后，客戶端根據(jù)自身私有數(shù)據(jù)再進(jìn)行若干次訓(xùn)練，從而達(dá)到聯(lián)邦個(gè)性化元學(xué)習(xí)的效果[8]。

目前，聯(lián)邦學(xué)習(xí)在醫(yī)學(xué)影像分析上的研究，致力于在多個(gè)非獨(dú)立同分布漂移的客戶端數(shù)據(jù)集上學(xué)習(xí)到一個(gè)健壯的全局模型。例如，CHANG K等人[9]采用聯(lián)邦學(xué)習(xí)在幾個(gè)醫(yī)療機(jī)構(gòu)之間聯(lián)合對Kaggle糖尿病視網(wǎng)膜病變分類任務(wù)進(jìn)行建模，取得了與集中性訓(xùn)練相當(dāng)?shù)膶?shí)驗(yàn)結(jié)果。JIANG等人[10]通過協(xié)調(diào)局部和全局漂移解決數(shù)據(jù)異質(zhì)性引起的整體非獨(dú)立同分布漂移問題，幫助全局模型向收斂最優(yōu)解優(yōu)化。以上這些工作通過生成對抗網(wǎng)絡(luò)和模型正則化等方法有效降低了數(shù)據(jù)異質(zhì)性的影響，但是，目前針對個(gè)性化聯(lián)邦學(xué)習(xí)在多源域心臟MRI數(shù)據(jù)的可行性與性能表現(xiàn)的研究依然較少。

為了解決上述問題，本文提出了一種聯(lián)邦學(xué)習(xí)個(gè)性化方法來對左心室進(jìn)行多源域聯(lián)合分割。在聯(lián)邦學(xué)習(xí)框架下引入直方圖匹配，減少客戶端灰度分布差異，提高全局模型的健壯性，并在此基礎(chǔ)上進(jìn)行本地微調(diào)訓(xùn)練以適應(yīng)客戶端數(shù)據(jù)分布，從全局和本地兩個(gè)方面解決非獨(dú)立同分布問題，提升分割的準(zhǔn)確性。

1 方 法

1.1 聯(lián)邦學(xué)習(xí)

在醫(yī)療領(lǐng)域，聯(lián)邦學(xué)習(xí)一般由多家醫(yī)院與一個(gè)可信第三方作為中心服務(wù)器組成客戶-服務(wù)器架構(gòu)，如圖2所示。

圖2 聯(lián)邦學(xué)習(xí)任務(wù)場景

假設(shè)一共有K個(gè)醫(yī)療機(jī)構(gòu)參與聯(lián)邦建模，這些機(jī)構(gòu)是數(shù)據(jù)的擁有方，pk表示第k個(gè)機(jī)構(gòu)的數(shù)據(jù)分布。服務(wù)器用于模型參數(shù)的聚合，是模型的擁有方。首先，中心服務(wù)器將初始化的全局模型發(fā)送給各機(jī)構(gòu)。然后，每個(gè)客戶端使用學(xué)習(xí)率η和梯度gk在其各自的本地?cái)?shù)據(jù)集上進(jìn)行至少一輪的更新，使更新完成的模型權(quán)重被發(fā)送到服務(wù)器，以與每個(gè)中心的樣本數(shù)量成比例的方式聚合到全局模型中：

聚合后，服務(wù)器將新模型重新分配給客戶端，以執(zhí)行下一輪本地模型訓(xùn)練。當(dāng)達(dá)到設(shè)置的迭代輪次或者收斂條件，訓(xùn)練結(jié)束，并獲得最終的全局模型。

1.2 直方圖匹配

針對不同醫(yī)療中心數(shù)據(jù)之間的分布漂移問題，本文提出基于灰度直方圖匹配的數(shù)據(jù)增強(qiáng)方法，使用直方圖匹配來縮小多源之間的數(shù)據(jù)分布差異。由于灰度直方圖描述了MRI圖像中每種灰度級(jí)出現(xiàn)的頻率，且不會(huì)提供有關(guān)像素之間空間關(guān)系的任何信息，因此，共享均勻化的灰度直方圖序列并不會(huì)導(dǎo)致信息泄露。直方圖匹配主要分為局部累加和全局平均兩個(gè)過程。首先，給定來自第k個(gè)客戶端的樣本灰度級(jí)在[0,L-1]內(nèi)，其直方圖是一個(gè)離散函數(shù)，定義為

式中：n是像素總數(shù)，nk是第k個(gè)灰度級(jí)的像素總數(shù)，rk是第k個(gè)灰度級(jí)，k=0,1,…,L-1?；叶戎狈綀D反映了圖像的灰度分布信息?？蛻舳藢Ρ镜貓D像的直方圖進(jìn)行累加并平均，以獲得局部灰度直方圖H k：

其次，中心服務(wù)器通過一輪通信，得到K個(gè)參與方的局部灰度直方圖，進(jìn)行全局平均：

最后，本地客戶端對本地?cái)?shù)據(jù)進(jìn)行直方圖匹配，使輸出圖像的概率密度函數(shù)等于全局灰度直方圖H。圖3展示了源圖像、目標(biāo)圖像和增強(qiáng)圖像的一些樣本。

圖3 源圖像經(jīng)過直方圖匹配后的效果

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)細(xì)節(jié)

2.1.1 數(shù)據(jù)集及客戶端設(shè)置

為了模擬真實(shí)的聯(lián)邦學(xué)習(xí)環(huán)境，本文設(shè)計(jì)了一個(gè)獨(dú)特的數(shù)據(jù)集。該數(shù)據(jù)集由來自M&Ms多中心心臟圖像分割挑戰(zhàn)賽數(shù)據(jù)集[11]的5個(gè)中心和ACDC2017心臟病自動(dòng)診斷挑戰(zhàn)賽數(shù)據(jù)集[12]的1個(gè)子集作為第6個(gè)中心組成，使用的數(shù)據(jù)集詳細(xì)信息如表1所示。該數(shù)據(jù)集一共包含380個(gè)受試者的T1加權(quán)心臟Cine-MRI序列，并根據(jù)受試者來源分為6個(gè)醫(yī)院。每個(gè)醫(yī)院按照0.50∶0.25∶0.25的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集。

表1 數(shù)據(jù)集所含的各醫(yī)療中心信息

原始數(shù)據(jù)集軸向平面上包括大小從196×240 px到320×320 px不等的圖像，通過計(jì)算掩碼質(zhì)心，繼而中心裁剪獲得128×128 px大小的感興趣區(qū)域（Region of Interest，ROI），減少無用信息的同時(shí)使心臟區(qū)域具有相似的視野，并通過直方圖匹配將不同醫(yī)院數(shù)據(jù)的灰度分布進(jìn)行均衡化，如圖4所示。

圖4 圖片預(yù)處理

2.1.2 超參數(shù)

在聯(lián)邦訓(xùn)練過程中，將每個(gè)數(shù)據(jù)來源視為一個(gè)醫(yī)院，所有醫(yī)院使用相同的超參數(shù)設(shè)置。采用學(xué)習(xí)率為0.000 1，動(dòng)量為0.9和0.99的Adam優(yōu)化器對本地模型進(jìn)行訓(xùn)練，批大小均設(shè)置為16。根據(jù)McMahan等的實(shí)驗(yàn)結(jié)果，較大的本地訓(xùn)練次數(shù)有助于減少通信成本，但是性能略有損失。通信成本不是本文所考慮的問題，因此，每一輪的本地訓(xùn)練次數(shù)Epoch設(shè)置為1。

2.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文個(gè)性化聯(lián)邦學(xué)習(xí)的有效性，分別對本地訓(xùn)練、集中式學(xué)習(xí)、增量學(xué)習(xí)和傳統(tǒng)聯(lián)邦學(xué)習(xí)在MRI左心室分割任務(wù)上的性能進(jìn)行對比。表2為本文方法和其他聯(lián)邦學(xué)習(xí)方法在左心室分割任務(wù)上的實(shí)驗(yàn)結(jié)果。集中訓(xùn)練表示收集各醫(yī)療機(jī)構(gòu)數(shù)據(jù)進(jìn)行傳統(tǒng)深度學(xué)習(xí)訓(xùn)練。由表2的結(jié)果能夠看出，本文方法在左心室分割精度上分別比增量學(xué)習(xí)和聯(lián)邦平均高出4.79%和1.12%，并且達(dá)到集中訓(xùn)練的理論上限結(jié)果的99.63%，證明了本文個(gè)性化聯(lián)邦學(xué)習(xí)方法在多機(jī)構(gòu)協(xié)同合作與隱私保護(hù)方面的巨大潛力。

表2 左心室分割任務(wù)實(shí)驗(yàn)結(jié)果

3 結(jié) 語

本文針對聯(lián)邦學(xué)習(xí)在面對醫(yī)學(xué)影像分析任務(wù)時(shí)遇到的非獨(dú)立同分布問題，提出了一種個(gè)性化聯(lián)邦學(xué)習(xí)的方法，主要在不同客戶端之間進(jìn)行直方圖匹配以減少客戶端數(shù)據(jù)差異，提高全局模型的健壯性，在本地利用模型微調(diào)的方法獲得個(gè)性化模型。相較于其他隱私保護(hù)分布式學(xué)習(xí)方法，本文方法在多中心心臟MRI數(shù)據(jù)集以及左心室分割任務(wù)上均取得了更高的精度。實(shí)驗(yàn)結(jié)果表明，本文所提的個(gè)性化方法可以在非獨(dú)立同分布設(shè)置下提高聯(lián)邦學(xué)習(xí)的性能。