王世輝，朱 曉，莫錦華

（1.廣西大學(xué)信息網(wǎng)絡(luò)中心，廣西 南寧 530004；2.廣西工業(yè)職業(yè)技術(shù)學(xué)院電子信息學(xué)院，廣西 南寧 530001；3 .廣西科技信息網(wǎng)絡(luò)中心，廣西 南寧 530015）

0 引言

在傳統(tǒng)的以云為中心的方法中，移動(dòng)設(shè)備收集的數(shù)據(jù)在基于云的服務(wù)器或數(shù)據(jù)中心集中上傳和處理。具體來(lái)說(shuō)，物聯(lián)網(wǎng)設(shè)備和智能手機(jī)收集的數(shù)據(jù)，例如測(cè)量、照片、視頻和位置信息在數(shù)據(jù)中心被聚集。此后，這些數(shù)據(jù)被用來(lái)提供見(jiàn)解或產(chǎn)生有效的推理模型。然而，這種方法不再可持續(xù)，原因如下。首先，數(shù)據(jù)所有者對(duì)隱私越來(lái)越敏感。隨著大數(shù)據(jù)時(shí)代消費(fèi)者對(duì)隱私的擔(dān)憂，政策制定者的回應(yīng)是實(shí)施了數(shù)據(jù)隱私立法，如歐盟的《通用數(shù)據(jù)保護(hù)條例》和美國(guó)的《消費(fèi)者隱私權(quán)利法案》。其次，以云為中心的方法涉及很長(zhǎng)的傳播延遲，并且對(duì)必須做出實(shí)時(shí)決策的應(yīng)用（例如自動(dòng)駕駛汽車系統(tǒng)）會(huì)產(chǎn)生不可接受的延遲。最后，將數(shù)據(jù)傳輸?shù)皆七M(jìn)行處理會(huì)給主干網(wǎng)絡(luò)帶來(lái)負(fù)擔(dān)，特別是在涉及非結(jié)構(gòu)化數(shù)據(jù)的任務(wù)中，例如視頻分析。因此，這可能會(huì)阻礙新技術(shù)的發(fā)展。

為了保證訓(xùn)練數(shù)據(jù)保留在個(gè)人設(shè)備上，并促進(jìn)分布式設(shè)備之間復(fù)雜模型的協(xié)作機(jī)器學(xué)習(xí)，引入了一種稱為聯(lián)合學(xué)習(xí)（FL）的去中心化機(jī)器學(xué)習(xí)（Machine Learning，ML）方法[1]。在FL中，移動(dòng)設(shè)備使用它們的本地?cái)?shù)據(jù)協(xié)同訓(xùn)練FL服務(wù)器所需的ML模型。然后，它們將模型更新（模型的權(quán)重）發(fā)送到FL服務(wù)器以進(jìn)行聚合。這些步驟在多個(gè)回合中重復(fù)，直到達(dá)到所需的精度。這意味著FL可以成為移動(dòng)邊緣網(wǎng)絡(luò)中ML模型訓(xùn)練的使能技術(shù)。與傳統(tǒng)的以云為中心的訓(xùn)練方法相比，在移動(dòng)邊緣網(wǎng)絡(luò)上實(shí)現(xiàn)FL的模型訓(xùn)練具有以下優(yōu)勢(shì)。

聯(lián)合學(xué)習(xí)是近年來(lái)研究比較活躍的一種機(jī)器學(xué)習(xí)框架。FL利用客戶的計(jì)算能力，在沒(méi)有數(shù)據(jù)共享的情況下實(shí)現(xiàn)本地模型培訓(xùn)，幫助解決隱私問(wèn)題。主流方法如FedAvg或FedProx，要求客戶端將本地訓(xùn)練的模型發(fā)送到服務(wù)器，而服務(wù)器使用某種聚合方法更新全局模型。一旦全球模型被更新，全局權(quán)重被廣播回客戶，完成一輪訓(xùn)練。一輪又一輪地重復(fù)，直到達(dá)到收斂。

然而，在大規(guī)模實(shí)施FL之前，還有幾個(gè)問(wèn)題需要解決。首先，盡管不再需要將原始數(shù)據(jù)發(fā)送到云服務(wù)器，但是模型更新的高度維度和參與的移動(dòng)設(shè)備的通信帶寬有限，通信成本仍然是一個(gè)問(wèn)題。特別是，最先進(jìn)的DNN模型訓(xùn)練可以涉及用于聚合的數(shù)百萬(wàn)個(gè)參數(shù)的通信。其次，在大型復(fù)雜的移動(dòng)邊緣網(wǎng)絡(luò)中，參與設(shè)備在數(shù)據(jù)質(zhì)量、計(jì)算能力和參與意愿方面的異構(gòu)性必須從資源分配的角度得到很好的管理。最后，F(xiàn)L不保證惡意參與者或服務(wù)器在場(chǎng)時(shí)的隱私。

現(xiàn)有的FL方法大多集中在監(jiān)督學(xué)習(xí)（Supervise Learning）設(shè)置上[2]，客戶端的數(shù)據(jù)被完整地標(biāo)記。然而，考慮到已標(biāo)記數(shù)據(jù)的獲取成本很高，假設(shè)客戶端數(shù)據(jù)大多是未標(biāo)記的是可行的?？蛻舳松系臉?biāo)簽數(shù)據(jù)不是一個(gè)實(shí)際的設(shè)置，因?yàn)樵诂F(xiàn)實(shí)世界中，邊緣設(shè)備上的數(shù)據(jù)通常沒(méi)有完全標(biāo)簽。例如，一些用戶可能會(huì)在手機(jī)中標(biāo)記圖像，但由于標(biāo)記數(shù)據(jù)需要時(shí)間和人力，不能指望用戶標(biāo)記設(shè)備中的所有數(shù)據(jù)。如果數(shù)據(jù)被采集到服務(wù)器，可以聘請(qǐng)一些專家進(jìn)行標(biāo)記，但邊緣設(shè)備上的數(shù)據(jù)被用戶標(biāo)記的可能性較小，可能因?yàn)椴粚I(yè)而被錯(cuò)誤標(biāo)記。因此，研究聯(lián)合半監(jiān)督學(xué)習(xí)具有重要意義。聯(lián)合半監(jiān)督學(xué)習(xí)（FSSL）是為了從未標(biāo)記的客戶端數(shù)據(jù)中獲取價(jià)值。雖然已經(jīng)提出了許多半監(jiān)督學(xué)習(xí)（SSL）方法，如FixMatch和UDA[3]，但是簡(jiǎn)單地將本地模型訓(xùn)練替換為SSL方法的半監(jiān)督學(xué)習(xí)應(yīng)用不太成功。這是因?yàn)榭蛻舻臄?shù)據(jù)量有限且異構(gòu)性（非I.I.D.）數(shù)據(jù)分布，造成局部模型之間的高度梯度差異。

FedMatch被提出來(lái)解決上述問(wèn)題，使客戶端能夠在使用未標(biāo)記數(shù)據(jù)時(shí)利用來(lái)自其他客戶端的知識(shí)，從而防止本地模型發(fā)散。然而，它以模型權(quán)重的形式進(jìn)行客戶間知識(shí)共享的方法增加了客戶的通信和計(jì)算開銷，并且開銷與模型大小呈線性關(guān)系?？紤]到客戶端比服務(wù)器更受資源限制，增加客戶端負(fù)擔(dān)在FSSL中是不可取的。此外，研究表明，它提供的準(zhǔn)確率明顯低于其他不在客戶之間共享知識(shí)的FSSL方法，這表明知識(shí)共享的想法可能是無(wú)效的，因此在客戶端進(jìn)行模型共享是一個(gè)值得研究的問(wèn)題。FSSL的總體訓(xùn)練流程圖如圖1所示。

圖1 FSSL的總體訓(xùn)練流程圖

本文重新審視了客戶之間的知識(shí)共享，并開發(fā)了一種定制方法，在客戶之間共享知識(shí)，而不使用模型權(quán)重，以實(shí)現(xiàn)有效的客戶間一致性規(guī)則；提出了采用輕量級(jí)模型共享的方案，引用了最初為基于度量的元學(xué)習(xí)實(shí)現(xiàn)FSSL。在提出的方案中，客戶之間的知識(shí)以比模型參數(shù)輕得多的文本形式共享。每個(gè)客戶利用共享的原型對(duì)其未標(biāo)記數(shù)據(jù)進(jìn)行一致性正則化，從而提高了偽標(biāo)記的質(zhì)量，減少了非I.I.D中的局部模型發(fā)散?？紤]到原型的通信成本較低，F(xiàn)SSL允許更多的客戶頻繁地共享知識(shí)，以更好地收斂模型。本文的主要貢獻(xiàn)如下：①研究了FSSL，這是FL在客戶上的一個(gè)實(shí)際應(yīng)用，具有部分標(biāo)記的數(shù)據(jù)。具體地說(shuō)，我們提出了一種新的方法，將原型、客戶之間的知識(shí)共享和一致性正則化與FL相結(jié)合，以實(shí)現(xiàn)高效和準(zhǔn)確的模型訓(xùn)練。②設(shè)計(jì)了兩個(gè)輕量級(jí)組件來(lái)利用未標(biāo)記的數(shù)據(jù)：模型參數(shù)共享和客戶間基于模型參數(shù)的偽標(biāo)注。即使在輕量級(jí)ResNet9中，這些組件實(shí)現(xiàn)的通信為FedMatch的25%，與FedMatch和其他基于數(shù)據(jù)增強(qiáng)的一致性正則化方法相比，客戶端計(jì)算量減少了75%。此外，它們通過(guò)更頻繁地在更多客戶端之間共享知識(shí)來(lái)提高準(zhǔn)確性。

1 基于模型共享的半監(jiān)督聯(lián)合機(jī)器學(xué)習(xí)

本章節(jié)描述了FSSL的細(xì)節(jié)，旨在通過(guò)使用輕量級(jí)原型作為客戶端間的知識(shí)的一種形式，為FSSL提供高效的客戶端間一致性規(guī)則化。圖 1說(shuō)明了FSSL架構(gòu)。

1.1 有監(jiān)督的聯(lián)合學(xué)習(xí)

聯(lián)合學(xué)習(xí)已經(jīng)成為在邊緣網(wǎng)絡(luò)中分發(fā)機(jī)器學(xué)習(xí)模型的一種有吸引力的范例。雖然在機(jī)器學(xué)習(xí)的背景下有大量關(guān)于分布式優(yōu)化的工作，但是聯(lián)合學(xué)習(xí)與傳統(tǒng)的分布式優(yōu)化之間存在兩個(gè)關(guān)鍵挑戰(zhàn)——高度的系統(tǒng)和統(tǒng)計(jì)異構(gòu)性。為了處理異質(zhì)性和解決高通信成本，允許本地更新和低參與度的優(yōu)化方法是聯(lián)合學(xué)習(xí)的流行方法[4]。

FedAvg 是一種典型的FL方法[5]，該方法操作如下：每輪培訓(xùn)r包括廣播、本地培訓(xùn)和聚合。在廣播步驟中，服務(wù)器選擇一組m客戶端Mr，并將全局模型r-1發(fā)送到Mr中的客戶端。每個(gè)客戶端I（∈Mr）使用自己的數(shù)據(jù)和多個(gè)歷元E的基本事實(shí)標(biāo)簽DI將r-1本地更新為?？蛻舳藢⒈镜啬Ｐ桶l(fā)送回服務(wù)器，服務(wù)器將全局模型更新如下：

重要的是，假定客戶端數(shù)據(jù)集具有異構(gòu)數(shù)據(jù)（非I.I.D.）分布。

FSSL對(duì)本地模型進(jìn)行訓(xùn)練，為嵌入空間中的每一類提供良好的嵌入空間和原型。該網(wǎng)絡(luò)將數(shù)據(jù)樣本轉(zhuǎn)換為嵌入向量，并使用與每個(gè)原型的距離對(duì)該向量進(jìn)行分類。將k定義為類的集合，將Dk定義為類k（∈K）的訓(xùn)練數(shù)據(jù)集。訓(xùn)練集DK分為兩個(gè)部分：①支持集（SK），它是DK的隨機(jī)子集；②剩余的文本集（K）（DK減去 SK）。然后從支持集計(jì)算類k的原型：

其中，d是歐幾里得距離函數(shù)。對(duì)模型進(jìn)行訓(xùn)練，使得同一類的嵌入向量靠近，而不同類的嵌入向量遠(yuǎn)離。該算法結(jié)合了原型學(xué)習(xí)和聯(lián)合半監(jiān)督學(xué)習(xí)的思想。

1.2 半監(jiān)督FSSL系統(tǒng)分析

雖然聯(lián)合學(xué)習(xí)可以保護(hù)用戶隱私，但是現(xiàn)有的大多數(shù)方法都依賴于高度標(biāo)注的數(shù)據(jù)。然而，邊緣用戶和設(shè)備具有不可預(yù)測(cè)的可變特性，在邊緣獲得標(biāo)記數(shù)據(jù)使得當(dāng)前的解決方案不切實(shí)際[5]。為了解決這些不足，人們提出了介于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)之間的半監(jiān)督學(xué)習(xí)解決標(biāo)簽數(shù)據(jù)不足的問(wèn)題。半監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，介于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)之間，其中有幾個(gè)已標(biāo)記的實(shí)例和大量的未標(biāo)記的實(shí)例，并且已標(biāo)記的數(shù)據(jù)點(diǎn)的數(shù)量不足以訓(xùn)練期望的監(jiān)督模型。監(jiān)督學(xué)習(xí)框架中的一個(gè)主要挑戰(zhàn)是標(biāo)簽實(shí)例的可用性。數(shù)據(jù)標(biāo)注通常既耗時(shí)又昂貴，而且在每個(gè)邊界點(diǎn)都無(wú)法訪問(wèn)。解決半監(jiān)督學(xué)習(xí)的一種流行方法是通過(guò)在未標(biāo)記的實(shí)例上訓(xùn)練自動(dòng)編碼器提取特征。自動(dòng)編碼器是一種人工神經(jīng)網(wǎng)絡(luò)，它從未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)表示。它的目標(biāo)是將原始數(shù)據(jù)轉(zhuǎn)換為其壓縮表示，并在不丟失有價(jià)值的信息的情況下將其重建回其原始形式。

在半監(jiān)督學(xué)習(xí)中，我們有少量的已標(biāo)記數(shù)據(jù)和大量的未標(biāo)記數(shù)據(jù)。已經(jīng)有多次嘗試將聯(lián)合學(xué)習(xí)與半監(jiān)督學(xué)習(xí)統(tǒng)一。考慮到用戶有大量的標(biāo)簽數(shù)據(jù)，而服務(wù)器有一組標(biāo)簽數(shù)據(jù)，Saeed等開發(fā)了一種自我監(jiān)督的方法，從用戶的未標(biāo)記數(shù)據(jù)中學(xué)習(xí)有價(jià)值的表示[6]。

然而，這些工作都沒(méi)有研究解決數(shù)據(jù)異構(gòu)性問(wèn)題的方法。我們考慮一個(gè)FSSL問(wèn)題，其中服務(wù)器沒(méi)有數(shù)據(jù)，但每個(gè)客戶端I都有一個(gè)私有的非I.I.D.數(shù)據(jù)集，其中是已標(biāo)記的數(shù)據(jù)集，而是未標(biāo)記的數(shù)據(jù)集。K被定義為類別標(biāo)簽的集合。對(duì)于所有客戶端，假定未標(biāo)記的數(shù)據(jù)集比已標(biāo)記的數(shù)據(jù)集大得多，即。有了數(shù)據(jù)設(shè)置，這項(xiàng)工作的目標(biāo)是以聯(lián)合方式訓(xùn)練一個(gè)由參數(shù)化的輕量級(jí)模型共享。在每個(gè)通信循環(huán)r，對(duì)于E局部歷元，每個(gè)參與的客戶端i使用其標(biāo)記和未標(biāo)記的數(shù)據(jù)集將全局參數(shù)r-1在客戶端本地更新為，并為每個(gè)k（∈K）更新其本地原型c。在每個(gè)局部i，k歷元中，客戶端I從中隨機(jī)抽樣一個(gè)帶標(biāo)簽的支持集，并從中隨機(jī)抽樣一個(gè)帶標(biāo)簽的查詢集，從中隨機(jī)抽樣一個(gè)未標(biāo)記的查詢集。

如圖2所示，對(duì)于每個(gè)訓(xùn)練歷元中關(guān)于未標(biāo)記數(shù)據(jù)的本地訓(xùn)練，Mr中的客戶端I使用來(lái)自Hr中的助手客戶端的外部原型標(biāo)記其未標(biāo)記的查詢數(shù)據(jù)。假設(shè)是客戶端在本地歷元e中的當(dāng)前權(quán)重，客戶端i首先使用本地權(quán)重為未標(biāo)記的數(shù)據(jù)點(diǎn)u計(jì)算嵌入向量。然后計(jì)算嵌入向量與每個(gè)類（k∈K）和輔助客戶端j（∈Hr）的原型cj，k之間的歐幾里得距離。對(duì)于幫助客戶端的原型，使用每個(gè)類別的距離的負(fù)數(shù)的Softmax計(jì)算未標(biāo)記數(shù)據(jù)u成為類別k的概率，表示為pi，j，k（U）。

圖2 客戶端共享模型參數(shù)流程圖

在計(jì)算每個(gè)幫助客戶端的原型的類概率后，u的平均類概率計(jì)算如下：

2 實(shí)驗(yàn)結(jié)果

為了進(jìn)行比較，我們遵循了FSSL中的設(shè)置。總共有100個(gè)客戶端，每輪隨機(jī)選擇5個(gè)活躍客戶端（m=5）參加訓(xùn)練。我們?cè)?個(gè)數(shù)據(jù)集（CIFAR-10、SVHN 和STL-10）進(jìn)行了評(píng)估。我們將CIFAR-10數(shù)據(jù)分成54 000個(gè)訓(xùn)練集、3 000個(gè)驗(yàn)證集和3 000個(gè)測(cè)試集，將SVHN數(shù)據(jù)分成54 000個(gè)訓(xùn)練集、2 000個(gè)驗(yàn)證集和2 000個(gè)測(cè)試集。將訓(xùn)練數(shù)據(jù)點(diǎn)分發(fā)給100個(gè)客戶端（即每個(gè)客戶端有540個(gè)數(shù)據(jù)），其中每個(gè)類標(biāo)記5個(gè)實(shí)例，其余490個(gè)實(shí)例未標(biāo)記。對(duì)于未標(biāo)記的數(shù)據(jù)，我們使用I.I.D設(shè)置，其中每個(gè)客戶端每個(gè)類具有相同數(shù)量的數(shù)據(jù)，以及非I.I.D設(shè)置，每個(gè)客戶端具有不平衡的類分布。對(duì)于STL-10，每個(gè)客戶端有1 080個(gè)數(shù)據(jù)點(diǎn)，其中100個(gè)數(shù)據(jù)點(diǎn)已標(biāo)記，其余980個(gè)未標(biāo)記。由于STL-10最初是為SSL構(gòu)建的，它不提供未標(biāo)記數(shù)據(jù)的類別信息，因此我們將其未標(biāo)記數(shù)據(jù)隨機(jī)分布到每個(gè)客戶端。由于STL-10未完全標(biāo)記，因此無(wú)法在數(shù)據(jù)集中評(píng)估FedAVGSL和FedProx-SL。

本文比較了FSSL和基線的測(cè)試精度，將FedMatch參數(shù)設(shè)置為|Hr|=2。考慮到FSSL很容易擴(kuò)展，本文將客戶端helper參數(shù)設(shè)置為|Hr|=5。經(jīng)觀察發(fā)現(xiàn)，F(xiàn)SSL顯著優(yōu)于FedAvg和FedProx基線，后者不使用未標(biāo)記的數(shù)據(jù)。這表明FSSL能夠通過(guò)客戶端之間的原型交換偽標(biāo)記從未標(biāo)記的數(shù)據(jù)中提取知識(shí)。FSSL的性能也優(yōu)于FL和SSL的簡(jiǎn) 單 組 合（即FixMatch-FedAvg/FedProx） 和FedMatch，表明基于原型的知識(shí)共享優(yōu)于無(wú)共享和基于模型的共享。值得注意的是，它在非I.I.D.環(huán)境中的性能下降是微乎其微的，這意味著客戶之間的原型有效地防止了客戶的偏見(jiàn)學(xué)習(xí)。在SVHN中，F(xiàn)SSL甚至可以與完全監(jiān)督的學(xué)習(xí)案例相媲美。相比之下，F(xiàn)edMatch的精確度最低，甚至低于FedAvg和FedProx。這表明基于模型的知識(shí)共享的脆弱性。值得注意的是，在FedMatch的原始論文中，CIFAR-10上報(bào)告的測(cè)試下界精度更差（如圖3、圖4所示）。

圖3 CIFAR-10測(cè)試集精度（I.I.D分布）

圖4 CIFAR-10測(cè)試集精度（Non-I.I.D分布）

3 結(jié)語(yǔ)

本文研究了異質(zhì)數(shù)據(jù)分布下的聯(lián)合半監(jiān)督學(xué)習(xí)，重點(diǎn)是在不增加資源受限客戶端的計(jì)算/通信負(fù)擔(dān)的情況下提高模型的收斂速度；提出了通過(guò)在客戶端之間交換輕量級(jí)模型參數(shù)來(lái)強(qiáng)制客戶端間一致性的建議；在實(shí)驗(yàn)中，從訓(xùn)練準(zhǔn)確率方面對(duì)該方案進(jìn)行了評(píng)估。作為將輕量級(jí)模型應(yīng)用于FSSL的第一次嘗試，所提出的方案比現(xiàn)有的FSSL方法更有效。本文研究結(jié)果為未來(lái)基于輕量級(jí)模型的FSSL框架研究提供了新的思路。