倪憲漢,陳浙梁,李 歡,孔祥杰

(1.浙江省水文管理中心,浙江 杭州 310009;2.浙江工業(yè)大學 計算機科學與技術學院,浙江 杭州 310023)

隨著全球氣候變暖和人類活動增多,自然災害爆發(fā)的不確定性明顯增加,智慧水文的建設越來越受到人們的重視。其旨在構建以云計算、大數(shù)據(jù)等技術為核心的空天地一體化水文遙測體系,從而更加實時、準確地對大自然發(fā)生的水文現(xiàn)象進行觀測記錄,為水文研究提供數(shù)據(jù)基礎[1-3]。顯然,作為水文數(shù)據(jù)的主要來源,水文遙測設備肩負著數(shù)據(jù)的采集與存儲等重任。遙測設備能否準確地提供真實可靠的水文數(shù)據(jù)直接關系到防洪抗旱調度、生態(tài)環(huán)境保護以及水資源綜合開發(fā)等基本決策。然而,遙測設備在實際運行過程中,常因系統(tǒng)故障、設備老化和地址偏遠信號不強等因素,導致采集到的水文數(shù)據(jù)出現(xiàn)數(shù)值錯誤、部分缺失和嚴重斷檔等異常情況[4],這不僅嚴重影響了水文數(shù)據(jù)的完整性、真實性以及準確性,而且直接導致各類水文模型統(tǒng)計分析的能力大大降低。因此,通過對水文數(shù)據(jù)的異常識別,挖掘數(shù)據(jù)潛在特征,完成異常數(shù)據(jù)修復,對于提升水文預報性能,降低因不確定災害帶來的損失具有重要意義。針對如水文遙測數(shù)據(jù)等時序數(shù)據(jù),現(xiàn)有的異常檢測方式大多利用長短時記憶網(wǎng)絡(LSTM)在學習時序特征方面的優(yōu)勢,并結合其他檢測算法構造耦合模型來實現(xiàn)[5-6]。Malhotra等[7]通過堆疊LSTM網(wǎng)絡以學習更高級別的時間特征,并在多個時間步內對數(shù)據(jù)進行預測?？紤]到異常檢測算法的有效性和實時性需求,Ding等[8]提出首先利用LSTM模型評估每個單變量傳感時間序列的實時異常,然后采用高斯混合模型對可能的異常進行多維聯(lián)合檢測。Xu等[9]為了檢測海量時序數(shù)據(jù)深層特征上的異常值,提出了一種新的融合算法LSTM-GAN-XGBOOST。Niu等[10]則提出了一種基于長短時記憶網(wǎng)絡的變分自動編碼器—生成對抗網(wǎng)絡模型(LSTM-based VAE-GAN),即聯(lián)合訓練編碼器、生成對抗網(wǎng)絡,以同時利用編碼器的映射能力和判別器的鑒別能力,可大幅度減少異常識別的時間。然而,上述研究更多關注于異常檢測,而不是修復檢測到的異常數(shù)據(jù)。

考慮到在實際情況中,異常數(shù)據(jù)的識別與修復往往是需要同步解決的,即發(fā)現(xiàn)異常數(shù)據(jù),并對異常部分進行處理。甚至在一定程度上,對異常數(shù)據(jù)進行修復相較于檢測具有更大的實際價值。因此,為了同時實現(xiàn)時序數(shù)據(jù)的異常識別與修復,Zhang等[11]設計了一種迭代的最小變化感知修復算法IMR,該算法對現(xiàn)有的異常檢測技術AR和ARX具有較高的適應性。Park等[12]提出了一種基于魯棒滑動窗口的LightGBM模型,首先利用變分自編碼器(VAE)檢測異常,然后使用隨機森林的方法修復異常。然而,上述研究均沒有考慮到訓練數(shù)據(jù)中包含的隱私問題?；诖?筆者提出了基于聯(lián)邦學習框架和長短時記憶網(wǎng)絡的生成對抗網(wǎng)絡模型,在數(shù)據(jù)隱私得到保護的前提下,同時實現(xiàn)時序數(shù)據(jù)的異常檢測與修復。模型主要由3部分組成,分別是聯(lián)邦學習框架、生成對抗網(wǎng)絡模型及基于注意力機制的長短時記憶網(wǎng)絡。其中,聯(lián)邦學習框架利用其特有的數(shù)據(jù)不出本地的機制實現(xiàn)隱私保護,并采用聯(lián)邦平均算法聚合本地訓練參數(shù)以更新全局模型。生成對抗網(wǎng)絡則為該模型的核心部分,其由生成器與判別器構成,并通過二者相互博弈優(yōu)化模型。筆者利用生成對抗網(wǎng)絡中生成器擬合真實數(shù)據(jù)的特性實現(xiàn)數(shù)據(jù)修復,判別器鑒別真實數(shù)據(jù)與生成數(shù)據(jù)的能力實現(xiàn)異常識別?；谧⒁饬C制的雙向長短時記憶網(wǎng)絡則是為了更好地處理序列數(shù)據(jù),從而進一步挖掘水文數(shù)據(jù)中的時間依賴。通過在4個真實數(shù)據(jù)集上的實驗結果表明:基于聯(lián)邦學習的生成對抗網(wǎng)絡模型在多個指標上均優(yōu)于其他對照組方法,能夠有效地實現(xiàn)時序數(shù)據(jù)的異常檢測與修復。

1 基于聯(lián)邦學習和長短時記憶網(wǎng)絡的生成對抗網(wǎng)絡模型

基于聯(lián)邦學習和長短時記憶網(wǎng)絡的生成對抗網(wǎng)絡模型架構如圖1所示。模型主要由聯(lián)邦學習框架、生成對抗網(wǎng)絡以及基于注意力機制的雙向長短時記憶網(wǎng)絡3部分構成。

圖1 基于聯(lián)邦學習框架的生成對抗網(wǎng)絡模型Fig.1 Generative adversarial network model based on Federated learning framework

整個模型的核心思想:首先對聯(lián)邦學習架構的每一個客戶端(即水文遙測設備)的原始水文數(shù)據(jù)進行處理并構造成相應的矩陣序列;然后等待服務器初始化參數(shù),將待優(yōu)化的生成對抗網(wǎng)絡模型及全局模型參數(shù)發(fā)送至客戶端;最后在客戶端收到模型之后,把各自處理好的矩陣序列輸入到網(wǎng)絡中并開始訓練。其中,生成對抗網(wǎng)絡包括將隨機噪聲z向上采樣生成矩陣序列的生成器網(wǎng)絡,并對輸入的矩陣序列進行卷積識別的判別器網(wǎng)絡。為了使生成器和判別器更加準確地學習原始數(shù)據(jù)的潛在特征,捕獲其時間相關性,以提高生成器的生成數(shù)據(jù)質量及判別器的鑒別能力,將長短時記憶網(wǎng)絡層嵌入其中。由于生成對抗網(wǎng)絡要求判別器優(yōu)于生成器的特性,否則容易造成梯度消失[13-15],故判別器采用基于注意力機制的雙向長短時記憶網(wǎng)絡。每一個客戶端的生成器與判別器以對抗的方式迭代訓練,并將各自訓練好的本地模型參數(shù)發(fā)送至服務器并由服務器整合成新的全局模型參數(shù)重新發(fā)送至客戶端,如此反復訓練,最終模型達到收斂。此時,在水文遙測設備數(shù)據(jù)隱私得到保護的情況下,生成器可以生成幾乎相同的水文數(shù)據(jù),而判別器也有了較強的異常數(shù)據(jù)鑒別能力。

2 聯(lián)邦學習框架

在傳統(tǒng)時序數(shù)據(jù)異常識別與修復的模型訓練的過程中,往往面臨著訓練數(shù)據(jù)數(shù)量不足、質量不優(yōu)等問題,嚴重影響模型的性能。雖然考慮過集中多個水文遙測設備的數(shù)據(jù)統(tǒng)一訓練,但是由于訓練數(shù)據(jù)中包含隱私信息(數(shù)據(jù)鏈路、設備信息和管理日志等),導致難以實現(xiàn)真正的數(shù)據(jù)共享。不僅如此,隨著隱私問題越來越受到重視,相關法律法規(guī)相繼頒布,對私密數(shù)據(jù)的管控、監(jiān)督也變得更加全面嚴格,這也造成了在大多數(shù)行業(yè)里,數(shù)據(jù)往往以孤島的形式存在。

聯(lián)邦學習作為一種新型的分布式機器學習框架,旨在保護用戶數(shù)據(jù)隱私安全的條件下打破數(shù)據(jù)孤島,實現(xiàn)數(shù)據(jù)共享、共同建模。這一概念最初由谷歌提出,主要想法是基于分布在多個設備上的數(shù)據(jù)集建立機器學習模型,并通過可信任的第三方交互模型中間參數(shù)進行聯(lián)合訓練,使得原始數(shù)據(jù)可以保留在本地,實現(xiàn)“數(shù)據(jù)可用不可見”的應用模式[16]。

圖2 聯(lián)邦學習訓練流程Fig.2 Federal learning and training process

在客戶端接收模型之后開始訓練本地數(shù)據(jù)集,計算出本地數(shù)據(jù)的損失梯度,計算式為

(1)

式中:Lk(w)為第k個本地客戶端的損失梯度;w為本地權重參數(shù);fi(w)為第i個樣本的損失;λ∈[0,1];h(w)為正則化函數(shù)。同時,利用梯度下降的方式更新得到新的本地權重參數(shù)w,并將w發(fā)送至服務器以更新全局參數(shù)Wt+1。與傳統(tǒng)集中式訓練方法不同的是,聯(lián)邦學習通過安全的參數(shù)聚合機制更新全局訓練模型,此外,為了降低模型參數(shù)傳輸過程中的通信開銷,采用聯(lián)邦平均算法以加快模型的收斂,即服務器根據(jù)計算式

(2)

3 基于注意力機制的雙向長短時記憶網(wǎng)絡

由于水文數(shù)據(jù)是隨著時間推移而觀測到的如水位、雨量和電壓等水文要素的數(shù)據(jù)集合,故其往往帶有明顯的時間序列特征。對于傳統(tǒng)的生成對抗網(wǎng)絡而言,判別器一般利用卷積層及全連接層等來學習數(shù)據(jù)潛在空間分布,生成器則主要通過上采樣層將隨機噪聲z盡可能地還原為原始數(shù)據(jù)。顯然,無論是生成器還是判別器,都沒有特定的處理時序數(shù)據(jù)的結構。因此,訓練水文數(shù)據(jù)的過程中未考慮其特有的時序特征是導致生成器擬合真實數(shù)據(jù)能力不強,判別器鑒別異常數(shù)據(jù)精度不高的一個主要原因。

為了解決上述問題,分別在生成對抗網(wǎng)絡模型的生成器和判別器部分引入了長短時記憶網(wǎng)絡以及基于注意力機制的雙向長短時記憶網(wǎng)絡結構。LSTM內部結構圖如圖3所示。

圖3 LSTM內部結構圖Fig.3 Internal structure diagram of LSTM

由圖3可以看出:LSTM的核心是記憶單元,并通過名為“門”的結構對其進行剪切或添加信息以控制特征的流通與損失。其共有3個控制單元狀態(tài)的門,分別是輸入門,計算式為

it=σg(Wixt+Uiht-1+bi)

(3)

遺忘門的計算式為

ft=σg(Wfxt+Ufht-1+bf)

(4)

輸出門的計算式為

ot=σg(Woxt+Uoht-1+bo)

(5)

根據(jù)函數(shù)計算式(3～5),可計算得出t時刻的細胞狀態(tài)

(6)

(7)

為了提高判別器的學習能力,還引入了注意力機制。該層提取權重的矩陣為

M=tanh(H)

(8)

α=softmax(wTM)

(9)

并通過H與權重矩陣α的乘積r作為注意力層的輸出,則

r=HαT

(10)

式中:H為LSTM層的輸出,計算式為vT,其中v是將原始水文數(shù)據(jù)轉換為矩陣序列的維度,T為序列的長度;wT為一個訓練學習得到的參數(shù)向量的轉置;r為該層的輸出。通過給生成對抗網(wǎng)絡添加以上結構的改進,即可同時增強判別器檢驗異常以及生成器擬合數(shù)據(jù)的能力,從而提高模型的總體性能。

圖4 基于注意力機制的雙向LSTM網(wǎng)絡模型Fig.4 Attention-based bidirectional long short-term memory networks

4 生成對抗網(wǎng)絡

在時序數(shù)據(jù)異常識別及修復中,大多數(shù)研究者拆解為單一問題逐步解決,或僅針對某類問題進行研究。筆者利用生成對抗網(wǎng)絡獨特的生成器和判別器的模型架構,并根據(jù)其“二元博弈”對抗的思想,同時實現(xiàn)判別器識別異常數(shù)據(jù)和生成器修復異常數(shù)據(jù)的功能。與傳統(tǒng)生成對抗網(wǎng)絡不同的是,筆者對生成器與判別器的結構進行了改進。生成對抗網(wǎng)絡模型如圖5所示。

圖5 生成對抗網(wǎng)絡模型Fig.5 Generative Adversarial Network Model

由圖5可以看出:生成器由全連接層和LSTM層組成,而判別器則包含注意力層、雙向LSTM網(wǎng)絡層以及全連接層。其與傳統(tǒng)生成對抗網(wǎng)絡訓練過程區(qū)別在于,為了提高判別器鑒別異常的能力,需要先給模型輸入正常的水文數(shù)據(jù),當模型達到了收斂之后,判別器具備了一定的鑒別能力,即可輸入異常數(shù)據(jù)進行驗證。因此,首先將原始水文時序數(shù)據(jù)處理成不同時隙的矩陣序列Ft;然后初始化生成器G并將其固定,開始訓練判別器D。以真實數(shù)據(jù)Ft及G偽造的數(shù)據(jù)Ft′作為D的輸入,分別經(jīng)過注意力層,雙向LSTM層以及全連接層,最終輸出鑒別結果。如果判別器輸入為Ft,即真實且正常的水文數(shù)據(jù),則輸出結果為1,否則輸出為0。由于D的分類器一般使用Sigmoid函數(shù),因此,判別器D的訓練是一個最小化其交叉熵的過程,損失函數(shù)為

(11)

式中:PFt為真實數(shù)據(jù)分布;PFt′為生成數(shù)據(jù)或異常數(shù)據(jù)分布;D(x)與D(y)則分別為判別器D對不同數(shù)據(jù)樣本的鑒別結果。顯然對于判別器D而言,無論是生成數(shù)據(jù)還是異常數(shù)據(jù),都希望輸出結果盡可能地接近0。生成器的優(yōu)化則與傳統(tǒng)生成對抗網(wǎng)絡模型訓練過程類似,以一個均勻的噪聲矢量z作為輸入,經(jīng)過全連接層及LSTM層并輸出G(z)=PFt′。對于生成器而言,希望生成的數(shù)據(jù)能夠盡可能地欺騙判別器,因此它的訓練是一個最大化交叉熵的過程,損失函數(shù)為

(12)

當且僅當PFt=PFt′時,獲得全局最優(yōu)解,即模型達到收斂。

5 實 驗

5.1 實驗數(shù)據(jù)集

筆者基于浙江省杭州市、金華市、紹興市和麗水市的4個水文遙測設備在2022-01—03所采集到的水文數(shù)據(jù)進行實驗,確保了模型訓練及測試的數(shù)據(jù)來源真實可靠。然而,由于不同遙測站點設備型號及所處地理位置的差異,導致數(shù)據(jù)記錄間隔、采集到的數(shù)據(jù)屬性等可能不相同。因此,實驗中提取這4個遙測站水文設備的公共屬性,并以5 min為間隔統(tǒng)計一次如水位、雨量和電壓等數(shù)據(jù)的采集記錄。此外,根據(jù)實際情況將不合理的異常數(shù)據(jù)劃分出來單獨作為實驗中異常檢測部分的測試集。考慮到僅在少數(shù)情況下設備采集到的數(shù)據(jù)為異常,故還需要對部分正常數(shù)據(jù)人為做臟以提供足夠的異常數(shù)據(jù)量進行測試。

實驗包含異常檢測以及數(shù)據(jù)修復部分,其具體流程如下:首先給模型輸入僅包含正常數(shù)據(jù)的訓練集,利用生成對抗網(wǎng)絡模型特有的對抗思想同時訓練負責數(shù)據(jù)修復的生成器與異常識別的判別器;然后待模型收斂之后則開始測試,測試過程中模型輸入的是同時包含正常數(shù)據(jù)和異常數(shù)據(jù)的訓練集;最后利用判別器進行識別,并由生成器對識別確認的異常數(shù)據(jù)進行修復。

由于每個水文遙測設備的數(shù)據(jù)集均包含2022-01-01—03-31共90 d的數(shù)據(jù),因此筆者實驗篩選90 d內全部正常數(shù)據(jù)作為訓練集,最后15 d的正常數(shù)據(jù)及其做臟之后的數(shù)據(jù)作為測試集。

5.2 對比實驗

為了體現(xiàn)基于聯(lián)邦學習的生成對抗網(wǎng)絡的優(yōu)越性,筆者將其與4種對照算法進行對比。對照算法涵蓋了參數(shù)型方法、非參數(shù)型方法以及深度學習方法。由于實驗同時包括異常識別與數(shù)據(jù)修復,因此考慮分別對這兩部分進行對比,其中異常檢測包括:1) LSTM。該方法是一種特殊的RNN,能夠在更長的序列中有更好的表現(xiàn)。2) GRU。該方法是LSTM的一種變體,其刪除了其中的遺忘門,僅由更新門和重置門組成。數(shù)據(jù)修復則包括:1) VAE。該方法是一種由編碼器和解碼器組成的結構,經(jīng)過訓練以使編碼解碼后的數(shù)據(jù)與初始數(shù)據(jù)之間的重構誤差最小,其本質是對一個含隱變量的函數(shù)進行密度估計。2) GAN。該方法是一種無監(jiān)督學習方式的深度學習模型,由生成器和判別器組成,并利用對抗的思想使模型不斷優(yōu)化。

所有的實驗運行于同一臺服務器上,主機操作系統(tǒng)為Ubuntu 18.04,內存128 GB,CPU為Intel(R) Xeon(R) Gold,16核雙線程,顯卡為NVDIA Quadro P6000。Pytorch版本為v1.6.0,初始學習率設置為0.000 1,批次大小(Batch size)設置為64。此外,實驗使用平均絕對誤差(Mean absolute error,MAE)、均方誤差(Mean square error,MSE)、根均方誤差(Root mean square error,RMSE)以及平均絕對百分比誤差(Mean absolute percentage error,MAPE)作為評價指標。其中,異常檢測各項指標的數(shù)據(jù)由模型中判別器的檢測結果與真實標簽對比計算得出,而數(shù)據(jù)修復的指標數(shù)據(jù)則是通過做臟之前的正常數(shù)據(jù)與經(jīng)過生成器修復之后的數(shù)據(jù)利用公式計算得出。筆者模型通過隨機抽取50條測試數(shù)據(jù)進行數(shù)據(jù)修復測試,各項指標數(shù)據(jù)如圖6所示。異常檢測針對MSE及數(shù)據(jù)修復利用MAE指標進行對比的情況分別如圖7,8所示。

圖6 數(shù)據(jù)修復性能Fig.6 Performance of data repair

圖7 異常檢測MSE對比Fig.7 MSE comparison of anomaly detection

圖8 數(shù)據(jù)修復MAE對比Fig.8 MAE comparison of data repair

表1,2分別列出了異常檢測及數(shù)據(jù)修復中各組按最終測試的平均結果。表1,2中評價指標均為預測值與真實值之間的誤差。由表1可以看出:LSTM與GRU在時間序列預測方面相較于GAN模型的判別器而言有著明顯的優(yōu)勢,MAE,MSE,MAPE的指標數(shù)據(jù)分別為0.371,0.212,0.135 41以及0.393,0.230,0.174 11。雖然筆者提出的模型將雙向LSTM嵌入其中,但是由于受到生成器生成數(shù)據(jù)極易造成模態(tài)單一的制約導致無法考慮到所有的異常情況,故而鑒別能力稍遜于這兩大傳統(tǒng)的預測模型。由表2可以看出:GAN作為圖像處理方面的中流砥柱,其在水文數(shù)據(jù)修復工作上同樣有著不俗的表現(xiàn),MAE,MSE,MAPE的指標數(shù)據(jù)分別為4.420,1.843,0.859 40。然而,由于算法沒有考慮到數(shù)據(jù)的時序特征以及容易導致模式坍塌等問題,導致修復后的數(shù)據(jù)與原始正常數(shù)據(jù)仍有較大差距。與之不同的是,VAE使用編碼器和解碼器對水文數(shù)據(jù)的潛在變量的分布顯式建模,從而可以指定生成的數(shù)據(jù)分布,故相較于GAN,VAE在水文數(shù)據(jù)修復方面有略微的性能提升。筆者提出的基于聯(lián)邦學習的生成對抗網(wǎng)絡模型取得了最優(yōu)的實驗結果,MAE,MSE,MAPE的指標數(shù)據(jù)均低于對照組,分別為3.430,1.708,0.548 24。

表1 異常檢測性能對比

表2 數(shù)據(jù)修復性能對比

5.3 網(wǎng)絡消融實驗

為了證明聯(lián)邦學習框架以及基于注意力機制的長短時記憶網(wǎng)絡的有效性,分別去除這兩部分,進行消融性實驗,實驗結果如表3所示。其中FedLGAN*為刪除聯(lián)邦學習框架后,僅使用生成對抗網(wǎng)絡與長短時記憶網(wǎng)絡的實驗結果,而FedLGAN**則表示刪除長短時記憶網(wǎng)絡后,即聯(lián)邦學習框架與生成對抗網(wǎng)絡結合的實驗結果。由表3可以看出:當僅使用生成對抗網(wǎng)絡模型時,無論是在異常檢測還是數(shù)據(jù)修復方面都沒有獲得良好的實驗效果。在考慮到實驗數(shù)據(jù)的時序特征的情況下,FedLGAN*在異常檢測與數(shù)據(jù)修復方面的MAPE指標分別為0.750 37和0.826 39,相較于原始的生成對抗網(wǎng)絡模型有著較大的提升。與之不同的是,FedLGAN**更多關注于數(shù)據(jù)的隱私安全,利用聯(lián)邦學習框架對原始模型進行改進,其在異常檢測方面的MSE指標為6.390,而數(shù)據(jù)修復方面的RMSE指標則為2.674。雖然相較于長短時記憶網(wǎng)絡帶來的性能提升,聯(lián)邦學習框架甚至可能給某些指標帶來負面影響,但是略微犧牲模型的性能換取數(shù)據(jù)的隱私安全具有重要現(xiàn)實意義以及價值。值得一提的是,由于聯(lián)邦學習架構特有的分布式訓練,導致在通信方面有著較高的要求,因此其模型訓練時間往往更長。在同時考慮數(shù)據(jù)隱私安全和其時序特征的情況下,各項指標在水文數(shù)據(jù)集下都取得了最優(yōu)的實驗結果。因此,筆者引入聯(lián)邦學習框架和基于注意力機制的雙向長短時記憶網(wǎng)絡都對模型性能的提升起到了較大的作用。

表3 消融實驗性能對比

6 結 論

筆者提出基于聯(lián)邦學習框架的生成對抗網(wǎng)絡模型,其中,聯(lián)邦學習架構作用于數(shù)據(jù)隱私保護,生成對抗網(wǎng)絡中的判別器與生成器則分別用于數(shù)據(jù)異常檢測和數(shù)據(jù)修復。為了提高模型提取時序特征的能力,分別將基于注意力機制的雙向長短時記憶網(wǎng)絡及普通長短時記憶網(wǎng)絡嵌入到模型的判別器和生成器中。模型將水文遙測設備的水文數(shù)據(jù)處理成時序矩陣序列之后作為輸入,由判別器中的雙向長短時記憶網(wǎng)絡層提取相關時序信息,并將其結果即隱層狀態(tài)作為注意力層的輸入以獲取權重矩陣,最終通過全連接層輸出鑒別結果,完成數(shù)據(jù)的異常識別。此外,由判別器判定為異常數(shù)據(jù)的矩陣序列還會輸入至生成器,利用其擬合數(shù)據(jù)分布的能力完成數(shù)據(jù)修復。實驗使用浙江省水文通信平臺提供的杭州市、金華市、紹興市和麗水市的4個遙測設備的真實水文數(shù)據(jù)集,實驗結果充分驗證了該模型的可行性與優(yōu)越性。然而,由于數(shù)據(jù)來源的局限性,可能導致在其他的水文遙測設備上表現(xiàn)不佳,因此后續(xù)會在省內其他水文遙測設備采集到的數(shù)據(jù)上繼續(xù)驗證模型的有效性。此外,考慮到聯(lián)邦學習框架的分布式訓練方式,相較于集中式模型運行效率不高,后續(xù)工作也將著眼于降低聯(lián)邦學習的通信次數(shù),減少訓練時長,從而進一步提高網(wǎng)絡模型的實用性。