關(guān)鍵詞：病害識(shí)別；聯(lián)邦學(xué)習(xí)；異構(gòu)數(shù)據(jù)；梯度更新；自監(jiān)督學(xué)習(xí)；玉米葉片

玉米作為我國(guó)的主要糧食作物，近年來(lái)，其葉片病害呈重發(fā)態(tài)勢(shì)，嚴(yán)重影響作物產(chǎn)量［1］。病害快準(zhǔn)識(shí)別有助于及時(shí)診斷葉片受災(zāi)狀況，開(kāi)展針對(duì)性病害防治，指導(dǎo)后續(xù)種植管理，以降低農(nóng)業(yè)經(jīng)濟(jì)損失、促進(jìn)農(nóng)業(yè)發(fā)展。

當(dāng)下，以深度學(xué)習(xí)為代表的人工智能算法在病害識(shí)別方面取得積極進(jìn)展。杜甜甜等［2］通過(guò)改進(jìn)RegNet結(jié)合遷移學(xué)習(xí)增強(qiáng)模型特征提取能力，提高對(duì)馬鈴薯等農(nóng)作物病害程度識(shí)別準(zhǔn)確率。孫俊等［3］在MobileNet-V2模型基礎(chǔ)上，嵌入輕量化坐標(biāo)注意力機(jī)制識(shí)別玉米等葉片病害，可有效平衡模型復(fù)雜度和識(shí)別準(zhǔn)確率。王澤鈞等［4］提出融合注意力機(jī)制和多尺度特征的輕量化模型LMA-CNNs，兼顧識(shí)別準(zhǔn)確率和模型參數(shù)量。深度學(xué)習(xí)模型在農(nóng)業(yè)病害識(shí)別領(lǐng)域潛力巨大，但性能卻嚴(yán)重依賴于大規(guī)模數(shù)據(jù)集。實(shí)際應(yīng)用中，病害數(shù)據(jù)通常具有分散性且缺少有效互通，形成“數(shù)據(jù)孤島”。基于本地?cái)?shù)據(jù)所形成的局部模型難以擬合種類繁多、特征多樣的病害樣本，若對(duì)分散數(shù)據(jù)進(jìn)行集中訓(xùn)練則會(huì)急劇增大數(shù)據(jù)傳輸、存儲(chǔ)和處理壓力，甚至造成數(shù)據(jù)泄露。將聯(lián)邦學(xué)習(xí)引入玉米葉片病害識(shí)別模型訓(xùn)練過(guò)程，利用不同區(qū)域農(nóng)場(chǎng)的病害數(shù)據(jù)執(zhí)行本地模型訓(xùn)練，以模型共享的方式訓(xùn)練全局模型，從而提高玉米葉片病害識(shí)別的準(zhǔn)確性和泛化能力。另一方面，深度學(xué)習(xí)所需人工參與數(shù)據(jù)標(biāo)注的屬性更加強(qiáng)化資源共享和數(shù)據(jù)規(guī)模對(duì)其發(fā)展的影響。而自監(jiān)督技術(shù)利用數(shù)據(jù)自身信息進(jìn)行特征學(xué)習(xí)和模型訓(xùn)練，降低標(biāo)注數(shù)據(jù)需求，輔助解決病害識(shí)別問(wèn)題。Monowar等［5］提出一種自監(jiān)督聚類模型，在多種作物葉片病害分類中取得優(yōu)秀性能。Li等［6］全面介紹了在農(nóng)業(yè)應(yīng)用中以自監(jiān)督學(xué)習(xí)為代表的標(biāo)簽高效技術(shù)方案，用以解決收集、處理和標(biāo)記數(shù)據(jù)集昂貴且耗時(shí)的問(wèn)題。

聯(lián)邦學(xué)習(xí)通過(guò)本地訓(xùn)練、云端聚合的方式形成全局模型，避免用戶數(shù)據(jù)上傳［7］，可有效降低數(shù)據(jù)傳輸帶寬限制和數(shù)據(jù)泄露風(fēng)險(xiǎn)。Zhang等［8］提出一種基于聯(lián)邦隨機(jī)森林的玉米產(chǎn)量預(yù)測(cè)算法，性能不僅優(yōu)于本地訓(xùn)練模型，且與傳統(tǒng)集中范式隨機(jī)森林方法相比，準(zhǔn)確性幾乎無(wú)損。Kumar等［9］提出一種基于深度隱私編碼的聯(lián)邦學(xué)習(xí)框架以最大限度地降低智慧農(nóng)業(yè)中安全風(fēng)險(xiǎn)和數(shù)據(jù)隱私侵犯。Yu等［10］針對(duì)農(nóng)業(yè)物聯(lián)網(wǎng)中邊緣計(jì)算設(shè)備能源和通信資源有限的問(wèn)題，提出能量感知設(shè)備調(diào)度的聯(lián)邦學(xué)習(xí)框架，提升了模型收斂速度、建模精度，降低了通信成本。然而，現(xiàn)有聯(lián)邦學(xué)習(xí)研究多面向處理數(shù)據(jù)分布與資源差異問(wèn)題［11，12］，缺少應(yīng)對(duì)數(shù)據(jù)特征差異［13（］分辨率不同、收集環(huán)境差異）與數(shù)據(jù)種類缺失異構(gòu)的方案。

本文提出基于聯(lián)邦學(xué)習(xí)的玉米葉片病害識(shí)別方法，針對(duì)數(shù)據(jù)種類缺失異構(gòu)利用損失函數(shù)梯度更新策略，達(dá)成模型訓(xùn)練過(guò)程趨于穩(wěn)定的同時(shí)學(xué)習(xí)識(shí)別本地缺失病害權(quán)重信息，提升模型泛化準(zhǔn)確率。針對(duì)數(shù)據(jù)特征差異通過(guò)DeepClusterv2［14］算法在服務(wù)器端對(duì)初始模型進(jìn)行數(shù)據(jù)通用低維特征提取的自監(jiān)督預(yù)訓(xùn)練，緩解模型過(guò)度擬合本地特征差異數(shù)據(jù)，提高模型性能和收斂速度。

1 試驗(yàn)數(shù)據(jù)

本文所采用的玉米葉片病害數(shù)據(jù)來(lái)自于“AIChallenger”農(nóng)作物病害程度數(shù)據(jù)集，詳見(jiàn)表1。根據(jù)病害種類可劃分為5種：灰斑病、銹病、葉斑病、矮花葉病、健康；依據(jù)病害嚴(yán)重程度可細(xì)化為：灰斑?。ㄒ话悖篏（G）、灰斑?。▏?yán)重）：G（S）、銹?。ㄒ话悖篟（G）、銹?。▏?yán)重）：R（S）、葉斑?。ㄒ话悖篠（G）、葉斑病（嚴(yán)重）：S（S）、矮花葉病：D、健康：H。玉米葉片病害數(shù)據(jù)樣例如圖1所示。

數(shù)據(jù)處理可使模型學(xué)習(xí)同類數(shù)據(jù)的不變互信息（Invariantmutualinformation）［15］，但數(shù)據(jù)集規(guī)模較小時(shí)，過(guò)多處理反而會(huì)引入一定噪聲［16，17］，丟失原始數(shù)據(jù)部分特征信息。因此，本文采用兩種處理方式：1）歸一化：為避免特征差異數(shù)據(jù)的不同尺度導(dǎo)致優(yōu)化算法不穩(wěn)定，采用數(shù)據(jù)各維度像素特征的均值與方差歸一化；2）中心裁剪：為去除數(shù)據(jù)非相關(guān)信息、減少計(jì)算復(fù)雜度，采用與模型輸入維度尺寸匹配的中心裁剪。

2 算法與模型設(shè)計(jì)

2.1 模型結(jié)構(gòu)

本文選擇原始ResNet50作為基礎(chǔ)模型［18］，其殘差網(wǎng)絡(luò)有效解決深層網(wǎng)絡(luò)中的梯度問(wèn)題，使其特征表達(dá)能力隨著網(wǎng)絡(luò)層數(shù)的增加而提高，簡(jiǎn)單易用亦可擴(kuò)展到其他作物，其主干網(wǎng)絡(luò)為圖2中的Bottleneck層。

自監(jiān)督預(yù)訓(xùn)練階段，以最大化互信息為導(dǎo)向的訓(xùn)練方式使模型Bottleneck層可以取得捕獲數(shù)據(jù)的低維通用表示［19］，而聚類層其自發(fā)實(shí)現(xiàn)的聚類、偽標(biāo)簽標(biāo)注和分類操作實(shí)現(xiàn)模型的訓(xùn)練閉環(huán)。因預(yù)訓(xùn)練數(shù)據(jù)無(wú)真實(shí)標(biāo)簽標(biāo)注，在后續(xù)聯(lián)邦訓(xùn)練中只保留Bottleneck層，如圖2（a）所示。聯(lián)邦訓(xùn)練階段模型參數(shù)權(quán)重中Bottleneck層為通用特征提取器，為保留預(yù)訓(xùn)練模型學(xué)習(xí)到的通用特征表示，防止本地?cái)?shù)據(jù)破壞其通用互信息的提取能力，需在聯(lián)邦訓(xùn)練伊始增設(shè)新的全連接層作為分類器以重新構(gòu)建全局模型，使用微調(diào)實(shí)現(xiàn)分類層與Bottleneck層前期分步訓(xùn)練，避免Bottleneck層參數(shù)權(quán)重在訓(xùn)練初期過(guò)度擬合用戶數(shù)據(jù)，丟失其原有特性，如圖2（b）所示。

2.2 基于FedAvg的聯(lián)邦學(xué)習(xí)框架

聯(lián)邦學(xué)習(xí)是一種分布式機(jī)器學(xué)習(xí)技術(shù)，可在多個(gè)擁有本地?cái)?shù)據(jù)的用戶之間進(jìn)行分布式訓(xùn)練，通過(guò)聚合模型參數(shù)構(gòu)建全局模型，因無(wú)需上傳本地?cái)?shù)據(jù)可實(shí)現(xiàn)數(shù)據(jù)隱私保護(hù)和共享計(jì)算的平衡。聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程包含5個(gè)步驟：服務(wù)器模型下發(fā)、本地訓(xùn)練、模型上傳、聚合和模型迭代，如圖3所示?；诼?lián)邦學(xué)習(xí)的農(nóng)作物病害識(shí)別場(chǎng)景下，通常優(yōu)先選擇使用平均算法FedAvg［7］的聯(lián)邦架構(gòu)，其對(duì)非極端異構(gòu)設(shè)備和不平衡數(shù)據(jù)等情況有較高的訓(xùn)練穩(wěn)定性，對(duì)網(wǎng)絡(luò)帶寬和計(jì)算資源需求較低。

基于FedAvg的聯(lián)邦學(xué)習(xí)框架因計(jì)算節(jié)點(diǎn)與服務(wù)器中心物理地址不同導(dǎo)致高通信成本，連續(xù)通信輪次之間需執(zhí)行多個(gè)梯度優(yōu)化，使其不同于分布式學(xué)習(xí)優(yōu)化，需解決因聯(lián)邦用戶數(shù)據(jù)缺失異構(gòu)及數(shù)據(jù)特征差異帶來(lái)的模型優(yōu)化問(wèn)題。由此，提出針對(duì)性解決上述問(wèn)題的廣義聯(lián)邦平均算法G-FedAvg。

2.3 廣義聯(lián)邦平均算法

2.3.1 聯(lián)邦異構(gòu)限制性更新 聯(lián)邦學(xué)習(xí)具備利用局部信息學(xué)習(xí)全局信息的泛化能力，但本地?cái)?shù)據(jù)類型缺失導(dǎo)致模型參數(shù)權(quán)重偏離全局最優(yōu)點(diǎn)，產(chǎn)生用戶模型漂移，對(duì)聯(lián)邦學(xué)習(xí)性能和收斂產(chǎn)生較大影響［20］。

為保證聯(lián)邦學(xué)習(xí)在數(shù)據(jù)缺失異構(gòu)環(huán)境下的模型性能與收斂性，需對(duì)模型全局損失函數(shù)梯度更新進(jìn)行約束。本文在聯(lián)邦學(xué)習(xí)收斂性證明［21］基礎(chǔ)上，對(duì)其更新策略和具體實(shí)施做出改進(jìn)，提出公式（1）所示聯(lián)邦限制更新策略，聯(lián)合數(shù)據(jù)類型缺失用戶訓(xùn)練全局泛化模型。改進(jìn)措施為簡(jiǎn)化參數(shù)設(shè)置，降低工程復(fù)雜度，將服務(wù)器與聯(lián)邦用戶雙側(cè)學(xué)習(xí)率優(yōu)化歸約為聯(lián)邦用戶的單側(cè)學(xué)習(xí)率優(yōu)化。實(shí)施策略中，模型、數(shù)據(jù)和其他參數(shù)相互影響且具有一定梯度更新冗余，其參數(shù)選擇應(yīng)以實(shí)際訓(xùn)練損失為依據(jù)。

其中f為損失函數(shù)，f0為初始損失值，f*最優(yōu)損失值，c為常數(shù)，η為學(xué)習(xí)率，E為本地迭代次數(shù)，T為訓(xùn)練輪數(shù)，φ為問(wèn)題實(shí)例參數(shù)，L為模型參數(shù)權(quán)重與梯度間的利普西茨常數(shù)，λ為冗余系數(shù)。

依據(jù)利普西茨連續(xù)梯度，將聯(lián)邦優(yōu)化問(wèn)題轉(zhuǎn)化為優(yōu)化其損失值上界，在梯度下降中控制更新步長(zhǎng)，逐輪降低損失函數(shù)期望。聯(lián)邦學(xué)習(xí)連續(xù)通信輪次之間的多個(gè)局部SGD步驟近似看作傳統(tǒng)分布式學(xué)習(xí)中全局損失的單個(gè)優(yōu)化步驟，其每次迭代會(huì)對(duì)模型權(quán)重進(jìn)行更新，如公式（1）所示，合理控制其更新步長(zhǎng)，使模型在非過(guò)擬合學(xué)習(xí)的同時(shí)保持收斂性。

2.3.2 聯(lián)邦自監(jiān)督預(yù)訓(xùn)練 自監(jiān)督學(xué)習(xí)［22］是一種無(wú)需人工標(biāo)注標(biāo)簽的深度學(xué)習(xí)方法，利用數(shù)據(jù)自身信息進(jìn)行訓(xùn)練，能有效解決監(jiān)督學(xué)習(xí)標(biāo)注數(shù)據(jù)不足問(wèn)題。監(jiān)督學(xué)習(xí)針對(duì)基于標(biāo)記數(shù)據(jù)先驗(yàn)知識(shí)的專用信息提取，與其標(biāo)注限制相比，自監(jiān)督可學(xué)習(xí)數(shù)據(jù)通用特征表示。對(duì)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)而言，淺層的卷積層、池化層可視為特征提取器，而深層的全連接層，可視為分類器。卷積神經(jīng)網(wǎng)絡(luò)中淺層（靠近輸入）編碼的是可通用的復(fù)用特征，而深層（靠近輸出）編碼的是更專業(yè)的分類特征［23，24］。因?yàn)轭A(yù)訓(xùn)練操作使淺層網(wǎng)絡(luò)獲得提取數(shù)據(jù)通用特征的能力，其后續(xù)的圖像識(shí)別、目標(biāo)檢測(cè)等訓(xùn)練任務(wù)水平可以得到有效提升［25，26］。

本文使用一種聚類與深度學(xué)習(xí)結(jié)合的自監(jiān)督預(yù)訓(xùn)練算法DeepCluster-v2。針對(duì)DeepCluster［27］離線連續(xù)聚類無(wú)相關(guān)性和隨機(jī)初始化問(wèn)題［28］導(dǎo)致訓(xùn)練不穩(wěn)定進(jìn)行優(yōu)化。其學(xué)習(xí)方式包含數(shù)據(jù)編碼特征聚類和模型參數(shù)反向傳播兩個(gè)過(guò)程，結(jié)構(gòu)如圖4所示。

（1）特征向量聚類

數(shù)據(jù)經(jīng)模型降維生成特征向量，其聚類結(jié)果用于產(chǎn)生數(shù)據(jù)偽標(biāo)簽參與模型后續(xù)自監(jiān)督訓(xùn)練。隨機(jī)篩選K個(gè)特征向量作為原型矩陣，每個(gè)特征向量即為聚類中心向量。將特征向量與原型矩陣求內(nèi)積以衡量?jī)烧叩南嗨贫?，將同一聚類的特征向量取平均作為新的聚類中心向量，如公式?）所示，其中，zi為特征向量，ck為聚類中心向量，C為聚類原型矩陣，k為特征向量zi與原型矩陣C內(nèi)積的最大分量，用以偽標(biāo)簽分類索引。

由圖4所示，卷積網(wǎng)絡(luò)模塊為模型的主體部分，分類模塊由3個(gè)聚類原型矩陣構(gòu)成，特征向量聚類需進(jìn)行多次循環(huán)迭代，并將最終聚類結(jié)果作為分類依據(jù)。

（2）模型參數(shù)更新

將聚類偽標(biāo)簽作為數(shù)據(jù)標(biāo)注參與常規(guī)模型訓(xùn)練。相較于傳統(tǒng)監(jiān)督學(xué)習(xí)訓(xùn)練過(guò)程中的標(biāo)簽，自監(jiān)督深度聚類的偽標(biāo)簽完全在訓(xùn)練中生成，其損失函數(shù)如公式（3）所示。

其中q為特征向量經(jīng)聚類后形成的數(shù)據(jù)偽標(biāo)簽，模型依據(jù)偽標(biāo)簽標(biāo)注學(xué)習(xí)不同類別數(shù)據(jù)間的特征信息權(quán)重。改進(jìn)后的DeepCluster-v2的多聚類頭屬性使模型的低維通用信息盡可能由淺層網(wǎng)絡(luò)習(xí)得，更加強(qiáng)化其互信息提取能力。

2.3.3 算法流程 本文廣義聯(lián)邦平均算法的實(shí)現(xiàn)分為服務(wù)器端和用戶端兩部分，本文按照算法流程順序給出如下執(zhí)行過(guò)程：（1）服務(wù)器端執(zhí)行自監(jiān)督預(yù)訓(xùn)練完成模型參數(shù)初始化，選擇參與聯(lián)邦學(xué)習(xí)的用戶并下發(fā)模型。

（2）用戶端接收服務(wù)器下發(fā)的全局模型，判斷是否為初次迭代，并行參與本地模型微調(diào)或常規(guī)訓(xùn)練。

（3）聯(lián)邦用戶本地模型完成指定訓(xùn)練輪數(shù)，上傳至服務(wù)器。

（4）服務(wù)器端接收各用戶本地模型，根據(jù)聯(lián)邦用戶的本地?cái)?shù)據(jù)量加權(quán)聚合模型參數(shù)，聚合模型作為新的全局模型下發(fā)至各用戶。

（5）順序執(zhí)行上述4個(gè)算法流程，循環(huán)迭代算法流程（2）—（4）直至模型收斂，其具體實(shí)現(xiàn)細(xì)節(jié)見(jiàn)表2。

3 試驗(yàn)與結(jié)果分析

3.1 試驗(yàn)環(huán)境與參數(shù)

本文試驗(yàn)的GPU為NVIDIAGeForceRTX4060Ti16G，采用深度學(xué)習(xí)框架Pytorch1.13.1，Python版本為3.8.0，使用深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)CUDA11.6.0，cuDNN8.9.0。試驗(yàn)內(nèi)容主要包含兩個(gè)部分，病害種類識(shí)別和病害嚴(yán)重程度識(shí)別，后者是在前者基礎(chǔ)上的進(jìn)一步試驗(yàn)，用以分辨農(nóng)作物的病害嚴(yán)重程度。

試驗(yàn)中設(shè)置10個(gè)虛擬用戶用以模擬參與訓(xùn)練的農(nóng)場(chǎng)，并將數(shù)據(jù)集隨機(jī)劃分作為聯(lián)邦用戶的本地私有數(shù)據(jù)，每次迭代訓(xùn)練批次大小為64。初始階段使用ImageNet自監(jiān)督預(yù)訓(xùn)練權(quán)重作為模型基礎(chǔ)參數(shù)，聯(lián)邦用戶接收全局模型并進(jìn)行微調(diào)［29］。因Adam優(yōu)化器損失函數(shù)的極小值選擇理論［30］，致使微調(diào)訓(xùn)練階段與測(cè)試階段識(shí)別準(zhǔn)確率不匹配，故模型優(yōu)化采用隨機(jī)梯度下降SGD最小化損失函數(shù)，優(yōu)化器動(dòng)量Momentum參數(shù)設(shè)置為0.9。

3.2 試驗(yàn)結(jié)果

（1）與集中學(xué)習(xí)對(duì)比試驗(yàn)

本部分將所提聯(lián)邦學(xué)習(xí)與集中學(xué)習(xí)進(jìn)行對(duì)比試驗(yàn)，以驗(yàn)證聯(lián)邦學(xué)習(xí)本地訓(xùn)練、模型共享的優(yōu)勢(shì)。對(duì)比集中學(xué)習(xí)模型為：CDCNNv2［31］和PD2SE-Net50［32］，兩者均是基于ResNet50的改進(jìn)模型。

表3為本文算法G-FedAvg與集中學(xué)習(xí)模型在病害種類識(shí)別和病害程度識(shí)別準(zhǔn)確率的對(duì)比試驗(yàn)結(jié)果。此外，考慮到集中學(xué)習(xí)需要將用戶數(shù)據(jù)上傳至中心服務(wù)器，但由于隱私、數(shù)據(jù)資產(chǎn)保護(hù)要求及通信資源限制，集中學(xué)習(xí)訓(xùn)練方式難以實(shí)現(xiàn)。對(duì)比試驗(yàn)也考慮了僅利用單一用戶本地?cái)?shù)據(jù)完成聯(lián)邦學(xué)習(xí)基礎(chǔ)ResNet50模型訓(xùn)練的情況，對(duì)應(yīng)表3中“單一本地用戶”的情況。試驗(yàn)是對(duì)集中學(xué)習(xí)與聯(lián)邦學(xué)習(xí)過(guò)程的簡(jiǎn)化仿真，真實(shí)應(yīng)用場(chǎng)景中集中學(xué)習(xí)的數(shù)據(jù)上傳與聯(lián)邦學(xué)習(xí)的模型傳輸難以模擬，無(wú)法有效比較各學(xué)習(xí)方法的效率，因此后續(xù)試驗(yàn)結(jié)果沒(méi)有訓(xùn)練時(shí)長(zhǎng)對(duì)比。

在病害識(shí)別準(zhǔn)確率方面，所提算法GFedAvg較集中學(xué)習(xí)模型CDCNNv2和PD2SENet50分別提升0.68%和0.22%，較單一本地用戶模型ResNet50提升10.2%；在病害程度識(shí)別準(zhǔn)確率方面，所提算法G-FedAvg較集中學(xué)習(xí)模型CDCNNv2和PD2SE-Net50分別提升2.72%和1.59%，較單一本地用戶模型ResNet50提升14.29%。數(shù)據(jù)特征差異使模型在訓(xùn)練過(guò)程逐漸偏離最優(yōu)解，但G-FedAvg打破潛在特征學(xué)習(xí)定式，掌握整體數(shù)據(jù)特征分布，其全局聚合優(yōu)化隱式地進(jìn)行優(yōu)化方向糾偏，使本地模型聚合后產(chǎn)生優(yōu)化方向的修正［33］，使模型朝著最優(yōu)解方向發(fā)展。表明現(xiàn)階段深度學(xué)習(xí)數(shù)據(jù)驅(qū)動(dòng)的重要性，反映出聯(lián)邦學(xué)習(xí)模型能夠有效融合各方本地?cái)?shù)據(jù)信息。

（2）與傳統(tǒng)聯(lián)邦學(xué)習(xí)對(duì)比試驗(yàn)

本部分試驗(yàn)?zāi)康氖球?yàn)證本文算法G-FedAvg在數(shù)據(jù)獨(dú)立同分布設(shè)置下對(duì)比傳統(tǒng)聯(lián)邦學(xué)習(xí)是否存在性能提升，其中，獨(dú)立同分布即數(shù)據(jù)集隨機(jī)均勻劃分給各聯(lián)邦用戶。圖5為本文算法GFedAvg與傳統(tǒng)聯(lián)邦學(xué)習(xí)模型Vanilla-FedAvg［7，33］關(guān)于病害種類識(shí)別與病害嚴(yán)重程度識(shí)別準(zhǔn)確率對(duì)比結(jié)果。

現(xiàn)實(shí)數(shù)據(jù)的特征差異使得聯(lián)邦學(xué)習(xí)無(wú)法如同理論分析的平穩(wěn)、健壯［34］，本文提出G-FedAvg模型框架，從訓(xùn)練源頭避免因全局模型的隨機(jī)初始狀態(tài)使得用戶模型快速擬合本地?cái)?shù)據(jù)致使全局聚合模型性能下降與收斂速度變慢。由圖5所示，G-FedAvg全局聚合模型初始階段的識(shí)別準(zhǔn)確率遠(yuǎn)高于Vanilla-FedAvg，表現(xiàn)出良好的用戶模型漂移抑制效果，有效避免因全局聚合對(duì)用戶模型訓(xùn)練方向頻繁修正所造成的識(shí)別準(zhǔn)確率波動(dòng)，加速全局模型優(yōu)化進(jìn)程。

結(jié)果表明本文算法G-FedAvg利用自監(jiān)督預(yù)訓(xùn)練緩解用戶模型過(guò)度擬合特征差異數(shù)據(jù)造成的優(yōu)化方向偏差，彌合本地模型與全局模型權(quán)重差異，有效提升識(shí)別準(zhǔn)確度與收斂速度的同時(shí)顯著降低準(zhǔn)確率波動(dòng)。

（3）數(shù)據(jù)種類缺失異構(gòu)環(huán)境下聯(lián)邦學(xué)習(xí)試驗(yàn)

本部分試驗(yàn)?zāi)康臑椋?lián)邦用戶在數(shù)據(jù)種類缺失環(huán)境下，進(jìn)行聯(lián)邦學(xué)習(xí)模型聚合訓(xùn)練，識(shí)別全種類測(cè)試集，驗(yàn)證其泛化準(zhǔn)確率。試驗(yàn)設(shè)置如下，每個(gè)用戶隨機(jī)缺失三類病害種類與四類病害嚴(yán)重程度數(shù)據(jù)，且用戶數(shù)據(jù)彼此不存在交集，數(shù)據(jù)分布具體明細(xì)見(jiàn)表4。因監(jiān)督學(xué)習(xí)的局限性，不參與聯(lián)邦學(xué)習(xí)的本地用戶進(jìn)行病害識(shí)別僅限于用戶所擁有的部分類別數(shù)據(jù)，本地模型無(wú)法識(shí)別劃分未經(jīng)訓(xùn)練數(shù)據(jù)類別。

圖6-7分別為數(shù)據(jù)種類缺失異構(gòu)環(huán)境下病害及其程度識(shí)別的泛化準(zhǔn)確率對(duì)比試驗(yàn)，具體結(jié)果如表5所示，所提算法G-FedAvg的病害及其程度識(shí)別的泛化準(zhǔn)確率較單一本地用戶模型ResNet50分別提升55.78%和41.15%，表明聯(lián)邦學(xué)習(xí)切實(shí)提升了全局模型的泛化能力，有效解決數(shù)據(jù)種類缺失異構(gòu)環(huán)境下模型訓(xùn)練的難點(diǎn)。

為進(jìn)一步驗(yàn)證所提方案的泛化能力，將損失函數(shù)梯度更新策略和初始模型自監(jiān)督預(yù)訓(xùn)練應(yīng)用至FedProx［35］，形成G-FedProx，并將原方案與本文方案進(jìn)行對(duì)比，F(xiàn)edProx為聯(lián)邦異構(gòu)環(huán)境常用算法，表5給出各方案泛化識(shí)別準(zhǔn)確率對(duì)比結(jié)果。本文所提方案G-FedAvg的病害及其程度識(shí)別的泛化準(zhǔn)確率在數(shù)據(jù)種類缺失異構(gòu)場(chǎng)景下較Vanilla-FedAvg分別提升33.56%和10.66%，改進(jìn)后的G-FedProx的病害及其程度識(shí)別的泛化準(zhǔn)確率較原方案分別提升22.91%-30.84%和7.71%-11.79%，由表5可知，G-FedAvg相較FedProx的泛化識(shí)別準(zhǔn)確率提升同樣明顯。由圖6a、圖7a訓(xùn)練損失值對(duì)比反映出G-FedAvg作為一種底層基礎(chǔ)架構(gòu)有效緩解模型關(guān)于本地特征差異數(shù)據(jù)的過(guò)擬合問(wèn)題，而由圖6b、圖7b識(shí)別準(zhǔn)確率的提高則充分反映出其對(duì)模型性能的優(yōu)化。

4 結(jié)論

本文將聯(lián)邦學(xué)習(xí)理論框架應(yīng)用至農(nóng)作物病害識(shí)別場(chǎng)景中，在保證參訓(xùn)用戶數(shù)據(jù)資產(chǎn)安全和數(shù)據(jù)隱私的前提下通過(guò)共享模型參數(shù)實(shí)現(xiàn)病害識(shí)別模型訓(xùn)練，得出如下結(jié)論：

（1）基于聯(lián)邦學(xué)習(xí)玉米葉片病害識(shí)別方法的性能對(duì)比集中范式，病害識(shí)別準(zhǔn)確率領(lǐng)先0.22%-0.68%，病害程度識(shí)別準(zhǔn)確率領(lǐng)先1.59%-2.72%。聯(lián)邦學(xué)習(xí)參訓(xùn)用戶本地私有數(shù)據(jù)無(wú)需上傳，減輕數(shù)據(jù)傳輸、存儲(chǔ)和處理壓力，避免了數(shù)據(jù)泄露風(fēng)險(xiǎn)，其用戶規(guī)模和數(shù)據(jù)來(lái)源得以極大擴(kuò)充，使得基于聯(lián)邦學(xué)習(xí)的玉米葉片病害識(shí)別方法在未來(lái)更具優(yōu)勢(shì)。

（2）限制性損失函數(shù)梯度更新策略和自監(jiān)督預(yù)訓(xùn)練使病害數(shù)據(jù)種類缺失異構(gòu)的用戶在穩(wěn)定訓(xùn)練的前提下快速學(xué)習(xí)到全種類的病害泛化信息，緩解本地模型擬合特征差異數(shù)據(jù)所造成的性能下降，并使其在初始階段便可捕獲數(shù)據(jù)的通用低維表示信息。在數(shù)據(jù)缺失異構(gòu)場(chǎng)景下，病害識(shí)別準(zhǔn)確率提升33.56%，病害程度識(shí)別準(zhǔn)確率提升10.66%，收斂速度有效提升，準(zhǔn)確率波動(dòng)顯著降低。

本文提出基于G-FedAvg算法的聯(lián)邦學(xué)習(xí)玉米葉片病害識(shí)別方法，對(duì)玉米葉片的病害及其嚴(yán)重程度進(jìn)行識(shí)別，使模型從準(zhǔn)確率、收斂速度、訓(xùn)練平穩(wěn)度、泛化準(zhǔn)確率等方面均得到提升，順應(yīng)當(dāng)前數(shù)據(jù)驅(qū)動(dòng)的基于深度學(xué)習(xí)的農(nóng)作物病害識(shí)別技術(shù)發(fā)展趨勢(shì)。