摘要：為了解決聯(lián)邦學(xué)習(xí)環(huán)境下異構(gòu)數(shù)據(jù)集的軟件缺陷預(yù)測(cè)中存在的通信效率低下和隱私保護(hù)問(wèn)題，該研究利用Dueling雙深Q網(wǎng)絡(luò)（Double Deep Q-Network，DQN）算法的特性設(shè)計(jì)了一種軟件缺陷預(yù)測(cè)算法，并通過(guò)構(gòu)建模型來(lái)測(cè)試其性能；采用高斯差分隱私加密策略；針對(duì)通信效率問(wèn)題，基于K-means模型進(jìn)行聚焦；通過(guò)實(shí)驗(yàn)，文章針對(duì)不同數(shù)量的參與方以及通信輪次進(jìn)行了詳細(xì)的實(shí)驗(yàn)分析。研究發(fā)現(xiàn)，Dueling DQN算法在軟件缺陷預(yù)測(cè)中表現(xiàn)出較高的準(zhǔn)確性。高斯差分隱私加密策略在保護(hù)參與方數(shù)據(jù)隱私的同時(shí)，保持了模型的預(yù)測(cè)性能。K-means模型聚合策略在提升通信效率方面表現(xiàn)出顯著優(yōu)勢(shì)。得出結(jié)論，通過(guò)采用Dueling DQN算法、差分隱私加密策略以及K-means模型聚合策略，聯(lián)邦學(xué)習(xí)環(huán)境下異構(gòu)數(shù)據(jù)集的軟件缺陷預(yù)測(cè)性能得到了顯著提升。

關(guān)鍵詞：異構(gòu)數(shù)據(jù)；通信效率；隱私保護(hù)

中圖分類號(hào)：TP393" 文獻(xiàn)標(biāo)志碼：A

作者簡(jiǎn)介：胡大強(qiáng)（1971— ），男，高級(jí)工程師，碩士；研究方向：信息化管理。

0" 引言

現(xiàn)階段，聯(lián)邦學(xué)習(xí)作為一種分布式機(jī)器學(xué)習(xí)框架，廣泛應(yīng)用于保護(hù)用戶數(shù)據(jù)隱私和提高模型性能等方面。此框架在處理異構(gòu)數(shù)據(jù)集的軟件缺陷預(yù)測(cè)問(wèn)題中具備顯著優(yōu)勢(shì)。在軟件工程領(lǐng)域，軟件缺陷預(yù)測(cè)對(duì)于提高軟件質(zhì)量和降低開(kāi)發(fā)成本具有重要意義［1-2］。聯(lián)邦學(xué)習(xí)通過(guò)在各參與方本地進(jìn)行模型訓(xùn)練，并在服務(wù)器端進(jìn)行模型聚合，實(shí)現(xiàn)了數(shù)據(jù)不出本地的隱私保護(hù)機(jī)制［3-5］。然而，聯(lián)邦學(xué)習(xí)框架在數(shù)據(jù)傳輸過(guò)程中存在潛在的信息泄露風(fēng)險(xiǎn)，并且在參與方數(shù)量較多的情況下，通信效率面臨嚴(yán)峻挑戰(zhàn)。

文章通過(guò)利用概率近似正確（Probably Approximately Correct Dimensionality Reduction， PAC）、Dueling DQN算法和差分隱私等先進(jìn)技術(shù)，并結(jié)合聚合策略來(lái)提升模型的預(yù)測(cè)性能，相關(guān)研究在理論和實(shí)踐上取得了顯著進(jìn)展。

1" 算法概述

PAC降維技術(shù)通過(guò)選擇最具信息量的特征減少計(jì)算復(fù)雜度，提高了模型的泛化性能。此技術(shù)基于概率近似正確理論，通過(guò)篩選重要特征減少冗余信息，有效優(yōu)化了計(jì)算資源。

Dueling DQN算法作為一種深度強(qiáng)化學(xué)習(xí)算法，通過(guò)獨(dú)立的狀態(tài)值和動(dòng)作值評(píng)估結(jié)構(gòu)，提升了預(yù)測(cè)準(zhǔn)確性。該算法的特性和優(yōu)勢(shì)在軟件缺陷預(yù)測(cè)中表現(xiàn)突出。

模型構(gòu)建過(guò)程采用高斯差分隱私加密策略，提高了數(shù)據(jù)安全性，并通過(guò)K-means模型聚合策略提升了通信效率。高斯差分隱私加密保障了數(shù)據(jù)的隱私性，而K-means模型聚合有效減少了通信開(kāi)銷，提高了系統(tǒng)的收斂速度。

2" PAC降維

PAC降維是一種基于概率近似正確理論的降維方法。其主要思想在于，通過(guò)選擇最具信息量的特征，減少模型的計(jì)算復(fù)雜度，提升泛化性能。此方法具有計(jì)算復(fù)雜度低、適用性廣的優(yōu)點(diǎn)。在聯(lián)邦學(xué)習(xí)場(chǎng)景中，PAC降維通過(guò)篩選重要特征，消除了冗余信息，優(yōu)化了通信資源的使用。同時(shí)，該研究通過(guò)降低數(shù)據(jù)維度，提升了模型的訓(xùn)練速度與預(yù)測(cè)性能。此方法不僅提高了模型的效率，還增強(qiáng)了數(shù)據(jù)的隱私保護(hù)。PAC降維的應(yīng)用為聯(lián)邦學(xué)習(xí)環(huán)境下的軟件缺陷預(yù)測(cè)提供了有效的降維策略。

3" Dueling DQN算法

3.1" 算法特性

Dueling DQN算法是一種強(qiáng)化學(xué)習(xí)算法，在深度Q網(wǎng)絡(luò)（Deep Q-Network，DQN）的基礎(chǔ)上，增加了優(yōu)勢(shì)函數(shù)與狀態(tài)值函數(shù)分支，以解決動(dòng)作選擇價(jià)值與狀態(tài)價(jià)值無(wú)法準(zhǔn)確區(qū)分的問(wèn)題。其主要特性在于，網(wǎng)絡(luò)由2個(gè)獨(dú)立的分支組成，一個(gè)分支用于估計(jì)動(dòng)作價(jià)值，另一個(gè)分支用于估計(jì)狀態(tài)價(jià)值，通過(guò)組合函數(shù)計(jì)算出最終的動(dòng)作選擇價(jià)值。

Dueling DQN算法的輸出可表示為：

Q（s，a）=V（s）+A（s，a）-1|A|∑a′A（s，a′）（1）

其中，Q（s，a）表示狀態(tài)s下執(zhí)行動(dòng)作a的價(jià)值；V（s）表示狀態(tài)s的價(jià)值；A（s，a）表示狀態(tài)s下動(dòng)作a的優(yōu)勢(shì)。算法的關(guān)鍵在于利用優(yōu)勢(shì)函數(shù)來(lái)區(qū)別不同動(dòng)作的重要性，以此提升模型的穩(wěn)定性與性能。

3.2" 軟件缺陷預(yù)測(cè)算法設(shè)計(jì)

在軟件缺陷預(yù)測(cè)中，Dueling DQN算法可用于對(duì)不同模塊的缺陷發(fā)生概率進(jìn)行預(yù)測(cè)。算法通過(guò)對(duì)歷史數(shù)據(jù)的學(xué)習(xí)，評(píng)估各個(gè)模塊的潛在風(fēng)險(xiǎn)。

在算法設(shè)計(jì)中，假設(shè)給定狀態(tài)st和動(dòng)作at，以及從當(dāng)前時(shí)刻到未來(lái)的折扣獎(jiǎng)勵(lì)rt+1至rt+T，Dueling DQN的目標(biāo)為最大化累積獎(jiǎng)勵(lì)：

Gt=∑Tk=0γkrt+k+1（2）

其中，γ表示折扣因子，用于平衡近期與長(zhǎng)期獎(jiǎng)勵(lì)。為優(yōu)化此目標(biāo)，引入損失函數(shù)：

L（θ）=E（s，a，r，s′）［（r+γmaxa′Q（s′，a′;θ′）-Q（s，a;θ））2］（3）

其中，θ與θ′分別表示當(dāng)前網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)的參數(shù)。

3.3" 模型構(gòu)建

模型構(gòu)建過(guò)程利用Dueling DQN算法對(duì)軟件模塊進(jìn)行狀態(tài)和動(dòng)作的映射。模型的輸入為軟件模塊的特征向量，輸出為各個(gè)可能缺陷狀態(tài)的概率。引入雙分支網(wǎng)絡(luò)結(jié)構(gòu)，提升了模型對(duì)重要特征的關(guān)注度。

在模型訓(xùn)練過(guò)程中，設(shè)定相關(guān)條件，以確保模型收斂性。模型結(jié)構(gòu)可表示為：

f（x）=max（V（x）+A（x，a）-1|A|∑a′A（x，a′））（4）

其中，x表示輸入特征向量，V（x）表示狀態(tài)價(jià)值函數(shù)，A（x，a）表示優(yōu)勢(shì)函數(shù)， f（x）為最終輸出。

4" 高斯差分隱私加密

在聯(lián)邦學(xué)習(xí)環(huán)境中，為保護(hù)參與方數(shù)據(jù)的隱私，差分隱私技術(shù)是一種有效的方法。高斯差分隱私加密通過(guò)添加噪聲來(lái)保護(hù)數(shù)據(jù)隱私，同時(shí)保持模型的性能。

高斯差分隱私加密基于差分隱私的核心定義：

ε-DPPr［M（D）=o］≤exp（ε）·Pr［M（D′）=o］+δ（5）

其中，ε表示隱私預(yù)算，δ表示概率上的松弛。此定義確保了在相鄰數(shù)據(jù)集D與D′上運(yùn)行相同算法M時(shí)，輸出結(jié)果o的概率差異受限于ε與δ，以此限制了敏感信息的泄露。

該研究為實(shí)現(xiàn)高斯差分隱私加密，利用高斯噪聲來(lái)擾動(dòng)輸出結(jié)果。給定敏感數(shù)據(jù)向量x，其擾動(dòng)后的輸出向量y表示為：

y=x+N（0，σ2）（6）

其中，N（0，σ2）表示均值為0、方差為σ2的高斯分布。此方法通過(guò)調(diào)節(jié)σ控制隱私保護(hù)與數(shù)據(jù)準(zhǔn)確性之間的平衡。

該研究為確保模型的實(shí)際應(yīng)用效果，高斯差分隱私加密過(guò)程中須考慮隱私預(yù)算與噪聲方差的設(shè)置。通常，隱私預(yù)算ε與噪聲方差σ2呈反比關(guān)系。在實(shí)際應(yīng)用中，通過(guò)優(yōu)化ε與σ2的組合，可以在保持模型性能的同時(shí)，保護(hù)參與方的隱私。

高斯差分隱私加密的應(yīng)用，為聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)隱私保護(hù)提供了強(qiáng)有力的工具。其通過(guò)擾動(dòng)敏感信息，使得攻擊者難以推斷原始數(shù)據(jù)。同時(shí)，其可以適當(dāng)設(shè)置參數(shù)，可以在不同的應(yīng)用場(chǎng)景中實(shí)現(xiàn)隱私與準(zhǔn)確性的最佳平衡。

5" 基于K-means模型聚合

在聯(lián)邦學(xué)習(xí)環(huán)境下，由于參與方的數(shù)據(jù)分布異構(gòu)，直接合并各方數(shù)據(jù)訓(xùn)練模型可能導(dǎo)致性能不佳。該研究為有效解決此問(wèn)題，K-means模型聚合策略通過(guò)對(duì)參與方的模型參數(shù)進(jìn)行聚類，提升了系統(tǒng)的性能與通信效率。

K-means聚類是一種無(wú)監(jiān)督學(xué)習(xí)算法，用于將數(shù)據(jù)點(diǎn)劃分為k個(gè)簇。每個(gè)簇的中心稱為質(zhì)心。在聯(lián)邦學(xué)習(xí)的上下文中，參與方的模型參數(shù)Wi可以看作數(shù)據(jù)點(diǎn)，通過(guò)K-means算法將其劃分為k個(gè)簇。每個(gè)簇的中心即為該簇的代表模型參數(shù)。K-means算法的目標(biāo)是最小化簇內(nèi)距離平方和，表示為：

minC1，C2，…，Ck∑ni=1minj=1，…，k‖Wi-Cj‖2（7）

其中，Cj表示第j個(gè)簇的質(zhì)心；Wi表示第i個(gè)參與方的模型參數(shù)。

通過(guò)K-means聚類算法，將參與方的模型參數(shù)聚合為k個(gè)簇，并將每個(gè)簇的質(zhì)心作為該簇的代表參數(shù)。然后在聯(lián)邦服務(wù)器端，基于質(zhì)心進(jìn)行聚合，形成全局模型：

W=1k∑kj=1Cj（8）

此策略通過(guò)選擇代表性的模型參數(shù)，減少了通信成本，提高了系統(tǒng)的收斂速度。

6" 實(shí)驗(yàn)結(jié)果與分析

6.1" 參與方數(shù)量數(shù)據(jù)集聚類

該研究通過(guò)K-means模型聚合策略對(duì)不同數(shù)量參與方的數(shù)據(jù)集進(jìn)行聚類分析，可以更好地理解其對(duì)系統(tǒng)性能的影響，如表1所示。

隨著參與方數(shù)量的增加，數(shù)據(jù)集的大小也呈現(xiàn)增大的趨勢(shì)。大規(guī)模的數(shù)據(jù)集為模型提供了更豐富的特征，但也導(dǎo)致了更高的計(jì)算復(fù)雜度。

參與方數(shù)量對(duì)數(shù)據(jù)特征相似性有明顯影響。少數(shù)參與方的數(shù)據(jù)特征相似性較高，表明其數(shù)據(jù)結(jié)構(gòu)較為一致。而當(dāng)參與方數(shù)量增加時(shí)，數(shù)據(jù)特征相似性降低，顯示出更強(qiáng)的異質(zhì)性。異質(zhì)性數(shù)據(jù)集雖然提供了更豐富的信息，但對(duì)模型的泛化能力提出了更高要求。

在通信成本方面，參與方數(shù)量與通信成本呈正相關(guān)關(guān)系。在收斂速度方面，參與方數(shù)量與收斂速度也呈正相關(guān)關(guān)系，表明增加參與方數(shù)量雖然能提高數(shù)據(jù)規(guī)模和多樣性，但也可能導(dǎo)致訓(xùn)練過(guò)程變慢。

6.2" 參與方數(shù)量對(duì)聯(lián)邦強(qiáng)化學(xué)習(xí)系統(tǒng)的影響

參與方數(shù)量對(duì)聯(lián)邦強(qiáng)化學(xué)習(xí)系統(tǒng)的影響可以通過(guò)多個(gè)指標(biāo)來(lái)衡量，包括平均累計(jì)獎(jiǎng)勵(lì)、模型收斂速度、通信成本以及系統(tǒng)穩(wěn)定性等。相關(guān)數(shù)據(jù)結(jié)果如表2所示。

隨著參與方數(shù)量的增加，平均累計(jì)獎(jiǎng)勵(lì)呈現(xiàn)出逐漸下降的趨勢(shì)。參與方數(shù)量的增加使得系統(tǒng)收斂速度降低。通信成本隨參與方數(shù)量增加呈線性增長(zhǎng)。更多的參與方需要更頻繁的數(shù)據(jù)交換，導(dǎo)致通信成本增加。參與方數(shù)量與系統(tǒng)穩(wěn)定性呈負(fù)相關(guān)。

6.3" 基于不同通信頻次的客戶端預(yù)測(cè)結(jié)果

在聯(lián)邦學(xué)習(xí)系統(tǒng)中，通信輪次對(duì)于客戶端預(yù)測(cè)結(jié)果的準(zhǔn)確性具有顯著影響。為了評(píng)估此影響，實(shí)驗(yàn)對(duì)比了不同通信輪次下客戶端的預(yù)測(cè)準(zhǔn)確性、誤差、模型穩(wěn)定性等指標(biāo)。相關(guān)數(shù)據(jù)結(jié)果如表3所示。

隨著通信頻次的增加，客戶端的平均預(yù)測(cè)準(zhǔn)確率逐漸提升。通信輪次為70時(shí)，平均預(yù)測(cè)準(zhǔn)確率達(dá)到91%，表明增加通信輪次可以提升客戶端的預(yù)測(cè)準(zhǔn)確性。

平均預(yù)測(cè)誤差：通信頻次的增加導(dǎo)致平均預(yù)測(cè)誤差下降。通信頻次為70時(shí)，平均預(yù)測(cè)誤差僅為0.08。較低的預(yù)測(cè)誤差表示模型的預(yù)測(cè)性能更佳。

模型穩(wěn)定性：通信頻次的增加使得模型穩(wěn)定性提升，標(biāo)準(zhǔn)差逐漸降低。通信頻次為70時(shí)，模型的穩(wěn)定性標(biāo)準(zhǔn)差為0.01，表示模型在多次通信中的表現(xiàn)更穩(wěn)定。

6.4" 對(duì)比實(shí)驗(yàn)結(jié)果與分析

從表1和表2可以看出，參與方數(shù)量增加導(dǎo)致系統(tǒng)的平均累計(jì)獎(jiǎng)勵(lì)逐漸降低。由于較多的參與方數(shù)量引入了更多的數(shù)據(jù)異構(gòu)性，導(dǎo)致模型在學(xué)習(xí)過(guò)程中需要處理更復(fù)雜的數(shù)據(jù)分布。同時(shí)，參與方數(shù)量增加也顯著提高了通信成本，增加了系統(tǒng)收斂時(shí)間。適度的參與方數(shù)量可以為系統(tǒng)提供更穩(wěn)定的學(xué)習(xí)環(huán)境，提高模型的整體性能。

表3顯示了通信頻次對(duì)客戶端預(yù)測(cè)結(jié)果的影響。隨著通信頻次的增加，平均預(yù)測(cè)準(zhǔn)確率逐漸提升，而平均預(yù)測(cè)誤差和模型穩(wěn)定性則逐漸降低。增加通信輪次可以使模型獲得更多的訓(xùn)練數(shù)據(jù)，提高預(yù)測(cè)性" 能。然而，過(guò)多的通信輪次可能導(dǎo)致模型過(guò)擬合，使得預(yù)測(cè)誤差降低變得緩慢。

通過(guò)對(duì)比實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，參與方數(shù)量和通信輪次的組合對(duì)聯(lián)邦強(qiáng)化學(xué)習(xí)系統(tǒng)的性能具有顯著影響。最佳組合應(yīng)當(dāng)在適度參與方數(shù)量和適度通信輪次之間取得平衡。參與方數(shù)量過(guò)多會(huì)導(dǎo)致通信成本增加和收斂速度降低，而通信輪次過(guò)多則可能導(dǎo)致模型過(guò)擬合和性能下降。

7" 結(jié)語(yǔ)

該研究針對(duì)聯(lián)邦學(xué)習(xí)環(huán)境下異構(gòu)數(shù)據(jù)集的軟件缺陷預(yù)測(cè)性能提升問(wèn)題，提出了若干有效策略，重點(diǎn)關(guān)注通信效率和隱私保護(hù)。該研究通過(guò)引入PAC降維、Dueling DQN算法以及高斯差分隱私加密等先進(jìn)技術(shù)，結(jié)合K-means模型聚合策略，優(yōu)化了聯(lián)邦學(xué)習(xí)系統(tǒng)。在實(shí)際應(yīng)用中，合理選擇參與方數(shù)量和通信頻次對(duì)系統(tǒng)性能至關(guān)重要。未來(lái)研究可針對(duì)不同應(yīng)用場(chǎng)景，進(jìn)一步優(yōu)化參與方數(shù)量、通信頻次與數(shù)據(jù)集特征之間的關(guān)系，以提高聯(lián)邦學(xué)習(xí)系統(tǒng)的實(shí)用性與效率，探討如何在保持模型性能的同時(shí)，增強(qiáng)數(shù)據(jù)的隱私保護(hù)，為聯(lián)邦學(xué)習(xí)環(huán)境中的軟件缺陷預(yù)測(cè)提供更全面的解決方案。

參考文獻(xiàn)

［1］傅剛.非獨(dú)立同分布數(shù)據(jù)下聯(lián)邦學(xué)習(xí)算法中優(yōu)化器的對(duì)比分析［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2024（5）：228-238.

［2］萬(wàn)偉，胡勝山，陸建榮，等.聯(lián)邦學(xué)習(xí)在高度數(shù)據(jù)異構(gòu)場(chǎng)景下的泛化魯棒性增強(qiáng)［J］.中國(guó)科學(xué)：信息科學(xué)，2024（3）：566-581.

［3］高迢康，靳曉寧，賴英旭.模型異構(gòu)的聯(lián)邦學(xué)習(xí)入侵檢測(cè)［J］.北京工業(yè)大學(xué)學(xué)報(bào)，2024（5）：543-557.

［4］段昕汝，陳桂茸，姬偉峰，等.基于聯(lián)邦學(xué)習(xí)的多源異構(gòu)網(wǎng)絡(luò)無(wú)數(shù)據(jù)融合方法［J］.空軍工程大學(xué)學(xué)報(bào)，2024（1）：90-97.

［5］馬千飄，賈慶民，劉建春，等.異構(gòu)邊緣計(jì)算環(huán)境下異步聯(lián)邦學(xué)習(xí)的節(jié)點(diǎn)分組與分時(shí)調(diào)度策略［J］.通信學(xué)報(bào)，2023（11）：79-93.

（編輯" 王永超）

Software defect prediction performance improvement strategy for heterogeneous datasets in

a federated learning environment： empirical study centered on communication efficiency and privacy protection

HU Daqiang 1， ZHANG Zhilei 1， KANG" Yan 2， WU" Chunlu1

（1.Hangzhou Yousheng Technology Co.， Ltd.， Hangzhou 310012， China;

2.China Mobile Online Service Co.， Ltd.， Zhejiang Branch， Hangzhou 310012， China）

Abstract：" In order to address the problems of low communication inefficiency and privacy protection in the software defect prediction of heterogeneous data sets in federal learning environment， a software defect prediction algorithm is designed with the characteristics of Dueling DQN （Double Deep Q-Network） algorithm and testing the performance by building models; adopting Gaussian differential privacy encryption strategy; focusing on communication efficiency problems based on K-means model， and conducting detailed experimental analysis for different numbers of participants and communication rounds. We found that the Dueling DQN algorithm showed high accuracy in software defect prediction. The Gaussian differential privacy encryption strategy maintains the predictive performance of the model while protecting the data privacy of the participants. The K-means model aggregation strategy shows significant advantages in improving communication efficiency. It is concluded that the software defect prediction performance of heterogeneous data sets in the federated learning environment is significantly improved by adopting Dueling DQN algorithm， differential privacy encryption strategy and K-means model aggregation strategy.

Key words： heterogeneous data; communication efficiency; privacy protection