蔡 超，何馨怡，李 麗

（山東工商學(xué)院統(tǒng)計(jì)學(xué)院，山東 煙臺(tái) 264005）

0 引言

近年來，較多的機(jī)器學(xué)習(xí)方法被應(yīng)用于非線性回歸問題分析中[1,2],其中，BP神經(jīng)網(wǎng)絡(luò)被廣泛地應(yīng)用于圖像分類、語意預(yù)測(cè)、故障診斷等領(lǐng)域[3—5]。然而，在大數(shù)據(jù)時(shí)代，各個(gè)領(lǐng)域都在不斷涌現(xiàn)大規(guī)模數(shù)據(jù)，這些大規(guī)模數(shù)據(jù)給傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)回歸模型的估計(jì)帶來了嚴(yán)峻的挑戰(zhàn)。一方面，存儲(chǔ)和計(jì)算過程對(duì)計(jì)算機(jī)的內(nèi)存有很高要求，單臺(tái)計(jì)算機(jī)的存儲(chǔ)量和計(jì)算能力顯然不足以存儲(chǔ)和處理大規(guī)模數(shù)據(jù)；另一方面，神經(jīng)網(wǎng)絡(luò)回歸模型的估計(jì)涉及較多的矩陣計(jì)算，數(shù)據(jù)過于龐大會(huì)導(dǎo)致計(jì)算時(shí)間過長，時(shí)效性無法得到保障。因此，有必要研究大規(guī)模數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)回歸模型。

為了避免傳統(tǒng)回歸模型難以處理大規(guī)模數(shù)據(jù)的窘境，分布式計(jì)算方法進(jìn)入學(xué)者的視野。分布式計(jì)算方法是將一個(gè)大規(guī)模數(shù)據(jù)隨機(jī)分配給若干個(gè)局部機(jī)器，在不同局部機(jī)器上同時(shí)處理與計(jì)算，最后中央機(jī)器將各局部機(jī)器的計(jì)算結(jié)果整合作為最終結(jié)果。分布式計(jì)算方法主要有單輪型方法（One-shot）和迭代型方法（Iterative method）。One-shot方法的典型代表是分而治之方法（Divide and Conquer），其基本思想是在局部機(jī)器上計(jì)算局部統(tǒng)計(jì)量，并將其發(fā)送到中央機(jī)器上，采用簡(jiǎn)單平均的方式整合成最終的分布式統(tǒng)計(jì)量。One-shot 方法只需要在中央機(jī)器和子機(jī)器間進(jìn)行一次傳遞，因此具有非常高的溝通效率。Zhang等（2012）[6]證明了分布式估計(jì)量的估計(jì)精度與全局估計(jì)量非常接近。鑒于One-shot 方法在估計(jì)上的優(yōu)勢(shì)，Chen 和Xie（2014）[7]、Chang等（2017）[8]、Xu等（2020）[9]將其應(yīng)用于懲罰回歸、嶺回歸和分位數(shù)回歸模型。除了使用平均方法來整合局部估計(jì)量以外，Minsker（2019）[10]還提出了更加穩(wěn)健的整合方式，如中位數(shù)方法等。然而，Rosenblatt 和Nadler（2016）[11]研究發(fā)現(xiàn)，One-shot 方法簡(jiǎn)單的單次傳遞在處理非線性回歸問題時(shí)很難得到滿意的結(jié)果。鑒于One-shot方法的局限性，一些學(xué)者提出了迭代型方法，如Huang 和Huo（2019）[12]針對(duì)M-估計(jì)量提出的一步迭代式方法，其基本思想是首先通過One-shot方法獲得初始分布式估計(jì)量，然后將初始分布式估計(jì)量發(fā)送到局部機(jī)器上計(jì)算局部損失函數(shù)的梯度向量和Hessian 矩陣并傳遞給中央機(jī)器，最后在中央機(jī)器計(jì)算梯度向量和Hessian矩陣的均值并計(jì)算最終的分布式估計(jì)量。Huang 和Huo（2019）[12]研究發(fā)現(xiàn)，一步迭代法雖然較One-shot方式增加了一輪傳遞，但其估計(jì)精度優(yōu)于One-shot方法。Jordan等（2019）[13]將一步迭代式方法推廣到多步迭代式方法，即交互有效方法（Communication-Efficient），其基本思想是首先將初始參數(shù)值代入每臺(tái)局部機(jī)器計(jì)算相關(guān)的統(tǒng)計(jì)量（如局部損失函數(shù)的梯度向量、Hessian矩陣等），然后發(fā)送給中央機(jī)器，代入基于交互有效方法構(gòu)造的替代損失函數(shù)計(jì)算參數(shù)的估計(jì)值，并將其返回給每臺(tái)局部機(jī)器重新計(jì)算相應(yīng)的統(tǒng)計(jì)量，最后發(fā)送給中央機(jī)器，如此反復(fù)迭代，以獲得最終的分布式估計(jì)量。Fan 等（2021）[14]、Chen 等（2022）[15]證明了基于交互有效方法的分布式估計(jì)量更加接近全局估計(jì)量的估計(jì)精度。交互有效方法一經(jīng)提出就得到了廣泛應(yīng)用，如Chen等（2020）[16]、Pan（2021）[17]、Wang 和Li（2021）[18]、Wang 等（2019）[19]將其分別應(yīng)用于分位數(shù)回歸模型、Expectile 回歸模型、眾數(shù)回歸模型、線性支持向量機(jī)分類模型。

已有文獻(xiàn)關(guān)于分布式計(jì)算的理論研究已經(jīng)非常豐富，但是這些文獻(xiàn)主要研究大規(guī)模數(shù)據(jù)的線性回歸問題，極少研究大規(guī)模數(shù)據(jù)的非線性回歸問題。因此，本文借鑒交互有效方法在分布式計(jì)算中的優(yōu)勢(shì)，將其應(yīng)用到神經(jīng)網(wǎng)絡(luò)回歸模型這一非線性回歸模型，提出了基于交互有效方法的分布式神經(jīng)網(wǎng)絡(luò)回歸（CE-RNN）模型。CE-RNN 模型的優(yōu)勢(shì)在于：（1）解決單一機(jī)器存儲(chǔ)大規(guī)模數(shù)據(jù)的困難，化整為零，將大規(guī)模數(shù)據(jù)隨機(jī)分配給多臺(tái)局部機(jī)器；（2）避免優(yōu)化神經(jīng)網(wǎng)絡(luò)回歸模型全局損失函數(shù)的難題，構(gòu)造基于交互有效方法的替代損失函數(shù)進(jìn)行優(yōu)化求解；（3）只需在中央機(jī)器上進(jìn)行每輪優(yōu)化，在局部機(jī)器中僅需利用隱含層和輸出層參數(shù)估計(jì)值（權(quán)重和偏置）計(jì)算局部損失函數(shù)的梯度向量和Hessian 矩陣，并且僅需數(shù)輪交互就能使參數(shù)估計(jì)值收斂。本文進(jìn)一步通過Monte Carlo模擬，將基于交互有效方法的分布式神經(jīng)網(wǎng)絡(luò)回歸模型與全局神經(jīng)網(wǎng)絡(luò)回歸模型和基于One-shot 方法的分布式神經(jīng)網(wǎng)絡(luò)回歸模型進(jìn)行比較，以評(píng)估所提出方法的有效性；并進(jìn)行實(shí)例分析，將基于交互有效方法的分布式神經(jīng)網(wǎng)絡(luò)回歸模型應(yīng)用于船艦推進(jìn)裝置維護(hù)數(shù)據(jù)集，以證明本文提出的方法是科學(xué)合理的。

1 模型與方法

1.1 神經(jīng)網(wǎng)絡(luò)回歸模型

在第k臺(tái)機(jī)器上，構(gòu)建的神經(jīng)網(wǎng)絡(luò)回歸模型是包含輸入層、隱含層和輸出層的三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。假設(shè)隱含層包含J個(gè)節(jié)點(diǎn)，則第j(j=1，2，…，J)個(gè)節(jié)點(diǎn)的輸出值gki，j表示為：

由式（1）和式（3）可以構(gòu)建神經(jīng)網(wǎng)絡(luò)回歸模型：

記第k臺(tái)機(jī)器的局部損失函數(shù)為：

在神經(jīng)網(wǎng)絡(luò)回歸模型中，隱含層節(jié)點(diǎn)的個(gè)數(shù)J決定了模型的復(fù)雜程度。當(dāng)J較大時(shí)，神經(jīng)網(wǎng)絡(luò)回歸模型過于復(fù)雜，就會(huì)出現(xiàn)過度擬合的情形；而當(dāng)J較小時(shí)，神經(jīng)網(wǎng)絡(luò)回歸模型過于簡(jiǎn)單，又會(huì)出現(xiàn)欠擬合的情形。因此，需要確定隱含層節(jié)點(diǎn)個(gè)數(shù)J的最優(yōu)取值，參考Jiang 等（2017）[20]的研究，構(gòu)建BIC準(zhǔn)則：

最優(yōu)的J*是使得BIC最小的J，即：

1.2 OS-RNN模型

OS-RNN模型估計(jì)的基本步驟如下：

步驟2：分組估計(jì)。對(duì)每個(gè)局部機(jī)器中的數(shù)據(jù)，利用式（11）估計(jì)獲得和，并傳輸給中央機(jī)器。

1.3 CE-RNN模型

當(dāng)樣本量N很大時(shí)，直接優(yōu)化全局損失函數(shù)會(huì)產(chǎn)生很大的計(jì)算成本。因此，本文使用基于交互有效方法的替代損失函數(shù)替代全局損失函數(shù)后再進(jìn)行優(yōu)化，會(huì)節(jié)約較大的計(jì)算成本。將全局損失函數(shù)進(jìn)行一階泰勒展開，可以表示為：

將式（16）代入式（15），并且剔除常數(shù)項(xiàng)，定義替換損失函數(shù)為：

通過式（17）可以看出，利用局部機(jī)器計(jì)算損失函數(shù)的梯度，并保留一階梯度，忽略高階梯度，構(gòu)建交互有效的替代損失函數(shù)，大幅降低了局部機(jī)器與中央機(jī)器間梯度傳遞的通信成本。基于交互有效方法的分布式神經(jīng)網(wǎng)絡(luò)回歸模型的參數(shù)估計(jì)值可由優(yōu)化下式獲得：

CE-RNN模型的具體求解過程如下：

步驟1：數(shù)據(jù)分組。將數(shù)據(jù)隨機(jī)分配給K臺(tái)機(jī)器，以第一臺(tái)機(jī)器M1為中央機(jī)器。

步驟2：設(shè)置初始值。利用式（11）求解中央機(jī)器M1的參數(shù)估計(jì)值作為參數(shù)初始值，即。

步驟3：計(jì)算梯度值和Hessian 矩陣。當(dāng)t=0，1，2，…時(shí)，利用式（7）至式（10）計(jì)算第k臺(tái)機(jī)器Mk的損失函數(shù)的梯度值和Hessian矩陣，并將其傳輸?shù)街醒霗C(jī)器M1，在中央機(jī)器上計(jì)算全局損失函數(shù)的梯度值和Hessian 矩陣。

步驟4：構(gòu)造替代損失函數(shù)。利用式（17）在中央機(jī)器構(gòu)造基于交互有效方法的替代損失函數(shù)：

步驟5：更新參數(shù)。借鑒Jordan 等（2019）[13]的一步逼近方法更新參數(shù)和：

2 數(shù)值模擬

本文通過Monte Carlo模擬檢驗(yàn)基于交互有效方法的分布式神經(jīng)網(wǎng)絡(luò)回歸模型（CE-RNN）的預(yù)測(cè)性能，并與全局神經(jīng)網(wǎng)絡(luò)回歸模型（G-RNN）和基于One-shot 方法的分布式神經(jīng)網(wǎng)絡(luò)回歸模型（OS-RNN）進(jìn)行對(duì)比。

2.1 數(shù)據(jù)生成

本文隨機(jī)生成誤差項(xiàng)服從獨(dú)立同分布（i.i.d.）的數(shù)據(jù)集：

隨機(jī)生成誤差服從非獨(dú)立同分布（Non-i.i.d.）的數(shù)據(jù)集：

其中，εi為隨機(jī)誤差項(xiàng)，設(shè)置為3種分布形式，即標(biāo)準(zhǔn)正態(tài)分布εi～N(0，1) 、t分布εi～t( 3)和卡方分布εi～χ2( 3) 。xi∈Rp由均勻分布U(-2，2)隨機(jī)生成，m(xi)為一個(gè)復(fù)雜的非線性函數(shù)。

其中，βl由均勻分布U(-1，1) 隨機(jī)生成，gl(zl)為：

其中，zl∈Rpl為在xi中隨機(jī)抽取的pl維子集，Vl∈Rpl×pl為以zl為對(duì)角元素的對(duì)角矩陣生成的協(xié)方差矩陣。

2.2 結(jié)果比較

首先，按照式（26）和式（27）生成樣本量為N=105和維度為p=10 的訓(xùn)練集與樣本量為n=104和維度為p=10 的測(cè)試集。其次，使用G-RNN模型對(duì)訓(xùn)練集的全部樣本進(jìn)行估計(jì)以獲得基準(zhǔn)參數(shù)（K=1的結(jié)果）；設(shè)置K=5，10，20，40，50，100，使用CE-RNN 和OS-RNN 模型在訓(xùn)練集進(jìn)行估計(jì)。其中，（1）CE-RNN 和OS-RNN 模型的估計(jì)重復(fù)試驗(yàn)100 次；（2）在G-RNN、CE-RNN 和OS-RNN模型的每次估計(jì)中，采用網(wǎng)格搜索法按照式（13）對(duì)超參數(shù)隱含層節(jié)點(diǎn)個(gè)數(shù)J進(jìn)行調(diào)優(yōu)處理，設(shè)置J的取值范圍為2,3,…,10。最后，將G-RNN、CE-RNN和OS-RNN模型的參數(shù)估計(jì)值代入測(cè)試集進(jìn)行預(yù)測(cè)，并計(jì)算均方根誤差（RMSE）和平均絕對(duì)誤差（MAE）。

表1 報(bào)告了N=105和p=10 時(shí)3 個(gè)模型的預(yù)測(cè)誤差結(jié)果，其中K=1 的結(jié)果是利用全部樣本獲得的結(jié)果，即G-RNN 模型的預(yù)測(cè)誤差結(jié)果。同時(shí)，為了進(jìn)一步檢驗(yàn)CE-RNN模型的預(yù)測(cè)性能是否顯著優(yōu)于OS-RNN模型，構(gòu)建t 檢驗(yàn)對(duì)100 次重復(fù)試驗(yàn)的誤差結(jié)果進(jìn)行假設(shè)檢驗(yàn)，結(jié)果也列在表1中（t檢驗(yàn)的原假設(shè)為CE-RNN模型的預(yù)測(cè)誤差大于等于OS-RNN 模型）。由表1可以得出以下結(jié)論：第一，在不同的K值下，CE-RNN 模型的RMSE 和MAE 值基本相同，這說明機(jī)器數(shù)對(duì)CE-RNN模型的預(yù)測(cè)性能沒有顯著影響；第二，CE-RNN 模型不同K值的RMSE和MAE值都與G-RNN模型（K=1的結(jié)果）非常接近，這表明CE-RNN模型的預(yù)測(cè)性能與G-RNN 模型預(yù)測(cè)基本一致；第三，在不同的K值下，OS-RNN模型的RMSE 和MAE 值都大于G-RNN 模型，這驗(yàn)證了Rosenblatt 和Nadler（2016）[11]的結(jié)論，即One-shot 方法在處理非線性回歸問題時(shí)并不能得到一個(gè)精確的結(jié)果；第四，CE-RNN模型的RMSE 和MAE 值基本都小于OS-RNN模型，且其t檢驗(yàn)的P值基本都為0，這表明CE-RNN 模型的預(yù)測(cè)性能顯著優(yōu)于OS-RNN模型。

表1 N=105 和p=10 時(shí)模型預(yù)測(cè)結(jié)果

為考察樣本量不同和維度不同時(shí)CE-RNN模型的預(yù)測(cè)性能是否穩(wěn)定，分別設(shè)置兩種情況：一是將維度p固定為10，分別生成樣本量為104、5×104和105的訓(xùn)練集進(jìn)行模擬試驗(yàn)；二是將樣本量N固定為5×104，分別生成維度為5、10和20的訓(xùn)練集進(jìn)行模擬試驗(yàn)。表2和表3分別報(bào)告了當(dāng)N和p時(shí)3個(gè)模型的預(yù)測(cè)誤差結(jié)果（由于不同誤差項(xiàng)分布下的結(jié)果基本相同，因此只報(bào)告了Non-i.i.d.卡方分布的結(jié)果）。由表2和表3可知，無論是N變化還是p變化：第一，CE-RNN模型的RMSE和MAE值在不同的K值下都基本相同，且與G-RNN模型非常接近；第二，CE-RNN模型的RMSE和MAE值都顯著小于OS-RNN模型。以上結(jié)果表明：樣本量和維度的變化不會(huì)對(duì)CE-RNN模型的預(yù)測(cè)性能產(chǎn)生影響。

表2 N 變化時(shí)模型預(yù)測(cè)結(jié)果

表3 p 變化時(shí)模型預(yù)測(cè)結(jié)果

3 應(yīng)用

為檢驗(yàn)CE-RNN模型在實(shí)際數(shù)據(jù)上的預(yù)測(cè)效果，本文使用UCI 機(jī)器學(xué)習(xí)數(shù)據(jù)集中的艦船推進(jìn)裝置維護(hù)數(shù)據(jù)集進(jìn)行驗(yàn)證。該數(shù)據(jù)集包含壓縮機(jī)衰減狀態(tài)系數(shù)、杠桿位置、船速、燃?xì)廨啓C(jī)的轉(zhuǎn)數(shù)、燃?xì)獍l(fā)電機(jī)轉(zhuǎn)數(shù)等17個(gè)變量，共11934 條數(shù)據(jù)。本文以壓縮機(jī)衰減狀態(tài)系數(shù)為響應(yīng)變量，其他16個(gè)變量為解釋變量進(jìn)行分析。

首先，選取前10000 條數(shù)據(jù)作為訓(xùn)練集，剩余數(shù)據(jù)作為測(cè)試集。其次，使用G-RNN 模型對(duì)全部數(shù)據(jù)進(jìn)行估計(jì)以獲得參數(shù)；將訓(xùn)練集分別劃分為5、10、20、40、50 和100組，分別使用CE-RNN 和OS-RNN 模型進(jìn)行估計(jì)，此過程重復(fù)100 次，并且在每次重復(fù)試驗(yàn)中隱含層節(jié)點(diǎn)數(shù)在2,3,…,10的范圍內(nèi)調(diào)優(yōu)處理。最后，將上述估計(jì)結(jié)果代入測(cè)試集進(jìn)行預(yù)測(cè)，并計(jì)算RMSE和MAE值。

下頁表4 報(bào)告了3 個(gè)模型的實(shí)際數(shù)據(jù)預(yù)測(cè)誤差結(jié)果。由表4 可知，第一，在不同K值下，CE-RNN 模型的RMSE 和MAE 值都相同，且與G-RNN 模型的誤差結(jié)果一致，這說明CE-RNN模型在實(shí)際數(shù)據(jù)中也具有較強(qiáng)的預(yù)測(cè)能力；第二，CE-RNN 模型的RMSE 和MAE值均小于OS-RNN模型，且t檢驗(yàn)的P值均為0，表明CE-RNN模型在實(shí)際數(shù)據(jù)中的預(yù)測(cè)性能顯著優(yōu)于OS-RNN模型。

表4 實(shí)際數(shù)據(jù)預(yù)測(cè)結(jié)果

4 結(jié)論

為解決大規(guī)模數(shù)據(jù)信息量龐大帶來的運(yùn)算困難問題，本文將交互有效方法與神經(jīng)網(wǎng)絡(luò)回歸模型相結(jié)合，提出了基于交互有效方法的分布式神經(jīng)網(wǎng)絡(luò)回歸模型。該模型的核心思想在于構(gòu)造基于交互有效方法的替代損失函數(shù)來近似全局損失函數(shù)，再進(jìn)行優(yōu)化以獲得全局估計(jì)量的近似結(jié)果。該模型的優(yōu)勢(shì)在于：第一，基于分布式計(jì)算方法，化整為零，降低了神經(jīng)網(wǎng)絡(luò)回歸模型對(duì)單臺(tái)計(jì)算機(jī)的內(nèi)存要求；第二，通過神經(jīng)網(wǎng)絡(luò)回歸模型的網(wǎng)狀結(jié)構(gòu)可以更加靈活地解決非線性回歸問題。數(shù)值模擬和應(yīng)用研究的結(jié)果表明：該模型的預(yù)測(cè)能力與全局神經(jīng)網(wǎng)絡(luò)回歸模型基本一致，且優(yōu)于基于One-shot方法的分布式神經(jīng)網(wǎng)絡(luò)回歸模型。