毛伊敏，張瑞朋，高 波

1.江西理工大學(xué) 信息工程學(xué)院，江西 贛州 341000

2.中國(guó)地質(zhì)調(diào)查局 西安地質(zhì)調(diào)查中心，西安 710000

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展以及大數(shù)據(jù)時(shí)代的到來(lái)[1]，使得大數(shù)據(jù)相較于傳統(tǒng)數(shù)據(jù)，具有了4V特性[2]——（Value）價(jià)值總量高、（Velocity）變化速度快、（Variety）多模態(tài)、（Volume）海量，4V特性導(dǎo)致傳統(tǒng)分類(lèi)算法和處理平臺(tái)很難處理大數(shù)據(jù)，近年來(lái)并行化技術(shù)和特征選擇型分類(lèi)算法的發(fā)展為大數(shù)據(jù)處理提供了一個(gè)新視角。DCNN[3]是分類(lèi)算法中的一類(lèi)重要算法，具有強(qiáng)大的函數(shù)逼近能力、特征選擇能力以及泛化能力，并被廣泛應(yīng)用于臨床醫(yī)學(xué)[4]、地理信息[5]、自動(dòng)駕駛[6]、語(yǔ)義分割[7]、金融投資[8]、目標(biāo)檢測(cè)[9]等領(lǐng)域。因此，基于大數(shù)據(jù)的并行DCNN研究已經(jīng)成為目前分類(lèi)算法的研究熱點(diǎn)。

近年來(lái)，雖然DCNN在大數(shù)據(jù)分類(lèi)領(lǐng)域取得了許多重要成果，但是如何降低網(wǎng)絡(luò)訓(xùn)練的計(jì)算代價(jià)仍然是一個(gè)重要問(wèn)題。為了獲得性能更加優(yōu)秀的網(wǎng)絡(luò)，研究人員不斷加深網(wǎng)絡(luò)的深度和參數(shù)數(shù)量，如AlexNet[10]、VGG[11]、ResNet[12]和Inception系列[13]等。其中，AlexNet有6 100萬(wàn)個(gè)參數(shù)，VGG-16參數(shù)為1.38億個(gè)，它們分類(lèi)一個(gè)圖像分別需要7.2億和150億次浮點(diǎn)運(yùn)算，海量運(yùn)算帶來(lái)的時(shí)間成本和硬件資源問(wèn)題十分嚴(yán)峻，而這些問(wèn)題產(chǎn)生的原因在于DCNN中含有冗余參數(shù)。參數(shù)剪枝是減少冗余參數(shù)的有效方法，它不僅易于平衡壓縮速率和性能損失，還具有防止過(guò)擬合的潛力，因此受到了廣泛關(guān)注。Frederick等人[14]提出了基于腦損傷優(yōu)化的參數(shù)剪枝算法，通過(guò)計(jì)算參數(shù)代價(jià)函數(shù)的二階導(dǎo)數(shù)，去除重要性較小的參數(shù)，然而該方法計(jì)算成本很高，因此在如今的大型網(wǎng)絡(luò)上實(shí)施該算法是不可行的。因此，Lin等人[15]利用神經(jīng)元重要性分?jǐn)?shù)來(lái)修剪網(wǎng)絡(luò)，從而減少反向傳播誤差對(duì)剪枝性能的影響，然而該算法剪枝效率較低。綜上所述，如何設(shè)計(jì)合理且有效的冗余參數(shù)剪枝策略仍是DCNN界的熱點(diǎn)問(wèn)題。

雖然減少冗余參數(shù)能在一定程度上降低DCNN訓(xùn)練的計(jì)算代價(jià)，但參數(shù)的尋優(yōu)效率對(duì)DCNN訓(xùn)練的影響也不容忽視，由于在大數(shù)據(jù)環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)收斂速度較慢且易陷入局部最優(yōu)，因此有學(xué)者提出使用群智能算法優(yōu)化DCNN，提高DCNN尋優(yōu)效率。Anaraki等人[16]提出了基于遺傳算法的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，避免了BP（back propagation algorithm）算法易陷入局部最優(yōu)的缺點(diǎn)，但該算法收斂較慢，不適用于大數(shù)據(jù)環(huán)境。因此，Banharnsakun等人[17]利用人工蜂群和有限記憶優(yōu)化算法共同訓(xùn)練DCNN，該方法在一定程度上提高了DCNN的尋優(yōu)效率，此外，Gilbert等人[18]通過(guò)將DCNN的內(nèi)部參數(shù)空間劃分為多個(gè)分區(qū)，并分別對(duì)這些分區(qū)進(jìn)行優(yōu)化，雖然該策略能顯著提高DCNN分類(lèi)性能，但魯棒性不強(qiáng)，如果分區(qū)大小選擇不當(dāng)，甚至?xí)?dǎo)致分類(lèi)性能降低。因此，如何提高尋優(yōu)效率是當(dāng)前DCNN訓(xùn)練的重要問(wèn)題之一。

在大數(shù)據(jù)環(huán)境下影響并行DCNN算法訓(xùn)練效率的因素不只是尋優(yōu)算法，并行模型的性能也至關(guān)重要。近年來(lái)研究人員提出了許多大數(shù)據(jù)處理方法可以有效提高算法效率，其中Google開(kāi)發(fā)的MapReduce并行模型[19]由于其操作簡(jiǎn)單、自動(dòng)容錯(cuò)、負(fù)載均衡、擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)深受廣大學(xué)者和企業(yè)的青睞。目前許多基于Map-Reduce計(jì)算模型的神經(jīng)網(wǎng)絡(luò)算法已成功應(yīng)用到大數(shù)據(jù)的分析與處理領(lǐng)域中。張任其等人[20]提出了CNN-PSMR（parallel strategy of convolutional neural network based MapReduce）算法，該算法采用數(shù)據(jù)并行的策略，并結(jié)合標(biāo)準(zhǔn)與累積誤差逆?zhèn)鞑ニ惴?，提高了網(wǎng)絡(luò)訓(xùn)練效率。此外，Basit等人[21]提出了DCNN的并行算法MR-DLHR（MapReduce-based deep learning with handwritten digit Recognition case study），提高了DCNN的分類(lèi)精度，但訓(xùn)練效率仍有不足。因此，Zeng等人[22]提出了SRP-CNN（super-resolution parallel convolutional neural network）算法，該算法引入了反濾波層，并通過(guò)多對(duì)多連接和并行多態(tài)本地網(wǎng)絡(luò)，進(jìn)一步提高了DCNN的并行訓(xùn)練效率，但該算法易陷入局部最優(yōu)解。為了提高DCNN的全局尋優(yōu)能力，Banharnsakun等人[23]提出了DCNN-PABC（deep convolutional neural network based parallel artificial bee colony algorithm）算法，結(jié)合人工蜂群算法和并行化思想尋找最優(yōu)參數(shù)，每個(gè)節(jié)點(diǎn)使用不同的隨機(jī)種子來(lái)生成初始解，有助于提高搜索空間中解的多樣性，加強(qiáng)了算法的全局尋優(yōu)能力，然而該算法的并行策略沒(méi)有考慮集群的負(fù)載均衡，資源利用率較低，導(dǎo)致并行效率低下。因此如何實(shí)現(xiàn)高效率并行訓(xùn)練DCNN仍是一個(gè)亟待解決的問(wèn)題。

針對(duì)以上三個(gè)問(wèn)題，本文的主要工作為：（1）設(shè)計(jì)了一種基于泰勒損失的特征圖剪枝策略“FMPTL”，有效減少了冗余參數(shù)，降低了DCNN在大數(shù)據(jù)環(huán)境下的計(jì)算代價(jià)。（2）在獲取局部訓(xùn)練結(jié)果階段，提出了基于信息共享搜索策略“ISS”的螢火蟲(chóng)優(yōu)化算法“IFAS”初始化DCNN參數(shù)，實(shí)現(xiàn)初始參數(shù)取值的優(yōu)化，提高網(wǎng)絡(luò)的收斂速度和全局尋優(yōu)能力。（3）在獲取全局訓(xùn)練結(jié)果階段提出了基于并行計(jì)算熵的動(dòng)態(tài)負(fù)載均衡策略“DLBPCE”，實(shí)現(xiàn)系統(tǒng)資源利用的最大化，從而保證并行系統(tǒng)的并行化性能。

1 算法及相關(guān)概念介紹

1.1 深度卷積神經(jīng)網(wǎng)絡(luò)

DCNN的基本框架如圖1所示，它使用多層卷積、池化提取圖像的高級(jí)語(yǔ)義特征，訓(xùn)練過(guò)程分為正向傳播和反向傳播兩個(gè)階段。

圖1 DCNN結(jié)構(gòu)示意圖Fig.1 DCNN structure diagram

（1）正向傳播階段。對(duì)每層輸入的特征圖計(jì)算過(guò)程如下：

其中，*代表卷積操作，yl表示第l個(gè)卷積層的輸出，x(l-1)為第l層的輸入向量，bl為第l層的偏置項(xiàng)，I為輸入特征圖的集合，wr l為l層第r個(gè)卷積核的權(quán)值，f(x)代表激活函數(shù)。

（2）反向傳播階段。比較網(wǎng)絡(luò)期望的輸出和預(yù)測(cè)結(jié)果來(lái)調(diào)整權(quán)值，其目標(biāo)函數(shù)為：

其中，L(p r)為損失函數(shù)，p r為反向傳播的輸入，λ(w)為正則化函數(shù)，w代表網(wǎng)絡(luò)中的權(quán)值。

1.2 螢火蟲(chóng)優(yōu)化算法

螢火蟲(chóng)優(yōu)化算法（glowworm swarm optimization，GSO）[24-26]是一種模擬螢火蟲(chóng)信息交流過(guò)程的優(yōu)化算法，其主要步驟如下：

（1）初始化熒光素亮度l0，螢火蟲(chóng)感知半徑r0，熒光素?fù)]發(fā)因子ρ，熒光素更新率γ，并更新熒光素亮度l i(t)。

（2）計(jì)算移動(dòng)概率，選擇感知范圍內(nèi)熒光素亮度比自己高的螢火蟲(chóng)作為鄰域集，并根據(jù)公式（3）計(jì)算i移動(dòng)向j的概率：

（3）迭代更新螢火蟲(chóng)位置：

其中，通過(guò)螢火蟲(chóng)個(gè)體不斷移動(dòng)向感知半徑內(nèi)的較優(yōu)個(gè)體，最終找到問(wèn)題的最優(yōu)解。

1.3 并行計(jì)算熵

定義1并行計(jì)算熵（parallel computing entropy）[27]。若一個(gè)并行系統(tǒng)有n個(gè)節(jié)點(diǎn)，第k個(gè)節(jié)點(diǎn)的負(fù)載為l k，其相對(duì)負(fù)載率為，則此并行系統(tǒng)的并行計(jì)算熵為：

2 MR-FPDCNN算法

2.1 算法思想

MR-FPDCNN算法主要包括三個(gè)階段：模型壓縮、局部訓(xùn)練結(jié)果的獲取和全局訓(xùn)練結(jié)果的獲取。（1）模型壓縮階段。提出“FMPTL”策略，使用泰勒公式計(jì)算特征圖的泰勒損失，實(shí)現(xiàn)對(duì)冗余參數(shù)的剪枝，預(yù)訓(xùn)練網(wǎng)絡(luò)，獲得壓縮后的模型。（2）獲取局部訓(xùn)練結(jié)果階段。首先結(jié)合MapReduce并行模型，使用Split函數(shù)將整個(gè)數(shù)據(jù)集分成大小相同的文件塊，存儲(chǔ)在每個(gè)節(jié)點(diǎn)上；接著使用Map函數(shù)并行訓(xùn)練每個(gè)節(jié)點(diǎn)上的網(wǎng)絡(luò)，提出基于信息共享搜索策略“ISS”的螢火蟲(chóng)優(yōu)化算法“IFAS”進(jìn)行參數(shù)初始化，提高網(wǎng)絡(luò)收斂速度和在任務(wù)節(jié)點(diǎn)上的全局尋優(yōu)能力，獲得局部訓(xùn)練結(jié)果。（3）在獲取全局訓(xùn)練結(jié)果階段。提出“DLBPCE”策略，提高集群效率，接著使用Reduce函數(shù)求出各個(gè)節(jié)點(diǎn)上DCNN的最終權(quán)值，獲得全局訓(xùn)練結(jié)果。

2.2 模型壓縮

目前DCNN模型趨向于深度化的特點(diǎn)使其參數(shù)數(shù)量呈幾何倍數(shù)增長(zhǎng)，這導(dǎo)致在大數(shù)據(jù)環(huán)境下DCNN對(duì)計(jì)算機(jī)硬件資源的需求急劇增加，不利于其在硬件資源較低的設(shè)備上運(yùn)行。針對(duì)這一問(wèn)題，提出“FMPTL”策略壓縮DCNN模型，避免冗余參數(shù)過(guò)多，導(dǎo)致計(jì)算開(kāi)銷(xiāo)過(guò)大的問(wèn)題?！癋MPTL”策略如下：

首先，根據(jù)圖1所示DCNN基本框架進(jìn)行預(yù)訓(xùn)練，公式（2）中的損失函數(shù)L使用softmax交叉熵?fù)p失，表示N個(gè)樣本的訓(xùn)練損失：

其中，s n表示第n個(gè)樣本的softmax函數(shù)的輸出，t n∈{1 ,2,…,C}表示分配給第n個(gè)樣本的類(lèi)標(biāo)簽。

其次，在交叉熵?fù)p失的基礎(chǔ)上，將第n個(gè)樣本的特征圖x n∈RHW×1損失L使用泰勒公式：

二階展開(kāi)，提出線(xiàn)性損失函數(shù)“LLF”（linear loss function），以計(jì)算去除特征圖后分類(lèi)損失的變化程度。

定義2線(xiàn)性損失函數(shù)LLF。若x n表示第n個(gè)樣本的特征圖，δ=-x n，L(x n)表示交叉熵?fù)p失，梯度向量，則其線(xiàn)性損失函數(shù)“LLF”如下所示：

其中，Hessian矩陣在迭代過(guò)程中難以計(jì)算，故將其近似表示為H n≈?n?Tn。

證明設(shè)L為樣本的訓(xùn)練損失，x表示特征圖，H為Hessian矩陣，p m表示x對(duì)m類(lèi)樣本的softmax后驗(yàn)概率。則：

證畢。

接著，由公式（9）可知，當(dāng)特征圖x n的值為零時(shí)，δ+x n=0，因此，通過(guò)消除零特征圖，可以利用公式（9）直接得到基于特征圖的泰勒損失公式：

2.3 局部訓(xùn)練結(jié)果的獲取

在模型壓縮之后，使用MapReduce并行訓(xùn)練DCNN，其中，局部訓(xùn)練結(jié)果的獲取包括Split階段和Map階段，在Split階段，使用Hadoop默認(rèn)的文件塊策略，劃分原始數(shù)據(jù)集成為大小相同的Block；在Map階段，每個(gè)任務(wù)節(jié)點(diǎn)都存儲(chǔ)一個(gè)完整的DCNN網(wǎng)絡(luò)，并調(diào)用Map()函數(shù)，并行計(jì)算DCNN的權(quán)值改變量，更新權(quán)值，獲得局部訓(xùn)練結(jié)果。由于DCNN使用反向傳播策略更新權(quán)值，因此在大數(shù)據(jù)環(huán)境下參數(shù)尋優(yōu)能力不佳，針對(duì)這一問(wèn)題，提出基于信息共享搜索策略“ISS”的“IFAS”算法初始化權(quán)值，加快網(wǎng)絡(luò)收斂速度和在節(jié)點(diǎn)內(nèi)部尋找全局最優(yōu)解的能力。其具體步驟如下：

首先，在FA算法的螢火蟲(chóng)群的搜索策略中，提出信息共享搜索策略“ISS”，在公式（4）中引入個(gè)體適應(yīng)度和全體適應(yīng)度的比值，使螢火蟲(chóng)根據(jù)公式（11）迭代更新位置時(shí)，能夠跳出局部最優(yōu)，提高算法的全局搜索能力，避免陷入局部最優(yōu)解。信息共享搜索策略“ISS”定義如下：

定義3信息共享策略ISS。若x i(t)為第t次迭代時(shí)螢火蟲(chóng)i的位置，s為步長(zhǎng)，xmax(t)為螢火蟲(chóng)i感知范圍內(nèi)熒光素值最高的個(gè)體，pi為螢火蟲(chóng)i從最優(yōu)個(gè)體學(xué)習(xí)到的目標(biāo)信息，則搜索策略“ISS”如下所示：

其中，rand()為服從正態(tài)分布的隨機(jī)實(shí)數(shù)，f(x i(t))-f(xmax(t))為螢火蟲(chóng)i與全局最優(yōu)個(gè)體的適應(yīng)度之差，為全部螢火蟲(chóng)與最優(yōu)個(gè)體的適應(yīng)度差值總和。

證明因?yàn)閒(x i(t))-f(xmax(t))為螢火蟲(chóng)i與全局最優(yōu)個(gè)體的適應(yīng)度之差，為全部螢火蟲(chóng)與最優(yōu)個(gè)體的適應(yīng)度偏離總和，若螢火蟲(chóng)i與最優(yōu)個(gè)體適應(yīng)度差值越大，其他螢火蟲(chóng)個(gè)體與最優(yōu)個(gè)體適應(yīng)度差值總和越小時(shí)，則螢火蟲(chóng)i陷入局部最優(yōu)解，導(dǎo)致pi增大，從而加強(qiáng)對(duì)螢火蟲(chóng)i搜索方向的影響，使螢火蟲(chóng)i跳出局部最優(yōu)，提高其全局搜索能力。證畢。

其次，使用“IFAS”算法初始化參數(shù)，并調(diào)用Map()函數(shù)接收＜key=類(lèi)標(biāo)號(hào)，value=樣本值＞鍵值對(duì)。

最后，經(jīng)過(guò)正向傳播和反向傳播計(jì)算出每個(gè)節(jié)點(diǎn)中深度卷積神經(jīng)網(wǎng)絡(luò)權(quán)值的局部改變量，并將其以＜key=w,value=Δw＞鍵值對(duì)的形式存入分布式文件系統(tǒng)（Hadoop distributed file system，HDFS）。

2.4 全局訓(xùn)練結(jié)果的獲取

各個(gè)節(jié)點(diǎn)經(jīng)過(guò)訓(xùn)練得到DCNN的局部權(quán)值，MapReduce將每個(gè)Map節(jié)點(diǎn)輸出的鍵值對(duì)＜key=w,value=Δw＞傳送給reduce()函數(shù)完成最終合并任務(wù)得到最終網(wǎng)絡(luò)權(quán)值，其中w為權(quán)值，Δw表示權(quán)值改變量。由于大數(shù)據(jù)環(huán)境下任務(wù)量過(guò)大，并行系統(tǒng)難以快速地將負(fù)載平均分配給每個(gè)節(jié)點(diǎn)，導(dǎo)致集群響應(yīng)時(shí)間較長(zhǎng)，吞吐率較低，針對(duì)這一問(wèn)題，提出“DLBPCE”策略，提高集群資源利用率?！癉LBPCE”策略的描述如下：

（1）統(tǒng)計(jì)每個(gè)任務(wù)節(jié)點(diǎn)的計(jì)算量，將所有任務(wù)節(jié)點(diǎn)分成輕載、最優(yōu)、超載三種狀態(tài)。

（2）對(duì)于當(dāng)前集群，提出動(dòng)態(tài)負(fù)載閾值公式“DLTF”（dynamic load threshold function），以控制并行系統(tǒng)到負(fù)載均值的距離，從而使集群達(dá)到負(fù)載均衡。

定義4動(dòng)態(tài)負(fù)載閾值公式DLTF。若任務(wù)節(jié)點(diǎn)的動(dòng)態(tài)負(fù)載閾值c∈[csub,ctop]，csub和ctop分別為節(jié)點(diǎn)動(dòng)態(tài)負(fù)載閾值的下限和上限，為集群中所有任務(wù)節(jié)點(diǎn)負(fù)載的平均值，Lmax(t)和Lmin(t)分別為t時(shí)刻任務(wù)節(jié)點(diǎn)中最大和最小的負(fù)載量，則動(dòng)態(tài)負(fù)載閾值公式“DLTF”為：

其中，η表示動(dòng)態(tài)負(fù)載閾值到負(fù)載均值的距離。

證明因?yàn)楹蜑楣?jié)點(diǎn)動(dòng)態(tài)負(fù)載閾值的上限與下限為動(dòng)態(tài)負(fù)載閾值到負(fù)載均值的距離，所以，隨著任務(wù)節(jié)點(diǎn)的最大和最小負(fù)載量差值減小，動(dòng)態(tài)負(fù)載閾值的取值范圍也減小，從而使節(jié)點(diǎn)負(fù)載更加接近負(fù)載均值，當(dāng)集群的并行計(jì)算熵大于或等于閾值H b時(shí)，并行系統(tǒng)達(dá)到負(fù)載均衡。證畢。

（3）根據(jù)動(dòng)態(tài)負(fù)載閾值將任務(wù)節(jié)點(diǎn)分為三組：

其中，當(dāng)任務(wù)節(jié)點(diǎn)負(fù)載L(t)∈[Lmin(t),csub]時(shí)，該節(jié)點(diǎn)處于輕載狀態(tài)；當(dāng)任務(wù)節(jié)點(diǎn)負(fù)載L(t)∈[csub,ctop]時(shí)，該節(jié)點(diǎn)處于最優(yōu)狀態(tài)；當(dāng)任務(wù)節(jié)點(diǎn)負(fù)載L(t)∈[ctop,Lmax(t)]時(shí)，該節(jié)點(diǎn)處于超載狀態(tài)。將輕載節(jié)點(diǎn)按負(fù)載量從小到大排序，并將其放入隊(duì)列Qlight中；將超載節(jié)點(diǎn)按負(fù)載量從大到小排序，并放入隊(duì)列Qover中。

（4）從隊(duì)列Qover中取出隊(duì)首節(jié)點(diǎn)，將其未處理任務(wù)發(fā)送給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)將該任務(wù)重新分配給Qlight中的隊(duì)首節(jié)點(diǎn)，若Qover或Qlight的隊(duì)首節(jié)點(diǎn)達(dá)到動(dòng)態(tài)負(fù)載閾值c，將其出隊(duì)；若Qlight的隊(duì)首節(jié)點(diǎn)接受新任務(wù)后超載，則拒絕該任務(wù)，將任務(wù)返回給管理節(jié)點(diǎn)，并出隊(duì)Qlight的隊(duì)首節(jié)點(diǎn)，重復(fù)該過(guò)程，直至其中一個(gè)隊(duì)列為空。

（5）根據(jù)公式（5）計(jì)算集群的并行計(jì)算熵，與預(yù)設(shè)閾值Hb進(jìn)行比較，當(dāng)計(jì)算得到的并行計(jì)算熵大于等于閾值Hb時(shí)，并行系統(tǒng)達(dá)到負(fù)載均衡，算法結(jié)束，調(diào)用Reduce()函數(shù)合并DCNN的局部權(quán)值，得到全局訓(xùn)練結(jié)果；反之，并行系統(tǒng)負(fù)載不均衡，迭代進(jìn)行“DLBPCE”策略。

2.5 MR-FPDCNN算法步驟

MR-FPDCNN算法的具體實(shí)現(xiàn)步驟如下所示：

步驟1輸入原始數(shù)據(jù)，并通將其劃分成大小相同的文件塊Block。

步驟2基于原始DCNN模型，調(diào)用“FMPTL”策略計(jì)算每個(gè)特征圖的分類(lèi)損失，并對(duì)其進(jìn)行剪枝，獲得壓縮后的DCNN模型，將其存入每個(gè)任務(wù)節(jié)點(diǎn)。

步驟3根據(jù)“IFAS”算法初始化DCNN權(quán)值，并調(diào)用Map()函數(shù)，在每個(gè)節(jié)點(diǎn)上經(jīng)過(guò)DCNN的正向和反向傳播，生成局部訓(xùn)練結(jié)果，并將其存入HDFS。

步驟4根據(jù)“DLBPCE”策略控制并行系統(tǒng)的任務(wù)節(jié)點(diǎn)負(fù)載，并調(diào)用Reduce()函數(shù)合并權(quán)值，獲得全局訓(xùn)練結(jié)果。

2.6 時(shí)間復(fù)雜度

MR-FPDCNN算法的時(shí)間復(fù)雜度主要由壓縮網(wǎng)絡(luò)、局部訓(xùn)練結(jié)果的獲取、全局訓(xùn)練結(jié)果的獲取這幾個(gè)步驟構(gòu)成。網(wǎng)絡(luò)壓縮階段時(shí)間花銷(xiāo)為特征圖排序與特征圖剪枝時(shí)間之和，假設(shè)預(yù)訓(xùn)練樣本數(shù)為m，特征圖剪枝數(shù)量為P；在初始化權(quán)值階段，假設(shè)Map節(jié)點(diǎn)數(shù)為a，“IFAS”算法的每一次迭代都要做一次矩陣向量乘法和一些向量?jī)?nèi)積的計(jì)算；在網(wǎng)絡(luò)并行化訓(xùn)練階段，其時(shí)間復(fù)雜度主要取決于卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部的運(yùn)算，假設(shè)網(wǎng)絡(luò)包含D個(gè)卷積層，Cl表示第l個(gè)卷積層的卷積核個(gè)數(shù)，M為每個(gè)卷積核輸出特征圖的邊長(zhǎng)，K表示每個(gè)卷積核的邊長(zhǎng)；在全局訓(xùn)練結(jié)果的獲取階段主要是平衡節(jié)點(diǎn)間的負(fù)載和權(quán)值合并，假設(shè)Reduce節(jié)點(diǎn)數(shù)為r，權(quán)值總數(shù)為w，“DLBPCE”策略的迭代次數(shù)為e，因此MRFPDCNN算法時(shí)間復(fù)雜度為：TMR-FPDCNN=O(mlgm+

3 實(shí)驗(yàn)結(jié)果以及分析

3.1 實(shí)驗(yàn)環(huán)境

為了驗(yàn)證MR-FPDCNN算法訓(xùn)練DCNN的性能，本文設(shè)計(jì)了相關(guān)實(shí)驗(yàn)。實(shí)驗(yàn)硬件包含1個(gè)管理節(jié)點(diǎn)，7個(gè)任務(wù)節(jié)點(diǎn)，所有節(jié)點(diǎn)的CPU都為AMD Ryzen 9，內(nèi)存為16 GB，擁有8個(gè)處理單元，GPU為NVIDIA RTX2080Ti 8 GB，通過(guò)1 Gb/s以太網(wǎng)相連。在軟件方面，每個(gè)節(jié)點(diǎn)安裝的操作系統(tǒng)為Ubuntu 20.04，MapReduce架構(gòu)為Apache Hadoop 3.2.1，軟件編程環(huán)境為java JDK 1.8.0。節(jié)點(diǎn)具體配置情況如表1所示。

表1 各節(jié)點(diǎn)的基本配置Table 1 Basic node configuration

3.2 實(shí)驗(yàn)數(shù)據(jù)

本文使用的實(shí)驗(yàn)數(shù)據(jù)為三個(gè)真實(shí)數(shù)據(jù)集，它們?cè)从贕oogle Data、Imagenet官網(wǎng)和Mnist，分別為SVHN、ISLVRC2012、Emnist_Digits。SVHN數(shù)據(jù)集是現(xiàn)實(shí)世界拍攝的彩色數(shù)字圖像，像素為32×32，訓(xùn)練集中有73 200張圖像，測(cè)試集中有26 000張圖像，將其像素標(biāo)準(zhǔn)化至[0，1]的范圍內(nèi)；從ISLVRC2012數(shù)據(jù)集隨機(jī)選取500個(gè)類(lèi)別，其中訓(xùn)練圖像612 327張，測(cè)試圖像500 000張，將數(shù)據(jù)集中的圖片像素標(biāo)準(zhǔn)化為224×224；Emnist_Digits數(shù)據(jù)集是手寫(xiě)字體的黑白圖像，32×32像素，訓(xùn)練集240 000張圖片，測(cè)試集40 000張圖片。所有數(shù)據(jù)集的具體信息如表2所示。

表2 實(shí)驗(yàn)數(shù)據(jù)集Table 2 Experimental data set

3.3 評(píng)價(jià)指標(biāo)

本文使用加速比（Speedup）作為指標(biāo)來(lái)評(píng)價(jià)算法性能。算法的加速比是指通過(guò)并行化得到的性能提升，加速比越大，算法的并行化程度越好。其定義為：

其中，T s表示算法串行執(zhí)行的時(shí)間，T p表示算法并行執(zhí)行的時(shí)間。

3.4 算法加速比的比較分析

為驗(yàn)證MR-FPDCNN算法的并行化性能，本文基于SVHN、Emnist_Digits、ISLVRC2012三個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)結(jié)果的加速比，分別與CNN-PSMR[20]、MR-DLHR[21]、SRP-CNN[22]和DCNN-PABC[23]的并行化性能進(jìn)行比較分析。實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 各算法在三個(gè)數(shù)據(jù)集上的加速比Fig.2 Speedup of each algorithm on three datasets

從圖2可以看出，MR-FPDCNN算法在處理大數(shù)據(jù)集時(shí)并行性能較好。在小規(guī)模數(shù)據(jù)集中，如圖2（a）所示，當(dāng)節(jié)點(diǎn)數(shù)為2個(gè)時(shí)，MR-FPDCNN算法加速比約為1.6，分別比MR-DLHR和DCNN-PABC算法低0.2和0.1，比CNN-PSMR、SRP-CNN算法高0.4和0.2，但隨著計(jì)算節(jié)點(diǎn)數(shù)的增加到6個(gè)，MR-FPDCNN算法的加速比超越了MR-DLHR和DCNN-PABC算法，分別比MR-DLHR和CNN-PSMR算法高2.1、1.6、3.3和4.0，這是由于節(jié)點(diǎn)數(shù)較少時(shí)，MR-FPDCNN算法在集群運(yùn)行、任務(wù)調(diào)度、節(jié)點(diǎn)存儲(chǔ)等環(huán)節(jié)產(chǎn)生了時(shí)間開(kāi)銷(xiāo)，而該時(shí)間開(kāi)銷(xiāo)在節(jié)點(diǎn)較少時(shí)，占算法總時(shí)間開(kāi)銷(xiāo)的比重較大，因此在MR-FPDCNN算法在這種情況下的加速比較低，而隨著節(jié)點(diǎn)數(shù)的增加，MR-FPDCNN算法的“DLBPCE”策略有效地控制了節(jié)點(diǎn)之間的負(fù)載均衡，有效利用了集群的資源，因此MR-FPDCNN算法的加速比超越了MR-DLHR和DCNN-PABC算法；在較大的數(shù)據(jù)集中，CNN-PSMR算法、DCNN-PABC算法、SRP-CNN算法和MR-DLHR算法如圖2（b）、（c）所示，4個(gè)對(duì)比算法的加速比最終趨于穩(wěn)定，分別為2.7、3.9、6.1和6.8，而MR-FPDCNN算法的加速比隨著節(jié)點(diǎn)數(shù)增加呈線(xiàn)性增長(zhǎng)，當(dāng)節(jié)點(diǎn)數(shù)為8個(gè)時(shí)加速比達(dá)到9.3，遠(yuǎn)高于MR-DLHR、DCNN-PABC、SRP-CNN和CNN-PSMR算法，這是由于MR-FPDCNN算法使用“DLBPCE”負(fù)載均衡策略，均勻地將分類(lèi)結(jié)果分配到各個(gè)計(jì)算節(jié)點(diǎn)中，算法并行化計(jì)算分類(lèi)結(jié)果和更新權(quán)值的優(yōu)點(diǎn)被逐漸放大，使其算法在計(jì)算節(jié)點(diǎn)增加的同時(shí)，加速比呈線(xiàn)性增長(zhǎng)，算法的并行化性能得到很大的提升。這也表明MR-FPDCNN算法適用于處理較大規(guī)模的數(shù)據(jù)集，并且隨著計(jì)算節(jié)點(diǎn)的增長(zhǎng)，并行化的效果更佳。

4 結(jié)語(yǔ)

為彌補(bǔ)傳統(tǒng)DCNN算法在大數(shù)據(jù)環(huán)境下的難以訓(xùn)練的缺陷，本文提出了一種新的DCNN訓(xùn)練方法MR-FPDCNN。首先，隨機(jī)選取部分?jǐn)?shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并設(shè)計(jì)了基于泰勒損失的特征圖剪枝策略“FMPTL”，通過(guò)比較特征圖的泰勒損失實(shí)現(xiàn)冗余參數(shù)剪枝，從而降低算法計(jì)算代價(jià)；其次，使用MapReduce對(duì)DCNN進(jìn)行并行訓(xùn)練，并在Map階段的參數(shù)初始化過(guò)程中提出了基于信息共享策略“ISS”的螢火蟲(chóng)優(yōu)化算法“IFAS”，加速了網(wǎng)絡(luò)訓(xùn)練并提高了DCNN的全局尋優(yōu)能力；最后，在Reduce階段提出了基于并行計(jì)算熵的負(fù)載均衡策略“DLBPCE”，解決了集群資源利用率低的問(wèn)題，提高了集群的并行化性能。為了驗(yàn)證MR-FPDCNN算法的并行化性能，本文在SVHN、Emnist_Digits、ISLVRC2012三個(gè)數(shù)據(jù)集上對(duì)MR-FPDCNN、MR-DLHR、DCNN-PABC、SRP-CNN和CNN-PSMR五種算法進(jìn)行對(duì)比分析，實(shí)驗(yàn)結(jié)果表明，在大數(shù)據(jù)環(huán)境下MR-FPDCNN算法的加速比明顯高于其他幾種算法。