張德園,楊 柳,李照奎,石祥濱

(沈陽(yáng)航空航天大學(xué) 計(jì)算機(jī)學(xué)院,沈陽(yáng) 110136)

深度學(xué)習(xí)[1-2]正在被越來(lái)越多地應(yīng)用到各個(gè)領(lǐng)域的新應(yīng)用和新問(wèn)題上,并取得了令人矚目的性能。深度神經(jīng)網(wǎng)絡(luò)以其優(yōu)異的性能表現(xiàn),在機(jī)器視覺(jué)領(lǐng)域得到廣泛關(guān)注并掀起一陣熱潮。近年來(lái),卷積神經(jīng)網(wǎng)絡(luò)[3-5](Convolution Neural Network,CNN)在圖像分類(lèi)和識(shí)別領(lǐng)域取得了許多實(shí)質(zhì)性進(jìn)展,并已經(jīng)在手寫(xiě)數(shù)字識(shí)別、人臉檢測(cè)領(lǐng)域展現(xiàn)了其優(yōu)異的性能。Krizhevsky[6]使用深度卷積神經(jīng)網(wǎng)絡(luò)在ImageNet分類(lèi)任務(wù)中得到了83.6%準(zhǔn)確率的標(biāo)志性成果。Zisserman[7]等人使用卷積神經(jīng)網(wǎng)絡(luò)在LFW人臉數(shù)據(jù)集上得到97%的識(shí)別率。

然而在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中,每層輸入數(shù)據(jù)的分布隨上一層的參數(shù)變化而發(fā)生變化,每次調(diào)整網(wǎng)絡(luò)時(shí)要使每一層去適應(yīng)輸入的分布變化。這會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)很難訓(xùn)練得到一組性能最優(yōu)的參數(shù)。在網(wǎng)絡(luò)初始化時(shí)仔細(xì)地調(diào)整參數(shù)和降低訓(xùn)練過(guò)程中使用的學(xué)習(xí)率可以在一定程度上降低這種由分布變化帶來(lái)的影響,但同時(shí)也會(huì)降低網(wǎng)絡(luò)的訓(xùn)練速度。在傳統(tǒng)的深度網(wǎng)絡(luò)中,學(xué)習(xí)率太高可能會(huì)導(dǎo)致梯度爆炸或消失,以及陷入局部最小值的問(wèn)題。通過(guò)歸一化整個(gè)網(wǎng)絡(luò)中的激活,可以防止參數(shù)的微小變化通過(guò)深層網(wǎng)絡(luò)擴(kuò)大為梯度的次優(yōu)變化。文獻(xiàn)[8]中通過(guò)在網(wǎng)絡(luò)隱藏層中對(duì)每一塊輸入數(shù)據(jù)進(jìn)行歸一化處理來(lái)解決這一問(wèn)題,稱(chēng)之為批歸一化(batch normalization),并將批歸一化技術(shù)應(yīng)用到圖像分類(lèi)模型中,獲取了相同的分類(lèi)精度并且訓(xùn)練次數(shù)減少了14倍,大幅度優(yōu)于原始模型。文獻(xiàn)[9]中對(duì)AlexNet 和 VGG19均做了批歸一化處理,發(fā)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練時(shí)間和分類(lèi)錯(cuò)誤率都有所下降。

近年來(lái),批歸一化已經(jīng)成為訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)工具包的一部分[10]。批歸一化使模型訓(xùn)練時(shí)內(nèi)部激活的分布更加穩(wěn)定,令訓(xùn)練時(shí)使用更高的學(xué)習(xí)率成為可能,并減少了模型對(duì)初始化參數(shù)的敏感度。這些影響可以加快訓(xùn)練速度,而且有時(shí)候甚至可以急劇增加訓(xùn)練速度。目前,批歸一化已經(jīng)成功地應(yīng)用于最先進(jìn)的架構(gòu)中,比如殘差網(wǎng)絡(luò)[11](residual networks)。但是在實(shí)際應(yīng)用中,批歸一化高度依賴(lài)于數(shù)據(jù)塊(mini-batch)的大小,訓(xùn)練網(wǎng)絡(luò)時(shí)要對(duì)數(shù)據(jù)塊大小進(jìn)行約束,并且涉及很多矩陣運(yùn)算,導(dǎo)致訓(xùn)練時(shí)間過(guò)長(zhǎng)。本文針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)、難以調(diào)整的問(wèn)題,研究了批歸一化集成算法。分析了導(dǎo)致加入批歸一化的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)收斂不穩(wěn)定的原因,并采用集成網(wǎng)絡(luò)的方法在不降低原有性能的同時(shí)使網(wǎng)絡(luò)的收斂更加穩(wěn)定、快速。

1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文實(shí)驗(yàn)中使用的LeNet[12]網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 LeNet網(wǎng)絡(luò)結(jié)構(gòu)表

網(wǎng)絡(luò)主要基于構(gòu)建塊的方式進(jìn)行設(shè)計(jì),是由五個(gè)部分(block)組成的16層卷積神經(jīng)網(wǎng)絡(luò),每個(gè)部分的基本結(jié)構(gòu)為:線性運(yùn)算(conv)-批歸一化(bnorm)-非線性運(yùn)算(relu或pool)。block1、block2和block3中的線性操作類(lèi)型為卷積操作,每個(gè)卷積操作采用5×5大小的卷積核來(lái)感知圖像上的局部信息。為了能夠在訓(xùn)練網(wǎng)絡(luò)時(shí)快速得到一個(gè)局部最優(yōu)的網(wǎng)絡(luò),每個(gè)卷積操作后添加了一個(gè)批歸一化操作來(lái)提高網(wǎng)絡(luò)在優(yōu)化時(shí)目標(biāo)函數(shù)的收斂速度。網(wǎng)絡(luò)的最后兩個(gè)block中的線性操作為全連接操作。全連接運(yùn)算與卷積運(yùn)算相似,只是卷積核的大小與本層輸入的大小相同,這樣每個(gè)卷積核可以將全部的信息整合到一起,感知整張圖像的信息。第一個(gè)全連接部分(block4)輸出為一個(gè)512維的向量,最后一個(gè)全連接(block5)輸出對(duì)應(yīng)于訓(xùn)練數(shù)據(jù)集中類(lèi)別標(biāo)簽的數(shù)量。同時(shí),block5也可以看作一個(gè)多路分類(lèi)預(yù)測(cè)器,根據(jù)block4提取出的512維的特征向量預(yù)測(cè)出表示每個(gè)類(lèi)別可能性的預(yù)測(cè)向量。輸出的預(yù)測(cè)向量最終通過(guò)損失層(loss)的softmax函數(shù)計(jì)算得出一個(gè)對(duì)每個(gè)類(lèi)別的后驗(yàn)概率,并得到優(yōu)化目標(biāo)進(jìn)而通過(guò)反向傳播調(diào)整網(wǎng)絡(luò)。

2 批歸一化問(wèn)題分析

2.1 批歸一化技術(shù)介紹

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí),一般會(huì)對(duì)輸入數(shù)據(jù)進(jìn)行取均值處理或白化[13](whiten)處理來(lái)加快訓(xùn)練。常用的白化方法是在對(duì)數(shù)據(jù)進(jìn)行主成分分析[14-15](PCA)操作后進(jìn)行歸一化操作。如圖1所示,左邊的圖像是原始數(shù)據(jù)的分布圖像;中間的圖像是使用PCA處理后的數(shù)據(jù)分布圖像,數(shù)據(jù)分布的均值變?yōu)?并且被旋轉(zhuǎn)到特征向量上,去除了數(shù)據(jù)的相關(guān)性;右邊的圖像是在中間數(shù)據(jù)分布的基礎(chǔ)上進(jìn)一步歸一化處理,使數(shù)據(jù)服從高斯分布。

圖1 數(shù)據(jù)白化示意圖

雖然在神經(jīng)網(wǎng)絡(luò)中通過(guò)對(duì)每一層的輸入數(shù)據(jù)進(jìn)行白化處理可以很好地控制數(shù)據(jù)的分布變化,加快網(wǎng)絡(luò)的訓(xùn)練速度。但是數(shù)據(jù)白化操作在反向傳播過(guò)程中并不一定能夠求得導(dǎo)數(shù),且計(jì)算協(xié)方差矩陣和求逆的操作開(kāi)銷(xiāo)巨大,導(dǎo)致這種方法并不是實(shí)際可行的。

批歸一化技術(shù)對(duì)數(shù)據(jù)白化的方法進(jìn)行簡(jiǎn)化,單獨(dú)地對(duì)每一個(gè)神經(jīng)元的特征進(jìn)行歸一化處理并且每次只在一個(gè)訓(xùn)練用的數(shù)據(jù)塊上計(jì)算均值和方差。對(duì)數(shù)據(jù)歸一化的處理就是讓數(shù)據(jù)的均值為0,方差為1,計(jì)算公式如式(1)所示。

(1)

(2)

公式(1)和公式(2)的批歸一化算法中的變換操作具體算法如表2所示。

表2 批歸一化算法

在訓(xùn)練時(shí)需要計(jì)算損失函數(shù)對(duì)批歸一化變換中參數(shù)的梯度,根據(jù)鏈?zhǔn)椒▌t可以求得損失函數(shù)對(duì)批歸一化中參數(shù)的導(dǎo)數(shù),計(jì)算方法如公式(3)所示。

(3)

這樣確保了網(wǎng)絡(luò)在訓(xùn)練過(guò)程中,每層都能夠?qū)斎霐?shù)據(jù)的分布進(jìn)行學(xué)習(xí)。同時(shí),減弱了數(shù)據(jù)中分布的變化,提高訓(xùn)練速度。在實(shí)際使用過(guò)程中,批歸一化大多放在激活函數(shù)之前、卷積操作之后。采用了批歸一化的網(wǎng)絡(luò)有如下優(yōu)點(diǎn):

(1)網(wǎng)絡(luò)中可以使用更大的學(xué)習(xí)率去學(xué)習(xí)參數(shù);

(2)不需要考慮網(wǎng)絡(luò)中參數(shù)初始化的問(wèn)題;

(3)在一定程度上消除了使用Dropout的情況;

(4)與不加批歸一化的網(wǎng)絡(luò)相比,達(dá)到相同的精度減少了14倍的訓(xùn)練次數(shù)。

2.2 批歸一化方差統(tǒng)計(jì)分析

批歸一化是在數(shù)據(jù)集的每個(gè)子數(shù)據(jù)集(batch)上進(jìn)行歸一化計(jì)算,其中的兩個(gè)關(guān)鍵參數(shù)均值和方差在測(cè)試時(shí)和實(shí)際應(yīng)用中需要固定下來(lái)。根據(jù)訓(xùn)練數(shù)據(jù)集的每個(gè)子數(shù)據(jù)集上的結(jié)果可以計(jì)算出批歸一化操作中的均值和方差這兩個(gè)參數(shù)。常用的批歸一化中均值和方差采用隨機(jī)梯度下降法根據(jù)每個(gè)子數(shù)據(jù)集上的均值和方差進(jìn)行更新,若每個(gè)子數(shù)據(jù)集計(jì)算得到的均值和方差差異較大就會(huì)導(dǎo)致批歸一化中均值和方差在每輪迭代后的波動(dòng)較大,使網(wǎng)絡(luò)的錯(cuò)誤率產(chǎn)生波動(dòng)。

本文分別從Mnist數(shù)據(jù)集、Cifar-10數(shù)據(jù)集和Sat-4數(shù)據(jù)集上訓(xùn)練的LeNet網(wǎng)絡(luò)中選取性能最優(yōu)的模型進(jìn)行統(tǒng)計(jì)分析。在每個(gè)數(shù)據(jù)塊上分別計(jì)算對(duì)應(yīng)的網(wǎng)絡(luò)模型中四個(gè)批歸一化輸出結(jié)果的均值并分別統(tǒng)計(jì)每一個(gè)批歸一化輸出結(jié)果均值的方差。圖2和圖3分別為在Mnist數(shù)據(jù)集和Cifar-10數(shù)據(jù)集上得到的統(tǒng)計(jì)結(jié)果,圖4為在Sat-4數(shù)據(jù)集上得到的統(tǒng)計(jì)結(jié)果,采用直方圖的方式顯示。

對(duì)于Mnist、Cifar-10和Sat-4三個(gè)數(shù)據(jù)集,網(wǎng)絡(luò)中每個(gè)批歸一化的輸出結(jié)果數(shù)據(jù)分布都有一定的波動(dòng)。其中,由于第一個(gè)批歸一化操作和最后一個(gè)批歸一化操作靠近輸入和輸出的位置,計(jì)算出的分布波動(dòng)較大;中間兩層批歸一化操作輸出結(jié)果的波動(dòng)相對(duì)穩(wěn)定。并且批歸一化在Cifar-10數(shù)據(jù)集上得到的統(tǒng)計(jì)結(jié)果比Mnist數(shù)據(jù)集上的統(tǒng)計(jì)結(jié)果算出的方差較大,說(shuō)明批歸一化在Cifar-10數(shù)據(jù)集上每個(gè)數(shù)據(jù)塊的計(jì)算輸出結(jié)果差異更大。批歸一化在Sat-4數(shù)據(jù)集上得到的統(tǒng)計(jì)結(jié)果較為接近。網(wǎng)絡(luò)在Mnist數(shù)據(jù)集上的訓(xùn)練曲線比Cifar-10數(shù)據(jù)集上的訓(xùn)練曲線更加穩(wěn)定。

由于這種波動(dòng)是批歸一化在確定公式中均值和方差時(shí)的波動(dòng)所導(dǎo)致的,通過(guò)合理地設(shè)置批歸一化中的兩個(gè)常量、減少輸出結(jié)果的波動(dòng),可以在一定程度上使網(wǎng)絡(luò)的收斂更加穩(wěn)定。

圖2 批歸一化在Mnist上的統(tǒng)計(jì)結(jié)果

圖3批歸一化在Cifar-10上的統(tǒng)計(jì)結(jié)果

圖4 批歸一化在Sat-4上的統(tǒng)計(jì)結(jié)果

3 BN-Cluster基于批歸一化參數(shù)聚類(lèi)的DNN集成算法

現(xiàn)有的批歸一化方法中的均值和方差通常采用梯度下降法,根據(jù)每一輪中每一個(gè)數(shù)據(jù)塊上計(jì)算得到的均值和方差來(lái)進(jìn)行微調(diào)。由于每個(gè)數(shù)據(jù)塊上得到的均值和方差的差異較大,通過(guò)這種方法計(jì)算得到的批歸一化中的均值和方差波動(dòng)較大,導(dǎo)致網(wǎng)絡(luò)波動(dòng)較大。因此,我們采用集成學(xué)習(xí)方法,對(duì)網(wǎng)絡(luò)在多個(gè)數(shù)據(jù)塊上計(jì)算批歸一化的均值和方差得到多個(gè)子神經(jīng)網(wǎng)絡(luò)。每個(gè)子神經(jīng)網(wǎng)絡(luò)僅在批歸一化的均值和方差設(shè)置上有差異,其余網(wǎng)絡(luò)層完全相同。通過(guò)多個(gè)網(wǎng)絡(luò)結(jié)果投票的方式?jīng)Q定最終的分類(lèi)結(jié)果。

基于批歸一化參數(shù)聚類(lèi)的CNN集成算法具體如表3所示。

表3 基于批歸一化參數(shù)聚類(lèi)的CNN集成算法

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

本文選取了遙感圖像數(shù)據(jù)集Sat-4、普通圖像數(shù)據(jù)集Cifar-10和Mnist。Sat-4數(shù)據(jù)集圖像包含4個(gè)通道,紅(R)、綠、(G)、藍(lán)(B)以及近紅外(NIR)通道,每個(gè)圖像大小均為28×28像素。Sat-4包含共50萬(wàn)張圖片,共4個(gè)類(lèi)別,分為貧瘠土地(barren)、樹(shù)木(trees)、草地(grass)以及除了以上三種類(lèi)別的其他類(lèi)別(none)。Cifar-10數(shù)據(jù)集圖像包含3個(gè)通道,分別是紅(R)、綠、(G)、藍(lán)(B),每個(gè)圖像大小均為32×32像素。Mnist由7萬(wàn)張圖片組成,共有10個(gè)類(lèi)別。在 MNIST 數(shù)據(jù)集中每張圖片由 28×28 個(gè)像素點(diǎn)構(gòu)成,每個(gè)像素點(diǎn)用一個(gè)灰度值表示。

圖5 LeNet在Mnist、Cifar-10和Sat-4數(shù)據(jù)集上的錯(cuò)誤率曲線

4.2 實(shí)驗(yàn)結(jié)果分析

由于本文中使用的網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)集較大,不便于進(jìn)行大量的運(yùn)算。實(shí)驗(yàn)中首先采用了MatConvNet工具包中Mnist數(shù)據(jù)集上的LeNet網(wǎng)絡(luò)進(jìn)行驗(yàn)證實(shí)驗(yàn),分析導(dǎo)致加入了批歸一化的神經(jīng)網(wǎng)絡(luò)收斂不穩(wěn)定的因素。Mnist數(shù)據(jù)集上使用的LeNet網(wǎng)絡(luò)中包含四個(gè)部分,網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單便于進(jìn)行統(tǒng)計(jì)和分析。我們?cè)诿總€(gè)部分包中添加一個(gè)批歸一化操作,使用相同結(jié)構(gòu)的LeNet網(wǎng)絡(luò)分別在Mnist數(shù)據(jù)集和Cifar數(shù)據(jù)集上訓(xùn)練并選擇性能最優(yōu)的網(wǎng)絡(luò)模型。為了得到較好的用于實(shí)驗(yàn)驗(yàn)證的網(wǎng)絡(luò)模型,訓(xùn)練時(shí)將數(shù)據(jù)劃分成每500個(gè)數(shù)據(jù)為一個(gè)數(shù)據(jù)塊,采用0.1的學(xué)習(xí)率進(jìn)行了共200輪的迭代。圖5為L(zhǎng)eNet在Mnist數(shù)據(jù)集、Cifar數(shù)據(jù)集和Sat-4數(shù)據(jù)集上訓(xùn)練時(shí)在訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集上的分類(lèi)錯(cuò)誤率曲線。圖中三角形圖例為模型在訓(xùn)練集上的分類(lèi)錯(cuò)誤率曲線,用于觀察模型對(duì)訓(xùn)練數(shù)據(jù)的擬合程度;圓形圖例為模型在驗(yàn)證集上的錯(cuò)誤率曲線。在選擇網(wǎng)絡(luò)模型時(shí)我們更關(guān)注模型在驗(yàn)證時(shí)的分類(lèi)精度,依據(jù)每一輪迭代得到的錯(cuò)誤率曲線選擇最優(yōu)的參數(shù)模型。

通過(guò)200輪迭代的錯(cuò)誤率曲線可以直觀地看出網(wǎng)絡(luò)在Mnist數(shù)據(jù)集上訓(xùn)練時(shí)的錯(cuò)誤率曲線波動(dòng)集中在0到0.05之間,誤差波動(dòng)較小,網(wǎng)絡(luò)收斂相對(duì)穩(wěn)定。在Cifar-10數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)的錯(cuò)誤率曲線波動(dòng)集中在0.2到0.3之間,在Sat-4數(shù)據(jù)集上訓(xùn)練時(shí)的錯(cuò)誤率曲線波動(dòng)集中在0.05到0.2之間,在Sat-4數(shù)據(jù)集上的錯(cuò)誤曲線波動(dòng)幅度較大且頻繁、無(wú)規(guī)律。根據(jù)網(wǎng)絡(luò)訓(xùn)練時(shí)的錯(cuò)誤率曲線對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行選擇時(shí),Mnist數(shù)據(jù)集在100輪迭代之前可以選出一個(gè)性能較好的網(wǎng)絡(luò),而在Cifar和Sat-4數(shù)據(jù)集上則需要接近200輪的迭代。

對(duì)每個(gè)網(wǎng)絡(luò)計(jì)算每個(gè)數(shù)據(jù)塊上的子網(wǎng)絡(luò)時(shí),需要花費(fèi)大量的時(shí)間和存儲(chǔ)空間去計(jì)算和保存每個(gè)子網(wǎng)絡(luò)。實(shí)驗(yàn)中,我們分別從Mnist、Cifar-10和Sat-4數(shù)據(jù)集的前100輪迭代得到的網(wǎng)絡(luò)中每輪迭代選取一個(gè)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn),共100個(gè)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)測(cè)試。對(duì)100個(gè)網(wǎng)絡(luò)模型分別計(jì)算在各個(gè)數(shù)據(jù)塊上的子網(wǎng)絡(luò),根據(jù)使用的數(shù)據(jù)塊計(jì)算子網(wǎng)絡(luò)中批歸一化操作的均值和方差。計(jì)算完成后,分別將一個(gè)網(wǎng)絡(luò)的每個(gè)子網(wǎng)絡(luò)中所有的批歸一化層的均值和方差展開(kāi)成一個(gè)向量,每個(gè)子網(wǎng)絡(luò)對(duì)應(yīng)一個(gè)與批歸一化參數(shù)設(shè)置相關(guān)的向量。采用k-center方法對(duì)所有子網(wǎng)絡(luò)的參數(shù)向量聚類(lèi),得到100組參數(shù)設(shè)置,并根據(jù)相應(yīng)的參數(shù)找到對(duì)應(yīng)的子網(wǎng)絡(luò)。在測(cè)試網(wǎng)絡(luò)性能時(shí)對(duì)100個(gè)子網(wǎng)絡(luò)的進(jìn)行集成,將每個(gè)子網(wǎng)絡(luò)計(jì)算得到的標(biāo)簽預(yù)測(cè)向量按照相應(yīng)標(biāo)簽的預(yù)測(cè)值求和,得到一個(gè)新的標(biāo)簽預(yù)測(cè)向量作為最終的輸出結(jié)果。集成后的神經(jīng)網(wǎng)絡(luò)由100個(gè)子網(wǎng)絡(luò)組成,top1error的分類(lèi)精度如圖6所示。

圖6 改進(jìn)后神經(jīng)網(wǎng)絡(luò)的訓(xùn)練曲線

實(shí)驗(yàn)結(jié)果證明,采用集成學(xué)習(xí)的方法確定批歸一化的參數(shù),網(wǎng)絡(luò)在Cifar數(shù)據(jù)集上訓(xùn)練時(shí)錯(cuò)誤率曲線波動(dòng)明顯降低,在Mnist數(shù)據(jù)集上也有所減少。與圖2中在Sat-4數(shù)據(jù)集上訓(xùn)練曲線相比,采用了集成批歸一化后的網(wǎng)絡(luò)在Sat-4數(shù)據(jù)集上訓(xùn)練時(shí)收斂更加穩(wěn)定。同時(shí),改進(jìn)后的網(wǎng)絡(luò)在驗(yàn)證集上的分類(lèi)精度沒(méi)有損失,而且能夠在更短的時(shí)間得到表現(xiàn)更穩(wěn)定、性能較好的網(wǎng)絡(luò)模型。

5 結(jié)論

本文針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)、難以調(diào)整的問(wèn)題,研究了批歸一化集成算法。采用構(gòu)建塊的思想設(shè)計(jì)了面向圖像分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)框架,該網(wǎng)絡(luò)分別在Mnist、Cifar-10和Sat-4三個(gè)數(shù)據(jù)集上訓(xùn)練,并在每個(gè)數(shù)據(jù)塊上分別計(jì)算對(duì)應(yīng)的網(wǎng)絡(luò)模型中性能最優(yōu)的四個(gè)批歸一化輸出結(jié)果的均值，并分別統(tǒng)計(jì)每一個(gè)批歸一化輸出結(jié)果均值的方差。分析了導(dǎo)致加入批歸一化的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)收斂不穩(wěn)定的原因,并采用集成網(wǎng)絡(luò)的方法在不降低原有性能的同時(shí)使網(wǎng)絡(luò)的收斂更加穩(wěn)定、快速。