王功鵬，段 萌，牛常勇

(鄭州大學(xué) 信息工程學(xué)院，河南 鄭州 450001)

0 引 言

卷積神經(jīng)網(wǎng)絡(luò)(以下簡(jiǎn)稱CNN)是在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改造的深層網(wǎng)絡(luò)，是目前語(yǔ)音分析以及物體識(shí)別等領(lǐng)域使用最廣的網(wǎng)絡(luò)結(jié)構(gòu)[1]。CNN中使用最廣泛的優(yōu)化算法當(dāng)屬SGD(stochastic gradient descent)算法，SGD算法的關(guān)鍵在于學(xué)習(xí)率η，η如果設(shè)置不當(dāng)將會(huì)直接影響SGD的效果。針對(duì)學(xué)習(xí)率的研究，文獻(xiàn)[2]提出了一種學(xué)習(xí)率自適應(yīng)遞減算法，但是其學(xué)習(xí)率是嚴(yán)格遞減的，在訓(xùn)練后期學(xué)習(xí)率會(huì)變得非常小。為了使得學(xué)習(xí)率能更好適應(yīng)SGD算法以提高SGD算法的效率，本文提出了一種用于SGD的學(xué)習(xí)率自適應(yīng)更新算法，該算法的主要思想是隨著迭代的進(jìn)行，根據(jù)不同的迭代次數(shù)周期性的將學(xué)習(xí)率進(jìn)行更新，使得學(xué)習(xí)率能更好地適應(yīng)SGD算法。

目前CNN中常用的激活函數(shù)為Relu(rectified linear units)函數(shù)。然而，在Relu函數(shù)中的閾值為負(fù)的神經(jīng)元處于抑制的狀態(tài)[3]，針對(duì)Relu函數(shù)的這種缺陷，文獻(xiàn)[4]提出了一種改進(jìn)的激活函數(shù)Leaky Relu。該激活函數(shù)在閾值大于零部分的處理與Relu一致，但是在小于零的部分的處理則是將這些閾值乘以一個(gè)很小的數(shù)值，而不是直接壓縮至零。這樣既重新修正了數(shù)據(jù)的分布同時(shí)又避免了網(wǎng)絡(luò)梯度的消失，這也是近年來(lái)國(guó)內(nèi)外研究者常用的激活函數(shù)。目前針對(duì)CNN國(guó)外的研究者提出了許多的改進(jìn)，如國(guó)外研究者提出了許多新的激活函數(shù)如PReLU(parametric retified linear unit)[5]、RReLU(randomized rectified linear unit)等激活函數(shù)，目前國(guó)外最新的研究還提出在訓(xùn)練過(guò)程中使用批規(guī)范化來(lái)提高訓(xùn)練速度[6]。本文將分別對(duì)比采用Leaky Relu與Relu作為激活函數(shù)的CNN的實(shí)驗(yàn)結(jié)果。

本文也將采用上述提出的學(xué)習(xí)率自適應(yīng)更新算法的SGD和Leaky Relu進(jìn)行結(jié)合在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行分類識(shí)別測(cè)試，并且與Relu和學(xué)習(xí)率非自適應(yīng)的SGD進(jìn)行比較。

1 卷積神經(jīng)網(wǎng)絡(luò)概述

1.1 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是在前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行升級(jí)改造的深層神經(jīng)網(wǎng)絡(luò)，每個(gè)神經(jīng)元都只與鄰近的局部神經(jīng)元相互作用。CNN有三大特性分別為局部感知野、權(quán)值共享和降采樣[7,8]。局部感知野使網(wǎng)絡(luò)提取局部特征的能力大大增強(qiáng)。權(quán)值共享可以顯著的減少網(wǎng)絡(luò)中的參數(shù)，很大程度地降低了網(wǎng)絡(luò)計(jì)算的復(fù)雜度。權(quán)值共享和降采樣的結(jié)合使得網(wǎng)絡(luò)的計(jì)算復(fù)雜度顯著下降，這也正是CNN優(yōu)于其它算法的顯著特征，正是這些特性使得CNN迅速得到普及。CNN在圖像分類和語(yǔ)音識(shí)別中使用最為廣泛，大部分計(jì)算機(jī)視覺(jué)系統(tǒng)都將它作為核心技術(shù)。目前國(guó)內(nèi)也有很多基于CNN的成功的研究成果如手勢(shì)識(shí)別[9]和用于情感識(shí)別平臺(tái)[10]等。

卷積運(yùn)算實(shí)際是一種對(duì)圖像元素的矩陣變換，它的輸入層是通過(guò)一個(gè)W*W大小的卷積核與上一層輸入的一小部分進(jìn)行連接并進(jìn)行卷積運(yùn)算，然后提取該區(qū)域的局部特征。如此就減少了網(wǎng)絡(luò)中的參數(shù)使得網(wǎng)絡(luò)的計(jì)算復(fù)雜度顯著降低，同時(shí)也提高了網(wǎng)絡(luò)的訓(xùn)練性能。卷積運(yùn)算公式如下

(1)

通過(guò)卷積運(yùn)算提取圖像特征后，下一步就是從這些獲得的特征中去進(jìn)行分類處理。降采樣層主要作用是對(duì)通過(guò)卷積核提取到的特征進(jìn)行降維抽樣處理。目前CNN中常用的池化操作有最大池化、均值池化和隨機(jī)池化。本文所選擇最大池化作為池化操作。經(jīng)過(guò)池化操作后網(wǎng)絡(luò)的維度就大幅地降低，同時(shí)也降低了過(guò)擬合發(fā)生的機(jī)率。降采樣公式如下所示

(2)

其中，降采樣函數(shù)用bool(·)表示。在對(duì)輸入圖像中不同區(qū)域的n*n塊的全部像素進(jìn)行求和運(yùn)算時(shí)，降采樣函數(shù)可以將圖像整體縮小了n*n倍。經(jīng)過(guò)降采樣獲得重新規(guī)劃的值后，將該值與偏執(zhí)系數(shù)β相乘，最后激活函數(shù)再將該值輸出。

本文中在每一個(gè)卷積層后降采樣層前都會(huì)添加Relu或者Leaky Relu函數(shù)作為激活函數(shù)。同時(shí)為了防止過(guò)擬合的發(fā)生將會(huì)結(jié)合Dropout[11]一起使用。CNN最后全連接層采用Softmax函數(shù)來(lái)作為回歸函數(shù)對(duì)結(jié)果進(jìn)行分類，Softmax回歸模型針對(duì)于多分類問(wèn)題，它也是CNN常用的分類器。另外選擇合適的優(yōu)化算法來(lái)學(xué)習(xí)模型參數(shù)，通過(guò)Softmax回歸函數(shù)計(jì)算出頂層損失值，再使用優(yōu)化算法學(xué)習(xí)模型參數(shù)。本文選擇學(xué)習(xí)率非自適應(yīng)的SGD算法與本文提出的使用學(xué)習(xí)率自適應(yīng)更新算法的SGD作為優(yōu)化算法。

1.2 Leaky Relu激活函數(shù)及其特性

Relu激活函數(shù)是CNN中使用最廣的激活函數(shù)。Relu激活函數(shù)具有如下優(yōu)勢(shì)：解決梯度消失問(wèn)題和提高網(wǎng)絡(luò)的訓(xùn)練速度[4]。綜上所述，選擇計(jì)算復(fù)雜度更低計(jì)算速度更快的Relu作為CNN的激活函數(shù)更為合適。但是它同樣有很大的缺陷，Relu激活函數(shù)的表達(dá)式為：f(x)=max(0,x)，x表示網(wǎng)絡(luò)輸入閾值，f(x)表示的是網(wǎng)絡(luò)輸出值。從表達(dá)式可以看出它只保留了大于零的部分的閾值，而簡(jiǎn)單的將小于零的部分的閾值置為零，因而該激活函數(shù)具有了稀疏表達(dá)能力，但是同時(shí)該激活函數(shù)中閾值為負(fù)的神經(jīng)元處于抑制的狀態(tài)，這些神經(jīng)元的權(quán)值也不會(huì)再通過(guò)反向傳播算法進(jìn)行更新。針對(duì)這種缺陷本文提出采用LeakyRelu激活函數(shù)作為CNN的激活函數(shù)。

LeakyRelu激活函數(shù)對(duì)應(yīng)的公式如下

(3)

式中:xi代表激活函數(shù)的輸入值，yi代表的是激活函數(shù)輸出值。α代表的是一個(gè)范圍為(0,1)之間的數(shù)值斜率，在實(shí)際使用過(guò)程中α?xí)鶕?jù)先驗(yàn)經(jīng)驗(yàn)值進(jìn)行設(shè)定。文獻(xiàn)[12]通過(guò)大量的實(shí)驗(yàn)驗(yàn)證α的值在0.1至0.5之間效果達(dá)到最佳，本文通過(guò)大量實(shí)驗(yàn)后將其值設(shè)置為0.15。

從式(3)中可以看出，LeakyRelu激活函數(shù)將閾值為負(fù)的神經(jīng)元與一個(gè)很小的數(shù)值向乘，如此閾值為負(fù)的神經(jīng)元不會(huì)被丟棄同時(shí)這些的神經(jīng)元信息也得到了保留。

2 SGD算法

2.1 SGD算法原理

在機(jī)器學(xué)習(xí)中，對(duì)于大多數(shù)的監(jiān)督學(xué)習(xí)模型，為了得到最優(yōu)的權(quán)值，需對(duì)模型創(chuàng)建代價(jià)損失函數(shù)，然后選擇合適的優(yōu)化算法以得到最小的函數(shù)損失值。梯度下降算法是目前使用最廣的優(yōu)化算法。它的核心思想是：要計(jì)算出最小的函數(shù)損失值，必須先計(jì)算出損失函數(shù)的梯度，然后按照梯度的方向使函數(shù)損失值逐漸減少，通過(guò)對(duì)權(quán)值的不斷更新調(diào)整，使得函數(shù)損失值達(dá)到最小，從而獲得最優(yōu)解。SGD算法是一個(gè)基于梯度下降的改進(jìn)算法，SGD每次隨機(jī)選擇一個(gè)樣本來(lái)迭代更新一次，而不是針對(duì)所有的樣本。因此該算法明顯的降低了計(jì)算量。SGD具有訓(xùn)練速度快易收斂等特性，也是最受國(guó)內(nèi)外研究者青睞的優(yōu)化算法。SGD相關(guān)的公式如下

(4)

(5)

φ:=φ-η▽?duì)説(φ)

(6)

式中，φ代表網(wǎng)絡(luò)參數(shù)權(quán)值，▽?duì)毡硎镜氖翘荻?，h(φ)代表?yè)p失函數(shù)，g(φ)代表目標(biāo)函數(shù)，yi代表第i個(gè)樣本的樣本值，m表示的是整個(gè)迭代進(jìn)行的總次數(shù)，η表示梯度下降中的步長(zhǎng)即學(xué)習(xí)率，j表示的CNN中參數(shù)的總數(shù)目。正如上文所描述的學(xué)習(xí)率對(duì)梯度下降算法至關(guān)重要，如果η設(shè)置的過(guò)小則會(huì)需要多次迭代才能找到最優(yōu)解且會(huì)降低網(wǎng)絡(luò)的收斂速度，甚至可能出現(xiàn)陷入到局部最優(yōu)解中停滯不前的情況。如果增大學(xué)習(xí)率，雖然會(huì)加快CNN的訓(xùn)練速度，但是同時(shí)也會(huì)加大了跳過(guò)最優(yōu)解的機(jī)率，CNN可能出現(xiàn)找不到最優(yōu)解的情況[13]。由此可以看出η是決定梯度下降算法是否有效的關(guān)鍵因素。為了使學(xué)習(xí)率更好地適應(yīng)SGD，本文針對(duì)學(xué)習(xí)率提出了一種基于SGD的學(xué)習(xí)率自適應(yīng)更新算法。

2.2 基于SGD的學(xué)習(xí)率自適應(yīng)更新算法

目前較為流行的CNN結(jié)構(gòu)中都將沖量添加到SGD實(shí)現(xiàn)方式中，沖量的作用是為了防止CNN在最小損失值點(diǎn)而繼續(xù)進(jìn)行迭代訓(xùn)練不能停止的情況發(fā)生[14]。本文在CNN中的SGD也添加沖量并將其設(shè)置為0.9。為了克服SGD中學(xué)習(xí)率選擇的困難，本文提出了一種讓學(xué)習(xí)率自適應(yīng)SGD的學(xué)習(xí)率自適應(yīng)更新算法，通過(guò)該算法獲得的學(xué)習(xí)率來(lái)更加適應(yīng)網(wǎng)絡(luò)的訓(xùn)練。與使用學(xué)習(xí)率非自適應(yīng)的SGD相比使用該算法的SGD解決了學(xué)習(xí)率設(shè)置不當(dāng)而跳過(guò)最優(yōu)解而產(chǎn)生動(dòng)蕩的問(wèn)題。算法描述見(jiàn)表1。

表1就是本文提出的SGD學(xué)習(xí)率更新算法，但是為了防止η遞減的過(guò)快本文設(shè)置了上述的學(xué)習(xí)率更新規(guī)則1和學(xué)習(xí)率更新規(guī)則2兩種學(xué)習(xí)率更新規(guī)則。常數(shù)σ是防止隨著迭代的進(jìn)行η逐漸減小以至于過(guò)小而失去作用而設(shè)置的。按照本文提出的學(xué)習(xí)率更新算法每進(jìn)行一次迭代后相應(yīng)的更新學(xué)習(xí)率η，這樣就做到了學(xué)習(xí)率的更新。隨著迭代的進(jìn)行，函數(shù)損失值逐漸減小，應(yīng)適當(dāng)?shù)臏p小學(xué)習(xí)率。故本文算法中學(xué)習(xí)率呈現(xiàn)整體梯形下降趨勢(shì)，但并不是嚴(yán)格下降，而是在一定迭代區(qū)間內(nèi)周期性下降，采用周期性下降的方式可以使得相同的學(xué)習(xí)率參與更多的訓(xùn)練，使得學(xué)習(xí)率得到充分的使用。隨著迭代的進(jìn)行學(xué)習(xí)率衰減幅度也逐漸減

表1 SGD學(xué)習(xí)率自適應(yīng)更新算法

小，這樣可以防止因?qū)W習(xí)率減小的過(guò)快而造成網(wǎng)絡(luò)收斂變慢情況的發(fā)生。該算法具有通用性對(duì)所有的SGD算法都適用。其中本文學(xué)習(xí)率自適應(yīng)更新算法中學(xué)習(xí)率隨迭代次數(shù)變化如圖1所示。

圖1 本文學(xué)習(xí)率變化曲線

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)和數(shù)據(jù)

實(shí)驗(yàn)選取的數(shù)據(jù)集為Yann LeCun建立的數(shù)字手寫(xiě)字符體MNIST，Alex Krizhevsky等收集建立的CIFAR-10[15]的一般物體圖像數(shù)據(jù)集和CIFAR-100數(shù)據(jù)集，其中CIFAR-10共有60 000張尺寸為32*32的真彩色圖片，共有10種類別。CIFAR-100數(shù)據(jù)集與CIFAR-10數(shù)據(jù)集類似不過(guò)它包含了20種大類和100種小類別。

實(shí)驗(yàn)平臺(tái)選擇的是Amazon提供的云計(jì)算服務(wù)EC2機(jī)型，操作系統(tǒng)為L(zhǎng)inux Ubuntu 14.04，選擇的GPU型號(hào)為GRID K520，可用顯存大小為8 GB。采用了NVIDIA提供的計(jì)算加速方案。

實(shí)驗(yàn)數(shù)據(jù)集，見(jiàn)表2。

表2 實(shí)驗(yàn)數(shù)據(jù)集

3.2 數(shù)據(jù)集網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

對(duì)于3個(gè)數(shù)據(jù)集，本文設(shè)計(jì)了不同的網(wǎng)絡(luò)結(jié)構(gòu)。表3給出了用于3個(gè)數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)。

表3 3個(gè)數(shù)據(jù)集網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

3.3 實(shí)驗(yàn)結(jié)果分析

評(píng)價(jià)一個(gè)算法優(yōu)劣有很多種的標(biāo)準(zhǔn)如交叉驗(yàn)證集正確率、訓(xùn)練集正確率以及優(yōu)化算法的收斂性[16]。本文選取上述3種標(biāo)準(zhǔn)作為本文算法評(píng)價(jià)的標(biāo)準(zhǔn)。本文中的實(shí)驗(yàn)在MNIST，CIFAR-10和CIFAR-100數(shù)據(jù)集各進(jìn)行了150次迭代。表4～表6給出了不同CNN在各個(gè)數(shù)據(jù)集獨(dú)立運(yùn)行20次后取平均值的實(shí)驗(yàn)結(jié)果。其中Relu與Leaky Relu分別表示激活函數(shù)采用Relu與Leaky Relu，優(yōu)化算法采用固定學(xué)習(xí)率為0.01非自適應(yīng)的SGD的網(wǎng)絡(luò)。MSGD Relu與MSGD Leaky Relu分別表示激活函數(shù)采用Relu與Leaky

Relu，優(yōu)化算法為采用本文提出的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)。

表4 MNIST數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

表5 CIFAR-10數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

表6 CIFAR-100數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

從上述的實(shí)驗(yàn)結(jié)果中可以看出，在3個(gè)數(shù)據(jù)集上，在相同優(yōu)化算法下使用Leaky Relu激活函數(shù)的網(wǎng)絡(luò)正確率要高于使用Relu激活函數(shù)的網(wǎng)絡(luò)。在相同激活函數(shù)下優(yōu)化算法采用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證正確率也要高于采用學(xué)習(xí)率非自適應(yīng)的SGD的網(wǎng)絡(luò)。從實(shí)驗(yàn)結(jié)果中可以看出，采用Leaky Relu作為激活函數(shù)，以本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD作為優(yōu)化算法相結(jié)合可以進(jìn)一步提高網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證正確率。

其中各個(gè)網(wǎng)絡(luò)在3個(gè)數(shù)據(jù)集上訓(xùn)練和驗(yàn)證和收斂曲線如圖2～圖4所示。train_loss表示訓(xùn)練函數(shù)損失值，val_loss表示驗(yàn)證函數(shù)損失值，Epochs表示迭代次數(shù)。

圖2 不同網(wǎng)絡(luò)在MNIST數(shù)據(jù)集上的收斂曲線

圖3 不同網(wǎng)絡(luò)在CIFAR-10數(shù)據(jù)集上的收斂曲線

圖4 不同網(wǎng)絡(luò)在CIFAR-100數(shù)據(jù)集上的收斂曲線

從圖2～圖4實(shí)驗(yàn)結(jié)果可以得出結(jié)論，使用Leaky Relu作為激活函數(shù)的網(wǎng)絡(luò)目標(biāo)函數(shù)的損失值明顯小于使用Relu作為激活函數(shù)的網(wǎng)絡(luò)。當(dāng)優(yōu)化算法采用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)能更快的收斂，訓(xùn)練損失值和驗(yàn)證損失值趨于平穩(wěn)不再波動(dòng)。網(wǎng)絡(luò)的收斂性明顯的優(yōu)于學(xué)習(xí)率非自適應(yīng)的SGD算法。

從圖4中可以看出在CIFAR-100數(shù)據(jù)集上激活函數(shù)采用Relu的網(wǎng)絡(luò)的函數(shù)損失值最后呈現(xiàn)上升趨勢(shì)。相反激活函數(shù)采用Leaky Relu，優(yōu)化算法采用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)能更好的訓(xùn)練下去。且采用本文的學(xué)習(xí)率更新算法的SGD和Leaky Relu激活函數(shù)相結(jié)合的網(wǎng)絡(luò)不僅具有更好的收斂性，而且訓(xùn)練函數(shù)損失值和驗(yàn)證函數(shù)損失值均小于其它網(wǎng)絡(luò)，實(shí)驗(yàn)效果明顯優(yōu)于其它網(wǎng)絡(luò)。

評(píng)估一個(gè)優(yōu)化算法優(yōu)劣的最可靠的依據(jù)就是看該優(yōu)化算法是否收斂[16]，數(shù)據(jù)是否趨于穩(wěn)定，參數(shù)是否達(dá)到了穩(wěn)定值，是否還會(huì)出現(xiàn)周期性波動(dòng)。實(shí)驗(yàn)結(jié)果表明，采用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)收斂性明顯的好于其它網(wǎng)絡(luò)。由此可以得出結(jié)論：本文提出的算法有效，能夠提高SGD算法的效率。

4 結(jié)束語(yǔ)

針對(duì)CNN中Relu激活函數(shù)的不足，本文設(shè)計(jì)了采用Leaky Relu作為激活函數(shù)的CNN，同時(shí)也將CNN中傳統(tǒng)的SGD算法進(jìn)行了改良并提出了基于SGD的學(xué)習(xí)率自適應(yīng)更新算法。3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，以Leaky Relu作為激活函數(shù)的CNN實(shí)驗(yàn)結(jié)果要優(yōu)于使用Relu作為激活函數(shù)的CNN。使用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD在保證正確率的前提下，還可以加快網(wǎng)絡(luò)的收斂。然而，本文的算法中的眾多參數(shù)仍有許多改進(jìn)的地方。在以后的工作中如何找到更優(yōu)的參數(shù)，仍然需要反復(fù)的實(shí)驗(yàn)和測(cè)試。下一步，將本文中的算法用于普適物體識(shí)別中，用該算法去解決實(shí)際問(wèn)題。

[1]Lu Hongtao,Zhang Qinchuan.Applications of deep convolutional neural network in computer vision[J].Journal of Data Acquisition and Processing,2016,31(1):1-17.

[2]Duchi J,Hazan E,Singer Y.Adaptive subgradient methods for online learning and stochastic optimization[J].Journal of Machine Learning Research,2011,12(7):257-269.

[3]Glauner PO.Deep convolutional neural networks for smile reco-gnition[J].IEEE/ACM Transactions on Audio Speech & Language Processing,2015,22(10):1533-1545.

[4]Maas AL,Hannun AY,Ng AY.Rectifier nonlinearities improve neural network acoustic models[C]//Proceedings of the 30th International Conference on Machine Learning,2013.

[5]He K,Zhang X,Ren S,et al.Delving deep into rectifiers:Surpassing human-level performance on imageNet classification[C]//IEEE International Conference on Computer Vision.IEEE,2015:1026-1034.

[6]Ioffe S,Szegedy C.Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International Conference on Machine Learning,2015:448-456.

[7]AlexKrizhevsky,IlyaSutskever,HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[C]//AdvancesinNeuralInformationProcessingSystem.Cambridge:MITPress,2012:1097-1105.

[8]LiangM,HuX.Recurrentconvolutionalneuralnetworkforobjectrecognition[C]//IEEEConferenceonComputerVisionandPatternRecognition.IEEE,2015:3367-3375.

[9]CAIJuan,CAIJianyong,LIAOXiaodong,etal.Preliminarystudyonhandgesturerecognitionbasedonconvolutionalneuralnetwork[J].ComputerSystems&Applications,2015,24(4):113-117(inChinese).[蔡娟,蔡堅(jiān)勇,廖曉東,等.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別初探[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2015,24(4):113-117.]

[10]LINPingrong,HOUZhi,WENGuihua.Openplatformofemotionrecognitionbasedondeeplearning[J].ComputerEngineeringandDesign,2016,37(6):1510-1514(inChinese).[林平榮,侯志,文貴華.基于深度學(xué)習(xí)的情感識(shí)別開(kāi)放平臺(tái)[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(6):1510-1514.]

[11]SrivastavaN,HintonGE,KrizhevskyA,etal.Dropout:Asimplewaytopreventneuralnetworksfromoverfitting[J].JournalofMachineLearningResearch,2014,15(1):1929-1958.

[12]XuB,WangN,ChenT,etal.Empiricalevaluationofrectifiedactivationsinconvolutionnetwork[D].ICMLDeepLearn,2015:1-5.

[13]PoriaS,CambriaE,GelbukhA.Deepconvolutionalneuralnetworktextualfeaturesandmultiplekernellearningforutte-rance-levelmultimodalsentimentanalysis[C]//EmpiricalMethodsinNaturalLanguageProcessing,2015:2539-2544.

[14]SutskeverI,MartensJ,DahlG,HintonG.Ontheimportanceofinitializationandmomentumindeeplearning[C]//InternationalConferenceonMachineLearning,2013:1139-1147.

[15]DudikM,HarchaouiZ,MalickJ.Liftedcoordinatedescentforlearningwithtrace-normregularization[J].Aistats,2012,22(22):327-336.

[16]WANGChangsong,ZHAOXiang.Generalmethodforevalua-tingoptimizationalgorithmanditsapplication[J].JournalofComputerApplications,2010,30(A01):76-79(inChinese).[汪昌松,趙翔.評(píng)價(jià)優(yōu)化算法的一般性方法及其應(yīng)用[J].計(jì)算機(jī)應(yīng)用,2010,30(A01):76-79].