楊濤

摘要：傳統(tǒng)圖像分類方法需要對圖像進行手工特征設(shè)計和提取，而這些特征只是包含了圖像的部分信息，通過對卷積神經(jīng)網(wǎng)絡(luò)算法進行特征進行提取，采用不斷的訓練大量不同組的卷積核來依次獲得圖像低級特征和高級特征。研究結(jié)果表明，傳統(tǒng)的分類算法的平均正確率在50%左右，而卷積神經(jīng)網(wǎng)絡(luò)的分類正確率能夠達到90%以上，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法提升效果顯著。

關(guān)鍵詞：圖像分類;支持向量機;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP391.4;TP18 ?文獻標志碼：A ?文章編號：1008-4657（2020）02-0027-08

0 引言

圖像分類是計算機視覺中基礎(chǔ)的一個任務(wù)，也是幾乎所有的基準模型進行比較的任務(wù)。圖像分類就是使用給定的標簽集合，當輸入一幅圖像時，在標簽集合當中尋找一個合適的類別標簽，將分類標簽分配給該輸入圖像。圖像在分類之前需要進行預處理，原始圖像包含許多干擾、噪聲等，因此需要對圖像進行裁剪，去噪，增強等操作。經(jīng)過預處理以后的圖像受到的干擾噪聲減少，有助于提高圖像的分類準確度。

傳統(tǒng)的機器學習算法當中，圖像分類需要提取圖像的特征來對圖像進行描述。當以整幅圖像作為分類算法的輸入時，算法計算的數(shù)據(jù)量龐大，其次圖像包含背景等冗余信息，會導致分類效率降低，正確率下降。特征提取的主要目的是對原始圖像進行降維，將原圖像映射到一個低維特征空間，得到最能反映圖像本質(zhì)或進行區(qū)分的低維樣本特征。圖像的特征分為四大類：顏色特征，主要包括顏色直方圖、顏色集、顏色矩等不同特征;紋理特征[1]，常用的有灰度共生矩陣[2]（Gray-Level Co-occurrence Matrix，GLCM）、局部二值模式[3]（Local Binary Pattern，LBP）特征、方向梯度直方圖[4]（Histogram of Oriented Gradient，HOG）特征等;形狀特征，如霍夫曼變換、傅里葉變換、小波變換等;空間關(guān)系特征，如模型的姿態(tài)估計方法、學習的姿態(tài)估計方法等。

提取到不同的特征以后，需要將特征作為輸入送入到不同的機器學習算法當中。傳統(tǒng)的圖像分類算法有很多，K鄰近分類算（K-Nearest Neighbor，KNN）法是數(shù)據(jù)挖掘分類技術(shù)中最簡單的方法，也可以用在圖像分類的任務(wù)上，趙玉丹等[5]提出使用模糊KNN做刑偵場景圖像分類。貝葉斯分類器是一種基于條件概率的分類方法，通過給定對象的先驗概率，利用貝葉斯公式求解出其后驗概率。在劉曉等[6]提出使用樸素貝葉斯算法對遙感圖像分類。黃亦其等[7]提出用樸素貝葉斯的算法對甘蔗種芽進行完好性進行檢測。支持向量機（Support Vector Machine，SVM）是基于統(tǒng)計學習理論當中一種二分類模型，因其堅實的理論基礎(chǔ)及諸多良好特性而被廣泛使用。Cortes C等 [8]提出基于梯度直方圖（HOG）結(jié)合SVM的人體識別算法達到了很高的精度。BP神經(jīng)網(wǎng)絡(luò)是一種基于誤差反向傳遞的算法，其參照生物神經(jīng)元模型發(fā)展起來。卷積神經(jīng)網(wǎng)絡(luò)近年來使用廣泛的神經(jīng)網(wǎng)絡(luò)模型，在圖像分類方面，各種更加優(yōu)秀的網(wǎng)絡(luò)優(yōu)秀模型被提出，從最初的立昆楊網(wǎng)絡(luò)（Lecun Network，LeNet）、亞里克斯網(wǎng)絡(luò)（Alex Network，Alexnet）、視覺幾何群網(wǎng)絡(luò)[9]（Visual Geometry Group Network，VggNet）到谷歌的擴散網(wǎng)絡(luò)[10]（Inception Network，InceptionNet）、殘差網(wǎng)絡(luò) [11]（Residual Network，ResNet），卷積神經(jīng)網(wǎng)絡(luò)做圖像分類的精度不斷提升，甚至超過人類水平。

1 圖像特征提取

圖像的分類識別主要經(jīng)過圖像預處理、特征提取、分類器設(shè)計等步驟。其中特征提取是極為重要的環(huán)節(jié)，圖像特征提取是核心問題，特征提取的方式以及結(jié)果將直接影響分類的精度。

1.1 顏色特征

顏色特征是一種全局特征，描述了圖像或者圖像局部區(qū)域所對應的顏色信息。顏色特征中最常使用的顏色空間為RGB（Red Green Blue）顏色空間和HSV（Hue， Saturation，Value）顏色空間。描述顏色特征的方法有很多，主要分為顏色直方圖、顏色集、顏色矩、顏色聚合向量及顏色相關(guān)圖。

1.2 紋理特征

紋理特征描述了圖像中重復出現(xiàn)的局部模式與他們的排列規(guī)則，反映了圖像或圖像區(qū)域所對應的表面性質(zhì)。紋理特征的優(yōu)勢在于，無論圖像怎么旋轉(zhuǎn)其紋理特征不會發(fā)生改變，又較強的抗干擾能力。但是當圖像的分辨率發(fā)生變化時候，紋理特征則可能發(fā)生較大的變化，此外光照，反射也可能會影響紋理特征。灰度共生矩陣（GLCM，Gray-Level Co-occurrence Matrix）通過計算灰度圖像得到他的共生矩陣，然后通過計算共生矩陣來得到矩陣部分的特征值，來分別代表圖像的某些紋理特征。常用的基于灰度共生矩陣構(gòu)建的統(tǒng)計量的紋理特征有：能量，熵，對比度，相關(guān)性。

1.3 形狀特征

形狀特征采用一種基于圖像輪廓及區(qū)域邊界的特征描述。但由于其數(shù)學模型還是不夠完善，本文將主要使用顏色及紋理特征作為分類器的輸入。

2 分類算法

在機器學習的分類問題當中，主要分為無監(jiān)督學習和監(jiān)督學習，監(jiān)督學習根據(jù)已有的數(shù)據(jù)集，知道輸入和輸出結(jié)果之間的關(guān)系，根據(jù)這種已知的關(guān)系，訓練得到一個最優(yōu)的模型。即給定樣本的輸入和輸出標簽，通過訓練，分類算法可以找到輸入特征與輸出標簽之間的聯(lián)系，當給定一個未標注新樣本時，分類算法可以學習到的知識輸出一個類別標簽。無監(jiān)督學習主要是根據(jù)數(shù)據(jù)特征之間的內(nèi)在關(guān)系，結(jié)構(gòu)特征的差異將數(shù)據(jù)分為不同的類別。

2.1 K近鄰算法

簡稱KNN（K-Nearest Neighbor）是一種非常簡單的機器學習預測、分類算法。當給定一個測試樣例時，如果離它最近的k個訓練數(shù)據(jù)大多數(shù)屬于同一個類別，則認為該測試數(shù)據(jù)也屬于這個類別。如何衡量兩個樣本之間的距離是該算法的關(guān)鍵之處。常用的距離衡量方式主要有歐式距離、曼哈頓距離、余弦距離等等。其中歐式距離使用的最為廣泛。KNN作為一個實用的機器學習分類算法，其優(yōu)點在于模型簡單、通俗易懂、對于簡單問題分類準確率較高、訓練時間復雜度較低;但缺點也很明顯，該算法計算量大、占用較大的儲存空間，當特征維數(shù)變多時算法效率低下。

2.2 樸素貝葉斯分類算法（Naive Bayes）

Bayes算法是一類利用概率統(tǒng)計知識進行分類的算法，該算法核心思想基于貝葉斯定理，主要用于預測未知類別隸屬于各個類別的可能性，選擇其中可能性最大的一個類別作為該樣本的最終類別。在數(shù)據(jù)集較大的情況下能夠獲得較高的準確率。在使用貝葉斯算法時，為了方便建模計算，通常假定給定樣本的各個屬性之間相互條件獨立，這種假定一定程度上會降低算法的分類精度，但是在實際的應用場景當中，能夠有效降低算法的復雜性。根據(jù)貝葉斯定理，對于一個分類問題，給定具有m個特征維度的樣本的情況下，且假定各個特征之間相互獨立。

全概率公式（1）表征了樸素貝葉斯分類算法的具體計算方式。樸素貝葉斯分類算法的優(yōu)點是對于數(shù)據(jù)缺失不敏感，對待預測的樣本，分類過程快速高效;缺點是樸素貝葉斯算法分類時假設(shè)特征之間相互獨立，當特征之間存在關(guān)聯(lián)性時，會導致分類效果不好。

2.3 支持向量機

支持向量機（Support Vector Machine）是一種監(jiān)督式的學習方法，它是一種二分類的線性模型，目的是尋找一個超平面來對樣本進行分割，分割的原則是正負樣本之間間隔最大化，最終轉(zhuǎn)化為一個凸二次規(guī)劃問題來求解。SVM是一種二分類的算法，如何實現(xiàn)用SVM對多個類別的劃分，主要有兩種不同的思路：分別是一對一方法和一對多的方法，一對多的方法是指在訓練時依次把某個樣本歸為一類，其他剩余的樣本歸為另一類，這樣k個類別的樣本就構(gòu)建了k個SVM。一對一的方法，訓練時對任意兩類樣本之間設(shè)計一個SVM，因此k個類別的樣本需要設(shè)計k（k-1）/2個SVM分類器。當對一個未知樣本進行分類時，采用投票的方式，最后得票最多的類別即為該未知樣本的類別。在本研究中將采用一對一的方式訓練SVM分類器。SVM不需要大量的訓練樣本，只需少量樣本就可達到很好的分類效果。單樣本在低維平面類線性不可分時，通過核函數(shù)映射到高維平面以后，樣本就能夠線性可分。但當訓練樣本過大時候，SVM算法的計算內(nèi)存和時間消耗巨大，效率變慢。

2.4 BP神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN），是一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的數(shù)學模型，用于對函數(shù)進行估計和近似。BP[12]（Back Propagation）神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)當中的一種，廣泛的用于機器學習領(lǐng)域當中。BP[13]神經(jīng)網(wǎng)絡(luò)的學習過程由信號的正向傳播與誤差的方向傳播兩個過程組成。信號正向傳播時，輸入樣本從輸入層傳入，經(jīng)過隱藏逐層處理后，信號流入輸出層。當輸出層的實際輸出與期望輸出不符，則將進入輸出與期望之間的誤差反向傳播過程。該過程將輸出誤差的梯度通過隱藏層向輸入層逐層反傳，將誤差分配給各層的所有單元從而獲得各層單元的誤差信號，該誤差信號將作為修正各個神經(jīng)元權(quán)值的依據(jù)。BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點是能夠自適應、自主學習，且具有較強的非線性映射能力，以及較強的泛化能力。但BP神經(jīng)網(wǎng)絡(luò)由于是全連接結(jié)構(gòu)，因此網(wǎng)絡(luò)參數(shù)較多，收斂速度較慢。BP神經(jīng)網(wǎng)絡(luò)由于采用梯度下降算法，容易陷入局部最優(yōu)解。

2.5 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Conventional Neural Network，CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，專門針對圖像識別問題設(shè)計而成，模仿人類識別圖像的多層過程：眼睛觀察圖像;大腦皮層某些細胞進行初步處理，發(fā)現(xiàn)形狀邊緣、方向;抽象判定形狀;進一步判定圖像類別。本文構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖1所示。

其中輸入數(shù)據(jù)為圖像，以數(shù)字矩陣來表示。卷積層中包含大量的卷積濾波器，這些濾波器通過在原圖像中按照一定規(guī)律滑動，與原圖像對應的區(qū)域做卷積運算，每一個濾波器都可以得到一張?zhí)卣鲌D，每個卷積濾波器提取的圖像特征都不一樣，濾波器當中的參數(shù)通過正態(tài)分布函數(shù)來初始化，通過當前網(wǎng)絡(luò)輸出與真實輸出之間誤差的梯度反向傳遞，逐層更新濾波器當中的參數(shù)，最終結(jié)果讓網(wǎng)絡(luò)的輸出與真實輸出之間的誤差越小越好。卷積過程之后，通過一個激活函數(shù)來限定卷積輸出的范圍，通常采用的激活函數(shù)為Relu，Sigmoid，Tanh等函數(shù)。其中Sigmoid，Tanh激活函數(shù)容易導致神經(jīng)網(wǎng)絡(luò)當中梯度消失或者爆炸[14]等問題。由于Relu函數(shù)為線性，非飽和，且其導數(shù)為一，輸出非負，因此簡化了神經(jīng)網(wǎng)絡(luò)的計算復雜度的同時，也不會造成梯度消失或爆炸問題，能夠使神經(jīng)網(wǎng)絡(luò)快速收斂。

采樣層中數(shù)據(jù)采樣是為了降低數(shù)據(jù)的維度，以2*2個像素的正方形窗口，步長為2，依次在特征圖中滑動，只保留窗口當中最大的像素值或者窗口中的平均像素值，經(jīng)過該操作以后特征圖縮小至原來特征圖的面積的四分之一，大大減少了網(wǎng)絡(luò)的計算量。全連接層的輸出為列向量，可以將卷積神經(jīng)網(wǎng)絡(luò)理解成為一個編碼器，其中全連接層輸出的是該圖像的編碼向量。oftmax層輸出列向量，其中向量的長度等于圖像需要分類的類別總數(shù)，向量中的每一位都代表了一個分類類別。其數(shù)值大小代表輸入圖片為該類別的概率大小，該向量所有元素的值和為一。優(yōu)化的過程就是不斷更新卷積網(wǎng)絡(luò)當中濾波器的參數(shù)值，使得最終的輸出向量的某個類別的概率最大，則該類別就是輸入圖像的真實類別。

卷積神經(jīng)網(wǎng)絡(luò)由于共享卷積核，大大減少了網(wǎng)絡(luò)模型的參數(shù)量，提高了計算效率。使用多個卷積核可以提取到圖像各種不同的特征，避免了單一特征對分類結(jié)果產(chǎn)生不利影響。低層的卷積核提取邊緣，線等語義較低的特征，高層的卷積核提取形狀，物體輪廓等特征。

但是卷積神經(jīng)網(wǎng)絡(luò)對物體的空間關(guān)系識別能力不強，舉例來說，當人臉肖像五官位置發(fā)生互換，而卷積神經(jīng)網(wǎng)絡(luò)判定為人臉的概率依然很高。當圖像發(fā)生旋轉(zhuǎn)之后，卷積神經(jīng)網(wǎng)絡(luò)的識別能力變差。

3 實驗結(jié)果比較與分析

3.1 數(shù)據(jù)集介紹

本次實驗選擇使用SIMPLIcity圖像數(shù)據(jù)集進行分類實驗，該數(shù)據(jù)集一共包含了10個類別圖像：非洲土著居民、海灘、建筑、公共汽車、恐龍、大象、花、馬、雪山、菜肴，共包含1000幅圖像，其中每個類別包含100張圖像。本次實驗將該圖像數(shù)據(jù)集劃分為訓練集和測試集兩個部分，其中訓練集包含了每個類別70張圖像，共700張。測試集中包含了每個類別剩余的30張圖像，共300張圖像。

3.2 分類圖像特征及方法

在圖像特征方面，我們將選擇圖像顏色矩作為顏色特征，圖像的灰度直方圖和灰度共生矩陣作為紋理統(tǒng)計特征。特征提取以后進行歸一化處理，歸一化的目的是讓分類算法均勻地考慮特征值，同時能夠消除奇異樣本數(shù)據(jù)帶來的不良影響，提高分類精度，還能夠加速神經(jīng)網(wǎng)絡(luò)收斂。

本實驗將采用KNN，Naive_Bayes、SVM，全連接神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)算法來分別實現(xiàn)對圖像進行分類。對各個算法的參數(shù)選擇如下：

KNN算法：k的取值為5，即選擇前五個與樣本距離最近的類別中最多的類別作為該樣本的分類類別。Naive_Bayes算法，選擇正態(tài)分布作為概率分布。SVM分類算法，多分類過程采用一對一的方法。全連接神經(jīng)網(wǎng)絡(luò)算法，將采用32個神經(jīng)元作為隱藏層，10個神經(jīng)元作為輸出層。卷積神經(jīng)網(wǎng)絡(luò)算法，使用TensorFlow框架構(gòu)建算法模型，卷積過濾器將使用截斷正態(tài)分布進行初始化，包含兩個卷積層，兩個池化層，兩個全連接層，與一個Softmax層。其中第一個卷積層使用64個3*3的卷積核，第二個卷積層使用16個3*3的卷積核;第一個全連接層使用128個神經(jīng)元，第二個全連接網(wǎng)絡(luò)使用10個神經(jīng)元，使用Relu激活函數(shù)。學習率大小為0.000 1，每個批次大小為20，最大運行次數(shù)為20 000次，輸入圖像大小為64*64個像素，采用批量梯度下降[15]的方法。

3.3 分類評價指標及結(jié)果分析

混淆矩陣（Confuse Matrix）是機器學習中總結(jié)分類模型預測結(jié)果的情形分析表，以矩陣形式將數(shù)據(jù)集中的記錄按照真實的類別與分類模型預測的類別判斷兩個標準進行匯總。其中矩陣的行表示真實值，矩陣的列表示預測值?；煜仃嚹軌蚯逦姆从撤诸惼鲗颖镜姆诸惽闆r，每個類別分類結(jié)果的具體值。分類結(jié)果的正確率及結(jié)果比較分別如表1和圖2所示。

比較采用相同的圖像特征不同的分類算法時，當用灰度直方圖作為圖像分類特征時，不同分類算法的分類準確度差別較大，其中SVM與KNN算法的分類準確率相差了18個百分點。當用顏色矩作為分類特征時，各種算法之間分類準確率都穩(wěn)定65%左右，準確率差別只有4個百分點，說明在這個數(shù)據(jù)集當中各種類別之間顏色差距較大，采用顏色矩能夠得到相對較好的分類效果。當用灰度共生矩陣圖像特征分類時，各種分類算法分類準確度差別明顯。當使用相同的分類算法，比較不同的圖像特征時候，可以看到在同一種分類算法當中，提取不同特征作為輸入時，分類的準確度差別較大。說明不同的圖像特征適用不同的分類算法，圖像特征與分類算法之間存在一定的相關(guān)性。

比較傳統(tǒng)算法與卷積神經(jīng)網(wǎng)絡(luò)的算法，可以看到卷積神經(jīng)網(wǎng)絡(luò)的算法的分類正確率遠遠超過傳統(tǒng)算法，這是因為傳統(tǒng)的圖像分類算法是通過提取圖像的單一特征作為輸入，僅僅只能表述圖像部分信息，無法準確的描述這幅圖像。而卷積神經(jīng)網(wǎng)絡(luò)的每一個卷積濾波器都可以看作一個單獨的圖像特征提取器，底層的濾波器提取低語義的特征，高層的濾波器提取高層的語義特征。大量有層次結(jié)構(gòu)的濾波器提取的特征能夠較為完整的表達一幅圖像。分類準確率得到了顯著的提升。而經(jīng)過精心設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)在分類準確率上甚至超越人類水平。

各特征算法混淆矩陣如圖3～6所示。

由圖3～6可知，在CNN分類算法的混淆矩陣當中，大部分類別的分類效果都很好，只有在建筑這個類別時，分類器主要誤將建筑分為土著居民的樣本較多，這是因為在土著居民類別當中大部分樣本中包含了建筑，而在建筑類別當中有相當?shù)臉颖颈尘爱斨邪巳祟悅€體，因此導致了多數(shù)樣本誤分類。

可以看到在所有的混淆矩陣圖當中只有恐龍這個類別的分類正確率最好，基本都在90%以上，這是因為在恐龍這個類別當中，樣本形式單一簡單，輪廓明顯，背景基本為白色，背景中不存在對主體類別當中的干擾項，因此各種特征及算法對此類的分類效果最好。

4 結(jié)論

本研究對傳統(tǒng)圖像分類算法與深度學習分類算法做了比較研究。實驗結(jié)果表明，在傳統(tǒng)圖像分類算法當中，當以相同的圖像特征作為輸入，使用不同的分類算法，得到的分類正確率相差較大。當用不同的圖像特征作為輸入時，采用相同的圖像分類算法時，得到的分類正確率差別較小。傳統(tǒng)圖像分類算法中圖像特征的選取對分類結(jié)果的正確率的影響比分類算法的選擇要大的多。在深度學習分類算法中，本文采用了一個僅有兩個卷積層的神經(jīng)網(wǎng)絡(luò)，其分類準確率的達到90%以上，與傳統(tǒng)圖像分類算法相比，圖像分類結(jié)果的準確率提升了近30%，遠遠超過傳統(tǒng)圖像的分類算法。可見，深度學習的圖像分類方法的在圖像分類這項任務(wù)中表現(xiàn)卓越。本研究對基于卷積神經(jīng)網(wǎng)絡(luò)的深度學習圖像分類方法做了初步研究。而最新實驗結(jié)果表明，經(jīng)過精心設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)的圖像分類正確率能夠達到98%以上，超越人類的識別水平。目前基于卷積神經(jīng)網(wǎng)絡(luò)的深度學習圖像分類方法能夠達到很高的識別準確率，但是該算法需要大量的訓練數(shù)據(jù)集經(jīng)過多次訓練，因此接下來的研究重點如何在小規(guī)模的數(shù)據(jù)集上實現(xiàn)高精度的分類準確率。

參考文獻：

[1] Castellano G，Bonilha L，Li L M，et al.Texture Analysis of Medical Images[J].Clin Radiol，2004，59（12）：1 061-1 069.

[2] ?Walker R F，Jackway P T，Longstaff I D.Recent Developments in the Use of the Co-occurrence Matrix for Texture Recognition[C]//International Conference on Digital Signal Rocessing.IEEE Xplore，1997：63-65.

[3] ?Mehta R，Egiazarian K.Dominant Rotated Local Binary Patterns （DRLBP） for Texture Classification[J].Pattern Recognit Lett，2016，71：16-22.

[4] Deniz O，Buneo G，Salido J，et al.Face Recognition Using Histograms of Oriented Gradients[J].Pattern Recognition Letters，2011，32（12）：1 598-1 603.

[5] ?趙玉丹，王倩，范九倫，等.基于模糊KNN的刑偵圖像場景分類[J].計算機應用研究，2014，31（10）：3 158-3 160，3 164.

[6] ?劉曉，蔣剛毅，葉錫恩.寧波市土地TM遙感圖像Bayes分類[J].科技通報，2003（2）：116-120.

[7] ?黃亦其，尹凱，黃媚章，等.基于Bayes決策的甘蔗種芽完好性檢測與試驗[J].農(nóng)業(yè)工程學報，2016，32（5）：57-63.

[8] ?Cortes C，Vapnik V.Support-vector Networks[J].Mach Learn，1995，20（3）：273-297.

[9] ?Karen S，Zisserman A.Very Deep Convolutional Networks for Large-scale Image Recognition[C].May 7-9，San Diego，CA： ICLR，2015.

[10] ?Gomez L.Special Issue on Computer Vision Applying Pattern Recognition Techniques[J].Pattern Recognit，2014，47（1）：9-11.

[11] He K M，Zhang X Y，Ren S Q，et al.Deep Residual Learning for Image Recognition [C].Conference on Computer Vision and Pattern Recognition，June 27-30，2016.Las Vegas，USA： IEEE，2016.

[12] ?Lecun Y，Boser B，Denker J S，et al.Backpropagation Applied to Handwritten Zip Code Recognition[J].Neural Comput，1989，1（4）：541-551.

[13] Legun Y，Bottou L，Orr G B，et al.Efficient Backpropagation in Neural Networks[J].Neural Network World，2006，16（4）：9-50.

[14] Glorot X，Bengio Y.Understanding the Difficulty of Training Deep Feedforward Neural Networks[C].Thirteenth International Conference on Artificial Intelligence and Statistics，May 13-15.Sardinia，Italy： JMLR，2010.

[15] ?王功鵬，段萌，牛常勇.基于卷積神經(jīng)網(wǎng)絡(luò)的隨機梯度下降算法[J].計算機工程與設(shè)計，2018，39（2）：441-445，462.

[責任編輯：許立群]