摘要：卷積神經(jīng)網(wǎng)絡(luò)是近10年來推動機(jī)器學(xué)習(xí)應(yīng)用和發(fā)展最快的一項(xiàng)技術(shù)分支，在圖像分類中取得了出色的成績。為進(jìn)一步梳理卷積神經(jīng)網(wǎng)絡(luò)圖像分類的流程策略，本文基于TensorFlow深度學(xué)習(xí)框架，下載相關(guān)公開數(shù)據(jù)集，構(gòu)建人工神經(jīng)網(wǎng)絡(luò)模型，采用數(shù)據(jù)集交叉驗(yàn)證的方式訓(xùn)練，并從中歸納出一套數(shù)據(jù)預(yù)處理、建模、訓(xùn)練和評估的實(shí)踐策略，以期望加深對機(jī)器學(xué)習(xí)流程思路的指導(dǎo)。

Abstract： Convolutional neural networks are the fastest branch of technology that has promoted the application and development of machine learning in the past 10 years， and have achieved outstanding results in image classification. In order to further sort out the convolutional neural network image classification process strategy， this paper based on the TensorFlow deep learning framework， downloads relevant public data sets， constructs artificial neural network models， trains with data set cross-validation， and summarizes a set of practical strategies for data preprocessing， modeling， training and evaluation， in order to deepen the guidance of machine learning process ideas.

關(guān)鍵詞：實(shí)踐策略;機(jī)器學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);交叉驗(yàn)證;圖像分類

Key words： practical strategies;machine learning;convolutional neural network;cross-validation;image classification

中圖分類號：TP391.41;TP18? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2020）09-0205-03

1? 研究目的與意義

當(dāng)前，由人工智能引領(lǐng)的新一輪科技革命和產(chǎn)業(yè)變革方興未艾，各領(lǐng)域都在加強(qiáng)推動機(jī)器學(xué)習(xí)與傳統(tǒng)行業(yè)的跨界融合。其中卷積神經(jīng)網(wǎng)絡(luò)正是推動機(jī)器學(xué)習(xí)的關(guān)鍵技術(shù)之一，其在圖像分類任務(wù)中取得了出色的成績。為了梳理卷積神經(jīng)網(wǎng)絡(luò)建模實(shí)踐的流程策略，本文基于TensorFlow深度學(xué)習(xí)框架，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的圖像分類模型，通過數(shù)據(jù)預(yù)處理、模型設(shè)計(jì)與搭建、迭代訓(xùn)練和預(yù)測評估等步驟的研究，設(shè)計(jì)出一套有效的神經(jīng)網(wǎng)絡(luò)圖像實(shí)踐策略，最終達(dá)到預(yù)期的分類效果。

2? 實(shí)踐開發(fā)環(huán)境

本實(shí)踐采用了Python + TensorFlow + Keras 的開發(fā)環(huán)境進(jìn)行編程和模型訓(xùn)練。其中Python編程語言結(jié)構(gòu)清晰，擁有豐富的標(biāo)準(zhǔn)庫和強(qiáng)大的第三方生態(tài)系統(tǒng)，可以高效的實(shí)現(xiàn)復(fù)雜的機(jī)器學(xué)習(xí)算法;TensorFlow是Google開發(fā)的強(qiáng)大深度學(xué)習(xí)開源框架，可以方便的進(jìn)行高性能數(shù)值計(jì)算;Keras屬于TensorFlow的高級API，封裝了多個(gè)用于深度學(xué)習(xí)的模塊組件，能夠高效快速的搭建復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型。

3? 數(shù)據(jù)預(yù)處理

本文用于機(jī)器學(xué)習(xí)實(shí)踐的數(shù)據(jù)選自百度大腦AI Studio平臺上的公開數(shù)據(jù)集，數(shù)據(jù)集的來源網(wǎng)址：https：//aistudio.baidu.com/aistudio/datasetDetail，該數(shù)據(jù)集的內(nèi)容為一套0-9的外國數(shù)字手勢圖片，每個(gè)數(shù)字手勢的采樣圖片約為205個(gè)左右，整套數(shù)據(jù)集共有2462張，圖片像素為100*100ppi。不同手勢圖片之間存在一定的相似性，該數(shù)據(jù)集的樣本如圖1所示。

在數(shù)據(jù)預(yù)處理過程中，利用TensorFlow、Numpy及os庫對數(shù)據(jù)集圖片進(jìn)行預(yù)處理，其中包括圖像裁剪、圖像增強(qiáng)和圖像格式轉(zhuǎn)換等操作，實(shí)現(xiàn)去除非目標(biāo)區(qū)域的干擾、增強(qiáng)圖像特征、降低圖像維度等效果，在一定程度上提高了神經(jīng)網(wǎng)絡(luò)圖像分類的準(zhǔn)確率。

本例將數(shù)據(jù)集的標(biāo)簽轉(zhuǎn)換為獨(dú)熱編碼，通過獨(dú)熱編碼將標(biāo)簽類別的離散特征取值擴(kuò)展到歐式空間，標(biāo)簽類別的某個(gè)取值就對應(yīng)于歐式空間的某個(gè)點(diǎn)，這樣使得標(biāo)簽類別特征之間的距離計(jì)算更加合理。實(shí)踐中利用了Sklearn庫中的OneHotEncoder方法將數(shù)據(jù)集的label進(jìn)行Onehot獨(dú)熱編碼處理。

4? 模型設(shè)計(jì)與構(gòu)建

為了提升卷積神經(jīng)網(wǎng)絡(luò)模型的分類效果，實(shí)現(xiàn)對新數(shù)據(jù)做出良好的預(yù)測，將數(shù)據(jù)集劃分為三個(gè)子集（訓(xùn)練集、驗(yàn)證集和測試集），其中訓(xùn)練集用于訓(xùn)練模型，驗(yàn)證集用于評估訓(xùn)練集的預(yù)測結(jié)果，測試集用于測試模型的準(zhǔn)確率。在每次訓(xùn)練迭代時(shí)，都對訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練并評估驗(yàn)證數(shù)據(jù)，并基于驗(yàn)證數(shù)據(jù)的評估結(jié)果來指導(dǎo)選擇和更改神經(jīng)網(wǎng)絡(luò)模型的超參數(shù)，以此來大幅降低模型過擬合的機(jī)率。模型訓(xùn)練流程如圖2所示。

本分類任務(wù)屬于邏輯回歸，如果采用均方誤差損失（MSE），其損失函數(shù)的結(jié)果為非凸函數(shù)，存在多個(gè)極小值，之后采用梯度下降法，容易導(dǎo)致陷入局部最優(yōu)解。故損失函數(shù)應(yīng)采用對數(shù)損失，即交叉熵?fù)p失，其損失函數(shù)定義如下：

其中：yi為標(biāo)簽值;y′i為預(yù)測值。

另外，對于多分類問題，采用Softmax算法將每一個(gè)類別分配為一個(gè)小數(shù)表示的概率，使分類問題的預(yù)測結(jié)果更加明顯，不同類別之間的差距更大，便于分類結(jié)果的判斷。

本例機(jī)器學(xué)習(xí)過程中搭建的人工神經(jīng)網(wǎng)絡(luò)模型為：2層卷積+2層池化+3層全連接，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

該人工神經(jīng)網(wǎng)絡(luò)通過Keras進(jìn)行構(gòu)造，網(wǎng)絡(luò)各層結(jié)果描述如表1所示。

5? 模型訓(xùn)練

由于本次實(shí)踐中圖片訓(xùn)練集較小，故采用了交叉驗(yàn)證的方式將圖片數(shù)據(jù)集進(jìn)行分割，然后分別進(jìn)行訓(xùn)練，循序得出最優(yōu)的模型。

如圖4所示，將圖片訓(xùn)練與驗(yàn)證數(shù)據(jù)進(jìn)行平均分割，共分割為四等份，每等份的圖片樣本為500個(gè)，即4折交叉驗(yàn)證4-fold。在訓(xùn)練過程中，每次都用3份數(shù)據(jù)來訓(xùn)練模型，剩余1份數(shù)據(jù)用來驗(yàn)證之前3份數(shù)據(jù)訓(xùn)練出來模型的準(zhǔn)確率，系統(tǒng)記錄準(zhǔn)確率。然后再從4份數(shù)據(jù)中取出另外3份進(jìn)行訓(xùn)練，剩余1份進(jìn)行驗(yàn)證，再次得到另一個(gè)模型的準(zhǔn)確率，至到所有4份數(shù)據(jù)都做過1次驗(yàn)證集，也即驗(yàn)證集名額循環(huán)了一圈，交叉驗(yàn)證的過程就結(jié)束。最終留下準(zhǔn)確率最高的模型，保存其訓(xùn)練參數(shù)。

在程序設(shè)計(jì)中，定義空列表all_history = []，用于記錄四折訓(xùn)練過程中的歷史數(shù)據(jù)。將四折訓(xùn)練結(jié)果進(jìn)行對比，其中l(wèi)oss為訓(xùn)練集損失值，acc為訓(xùn)練集準(zhǔn)確率，val_loss為驗(yàn)證集損失，val_acc為驗(yàn)證集準(zhǔn)確率，在訓(xùn)練超參數(shù)相同的情況下，結(jié)果如表2所示。

通過綜合對比，可以得出第一折數(shù)據(jù)的訓(xùn)練綜合效果最優(yōu)，其訓(xùn)練超參數(shù)epochs=25， batch_size=50，優(yōu)化器選用Adam，學(xué)習(xí)率設(shè)定0.003，損失函數(shù)選用'categorical_crossentropy'，卷積層的激勵(lì)函數(shù)采用Relu函數(shù)。

6? 模型評測

在模型評測階段，使用剩余樣本圖片進(jìn)行預(yù)測，這部分樣本圖片是訓(xùn)練模型之前從未見過的，利用matplotlib顯示部分圖片的預(yù)測分類結(jié)果，可見預(yù)測結(jié)果全部正確，結(jié)果如圖5所示。

利用Keras中的evaluate（）方法對測試數(shù)據(jù)集進(jìn)行測評，可以得出模型的損失loss為0.6217，準(zhǔn)確率acc為0.9016，分類效果較好。

7? 結(jié)語

本文利用TensorFlow深度學(xué)習(xí)框架，對卷積神經(jīng)網(wǎng)絡(luò)圖像分類的實(shí)踐策略進(jìn)行了研究，其中運(yùn)用數(shù)據(jù)集交叉驗(yàn)證的訓(xùn)練方式，循序迭代得出最優(yōu)的模型，使測試數(shù)據(jù)集的識別正確率達(dá)到90.16%，達(dá)到預(yù)期效果。該實(shí)踐策略為搭建神經(jīng)網(wǎng)絡(luò)模型處理圖像分類問題提供了一套創(chuàng)新思路，具有一定的參考意義。

參考文獻(xiàn)：

[1]張良均，王路.Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)[M].北京：機(jī)械工業(yè)出版社，2015.

[2]段小手.深入淺出Python機(jī)器學(xué)習(xí)[M].北京：清華大學(xué)出版社，2018.

[3]楊澤明，劉軍，薛程，于子紅.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類上的應(yīng)用綜述[J].人工智能與機(jī)器人研究，2017，7（01）：17-24.

[4]陳瑞瑞.基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法[J].河南科技學(xué)院學(xué)報(bào)（自然科學(xué)版），2018，46（4）：56-60.

[5]蔣昂波，王維維.ReLU激活函數(shù)優(yōu)化研究[J].傳感器與微系統(tǒng)，2018（2）：50-52.

[6]袁文翠，孔雪.基于TensorFlow深度學(xué)習(xí)框架的卷積神經(jīng)網(wǎng)絡(luò)研究[J].微型電腦應(yīng)用，2018（2）：29-32.

基金項(xiàng)目：受發(fā)改委“互聯(lián)網(wǎng)+”支撐類項(xiàng)目礦冶智能優(yōu)化制造云服務(wù)（發(fā)改辦高技[2016]741號）資助。

作者簡介：趙浩（1984-），男，新疆烏魯木齊人，高級工程師，畢業(yè)于北京大學(xué)軟件與微電子學(xué)院，碩士研究生，研究方向?yàn)闄C(jī)器學(xué)習(xí)、深度學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析、自動化控制等。