◆李曉旭

結(jié)合Alexnet和極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)模型的研究

◆李曉旭

（瓦房店市融媒體中心 遼寧 116300）

本文提出一種Alexnet與極限學(xué)習(xí)機(jī)相結(jié)合的網(wǎng)絡(luò)模型。Alexnet是一種很好的特征提取器，但是大量的網(wǎng)絡(luò)參數(shù)集中在后三層用作分類的全連接層中，同時(shí)要在調(diào)整和訓(xùn)練參數(shù)上花費(fèi)大量時(shí)間，而極限學(xué)習(xí)機(jī)具有訓(xùn)練參數(shù)少，學(xué)習(xí)速度快的優(yōu)點(diǎn)，所以本文運(yùn)用Alexnet進(jìn)行特征提取，再用極限學(xué)習(xí)機(jī)對(duì)圖片進(jìn)行分類，結(jié)合了Alexnet和ELM的優(yōu)點(diǎn)。本文方法能在CIFAR10數(shù)據(jù)集上有效分類，同時(shí)節(jié)省訓(xùn)練時(shí)間。

Alexnet；極限學(xué)習(xí)機(jī)；特征提取

自2006年以來，深度學(xué)習(xí)持續(xù)升溫，其本質(zhì)就是深層次的神經(jīng)網(wǎng)絡(luò)，其興起經(jīng)歷了起起落落，2012年，Alexnet網(wǎng)絡(luò)模型的問世使計(jì)算機(jī)視覺領(lǐng)域出現(xiàn)了翻天覆地的變化，在語義分割[1]、文本識(shí)別[2]、圖像分類[3]、人臉識(shí)別[4]、目標(biāo)檢測(cè)[5]等領(lǐng)域都有所突破。主要是因?yàn)樯窠?jīng)網(wǎng)絡(luò)完成了自動(dòng)提取特征和分類器的工作，卷積神經(jīng)網(wǎng)絡(luò)的最后一層可以看作一個(gè)線性分類器，存在一定局限性。趙靚等運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)來提取船舶圖像特征，運(yùn)用支持向量機(jī)對(duì)軍艦、客船、漁船和帆船進(jìn)行分類[6]。隨著分類器的發(fā)展，極限學(xué)習(xí)機(jī)也應(yīng)用到許多領(lǐng)域，黃等[7]運(yùn)用極限學(xué)習(xí)機(jī)進(jìn)行滾動(dòng)軸承故障識(shí)別，吳莉等[8]用極限學(xué)習(xí)機(jī)對(duì)配電線路臺(tái)風(fēng)滅損進(jìn)行預(yù)測(cè)，都取得了很好的效果。本文將Alexnet和極限學(xué)習(xí)機(jī)結(jié)合，最大程度發(fā)揮其各自優(yōu)點(diǎn)，在分類準(zhǔn)確率小幅度提高的前提下，大大減少訓(xùn)練時(shí)間。

1 基本原理

1.1 Alexnet網(wǎng)絡(luò)模型

隨著深度學(xué)習(xí)逐步走向成熟，卷積神經(jīng)網(wǎng)絡(luò)在機(jī)器視覺和圖像處理領(lǐng)域應(yīng)用越來越廣泛，最早的卷積神經(jīng)網(wǎng)絡(luò)（CNN）誕生于20世紀(jì)60年代，它是一類具有深度結(jié)構(gòu)并包含卷積計(jì)算的前饋神經(jīng)網(wǎng)絡(luò)，它的基本結(jié)構(gòu)包括輸入、卷積、池化、全連接和輸出。2012年，Alexnet問世，AlexNet是由Krizhevsky[9]等人創(chuàng)造，此模型的出現(xiàn)掀起了深度學(xué)習(xí)的研究熱潮。Alexnet模型是擁有五個(gè)卷積層和三個(gè)全連接層共八層的一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)模型，第一和第二層使用了卷積、Relu、最大池化、局部響應(yīng)歸一化操作，第三、四層使用了卷積和Relu操作，第五層使用了卷積、Relu和最大池化操作，六、七、八層是全連接層。

卷積層先對(duì)圖片進(jìn)行局部感知，主要是通過卷積核來實(shí)現(xiàn)的，再對(duì)局部進(jìn)行綜合操作，進(jìn)而得到全局信息。圖片方陣先經(jīng)過卷積核濾波，再加上偏置常量，然后利用激活函數(shù)激活，生成特征圖，卷積的計(jì)算公式如式1所示。

式（1）的卷積表達(dá)式中：Y為輸出特征圖，W為卷積核權(quán)值，X為輸入特征圖，b是偏置常量，*表示卷積操作，（·）表示激活函數(shù)，本文使用的激活函數(shù)是Relu。

池化層也叫降采樣層或子采樣，通常是在卷積層后面，是用來降低對(duì)卷積層獲得的特征圖的維度，在有效減少網(wǎng)絡(luò)參數(shù)的同時(shí)能夠減小過擬合的產(chǎn)生，池化層將特征圖通過式2的計(jì)算得到相應(yīng)的特征圖。

Z為輸出特征圖，Y為輸入特征圖，為池化方法。主要的池化方法有重疊池化、平均池化、金字塔池化和最大池化，Alexnet模型中的池化方法是最大池化操作。

在經(jīng)過五個(gè)卷積層和三個(gè)池化層后，Alexnet連接三個(gè)全連接層進(jìn)行匯合，但是在Alexnet中引入了dropout機(jī)制，即以0.5的概率把每個(gè)隱藏的神經(jīng)元的輸出設(shè)置為零，減少了神經(jīng)元的復(fù)雜的共同適應(yīng)，提高模型的泛化能力。對(duì)于分類問題，最后一層輸出層多數(shù)使用softmax進(jìn)行邏輯回歸分類，返回輸入對(duì)象所屬某一類別的概率。

圖1 Alexnet網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）

其中為神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)的輸出，是期望輸出[12]。

（4）

式4、5中為輸入層與隱藏層之間的權(quán)矩陣；為隱單元的閾值，（）是激活函數(shù)。

概括極限學(xué)習(xí)機(jī)的學(xué)習(xí)方法主要分為三步：

極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 極限學(xué)習(xí)機(jī)結(jié)構(gòu)圖

2 Alexnet與極限學(xué)習(xí)機(jī)的結(jié)合

卷積神經(jīng)網(wǎng)絡(luò)的全連接層起到“分類器”的作用，采用梯度下降的方法調(diào)整權(quán)值[13]，全連接層參數(shù)量占整個(gè)Alexnet網(wǎng)絡(luò)模型的參數(shù)量的90%左右，存在參數(shù)冗余的現(xiàn)象，通過前五層的卷積池化操作可以很好地提取圖片特征，但是它并不是一個(gè)好的分類器。極限學(xué)習(xí)機(jī)采用隨機(jī)的輸入層權(quán)值和偏差，輸出層的權(quán)重由廣義逆矩陣直接計(jì)算得到，不用像神將網(wǎng)絡(luò)的梯度算法迭代反復(fù)調(diào)整更新，它具有訓(xùn)練參數(shù)少、速度快的優(yōu)點(diǎn)。所以本文保留Alexnet的前六層結(jié)構(gòu)，將第六層（全連接層的第一層）得到的特征向量作為極限學(xué)習(xí)機(jī)的輸入，兩者的結(jié)合充分運(yùn)用了Alexnet提取特征的能力和極限學(xué)習(xí)機(jī)訓(xùn)練速度快的優(yōu)點(diǎn)。

圖3顯示了Alexnet和極限學(xué)習(xí)機(jī)的結(jié)合方式，主要分為兩部分：

第一部分，特征提取，運(yùn)用Alexnet的八層網(wǎng)絡(luò)結(jié)構(gòu)，通過訓(xùn)練樣本得到網(wǎng)絡(luò)的各層參數(shù)，保持前六層的參數(shù)不變，第六層（全連接層）將前五層的特征展平成一維向量，并將提取的特征加以提取整合。相當(dāng)于把Alexnet的前六層看做一個(gè)特征提取器。

第二部分，極限學(xué)習(xí)機(jī)的分類，將上一步提取到的特征向量作為極限學(xué)習(xí)機(jī)的輸入，搭建ELM模型，并依據(jù)其訓(xùn)練公式（6）計(jì)算其參數(shù)，最終完成整個(gè)網(wǎng)絡(luò)的訓(xùn)練過程。

圖3 Alexnet-ELM模型

3 實(shí)驗(yàn)結(jié)果和分析

本文用的是經(jīng)典的深度學(xué)習(xí)CIFAR-10數(shù)據(jù)集，由10類32×32的彩色圖片組成，包括貓、鹿、狗、馬、鳥類、蛙類、飛機(jī)、汽車、船、卡車10類，此數(shù)據(jù)集有60000張圖片，每類6000張，其中50000張用作訓(xùn)練，構(gòu)成5個(gè)batch，10000張用作測(cè)試，單獨(dú)一個(gè)batch。

實(shí)驗(yàn)在Tensorflow環(huán)境下的Keras框架完成，網(wǎng)絡(luò)每層具體參數(shù)為：輸入層的圖像為32×32×3，卷積核大小為11×11，滑動(dòng)步長(zhǎng)為4，輸出96個(gè)特征圖，第一、二層都是用大小為5×5的卷積核，輸出256個(gè)特征圖，第三、四層使用3×3的卷積核，輸出384個(gè)特征子圖，第五層采用3×3大小的卷積核，產(chǎn)生256個(gè)特征圖，第六層全連接層將特征圖拉直成一維特征向量。然后隨機(jī)產(chǎn)生極限學(xué)習(xí)機(jī)的參數(shù)W和b，隱層神經(jīng)元個(gè)數(shù)為1024，使用Adam優(yōu)化算法，此時(shí)，所有參數(shù)設(shè)置完畢，進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測(cè)試。分別用Alexnet和本文的模型進(jìn)行對(duì)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 模型分類結(jié)果

模型分類精度訓(xùn)練時(shí)間/min測(cè)試時(shí)間/min Alexnet88.32%234.5 Alexnet-ELM88.75%112

實(shí)驗(yàn)結(jié)果表明：本文的網(wǎng)絡(luò)模型使分類準(zhǔn)確率提高了0.43%，訓(xùn)練時(shí)間和測(cè)試時(shí)間大大減少，主要是由于不用學(xué)習(xí)大量參數(shù)，此方法更加省時(shí)省力。

4 結(jié)語

本文提出并實(shí)現(xiàn)了一種Alexnet和極限學(xué)習(xí)機(jī)相結(jié)合的快速自動(dòng)分類方法，Alexnet本身需要進(jìn)行大量的迭代訓(xùn)練，達(dá)到最佳的穩(wěn)定識(shí)別狀態(tài)，此過程耗時(shí)并且對(duì)硬件要求比較高。本文結(jié)合Alexnet強(qiáng)大的提取特征的能力和極限學(xué)習(xí)機(jī)快速分類的優(yōu)點(diǎn)，使訓(xùn)練時(shí)間縮短一倍。在后續(xù)試驗(yàn)中，可以使用優(yōu)化算法（蝙蝠優(yōu)化算法）來優(yōu)化極限學(xué)習(xí)機(jī)的初始化，可能將分類的準(zhǔn)確度進(jìn)一步提高。

[1]J. Long，E. Shelhamer，T. Darrell. Fully convolutional networks for semantic segmentation[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015: 3431-3440.

[2]M. Liao，B. Shi，X. Bai，et al. Textboxes：A fast text detector with a single deep neural net-work[C]. Thirty-First AAAI Conference on Artificial Intelligence，2017:4161-4167.

[3]S.Wang，C.Manning. Fast dropout training[C]. International Conference on Machine Learning，2013:118-126.

[4]O. M. Parkhi，A. Vedaldi，A. Zisserman，et al. Deep face recognition[C]. British Machine VisionConference，2015:6.

[5]J. Ding，B. Chen，H. Liu，et al. Convolutional neural network with data augmentation for SARtarget recognition[J]. IEEE Geoscience and Remote Sensing Letters，2016，13（3）： 364-368.

[6]趙亮，王曉峰，袁逸濤．基于深度卷積神經(jīng)網(wǎng)絡(luò)的船舶識(shí)別方法研究[J]. 艦船科學(xué)技術(shù)，2016，38（15）：119－123．

[7]黃重謙. 基于多隱層小波卷積極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的滾動(dòng)軸承故障識(shí)別[J/OL].工礦自動(dòng)化：1-7[2021-05-25]. https://doi.org/10.13272/j.issn.1671-251x.2020110036.

[8]吳莉，林珍，江灝，等. 融合模糊評(píng)價(jià)與極限學(xué)習(xí)機(jī)的配電線路臺(tái)風(fēng)災(zāi)損預(yù)測(cè)[J/OL]. 福州大學(xué)學(xué)報(bào)（自然科學(xué)版）：1-7[2021-05-25]. http://kns.cnki.net/kcms/detail/35.1337.N.20210517.0911.020.html.

[9]KRIZHEVSKY，STUSKEVERI，HINTONGE．Image Net classification with deep convolutional neuralnetworks[C]．Proceedings of the Advances in Neural Information Processing Systems． South Lake Tahoe，US：2012：1097-1105．

[10]曹瑞鵬．基于ELM 自編碼器改進(jìn)的高光譜圖像特征學(xué)習(xí)算法研究[D]．武漢：華中科技大學(xué)，2019．

[11]HUANG G B，ZHU Q Y，SIEW C K． Extreme learning ma-chine：theory and applications[J]．Neurocomputing，2006，70（1/3）：489-501.

[12]余丹，吳小俊. 一種卷積神經(jīng)網(wǎng)絡(luò)和極限學(xué)習(xí)機(jī)相結(jié)合的人臉識(shí)別方法[J].Journal of Data Acquisition andProcessing，2016，31（5）：996-1003．

[13]李耀龍，張永科，羅鎮(zhèn)寶．應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)場(chǎng)及機(jī)場(chǎng)內(nèi)飛機(jī)目標(biāo)識(shí)別技[J]. 重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2018（3）：210-216．