賈文娟,張煜東

(南京師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,南京 210023)

1 引言

自編碼器是一種無(wú)監(jiān)督學(xué)習(xí)算法,其輸出能夠?qū)崿F(xiàn)對(duì)輸入數(shù)據(jù)的復(fù)現(xiàn).自編碼器的概念是Rumelhart等[1]最早提出的,自編碼器是一種數(shù)據(jù)壓縮算法,它使用編碼器實(shí)現(xiàn)數(shù)據(jù)壓縮,使用解碼器實(shí)現(xiàn)解壓縮.編碼階段將高維數(shù)據(jù)映射成低維數(shù)據(jù),減少數(shù)據(jù)量; 而解碼階段正好相反,從而實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的復(fù)現(xiàn).

2006年,Hinton等[2]將其作為一種降維方法發(fā)表在Science上.文章通過(guò)使用“互補(bǔ)先驗(yàn)”的方法推導(dǎo)出一個(gè)快速貪婪算法,逐層學(xué)習(xí)深度定向網(wǎng)絡(luò),然后對(duì)整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化,改善了傳統(tǒng)方法易陷入局部極小的情況,由此產(chǎn)生了深度自編碼器.Bengio 等[3]在深度自編碼器的研究過(guò)程中,加入了稀疏性的限制,使用盡可能少的神經(jīng)元學(xué)習(xí)提取有用的數(shù)據(jù)特征,進(jìn)而產(chǎn)生了稀疏自編碼器.Vincent等[4]為了提高算法的健壯性,在輸入數(shù)據(jù)中加入了噪聲,形成了去噪自編碼器.2010 年,Rifai等[5]在維度處理的過(guò)程中加以限制,提出了收縮自編碼器.次年,Masci等[6]提出卷積自編碼器用于構(gòu)建卷積神經(jīng)網(wǎng)絡(luò).

自編碼器在其優(yōu)化發(fā)展過(guò)程中,被應(yīng)用到很多領(lǐng)域,比如圖像分類、人臉識(shí)別、自然語(yǔ)言處理以及其他領(lǐng)域,并取得了較好的成績(jī).本文也將從這些方面著重介紹自編碼器的特點(diǎn)及性能,并對(duì)這些方法進(jìn)行分析和比較.

2 基礎(chǔ)介紹

自編碼器通過(guò)對(duì)輸入數(shù)據(jù)進(jìn)行壓縮,將其映射到低維空間中,從而避免了“維度災(zāi)難”; 在解碼階段實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的還原,從而實(shí)現(xiàn)非監(jiān)督的特征學(xué)習(xí).

2.1 模型介紹

一個(gè)自編碼器有編碼器和解碼器兩部分組成(如圖1所示),對(duì)于輸入x,通過(guò)編碼函數(shù):

得到編碼h,實(shí)現(xiàn)數(shù)據(jù)壓縮.其中sf為編碼器的激活函數(shù),通常取為 sigmoid 函數(shù),即:

W表示輸入層和隱層之間的權(quán)值矩陣.在解碼階段使用解碼函數(shù):

圖1 自編碼器的基本結(jié)構(gòu)

將編碼h映射到原始高維空間,從而達(dá)到對(duì)輸入的復(fù)現(xiàn).其中WT為隱層和輸出層之間的權(quán)值矩陣(為簡(jiǎn)單起見(jiàn),這里的權(quán)值矩陣取為W的轉(zhuǎn)置),sg為解碼器的激活函數(shù),通常取為sigmoid函數(shù)或恒等函數(shù),即:

或:

根據(jù)解碼器激活函數(shù)的不同,L(x,y)通常有以下兩種取法:

1) 當(dāng)sg為恒等函數(shù)時(shí),取平方誤差函數(shù),即:

2) 當(dāng)sg為 sigmoid 函數(shù) (xi∈[0,1])時(shí),取交叉熵(cross-entropy)函數(shù),即:

在重構(gòu)誤差的基礎(chǔ)上,本文針對(duì)訓(xùn)練數(shù)據(jù)集S設(shè)置整體的損失函數(shù)(loss function)為:

基本的自編碼器可以看作一個(gè)三層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu): 輸入層、隱層、輸出層,其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.圖中xi表示輸入節(jié)點(diǎn),xi'表示輸出節(jié)點(diǎn),“+1”表示偏置項(xiàng),hW,b(x)表示經(jīng)過(guò)三層網(wǎng)絡(luò)結(jié)構(gòu)之后對(duì)輸入數(shù)據(jù)的近似輸出.

圖2 自編碼器網(wǎng)絡(luò)結(jié)構(gòu)

2.2 自編碼器算法流程

2.2.1 算法思路

自編碼器算法的設(shè)計(jì)思路如下:

(1) 對(duì)于給定的無(wú)標(biāo)簽數(shù)據(jù),本文使用無(wú)監(jiān)督學(xué)習(xí)方法學(xué)習(xí)特征.對(duì)于無(wú)類標(biāo)簽的數(shù)據(jù),文中通過(guò)編碼器將輸入數(shù)據(jù)進(jìn)行編碼,然后使用解碼器得到一個(gè)輸出信息,如果輸出近似等于輸入數(shù)據(jù),則可以通過(guò)調(diào)整編碼和解碼階段的參數(shù),使得重構(gòu)誤差最小.

(2) 將編碼器產(chǎn)生的特征作為輸入,逐層訓(xùn)練下面層的網(wǎng)絡(luò).由于第一個(gè)訓(xùn)練層得到的編碼可以看作是輸入數(shù)據(jù)的復(fù)現(xiàn),所以下面層的訓(xùn)練過(guò)程類似第一層.

有監(jiān)督地微調(diào)整個(gè)神經(jīng)網(wǎng)絡(luò).在訓(xùn)練完所有層網(wǎng)絡(luò)之后,自編碼器學(xué)習(xí)獲得了可以較好地代表輸入的特征,并且這些特征可以最優(yōu)地表示原始輸入信號(hào).因此,本文就可以在自編碼器之后加入一個(gè)分類器(如SVM等),然后通過(guò)有監(jiān)督訓(xùn)練的方法實(shí)現(xiàn)對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào).

2.2.2 算法步驟

(1) 求各層激活值.

通過(guò)前向傳播的方法,對(duì)每一層的神經(jīng)元進(jìn)行前向傳導(dǎo)計(jì)算,利用前向傳播公式,得到各層的激活值.

(2) 計(jì)算W和b的殘差,利用梯度下降法更新W和b,使得輸出更好的表示輸入.

使用反向傳播的方法,求出最后輸出層與個(gè)層神經(jīng)元的殘差,利用梯度下降法不斷更新W和b,使得輸出更接近輸入.

自編碼器的基本流程如圖3所示.

圖3 自編碼器算法基本流程圖

2.3 自編碼器算法實(shí)現(xiàn)

這里本文使用Matlab代碼來(lái)實(shí)現(xiàn)自編碼器算法.首先,本文將訓(xùn)練數(shù)據(jù)加載到內(nèi)存,定義并訓(xùn)練自編碼器神經(jīng)網(wǎng)絡(luò),設(shè)置各參數(shù)初始值,在訓(xùn)練過(guò)程中,本文可以得到特征權(quán)重的可視化結(jié)果.對(duì)于分類問(wèn)題而言,文中使用softmax分類器對(duì)樣本進(jìn)行分類.表1中定義了算法中使用的函數(shù)及其功能.

表1 自編碼器算法 Matlab 實(shí)現(xiàn)基本語(yǔ)句

在表1中的第一條Matlab語(yǔ)句中,本文需要設(shè)置自編碼器神經(jīng)網(wǎng)絡(luò)中參數(shù)的初始值,并定義隱層神經(jīng)元的數(shù)量.通過(guò)上述方法,文中使用一幅磁共振病理腦圖像進(jìn)行訓(xùn)練,設(shè)置隱層神經(jīng)元個(gè)數(shù)為100,則可以得到病腦圖像的可視化權(quán)值如圖4所示.

圖4 第一層自編碼器訓(xùn)練得到的可視化權(quán)重

3 實(shí)際應(yīng)用

在實(shí)際生活中,自編碼器已經(jīng)應(yīng)用到了很多方面,如自然語(yǔ)言處理、圖像分類、人臉識(shí)別等,這些應(yīng)用使得自編碼器擁有了更廣闊的發(fā)展前景.

3.1 自然語(yǔ)言處理

張開(kāi)旭等[7]利用自編碼器能夠?qū)崿F(xiàn)無(wú)監(jiān)督學(xué)習(xí)的特點(diǎn),從大量無(wú)標(biāo)注語(yǔ)料中提取詞匯的高維分布信息,使用自編碼器學(xué)習(xí)得到的低維特征來(lái)提升中文分詞詞性標(biāo)注任務(wù)的效果.文中還將自編碼器方法與主成分分析和k均值聚類的方法進(jìn)行了比較.在賓州中文樹(shù)庫(kù)5.0數(shù)據(jù)集上的實(shí)驗(yàn)表明,自編碼器能夠顯著提高從大規(guī)模無(wú)標(biāo)注語(yǔ)料中學(xué)習(xí)詞匯特征的效果.

劉勘等[8]使用微博數(shù)據(jù)作為分析對(duì)象,利用基于深層噪音稀疏自編碼器的短文本聚類算法進(jìn)行無(wú)監(jiān)督學(xué)習(xí).文章數(shù)據(jù)來(lái)源于大數(shù)據(jù)共享平臺(tái),可分為IT、財(cái)經(jīng)、健康三大類,每一類取1500條微博.通過(guò)Entropy和Precision兩種方法衡量聚類效果,最終得到深層噪音稀疏自編碼器(DSAE)+ k-means的方法效果最好,綜合信息熵為0.207,綜合準(zhǔn)確度為87.8%.

胡慶輝等[9]基于遞歸自編碼器(RAE)方法,使用真實(shí)的搜索引擎廣告系統(tǒng)中的檢索詞-拍賣詞對(duì)(共11 205例),并在其中隨機(jī)選取詞對(duì)進(jìn)行人工標(biāo)注.實(shí)驗(yàn)結(jié)果表明,RAE方法取得的實(shí)驗(yàn)準(zhǔn)確率為85.12%,高于傳統(tǒng)的LDA和BM25方法.

王貴新等[10]采用稀疏自編碼器和支持向量機(jī)(SVM)相結(jié)合的方法進(jìn)行學(xué)習(xí)和分類仿真實(shí)驗(yàn).42 560條垃圾短信和70 000條正常短信作為測(cè)試樣本,采用深度學(xué)習(xí)理論,考慮詞語(yǔ)在短信中的權(quán)重,在文本分類中取得了較好的分類效果,但是使用該方法的訓(xùn)練時(shí)間較長(zhǎng).

秦勝君等[11]利用稀疏自編碼器算法自動(dòng)提取文本特征,結(jié)合深度置信網(wǎng)絡(luò)形成SD算法進(jìn)行文本分類.實(shí)驗(yàn)數(shù)據(jù)集來(lái)源于搜狗全網(wǎng)的新聞?wù)Z料庫(kù),可分為20個(gè)欄目的新聞數(shù)據(jù),從中隨機(jī)抽取樣本,訓(xùn)練集數(shù)目分為 300,800 和 1300.實(shí)驗(yàn)結(jié)果表明,文中使用的SD算法在3個(gè)訓(xùn)練集上的準(zhǔn)確率分別為: 78.6%,88.0%,92.3%.在同一數(shù)據(jù)集上,與 SVM 方法進(jìn)行比較得出,當(dāng)樣本數(shù)量較少時(shí),SD算法容易出現(xiàn)過(guò)擬合現(xiàn)象,準(zhǔn)確率不如 SVM,但是當(dāng)數(shù)據(jù)集較大時(shí),SD 算法的優(yōu)勢(shì)漸漸體現(xiàn),準(zhǔn)確率和召回率都有所提升.

李翰清等[12]采用6000余條家庭服務(wù)語(yǔ)料庫(kù)(包含60個(gè)意圖)進(jìn)行實(shí)驗(yàn),利用深度去噪自編碼器方法提取指令的高階特征、高斯核支持向量機(jī)進(jìn)行訓(xùn)練和預(yù)測(cè),在所建語(yǔ)料庫(kù)上進(jìn)行多折交叉驗(yàn)證,結(jié)果表明指令意圖理解的平均準(zhǔn)確率達(dá)到了96%以上.

魏揚(yáng)威等[13]首先根據(jù)英語(yǔ)作文寫作技巧提取了大量語(yǔ)言學(xué)特征,再使用自編碼器、特征離散化方法對(duì)特征進(jìn)行重構(gòu),然后用分層多項(xiàng)模型來(lái)輸出文章的最終得分.實(shí)驗(yàn)表明,在使用自編碼器將特征壓縮到100維時(shí),相關(guān)系數(shù)達(dá)到0.787,與直接使用支持向量機(jī)進(jìn)行回歸的實(shí)驗(yàn)相比,準(zhǔn)確率提升了3.4%.

劉廣秀等[14]通過(guò)自編碼器模型網(wǎng)絡(luò)建造Adaboost框架下的弱分類器,并在自編碼器神經(jīng)網(wǎng)絡(luò)部分引入噪聲,更改不同參數(shù)以及層數(shù)構(gòu)造弱分類器,利用稀疏性來(lái)提高分類器的泛化能力.實(shí)驗(yàn)使用NLPIR分詞系統(tǒng)提取文本特征、TFIDF作為詞語(yǔ)的權(quán)值,根據(jù)權(quán)值來(lái)選擇特征詞,并統(tǒng)計(jì)詞頻作為文本特征訓(xùn)練集.以調(diào)節(jié)自編碼器參數(shù)等方式實(shí)現(xiàn)每個(gè)分類器的結(jié)構(gòu)互異性,提高各分類器的分類各異性,從而實(shí)現(xiàn)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)使得不同弱預(yù)測(cè)器具有不同的預(yù)測(cè)傾向性,提高系統(tǒng)泛化能力,提高分類器分類效果.

李陽(yáng)輝等[15]使用改進(jìn)的降噪自編碼器(IDAE)對(duì)微博情感進(jìn)行分析,模型的訓(xùn)練集和測(cè)試集通過(guò)COAE2014的微博評(píng)測(cè)數(shù)據(jù)集獲取,為檢驗(yàn)?zāi)Ｐ偷目垢蓴_能力,作者采用Python方法從微博網(wǎng)頁(yè)上直接爬取實(shí)時(shí)數(shù)據(jù),并將其作為樣本集特意加入實(shí)驗(yàn)當(dāng)中.結(jié)果表明該方法聚類效果較好,且準(zhǔn)確度和穩(wěn)定性與DAE相比有所提升.

劉紅光等[16]在對(duì)中文新聞文本進(jìn)行分類時(shí),采用降噪自編碼器實(shí)現(xiàn)對(duì)文本的壓縮及分布式的表示,并使用SVM算法進(jìn)行分類.實(shí)驗(yàn)結(jié)果證明,隨著樣本數(shù)目的增大,分類準(zhǔn)確率、召回率等都在提高,平均分類準(zhǔn)確率達(dá)到了95%以上,但數(shù)據(jù)量依然較小,并不能完全發(fā)揮該方法并行處理大容量數(shù)據(jù)的優(yōu)勢(shì).

表2 列出了自編碼器在自然語(yǔ)言處理中的應(yīng)用以及其優(yōu)化后的方法,方法的特點(diǎn)中也介紹了該方法應(yīng)用于該領(lǐng)域的優(yōu)勢(shì)及不足.

3.2 圖像分類

林少飛等[17]將稀疏自編碼器方法應(yīng)用到數(shù)字識(shí)別中,通過(guò)多個(gè)系數(shù)自編碼器的堆疊構(gòu)建成的深度網(wǎng)絡(luò)學(xué)習(xí)數(shù)字圖像的特征,最后使用softmax分類器進(jìn)行數(shù)字分類.實(shí)驗(yàn)通過(guò)matlab平臺(tái)實(shí)現(xiàn),使用MNIST數(shù)據(jù)庫(kù) (訓(xùn)練集 60 000 張手寫數(shù)字圖像,測(cè)試集 10 000 張圖像),設(shè)置softmax層回歸迭代100次,第一層稀疏自編碼器迭代100次,第二層迭代100次,微調(diào)部分迭代達(dá)到100次之后,實(shí)驗(yàn)準(zhǔn)確流暢高達(dá)98.00%.

尹征等[18]采用標(biāo)準(zhǔn)卷積自編碼器方法,選取MINIS和CIFAR-10數(shù)據(jù)集進(jìn)行訓(xùn)練,實(shí)驗(yàn)表明將卷積層相關(guān)理論運(yùn)用到自編碼器中能提高網(wǎng)絡(luò)的識(shí)別性能,并且實(shí)驗(yàn)識(shí)別率提高了2%,識(shí)別錯(cuò)誤率降低了近6%,并且該方法對(duì)于加入了噪聲的數(shù)據(jù)具有較強(qiáng)的魯棒性.

表2 自然語(yǔ)言處理中自編碼器的應(yīng)用

樊養(yǎng)余等[19]使用一種基于卷積稀疏自編碼器的方法,對(duì)少量有標(biāo)記抽象圖像進(jìn)行自適應(yīng)的學(xué)習(xí),并使用平均梯度準(zhǔn)則對(duì)所學(xué)到的權(quán)重進(jìn)行排序,用于對(duì)基于不同領(lǐng)域的特征學(xué)習(xí)結(jié)果進(jìn)行比較.實(shí)驗(yàn)使用Abstract100、Abstract280數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分類,結(jié)果表明,該方法學(xué)習(xí)到的特征不僅能被用于認(rèn)知層面的圖像識(shí)別,還能夠被用于情緒語(yǔ)義層面的圖像辨識(shí),這些結(jié)論也給深度學(xué)習(xí)在其他有限樣本集合中的應(yīng)用帶來(lái)啟發(fā).

戴曉愛(ài)等[20]引用棧式稀疏自編碼器自學(xué)習(xí)原始數(shù)據(jù)的特征表達(dá),然后將其連接到支持向量機(jī)分類器,完成微調(diào)過(guò)程.實(shí)驗(yàn)采用挪威NEO公司Hyspex成像光譜儀以地面成像方式在選定試驗(yàn)區(qū)獲取的數(shù)據(jù)進(jìn)行模擬性能測(cè)試,選取全部7類108個(gè)波段數(shù)據(jù),實(shí)驗(yàn)精度達(dá)到87.82%.但是該方法模型參數(shù)調(diào)整復(fù)雜,易陷入局部最小或過(guò)擬合狀態(tài),從而影響分類結(jié)果.

王杰等[21]使用稀疏自編碼器的方法來(lái)對(duì)煙葉成熟度進(jìn)行分類,降低了人工成本.實(shí)驗(yàn)樣本采自河南農(nóng)業(yè)大學(xué)科教實(shí)驗(yàn)園區(qū)的煙葉試驗(yàn)田.該算法直接從像素層面提取所需特征,減少了人為選定特征的時(shí)間,并且避免了某些重要特征的丟失,分類精確度高達(dá)98.63%.

張一飛等[22]為了提高傳統(tǒng)遙感圖像分類準(zhǔn)確率較低的問(wèn)題,使用一種基于棧式去噪自編碼器的分類方法,采用無(wú)監(jiān)督逐層分類的方法獲得更具魯棒性的特征表達(dá),然后通過(guò)誤差反向傳播方法對(duì)整個(gè)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào).實(shí)驗(yàn)采用國(guó)產(chǎn)高分一號(hào)遙感數(shù)據(jù),分類精度高達(dá)95.7%,高于傳統(tǒng)的支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)方法,但是該方法時(shí)間消耗很大,因此可能限制其大規(guī)模、深層次模型的應(yīng)用.

劉洋洋等[23]提出將多尺度單層自編碼器的方法應(yīng)用到醫(yī)學(xué)圖像自動(dòng)分類中,選擇ImageCLEFMed 2009數(shù)據(jù)集中20類共4780幅圖像,其中3350幅作為訓(xùn)練集,選擇原測(cè)試數(shù)據(jù)集中的1430幅作為本實(shí)驗(yàn)測(cè)試樣本,實(shí)驗(yàn)學(xué)習(xí)到的特征表示和總體準(zhǔn)確率明顯由于傳統(tǒng)方法.

徐守晶等[24]基于Matlab平臺(tái),使用CIFAR-10數(shù)據(jù)庫(kù)中的STL-10數(shù)據(jù)集,利用棧式去噪自編碼器(SDA)的方法,對(duì)包括飛機(jī)、鳥(niǎo)、小汽車、貓、狗、輪船、卡車、馬、猴子、鹿等10類圖像進(jìn)行分類,結(jié)合SIFT和ISDA特征檢索查準(zhǔn)率為91.3%.

Zeng等[25]開(kāi)發(fā)了一種將單一圖像SR耦合到深度自動(dòng)編碼器的數(shù)據(jù)傳輸模型,通過(guò)探索廣泛的數(shù)據(jù)自動(dòng)學(xué)習(xí)LR/HR圖像補(bǔ)丁的內(nèi)在表示及其關(guān)系,將LR表示精確地映射到其對(duì)應(yīng)的HR表示的大數(shù)據(jù)傳輸函數(shù).與Set5和Set14數(shù)據(jù)集上的其他先進(jìn)的算法相比較,實(shí)驗(yàn)證明了文中提出方法具有卓越的有效性和效率.

表3列出了自編碼器在圖像分類中的應(yīng)用以及其優(yōu)化后的方法,方法的特點(diǎn)中介紹了該方法應(yīng)用于該領(lǐng)域的優(yōu)勢(shì)及不足.

表3 圖像分類中自編碼器的優(yōu)化與應(yīng)用

3.3 目標(biāo)識(shí)別

張寧等[26]基于深度自編碼器設(shè)計(jì)了機(jī)場(chǎng)安檢中的人臉識(shí)別系統(tǒng),使用Gabor小波函數(shù)作為卷積核函數(shù),在對(duì)原始圖像分塊的基礎(chǔ)上進(jìn)行卷積運(yùn)算,采用多個(gè)RBM堆疊組成的自編碼器,通過(guò)比較差異算法訓(xùn)練RBM,實(shí)現(xiàn)自動(dòng)提取人臉特征,最后構(gòu)建一個(gè)三層的BP神經(jīng)網(wǎng)絡(luò),將自動(dòng)提取的人臉特征特作為輸入,將圖像標(biāo)簽作為輸出層,通過(guò)反向傳播算法訓(xùn)練網(wǎng)絡(luò)進(jìn)行人臉識(shí)別.實(shí)驗(yàn)使用YALE數(shù)據(jù)庫(kù)中的圖片進(jìn)行訓(xùn)練,算法的平局正確率高達(dá)99.08%.

趙飛翔等[27]提出了一種基于棧式降噪稀疏自編碼器的雷達(dá)目標(biāo)識(shí)別方法,通過(guò)設(shè)置不同隱層數(shù)量和迭代次數(shù),從雷達(dá)數(shù)據(jù)中高效地提取出各層次特征.實(shí)驗(yàn)采用暗室仿真數(shù)據(jù),通過(guò)多次實(shí)驗(yàn),設(shè)置隱層數(shù)為4層,隱層單元數(shù)分別為150-100-50-10,訓(xùn)練迭代次數(shù)依次為10、30、50,實(shí)驗(yàn)結(jié)果均高于90%.

康妙等[28]提出基于棧式自編碼器(SAE)特征融合的合成孔徑雷達(dá)(SAR)圖像車輛目標(biāo)識(shí)別算法,然后利用softmax分類器微調(diào)網(wǎng)絡(luò),提高了網(wǎng)絡(luò)的融合性能.實(shí)驗(yàn)基于MSTAR數(shù)據(jù)集的10類目標(biāo)分類精度達(dá)95.88%.

張彥等[29]使用所有已知樣本訓(xùn)練深度自編碼器,得到廣義深度自編碼器,然后使用但樣本目標(biāo)的單個(gè)樣本微調(diào)廣義深度自編碼器,得到特定類別的深度自編碼器,識(shí)別時(shí),將識(shí)別圖像輸入每個(gè)特定類別的深度自編碼器,得到包含與測(cè)試圖像相同類內(nèi)變化的該類別的重構(gòu)圖像,并用其訓(xùn)練softmax回歸模型,分類測(cè)試圖像.實(shí)驗(yàn)在公共測(cè)試庫(kù) Extended Yale Face Database B及 AR Database 上進(jìn)行,在相同環(huán)境下,比其他算法獲得了更高的識(shí)別率,并且識(shí)別一幅圖像的所需平均時(shí)間更少.

李江等[30]針對(duì)傳統(tǒng)方法識(shí)別人臉表情具有較差的魯棒性的問(wèn)題,提出了一種基于降噪自編碼器的方法,同時(shí)為了避免由于樣本不足造成的過(guò)擬合現(xiàn)象,在全連接層采用了Dropout技術(shù).實(shí)驗(yàn)數(shù)據(jù)集采用CK+、JAFFE和Yale,每個(gè)數(shù)據(jù)集的平均準(zhǔn)確率分別為99.65%、98.92%、99.67%,該方法也表明了該方法較強(qiáng)的魯棒性和抗身份信息干擾的能力.

冉鵬等[31]在處理人臉識(shí)別問(wèn)題時(shí),采用了棧式降噪自編碼器的方法.該方法可分為無(wú)監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的訓(xùn)練兩個(gè)階段.無(wú)監(jiān)督預(yù)訓(xùn)練階段能夠自動(dòng)學(xué)習(xí)人臉的一般特性,有監(jiān)督訓(xùn)練階段進(jìn)行人臉識(shí)別的測(cè)試.實(shí)驗(yàn)使用YALE、AR、FERE三個(gè)人臉數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)表明,在不同數(shù)據(jù)庫(kù)中,文中提出的方法得到的測(cè)試準(zhǔn)確率均由于其他方法.

于萬(wàn)鈞等[32]為了提高氣體識(shí)別的準(zhǔn)確率,提出了一種基于棧式降噪自編碼器的方法,并與千層機(jī)器學(xué)習(xí)算法的氣體定性識(shí)別方法進(jìn)行比較.實(shí)驗(yàn)使用UCI機(jī)器學(xué)習(xí)氣體數(shù)據(jù)集進(jìn)行訓(xùn)練,測(cè)試準(zhǔn)確率達(dá)到82.2%,高于傳統(tǒng)手工提取特征的方法,并且過(guò)程簡(jiǎn)單,改善了傳統(tǒng)方法的復(fù)雜過(guò)程.

表4列出了自編碼器在目標(biāo)識(shí)別中的應(yīng)用以及其優(yōu)化后的方法,方法的特點(diǎn)中也介紹了該方法應(yīng)用于該領(lǐng)域的優(yōu)勢(shì)及不足.

表4 目標(biāo)識(shí)別中自編碼器的優(yōu)化與應(yīng)用

3.4 其他領(lǐng)域

陳國(guó)定等[33]將堆棧式稀疏自編碼器應(yīng)用到評(píng)估尾礦庫(kù)的安全狀況中,實(shí)驗(yàn)數(shù)據(jù)采自于淳安某尾礦庫(kù),該算法解決了多層網(wǎng)絡(luò)結(jié)構(gòu)權(quán)值易陷入局部最小的問(wèn)題,采用微調(diào)技術(shù)之后,該方法的準(zhǔn)確率高達(dá)99.27%,但該方法作為深度神經(jīng)網(wǎng)絡(luò)的一種,仍處于學(xué)術(shù)界的廣泛討論中,將其應(yīng)用于尾礦庫(kù)安全評(píng)價(jià)仍需進(jìn)一步的研究和實(shí)驗(yàn),以獲取更優(yōu)的效果.

李榮雨等[34]將平行堆棧式自編碼器應(yīng)用于過(guò)程工業(yè)預(yù)測(cè)建模中,首先通過(guò)聚類算法對(duì)輸入數(shù)據(jù)的屬性進(jìn)行聚類,然后按結(jié)果將數(shù)據(jù)分類后輸入并行的稀疏自編碼器中進(jìn)行特征的模塊式提取,聯(lián)合學(xué)習(xí)得到的特征再進(jìn)行逐層學(xué)習(xí)得到擬合結(jié)果.在對(duì)加氫裂化的預(yù)測(cè)建模研究過(guò)程中,本方法獲得的平均預(yù)測(cè)準(zhǔn)確率在95%以上,在預(yù)測(cè)能力和穩(wěn)定性能方面高于棧式自編碼器和多層感知器.

李遠(yuǎn)豪[35]提出基于深度自編碼器的人臉美麗吸引力預(yù)測(cè)模型,利用深度自編碼器網(wǎng)絡(luò)提取人臉圖像美麗特征,然后用支持向量機(jī)分類器來(lái)預(yù)測(cè)人臉美麗.在中國(guó)科學(xué)院CAS-PEAL-R1共享人臉庫(kù)和互聯(lián)網(wǎng)手機(jī)的人臉圖像中,得到該模型的預(yù)測(cè)性能達(dá)到了77.3%.但是所學(xué)到的特征魯棒性較低,沒(méi)有達(dá)到理想的預(yù)測(cè)效果,這有待于后續(xù)深入研究.

于乃功等[36]基于深度自編碼器與Q學(xué)習(xí),提出了移動(dòng)機(jī)器人路徑規(guī)劃方法,利用深度自編碼器學(xué)習(xí)機(jī)器人所處環(huán)境特征,Q學(xué)習(xí)根據(jù)環(huán)境信息選擇機(jī)器人要執(zhí)行的動(dòng)作,從而讓機(jī)器人通過(guò)與環(huán)境的交互,實(shí)現(xiàn)自主學(xué)習(xí).機(jī)器人仿真實(shí)驗(yàn)證明了該方法的有效性.

寇茜茜等[37]將自編碼器應(yīng)用于金融領(lǐng)域,提出了匯率時(shí)間序列預(yù)測(cè)的方法.首先通過(guò)自編碼器對(duì)時(shí)間序列進(jìn)行無(wú)監(jiān)督的特征識(shí)別與學(xué)習(xí),然后利用有監(jiān)督微調(diào)的方法調(diào)整權(quán)值.實(shí)驗(yàn)使用來(lái)源于真實(shí)金融市場(chǎng)的 Time Series Data Library 數(shù)據(jù)庫(kù),文中使用的方法的預(yù)測(cè)效果優(yōu)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)方法和SVR方法.但是反向傳導(dǎo)算法在網(wǎng)絡(luò)層次過(guò)深時(shí),會(huì)出現(xiàn)梯度擴(kuò)散的現(xiàn)象,因此更適合網(wǎng)絡(luò)層次不是特別深的預(yù)測(cè).

王憲保等[38]利用堆棧式降噪自編碼器的方法進(jìn)行膠囊缺陷檢測(cè),首先對(duì)樣本進(jìn)行降噪訓(xùn)練,獲取網(wǎng)絡(luò)初始權(quán)值,之后通過(guò)BP算法進(jìn)行微調(diào),得到樣本與無(wú)缺陷模版之間的映射關(guān)系,通過(guò)對(duì)比實(shí)現(xiàn)測(cè)試樣本的缺陷檢測(cè).訓(xùn)練樣本為包括裂紋、空洞和膠囊帽缺失的數(shù)據(jù),實(shí)驗(yàn)取得了100%的缺陷膠囊檢出率,但是該方法只能處理64×64維的圖像,處理高精度的缺陷圖像將是今后研究主要工作.

SUN等[39]為了實(shí)現(xiàn)感應(yīng)電動(dòng)機(jī)的故障診斷,提出了一種將去噪自編碼融入稀疏自編碼器的深度神經(jīng)網(wǎng)絡(luò)的方法,提出了算法的魯棒性,結(jié)合反向傳播算法對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào),提高了分類的準(zhǔn)確度,通過(guò)引入“Dropout”訓(xùn)練方法,降低了由過(guò)擬合帶來(lái)的預(yù)測(cè)誤差.實(shí)驗(yàn)選用了50 Hz供電頻率下的電動(dòng)機(jī),以Y軸方向的振動(dòng)信號(hào)作為試驗(yàn)處理信號(hào),信號(hào)采樣頻率為20 kHz.實(shí)驗(yàn)得到的不同故障的平均識(shí)別正確率為97.61%.

表5列出了自編碼器在其他領(lǐng)域中的應(yīng)用以及其優(yōu)化后的方法,方法的特點(diǎn)中也介紹了該方法應(yīng)用于該領(lǐng)域的優(yōu)勢(shì)及不足.

表5 自編碼器在其他領(lǐng)域的應(yīng)用

4 總結(jié)與展望

目前,自編碼器在圖像分類、自然語(yǔ)言處理等多個(gè)方面都有了廣泛的應(yīng)用,并且取得了不錯(cuò)的成果,這也促進(jìn)了自編碼器的發(fā)展,使其更有效地為人類服務(wù).

(1) 自編碼器能夠自動(dòng)提取特征,這有效降低了傳統(tǒng)手動(dòng)提取特征的不足;

(2) 對(duì)于大數(shù)據(jù)訓(xùn)練問(wèn)題,自編碼器能有效地避免過(guò)擬合情況的發(fā)生;

(3) 在各文獻(xiàn)中的實(shí)驗(yàn)中,與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比,自編碼器方法取得的準(zhǔn)確率都較高;

(4) 通過(guò)總結(jié)各文獻(xiàn)的應(yīng)用領(lǐng)域,我們發(fā)現(xiàn)自編碼器方法的應(yīng)用范圍較為廣泛.

我們希望通過(guò)日后的研究工作,自編碼器能夠更有效、更廣泛地應(yīng)用于我們的日常生活需要當(dāng)中.因此,針對(duì)自編碼器存在的以下不足:

(1) 深度自編碼器需要逐層訓(xùn)練每一隱層,然后才能使用某種算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行優(yōu)化調(diào)整,學(xué)習(xí)時(shí)間較長(zhǎng);

(2) 自編碼器無(wú)監(jiān)督學(xué)習(xí)的特性使得其學(xué)習(xí)獲得的特征表示的物理意義并不明確;

(3) 深度自編碼器處理的數(shù)據(jù)規(guī)模大,結(jié)構(gòu)較為復(fù)雜,現(xiàn)有的軟硬件設(shè)備均難以滿足用戶需求.

我們?nèi)蘸蟮难芯恐攸c(diǎn)將放在如何解決上述問(wèn)題當(dāng)中,使自編碼器更有效地發(fā)揮其優(yōu)勢(shì),為人類社會(huì)服務(wù).

參考文獻(xiàn)

1Rumelhart DE,Hinton GE,Williams RJ.Learning representations by back-propagating errors.Nature,1986,323(6088): 533–536.[doi: 10.1038/323533a0]

2Hinton GE,Osindero S,Teh YW.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7):1527–1554.[doi: 10.1162/neco.2006.18.7.1527]

3Bengio Y,Lamblin P,Popovici D,et al.Greedy layer-wise training of deep networks.Proceedings of the 19th International Conference on Neural Information Processing System.Canada.2006.153–160.

4Vincent P,Larochelle H,Bengio Y,et al.Extracting and composing robust features with denoising autoencoders.Proceedings of the 25th International Conference on Machine Learning.Helsinki,Finland.2008.1096–1103.

5Rifai S,Vincent P,Muller X,et al.Contractive autoencoders: Explicit invariance during feature extraction.Proceedings of the 28th International Conference on Machine Learning.Bellevue,WA,USA.2011.833–840.

6Masci J,Meier U,Ciresan D,et al.Stacked convolutional auto-encoders for hierarchical feature extraction.Proceedings of the 21st International Conference on Artificial Neural Networks.Espoo,Finland.2011.52–59.

7張開(kāi)旭,周昌樂(lè).基于自動(dòng)編碼器的中文詞匯特征無(wú)監(jiān)督學(xué)習(xí).中文信息學(xué)報(bào),2013,27(5): 1–7,92.

8劉勘,袁蘊(yùn)英.基于自動(dòng)編碼器的短文本特征提取及聚類研究.北京大學(xué)學(xué)報(bào) (自然科學(xué)版),2015,51(2): 282–288.

9胡慶輝,魏士偉,解忠乾,等.基于遞歸自編碼器的廣告短語(yǔ)相關(guān)性.計(jì)算機(jī)應(yīng)用,2016,36(1): 154–157,187.[doi: 10.11772/j.issn.1001-9081.2016.01.0154]

10王貴新,彭娟,鄭孝宗,等.基于稀疏自編碼器和 SVM 的垃圾短信過(guò)濾.現(xiàn)代電子技術(shù),2016,39(17): 145–148.

11秦勝君,盧志平.稀疏自動(dòng)編碼器在文本分類中的應(yīng)用研究.科學(xué)技術(shù)與工程,2013,13(31): 9422–9426.[doi: 10.3969/j.issn.1671-1815.2013.31.051]

12李瀚清,房寧,趙群飛,等.利用深度去噪自編碼器深度學(xué)習(xí)的指令意圖理解方法.上海交通大學(xué)學(xué)報(bào),2016,50(7):1102–1107.

13魏揚(yáng)威,黃萱菁.結(jié)合語(yǔ)言學(xué)特征和自編碼器的英語(yǔ)作文自動(dòng)評(píng)分.計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(1): 1–8.[doi: 10.15888/j.cnki.csa.005535]

14劉廣秀,宋單單.基于Adaboost框架下自動(dòng)編碼器提升方法的文本分類.電子世界,2016,(11): 195,197.

15李陽(yáng)輝,謝明,易陽(yáng).基于降噪自動(dòng)編碼器及其改進(jìn)模型的微博情感分析.計(jì)算機(jī)應(yīng)用研究,2017,34(2): 373–377.

16劉紅光,馬雙剛,劉桂鋒.基于降噪自動(dòng)編碼器的中文新聞文本分類方法研究.現(xiàn)代圖書情報(bào)技術(shù),2016,32(6):12–19.[doi: 10.11925/infotech.1003-3513.2016.06.02]

17林少飛,盛惠興,李慶武.基于堆疊稀疏自動(dòng)編碼器的手寫數(shù)字分類.微處理機(jī),2015,(1): 47–51.

18尹征,唐春暉,張軒雄.基于改進(jìn)型稀疏自動(dòng)編碼器的圖像識(shí)別.電子科技,2016,29(1): 124–127.

19樊養(yǎng)余,李祖賀,王鳳琴,等.基于跨領(lǐng)域卷積稀疏自動(dòng)編碼器的抽象圖像情緒性分類.電子與信息學(xué)報(bào),2017,39(1): 167–175.

20戴曉愛(ài),郭守恒,任淯,等.基于堆棧式稀疏自編碼器的高光譜影像分類.電子科技大學(xué)學(xué)報(bào),2016,45(3): 382–386.

21王杰,賈育衡,趙昕.基于稀疏自編碼器的煙葉成熟度分類.煙草科技,2014,(9): 18–22.

22張一飛,陳忠,張峰,等.基于棧式去噪自編碼器的遙感圖像分類.計(jì)算機(jī)應(yīng)用,2016,36(S2): 171–174,188.

23劉洋洋,唐奇伶.基于多尺度單層自編碼器的醫(yī)學(xué)圖像分類.科教導(dǎo)刊,2017,(15): 20–21,192.

24徐守晶,韓立新,曾曉勤.基于改進(jìn)型 SDA的自然圖像分類與檢索.模式識(shí)別與人工智能,2014,27(8): 750–757.

25Zeng K,Yu J,Wang RX,et al.Coupled deep autoencoder for single image super-resolution.IEEE Transactions on Cybernetics,2017,47(1): 27–37.[doi: 10.1109/TCYB.2015.2501373]

26張寧,朱金福.基于深度自動(dòng)編碼器的機(jī)場(chǎng)安檢人臉識(shí)別系統(tǒng)設(shè)計(jì).計(jì)算機(jī)測(cè)量與控制,2015,23(2): 644–647.

27趙飛翔,劉永祥,霍凱.基于棧式降噪稀疏自動(dòng)編碼器的雷達(dá)目標(biāo)識(shí)別方法.雷達(dá)學(xué)報(bào),2017,6(2): 149–156.

28康妙,計(jì)科峰,冷祥光,等.基于棧式自編碼器特征融合的SAR 圖像車輛目標(biāo)識(shí)別.雷達(dá)學(xué)報(bào),2017,6(2): 167–176.

29張彥,彭華.基于深度自編碼器的單樣本人臉識(shí)別.模式識(shí)別與人工智能,2017,30(4): 343–352.

30李江,冉君軍,張克非.一種基于降噪自編碼器的人臉表情識(shí)別方法.計(jì)算機(jī)應(yīng)用研究,2016,33(12): 3843–3846.[doi:10.3969/j.issn.1001-3695.2016.12.072]

31冉鵬,王靈,李昕.一種基于棧式降噪自編碼器的人臉識(shí)別方法.工業(yè)控制計(jì)算機(jī),2016,29(9): 100–101,104.

32于萬(wàn)鈞,安改換,鹿文靜,等.基于棧式降噪自動(dòng)編碼器的氣體識(shí)別.計(jì)算機(jī)工程與設(shè)計(jì),2017,38(3): 814–818,836.

33陳國(guó)定,姚景新,洑佳紅.基于堆棧式自編碼器的尾礦庫(kù)安全評(píng)價(jià).浙江工業(yè)大學(xué)學(xué)報(bào),2015,43(3): 326–331.

34李榮雨,徐宏宇.平行堆棧式自編碼器及其在過(guò)程建模中的應(yīng)用.電子測(cè)量與儀器學(xué)報(bào),2017,31(2): 264–271.

35李遠(yuǎn)豪.基于深度自編碼器的人臉美麗吸引力預(yù)測(cè)研究[碩士學(xué)位論文].江門: 五邑大學(xué),2014

36于乃功,默凡凡.基于深度自動(dòng)編碼器與Q學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃方法.北京工業(yè)大學(xué)學(xué)報(bào),2016,42(5): 668–673.[doi: 10.11936/bjutxb2015100028]

37寇茜茜,何希平.基于棧式自編碼器模型的匯率時(shí)間序列預(yù)測(cè).計(jì)算機(jī)應(yīng)用與軟件,2017,34(3): 218–221,247.

38王憲保,何文秀,王辛剛,等.基于堆疊降噪自動(dòng)編碼器的膠囊缺陷檢測(cè)方法.計(jì)算機(jī)科學(xué),2016,43(2): 64–67.[doi:10.11896/j.issn.1002-137X.2016.02.014]

39Sun WJ,Shao SY,Yan RQ.Induction motor fault diagnosis based on deep neural network of sparse auto-encoder.Journal of Mechanical Engineering,2016,52(9): 65–71.[doi: 10.3901/JME.2016.09.065]