劉 帆 吳小俊

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 江蘇 無錫 214122)

基于混合核平滑自編碼器的分類器設(shè)計(jì)

劉 帆 吳小俊

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 江蘇 無錫 214122)

自編碼器是一種重構(gòu)輸入數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，具有較強(qiáng)的特征學(xué)習(xí)能力，被廣泛地應(yīng)用在各種分類任務(wù)中。為了將自編碼器應(yīng)用于分類任務(wù)中，研究一種基于混合核平滑自編碼器的方法進(jìn)行手寫數(shù)字和人臉圖像的分類。對不同核函數(shù)的權(quán)重進(jìn)行比較，同時(shí)還將結(jié)果與稀疏自編碼器進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明基于混合核的平滑自編碼在一定的比例下可以獲得比單個(gè)核函數(shù)更好的分類效果。

平滑自編碼器 核函數(shù) 分類 重構(gòu)

0 引 言

隨著計(jì)算機(jī)信息處理技術(shù)的發(fā)展，深度學(xué)習(xí)在語音識別、圖像分類和文本理解等眾多領(lǐng)域的應(yīng)用越來越多。而在實(shí)際應(yīng)用中經(jīng)常會(huì)碰到高維的數(shù)據(jù)，由于高維數(shù)據(jù)的普遍性，使得對高維數(shù)據(jù)降維的研究變得有意義。而其中的一種比較常用深度學(xué)習(xí)方法就是自編碼器。

自從1988年Rumelhart[1]提出自編碼器的概念以來，神經(jīng)網(wǎng)絡(luò)的發(fā)展有了很大的提高。Hinton[2]在2006年提出了深度置信網(wǎng)絡(luò)(DBN)，對基本自編碼器進(jìn)行了改進(jìn)，利用微調(diào)顯著改進(jìn)了BP算法易陷入局部極小的情況。Bengio[3]在2007年提出了稀疏自編碼器(SAE)的概念，在優(yōu)化目標(biāo)函數(shù)中加入稀疏性約束，發(fā)現(xiàn)輸入數(shù)據(jù)的潛在結(jié)構(gòu)，進(jìn)一步加深了自編碼器的研究。Vincent[4]在2008年提出了降噪自動(dòng)編碼器，通過腐蝕后的數(shù)據(jù)來進(jìn)行重構(gòu)，防止了過擬合現(xiàn)象的出現(xiàn)，并且取得了較好的結(jié)果。Rifai[5]在2011年提出了壓縮自編碼器，通過對編碼函數(shù)進(jìn)行約束，增加了自編碼器的魯棒性。Baldi[6]在2012年對自編碼器與無監(jiān)督學(xué)習(xí)之間的關(guān)系進(jìn)行了討論，并且介紹了如何利用自編碼器構(gòu)造不同種類的深度模型。Liang[7]在2014年提出了平滑自編碼器，通過重構(gòu)樣本的k近鄰，而不是以往的重構(gòu)樣本本身，保持了數(shù)據(jù)的流形結(jié)構(gòu)，增加了模型的魯棒性。然而在確定k近鄰的權(quán)重的時(shí)候，僅僅只是使用了高斯核函數(shù)作為權(quán)函數(shù)，只是利用了數(shù)據(jù)特征的局部性，而沒有考慮到數(shù)據(jù)特征的全局性。因此，本文引入了混合核函數(shù)作為k近鄰的權(quán)函數(shù)，這樣學(xué)習(xí)到的特征不僅在局部上有較好的魯棒性，而且在全局上也有一定的魯棒性，同時(shí)也保持了數(shù)據(jù)的流形結(jié)構(gòu)。

1 自編碼器網(wǎng)絡(luò)結(jié)構(gòu)

1.1 基本自編碼器

已知X={x1,x2,…,xn}∈RD×n為包含n個(gè)數(shù)據(jù)的高維數(shù)據(jù)集，其中xi是第i個(gè)D維數(shù)據(jù)。Y={y1,y2,…,yn}∈RD×n為X的重構(gòu)數(shù)據(jù)集。自編碼器網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。整個(gè)網(wǎng)絡(luò)由編碼器(encoder)和解碼器(decoder)兩個(gè)網(wǎng)絡(luò)組成。編碼器的作用就是對輸入數(shù)據(jù)進(jìn)行降維處理，得到數(shù)據(jù)的碼字表示h。解碼器相當(dāng)于編碼器的逆過程，把數(shù)據(jù)的碼字表示h重構(gòu)成高維數(shù)據(jù)。 編碼器和解碼器之間存在一個(gè)交叉部分，稱之為碼字層，它是整個(gè)網(wǎng)絡(luò)的核心部分，能夠表示高維數(shù)據(jù)的本質(zhì)結(jié)構(gòu)。

圖1 自編碼器網(wǎng)絡(luò)結(jié)構(gòu)圖

自編碼器的工作原理如下：首先初始化編碼器和解碼器兩個(gè)部分的權(quán)值，然后依據(jù)原始數(shù)據(jù)和重構(gòu)數(shù)據(jù)之間的誤差最小化對自編碼器網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

得到的碼字[11]表示為h=f(Wx+bh)，其中，f(x)=(1+exp(-x))-1，bh為碼字層的偏置。然后，使用一個(gè)線性解碼器對h進(jìn)行解碼，得到y(tǒng)=WTh+bv，其中，bv為輸出層的偏置，y為原始數(shù)據(jù)的重構(gòu)。

1.2 平滑自編碼器

從自編碼器網(wǎng)絡(luò)結(jié)構(gòu)圖中就可以看出自編碼器重構(gòu)的是原始輸入，而沒有考慮到數(shù)據(jù)之間的內(nèi)在結(jié)構(gòu)。數(shù)據(jù)較小的波動(dòng)可能導(dǎo)致結(jié)果產(chǎn)生大的波動(dòng)，因此模型的魯棒性差。Liang[7]提出了平滑自編碼器，對于一個(gè)數(shù)據(jù)xi，它重構(gòu)的是一個(gè)集合Ωi={xj,xk,…}，這個(gè)集合是xi的k近鄰，在進(jìn)行表示學(xué)習(xí)的同時(shí)保持了流形結(jié)構(gòu)，保證了局部鄰居之間的相似性。在確定k近鄰的權(quán)重時(shí)，使用的是高斯核函數(shù)，在一定程度上表示的是數(shù)據(jù)的局部信息。

1.3 混合核平滑自編碼器

由于平滑自編碼器在確定權(quán)函數(shù)時(shí)，僅僅只是使用了單個(gè)光滑的核函數(shù)，不能同時(shí)考慮到局部和全局的信息。本文運(yùn)用多個(gè)核函數(shù)來確定權(quán)函數(shù)，同時(shí)兼顧了局部和全局的信息，從而達(dá)到對數(shù)據(jù)集更好的分類。本文采用了高斯核函數(shù)、多項(xiàng)式核函數(shù)和線性核函數(shù)的組合形式作為權(quán)函數(shù)，對其中的兩兩組合形式和三個(gè)的組合形式進(jìn)行了研究，進(jìn)而確定混合核函數(shù)的有效性。

1.3.1 高斯核函數(shù)和線性核函數(shù)組合

高斯核函數(shù)[9]具有良好的局部性質(zhì)，只有相距很近的數(shù)據(jù)點(diǎn)才對核函數(shù)的值有影響，但是其全局性較差，不具有好的泛化性質(zhì)，其泛化能力隨著帶寬的增大而減小。而線性核函數(shù)[8]具有一定的全局性，在尋找權(quán)函數(shù)的過程中，在高斯核函數(shù)的基礎(chǔ)上加入線性核函數(shù)在一定程度上增加了權(quán)函數(shù)的全局性。權(quán)函數(shù)的表達(dá)式如下：

(1)

式中：xi和xj分別為第i個(gè)和第j個(gè)數(shù)據(jù)點(diǎn)，σ為高斯核函數(shù)的帶寬，控制了函數(shù)的徑向作用范圍，m∈[0,1]。

1.3.2 高斯核函數(shù)和多項(xiàng)式核函數(shù)組合

多項(xiàng)式核函數(shù)[10]具有良好的全局性，即使相距很遠(yuǎn)的數(shù)據(jù)點(diǎn)都可以對核函數(shù)產(chǎn)生影響，具有良好的泛化能力，但是其局部性較差。權(quán)函數(shù)的表達(dá)式如下：

(2)

式中：q為多項(xiàng)式的次數(shù)。q越大，映射的維數(shù)越高，計(jì)算量也越大。q越小，映射的維數(shù)越低，計(jì)算量也越小，同時(shí)也降低了學(xué)習(xí)精度，m∈[0,1]。

1.3.3 多項(xiàng)式核函數(shù)和線性核函數(shù)組合

多項(xiàng)式核函數(shù)和線性核函數(shù)表示的都是全局信息。權(quán)函數(shù)的表達(dá)式如下：

(3)

式中：m∈[0,1]。

1.3.4 高斯核函數(shù)、多項(xiàng)式核函數(shù)和線性核函數(shù)組合

權(quán)函數(shù)的表達(dá)式如下：

(4)

式中：m∈[0,1]，n∈[0,1-m]。

(5)

式中：Z是標(biāo)準(zhǔn)化項(xiàng)，Ωi是xi的k近鄰集合。

2 混合核函數(shù)的實(shí)現(xiàn)

本文首先對兩個(gè)核函數(shù)的組合進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)的數(shù)據(jù)集為MNIST-BASIC和Extended YaleB。兩個(gè)核函數(shù)不同的比例產(chǎn)生了不同的重構(gòu)誤差和分類誤差。對于MNIST-BASIC數(shù)據(jù)集，采用的網(wǎng)絡(luò)結(jié)構(gòu)是(784,1 000,784)。而對于Extended YaleB數(shù)據(jù)集，采用的網(wǎng)絡(luò)結(jié)構(gòu)是(1 024,1 000,1 000,1 024)。

2.1 高斯核函數(shù)和線性核函數(shù)組合

實(shí)驗(yàn)中運(yùn)用式(1)對k近鄰的權(quán)重進(jìn)行計(jì)算。當(dāng)m=0.7時(shí)，重構(gòu)結(jié)果見圖2。(a)圖是原始數(shù)據(jù)，(b)圖是使用高斯核和線性核函數(shù)的混合核函數(shù)進(jìn)行100次迭代后的重構(gòu)結(jié)果，(c)圖是在只使用高斯核函數(shù)進(jìn)行100次迭代后的重構(gòu)結(jié)果，(d)圖是在只是用線性核函數(shù)進(jìn)行100次迭代后的重構(gòu)結(jié)果。在不同的比例下，不同數(shù)據(jù)集的分類誤差的結(jié)果見表1。表中第1列表示的是m的大小。最后的三行為單獨(dú)的高斯核函數(shù)和單獨(dú)的線性核函數(shù)作為權(quán)函數(shù)時(shí)產(chǎn)生的誤差和稀疏自編碼器的分類誤差。

圖2 手寫數(shù)字的重構(gòu)結(jié)果

m數(shù)字分類誤差人臉分類誤差03．9818．700．13．9313．360．23．9013．360．33．8824．040．44．0721．370．53．8618．700．63．7918．700．73．7813．360．83．9621．040．93．9026．381．03．7910．68高斯核3．9313．36線性核3．9424．04SAE4．5555．26

對于分類誤差，不同比例的混合核函數(shù)的構(gòu)建在大多數(shù)情況下都有了一定程度的減小。表中加粗的是最小的誤差值。

從表中可以看到，對于MNIST-BASIC，當(dāng)m=0.7時(shí)，混合核函數(shù)作為權(quán)函數(shù)產(chǎn)生的分類誤差最小，而這個(gè)值也比單獨(dú)的核函數(shù)作為權(quán)函數(shù)時(shí)產(chǎn)生的分類誤差小。對Extended YaleB，當(dāng)m=1.0時(shí)，分類誤差最小，這個(gè)值同樣比單獨(dú)的核函數(shù)作為權(quán)函數(shù)時(shí)產(chǎn)生的分類誤差小。而混合核函數(shù)和單核核函數(shù)作為權(quán)函數(shù)得到的重構(gòu)效果和分類效果都要比SAE好。由于線性核函數(shù)在一定程度上增加了核函數(shù)作為權(quán)函數(shù)的全局性，在保證數(shù)據(jù)流形的基礎(chǔ)上，提取的特征具有更好的抗擾動(dòng)性，魯棒性更好。

2.2 高斯核函數(shù)和多項(xiàng)式核函數(shù)組合

下面通過實(shí)驗(yàn)考察了高斯核函數(shù)和多項(xiàng)式核函數(shù)之間的關(guān)系對重構(gòu)和分類的影響。同時(shí)也對多項(xiàng)式的次數(shù)進(jìn)行了研究，根據(jù)實(shí)驗(yàn)結(jié)果選擇多項(xiàng)式的次數(shù)為9。在多項(xiàng)式次數(shù)為9的前提下，采用式(2)進(jìn)行兩個(gè)核函數(shù)的比例研究。重構(gòu)結(jié)果見圖3，(a)圖是原始數(shù)據(jù)，(b)圖是使用高斯核函數(shù)和多項(xiàng)式核函數(shù)的混合核函數(shù)進(jìn)行了100次迭代后的重構(gòu)結(jié)果，(c)圖是只使用高斯核函數(shù)100次迭代后的重構(gòu)結(jié)果，(d)圖是只使用多項(xiàng)式核函數(shù)100次迭代后的重構(gòu)結(jié)果。誤差結(jié)果見表2。表中加粗的為誤差的最小值。表中第一列為m的大小。最后三行是單獨(dú)的高斯核函數(shù)和單獨(dú)的多項(xiàng)式核函數(shù)作為權(quán)函數(shù)時(shí)產(chǎn)生的誤差和SAE分類誤差。

圖3 手寫數(shù)字的重構(gòu)結(jié)果

m數(shù)字分類誤差人臉分類誤差03．9523．620．13．9513．020．23．8621．370．33．9018．360．43．8916．030．53．9318．700．63．9516．030．74．0421．040．83．8318．280．93．8718．701．03．9418．70高斯核3．9313．36多項(xiàng)式核4．0313．36SAE4．5555．26

第2列是數(shù)據(jù)集為MNIST_BASIC時(shí)的分類誤差，在m=0.8時(shí)，分類誤差最小，這個(gè)值也比單獨(dú)的高斯核函數(shù)和單獨(dú)的多項(xiàng)式核函數(shù)所產(chǎn)生的分類誤差小。最后一列是數(shù)據(jù)集為Extended YaleB 時(shí)的分類誤差，在m=0.1時(shí)，混合核函數(shù)作為權(quán)函數(shù)時(shí)，產(chǎn)生的分類誤差最小，當(dāng)然也比單獨(dú)的核函數(shù)作為權(quán)函數(shù)時(shí)產(chǎn)生的分類誤差小。這就說明了在一定比例下的混合核函數(shù)要比單獨(dú)的核函數(shù)作為權(quán)函數(shù)好。同時(shí)也說明了在權(quán)函數(shù)中加入全局信息，可以一定程度上保證數(shù)據(jù)的流形結(jié)構(gòu)，增加了模型的魯棒性。

2.3 多項(xiàng)式核函數(shù)和線性核函數(shù)組合

多項(xiàng)式的次數(shù)可以有多種選擇，在這里選定為5，然后使用式(3)對兩個(gè)核函數(shù)的比例進(jìn)行研究。分類誤差見表3。表中加粗的為誤差最小的值。表中第1列為1-m的大小，最后三行是單獨(dú)的多項(xiàng)式核函數(shù)和線性核函數(shù)作為權(quán)函數(shù)時(shí)的分類誤差和SAE的分類誤差。

表3 多項(xiàng)式核、線性核函數(shù)組合的比例研究與單核和SAE的比較

對MNIST_BASIC數(shù)據(jù)集，基本上任何比例下的分類誤差都要比單獨(dú)的小。而對Extended YaleB數(shù)據(jù)集，當(dāng)m=0.5時(shí)，得到的分類誤差最小，同時(shí)也小于單獨(dú)的核函數(shù)作為權(quán)函數(shù)時(shí)產(chǎn)生的分類誤差。這兩個(gè)核函數(shù)都在一定程度上表示的是全局信息，兩個(gè)混合表示的全局信息多于單個(gè)的，因此效果要比單個(gè)的要好。但與上面的結(jié)果比較可知，只有全局信息并不能得到很好的結(jié)果，只有在確定權(quán)函數(shù)時(shí)增加局部信息和全局信息才能得到好的結(jié)果。這就說明了在保持了數(shù)據(jù)流形的基礎(chǔ)上，適當(dāng)加入全局信息可以得到更好的結(jié)果。

2.4 高斯核函數(shù)、多項(xiàng)式核函數(shù)和線性核函數(shù)組合

在研究了兩個(gè)核函數(shù)比例間的影響后，本文使用式(4)對這三個(gè)核函數(shù)之間的關(guān)系進(jìn)行了研究。為避免參數(shù)過多，這里選定多項(xiàng)式的次數(shù)為5。由于這三個(gè)核函數(shù)之間的比例關(guān)系復(fù)雜，產(chǎn)生的誤差矩陣是一個(gè)上三角矩陣。詳細(xì)結(jié)果見表4。表中第1行是n的大小，第1列是m的大小。從表中可以看到，對于每一行數(shù)據(jù)，分類誤差達(dá)到最小時(shí)，線性核函數(shù)和多項(xiàng)式核函數(shù)的比例都不同。當(dāng)這三個(gè)比例參數(shù)任意一個(gè)為0時(shí)，就相當(dāng)于兩個(gè)混合核的情況。由于連接權(quán)重初始化的隨機(jī)性，導(dǎo)致了三個(gè)核產(chǎn)生的誤差結(jié)果與雙核產(chǎn)生的誤差結(jié)果的不一致性，但是差距是在可接受的范圍內(nèi)。

表4 高斯核函數(shù)、線性核函數(shù)和多項(xiàng)式核函數(shù)組合的比例研究

對于MNIST_BASIC數(shù)據(jù)集，表中最后一個(gè)數(shù)據(jù)都突然變大，這是三個(gè)核函數(shù)選了兩種極端情況。說明混合核函數(shù)的研究需要對多種情況進(jìn)行研究。

對于Extended YaleB 數(shù)據(jù)集，并沒有出現(xiàn)手寫數(shù)據(jù)集那樣的誤差突然增大的情況，然而在m=0.5，n=0.1時(shí)，分類誤差為10.68，而在單個(gè)高斯核函數(shù)作為權(quán)函數(shù)的情況下，分類誤差為18.36。從數(shù)據(jù)來看，結(jié)果有了一定程度的提升。這三個(gè)混合核函數(shù)作為權(quán)函數(shù)與單個(gè)高斯核函數(shù)相比，增加了局部信息和一定量的全局信息，因此在一定程度上可以改進(jìn)分類結(jié)果。

在同樣的實(shí)驗(yàn)條件下，兩個(gè)組合中高斯核函數(shù)和線性核函數(shù)的組合得到的分類誤差最小，多項(xiàng)式核函數(shù)和高斯核函數(shù)的組合得到的分類誤差最大。線性核函數(shù)和多項(xiàng)式核函數(shù)都含有數(shù)據(jù)特征的全局性，但是由于多項(xiàng)式次數(shù)選取的不同，對實(shí)驗(yàn)結(jié)果影響很大，因此在實(shí)驗(yàn)時(shí)必須選擇合適的次數(shù)，這樣才能得到好的結(jié)果。而多項(xiàng)式核函數(shù)和線性核函數(shù)的組合基本上利用的是數(shù)據(jù)特征的全局性，因此分類效果要差于高斯核和線性核函數(shù)的組合形式。三個(gè)核函數(shù)的組合形式的分類效果要優(yōu)于只使用數(shù)據(jù)特征的局部性或全局性的核函數(shù)。

3 結(jié) 語

本文在平滑自編碼器的基礎(chǔ)上提出了一種混合核平滑自編碼器，并將混合核平滑自編碼器用于手寫數(shù)據(jù)集和人臉數(shù)據(jù)集的識別，實(shí)驗(yàn)表明，在一定的混合比例下，混合核平滑自編碼器比單核平滑自編碼器具有更好的重構(gòu)和分類能力。

混合核平滑自編碼器允許多種不同的核函數(shù)進(jìn)行組合，根據(jù)每個(gè)核函數(shù)代表的物理意義選擇不同的組合，得到的混合核有不同的含義。如何根據(jù)實(shí)際應(yīng)用選擇核函數(shù)的組合、如何自動(dòng)地確定最優(yōu)權(quán)函數(shù)的權(quán)重是今后需要研究的問題。

[1] Rumelhart D E,Hinton G E,Williams R J.Learning representations by back-propagating errors[J].Nature,1986,323(6088):533-536.

[2] Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets[J].Neural computation,2006,18(7):1527-1554.

[3] Bengio Y,Lamblin P,Popovici D,et al.Greedy layer-wise training of deep networks[C]//NIPS’06 Proceedings of the 19th International Conference on Neural Information Processing Systems,2006:153-160.

[4] Vincent P,Larochelle H,Bengio Y,et al.Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th international conference on machine learning.ACM,2008:1096-1103.

[5] Rifai S,Vincent P,Muller X,et al.Contractive auto-encoders: Explicit invariance during feature extraction[C]//Proceedings of the 28th international conference on machine learning (ICML-11).2011:833-840.

[6] Baldi P.Autoencoders,unsupervised learning and deep architectures[C]//International Conference on Unsupervised and Transfer Learning Workshop.JMLR.org,2011:37-50.

[7] Liang K,Chang H,Cui Z,et al.Representation Learning with Smooth Autoencoder[C]//Asian Conference on Computer Vision.Springer International Publishing,2014:72-86.

[8] 王行甫,俞璐.混合核函數(shù)中權(quán)重求解方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2015,24(4):129-133.

[9] 王國勝.核函數(shù)的性質(zhì)及其構(gòu)造方法[J].計(jì)算機(jī)科學(xué),2006,33(6):172-174.

[10] 左森,郭曉松,萬敬,等.多項(xiàng)式核函數(shù)SVM快速分類算法[J].計(jì)算機(jī)工程,2007,33(6):27-29.

[11] Kamyshanska H,Memisevic R.On autoencoder scoring[C]//Proceedings of the 30th International Conference on Machine Learning (ICML-13),2013:720-728.

DESIGNOFCLASSIFIERBASEDONHYBRIDKERNELSMOOTHAUTOENCODER

Liu Fan Wu Xiaojun

(SchoolofInternetofThingsEngineering,JiangnanUniversity,Wuxi214122,Jiangsu,China)

Autoencoder is a kind of neural network that reconstructs input data and has strong learning ability which has been widely applied to many kinds of classification tasks. In order to apply autoencoder to classification tasks, this paper proposes a method based on hybrid kernel smooth autoencoder to classify handwritten numerals and face images. We compared the weights of different kernel functions, and compared the results with sparse self-encoders. The experimental results show that hybrid kernel based smooth autoencoder in a certain ratio can obtain better classification results than the single kernel function autoencoder.

Smooth autoencoder Kernel function Classification Reconstruction

2017-03-05。國家自然科學(xué)基金項(xiàng)目(61672265，61373055)。劉帆，碩士生，主研領(lǐng)域：人工智能與模式識別。吳小俊，教授。

TP3

A

10.3969/j.issn.1000-386x.2017.12.046