孫中華，楊曉迪，古麗米拉克孜爾別克

?

一種多尺度小波核極限學(xué)習(xí)機(jī)的圖像檢索仿真

孫中華，楊曉迪，古麗米拉×克孜爾別克

（新疆農(nóng)業(yè)大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，新疆 烏魯木齊 830052）

闡述了核極限學(xué)習(xí)機(jī)原理。在此基礎(chǔ)上提出了一種多尺度小波核極限學(xué)習(xí)機(jī)，將多尺度小波核作為極限學(xué)習(xí)機(jī)的核函數(shù)，測試表明是其一種可實(shí)現(xiàn)的極限學(xué)習(xí)機(jī)核。同時(shí)在無訓(xùn)練數(shù)據(jù)分布的空間也具備分類能力，同等條件下高斯核極限學(xué)習(xí)機(jī)卻不具備分類能力。在圖像檢索中應(yīng)用多尺度小波核極限學(xué)習(xí)機(jī)，實(shí)驗(yàn)表明，相比支持向量機(jī)學(xué)習(xí)機(jī)分類算法，該分類算法可提高檢索精度以及速度，具有優(yōu)良的性能和一定的應(yīng)用價(jià)值。

圖像檢索；支持向量機(jī)；多尺度小波核；極限學(xué)習(xí)機(jī)；分類算法

0 引言

為了提高圖像檢索精度，引入了學(xué)習(xí)機(jī)制。Vapnik等在統(tǒng)計(jì)學(xué)理論基礎(chǔ)上提出了支持向量機(jī)SVM[1]，有效解決非線性分類問題，對有限樣本具有較好的分類問題，對大樣本卻存在訓(xùn)練時(shí)間長，精度不高的問題；針對前饋神經(jīng)網(wǎng)絡(luò)的輸入層連接權(quán)值不需要迭代調(diào)整，Huang提出了一種新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練架構(gòu)，稱為極限學(xué)習(xí)機(jī)（extreme learning machine，ELM）[2]。同傳統(tǒng)的基于梯度下降的迭代算法BP神經(jīng)網(wǎng)絡(luò)等不同，該方法可一次性求解出輸出權(quán)值的最小二乘解，且速度快，泛化性好，被廣泛應(yīng)用在分類問題[3]。相對于傳統(tǒng)的分類方法，ELM在保證一定識別準(zhǔn)確率的基礎(chǔ)上，大大降低了訓(xùn)練花費(fèi)時(shí)間[4]。ELM相對SVM速度更快且參數(shù)不敏感，更容易部署[5-6]。

該方法具有良好的非線性映射能力，廣泛應(yīng)用在支持向量機(jī)中。文獻(xiàn)[7]提到，核方法也可以應(yīng)用到極限學(xué)習(xí)機(jī)算法中。

小波核函數(shù)也應(yīng)用在支持向量機(jī)中[8]，文獻(xiàn)[9]闡述了其也能應(yīng)用到極限學(xué)習(xí)機(jī)中，且性能較好。本文將多尺度小波核函數(shù)應(yīng)用到極限學(xué)習(xí)機(jī)中，對corel圖像庫進(jìn)行分類檢索，實(shí)驗(yàn)表明，檢索精確度較高且速度快。

1 算法研究

1.1 極限學(xué)習(xí)機(jī)

個(gè)各不相同的訓(xùn)練樣本集{(x,y)|x?R, y?R}，前饋網(wǎng)絡(luò)的激躍函數(shù)()以及隱含層節(jié)點(diǎn)數(shù)為，極限學(xué)習(xí)機(jī)訓(xùn)練的步驟如下：

1）確定前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；

2）隨機(jī)設(shè)置前饋神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，并計(jì)算隱含層的輸出矩陣：

(a,…,b),＝1,…,(1)

3）求解輸出權(quán)值的最小二乘范數(shù)解；

式中：是單位矩陣，是常數(shù)。是期望矩陣。

極限學(xué)習(xí)機(jī)的分類公式如下表示：

1.2 核極限學(xué)習(xí)機(jī)

由于極限學(xué)習(xí)機(jī)的輸入權(quán)值在訓(xùn)練過程中不需要調(diào)整，可以在建立網(wǎng)絡(luò)的時(shí)候一次性給定，極限學(xué)習(xí)機(jī)的隱含層輸出可以描述為：

式中：()為激活函數(shù)；a＝[a,…,a]為輸入權(quán)值；為輸出權(quán)值；b為第個(gè)隱含層單元的偏置；a×x為內(nèi)積運(yùn)算。式(5)可簡化為式(6)的矩陣形式表達(dá)：

＝(6)

式中：為隱含輸出層；為期望輸出。

SVM確定最優(yōu)分類面基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，而在求解極限學(xué)習(xí)機(jī)的過程中，不僅要考慮經(jīng)驗(yàn)誤差最小化，同時(shí)還要考慮結(jié)構(gòu)風(fēng)險(xiǎn)最小化。因此，在最小化的輸出權(quán)值和最小化的誤差之間做出折中，構(gòu)造計(jì)算公式如下：

式(8)等價(jià)于式(9)：

式中：＝[,1,…,,m]是訓(xùn)練樣本x對應(yīng)的網(wǎng)絡(luò)輸出值和實(shí)際值間的誤差。

根據(jù)KKT條件，使用Lagrange函數(shù)求解最值問題，也就是式(9)的問題可以等效為：

式中：是連接隱含層和第個(gè)輸出結(jié)點(diǎn)的權(quán)值，＝[,…,]。相應(yīng)的優(yōu)化限制條件為：

隱含層輸出矩陣僅僅與樣本的個(gè)數(shù)和隱含層的結(jié)點(diǎn)數(shù)目有關(guān)而與樣本的輸出結(jié)點(diǎn)個(gè)數(shù)無關(guān)。對于分類問題，它與樣本的類別數(shù)目無關(guān)。

將式11(a)、11(b)都帶入到式11(c)中，有：

所有的公式輸出都合并起來，令：

于是式（13）可以合并寫成：

最終我們可以推導(dǎo)得到：

極限學(xué)習(xí)機(jī)的逼近函數(shù)可以寫成：

可以把每一個(gè)樣本的隱層輸出(x)都看成是樣本x的非線性映射，這個(gè)映射可以采用加式的＋的形式，也可以采用RBF的形式。

于是有：

又我們有：

于是極限學(xué)習(xí)機(jī)的求解公式可以寫成：

通過上述步驟就構(gòu)造出了核極限學(xué)習(xí)機(jī)。核極限學(xué)習(xí)機(jī)具有比傳統(tǒng)極限學(xué)習(xí)機(jī)更為強(qiáng)大的函數(shù)逼近能力，同時(shí)處理分線性分類的能力也更強(qiáng)。

1.3 多尺度小波核函數(shù)

類似于支持向量機(jī)，若一個(gè)核函數(shù)能滿足Mercer條件，那么該核函數(shù)就可以作為核極限學(xué)習(xí)機(jī)的核函數(shù)。為了簡化算法，我們將SVM的核應(yīng)用于ELM中。

已知一個(gè)母小波函數(shù)()，它的伸縮因子和平移因子分別是和，那么小波基函數(shù)可以表示如下：

根據(jù)張量積的理論，一個(gè)多維的小波函數(shù)可以寫成多個(gè)一維小波函數(shù)的張量積：

根據(jù)式(22)可以構(gòu)造出平移不變的核函數(shù)，如下式：

本實(shí)驗(yàn)選用Morlet小波函數(shù)()＝cos(1.75)×exp(－2/2)，那么其相應(yīng)的小波核函數(shù)可以表示如下：

小波核函數(shù)不僅具有強(qiáng)大的非線性映射的特征，而且也繼承了小波分析對非平穩(wěn)輸入?yún)?shù)的逐級精細(xì)描述的特征。因而采用小波核函數(shù)的小波極限學(xué)習(xí)機(jī)能夠以較高的精度逼近任意函數(shù)，這是傳統(tǒng)的核函數(shù)所不具備的。

雖然核函數(shù)有強(qiáng)大的映射能力和非線性分類能力，但在一些復(fù)雜情形下，由單個(gè)核函數(shù)構(gòu)成的核機(jī)器并不能滿足諸如數(shù)據(jù)異構(gòu)或不規(guī)則、樣本規(guī)模巨大、樣本不平坦分布等實(shí)際的應(yīng)用需求，因此將多個(gè)核函數(shù)進(jìn)行組合，以獲得更好的結(jié)果是一種必然選擇。

通常我們可以通過不同的核函數(shù)疊加的方式如下式來構(gòu)造出一個(gè)混合核函數(shù)，以提高分類性能。

＝1×1＋…＋a×K(25)

對于小波核函數(shù)本身有多尺度擴(kuò)展得能力，不同的尺度就構(gòu)造出來了不同的小波核函數(shù)。

以小波核作為極限學(xué)習(xí)機(jī)的核函數(shù)，仍然屬于單尺度小波核ELM[10]。為提高具有多尺度特性的函數(shù)逼近能力，本文提出多尺度小波核，以提高分類準(zhǔn)確性。

我們根據(jù)多尺度小波核的性質(zhì)構(gòu)造出多尺度的小波核函數(shù)如下式所示：

我們可以把式(26)縮寫成：

(27)

由于多尺度的小波核函數(shù)是多個(gè)尺度的小波核函數(shù)的組合，因此多尺度小波核函數(shù)極限學(xué)習(xí)機(jī)對于核參數(shù)的選擇范圍可以大大地放寬，甚至可以淡化核函數(shù)的選擇，同時(shí)其逼近能力更高，具有使用方便、識別效果更好等優(yōu)點(diǎn)。

2 實(shí)驗(yàn)分析

實(shí)驗(yàn)圖像庫采用corel庫，共10類，每類100張圖片，提取所有圖像的顏色特征與紋理特征作為低層特征。

測試1：分別對比不同核函數(shù)極限學(xué)習(xí)機(jī)，對wine的UCI分類測試數(shù)據(jù)進(jìn)行測試，測試結(jié)果如表1所示；分別采用SVM、TSVM、ELM、小波核ELM（WKELM）和多尺度ELM（MWKELM五種分類器對corel庫進(jìn)行檢索對比，選取每類圖像的前40張作為訓(xùn)練樣本，后60張作為測試樣本，測試結(jié)果如表2所示。

從表1可以看出，多尺度小波核極限學(xué)習(xí)機(jī)比其他核函數(shù)極限學(xué)習(xí)機(jī)的檢索精度高，而無核極限學(xué)習(xí)機(jī)與高斯核極限學(xué)習(xí)機(jī)相當(dāng)。

從表2可以看出，極限學(xué)習(xí)機(jī)比支持向量機(jī)有更高的測試精度，測試表明極限學(xué)習(xí)機(jī)分類算法有較好的分類性能。

表1 不同核函數(shù)性能對比

表2 五種分類算法性能對比

測試2：為了進(jìn)一步做測試，通過選取不同的測試樣本數(shù)量，分別選取1、5、10、15、20、30、40張圖片作為訓(xùn)練樣本數(shù)據(jù)，測試結(jié)果如圖1所示。

圖1 不同訓(xùn)練樣本測試結(jié)果

從圖1中可看出，多尺度小波核學(xué)習(xí)機(jī)的分類識別率最高，最差的是SVM支持向量機(jī)分類算法。采用多尺度核函數(shù)方法參數(shù)選擇的復(fù)雜度比單個(gè)核方法的參數(shù)選擇大得多[11]，因此，多尺度小波核的泛化能力更好。通過其構(gòu)造的多尺度小波核極限學(xué)習(xí)機(jī)的分類準(zhǔn)確性會更高。

3 結(jié)論

本文提出一種多尺度核極限學(xué)習(xí)機(jī)，將多尺度小波核函數(shù)作為極限學(xué)習(xí)機(jī)的核函數(shù)，滿足mercer條件，可作為極限學(xué)習(xí)機(jī)的允許核。應(yīng)用在圖像檢索中，結(jié)果表明多尺度小波核極限學(xué)習(xí)機(jī)在圖像分類中有較高的準(zhǔn)確率，性能優(yōu)于SVM和ELM，有一定的應(yīng)用價(jià)值。但傳統(tǒng)的ELM的輸出權(quán)重是由最小二乘估計(jì)方法直接取得[12]，出于學(xué)習(xí)的穩(wěn)健性考慮，通過優(yōu)化選取參數(shù)或者解決訓(xùn)練數(shù)據(jù)共線性以及粗差干擾，如多隱層輸出矩陣極限學(xué)習(xí)機(jī)算法[13]，可進(jìn)一步提升學(xué)習(xí)機(jī)精度。圖像特征的選取也至關(guān)重要，可采取更合適的特征組合[14]，以獲得更好的檢索結(jié)果。

[1] Cortes C, Vapnik V. Support vector networks[J]., 1995, 20(3): 144-152.

[2] Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: theory and applications[J]., 2006, 70(1/3): 489-501.

[3] Wei Weizong, Guang Binhuang. Face recognition based on extreme learning machine[J]., 2011, 74(16): 2541-2551.

[4] 張文博, 姬紅兵. 融合極限學(xué)習(xí)機(jī)[J]. 電子與信息學(xué)報(bào), 2013, 35(11): 2729-2732.

[5] 張燕.基于小波域熱紅外降質(zhì)圖像濾波增強(qiáng)方法研究[J]. 紅外技術(shù), 2014, 36(5): 355-359.

[6] 陳盛雙. 基于極限學(xué)習(xí)機(jī)的XML文檔分類[J]. 計(jì)算機(jī)工程, 2011, 37(19): 177-179.

[7] Huang G B, Zhou H, Ding X, et al. Extreme learning machine for regression and multiclass classification[J].:, 2012, 42(2): 513-529.

[8] Wei chih-chiang. Wavelet kernel support vector machines forecasting techniques: case study on water-level predictions during typhoons[J]., 2012, 39(5): 5189-5199.

[9] 王杰, 郭晨龍. 小波核極限學(xué)習(xí)機(jī)分類器[J]. 微電子學(xué)與計(jì)算機(jī), 2013, 30(10): 73-76.

[10] 任世錦, 吳鐵軍. 基于徑向基小波核的多尺度小波支持向量機(jī)[J]. 電路與系統(tǒng)學(xué)報(bào), 2008, 13(4): 71-76.

[11] 胡義函, 張小剛, 陳華, 等. 一種基于魯棒估計(jì)的極限學(xué)習(xí)機(jī)方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2012, 29(8): 2927-2929.

[12] 陸凱，李成金，趙勛杰等. 一種快速的亞像素圖像配準(zhǔn)算法[J]. 紅外技術(shù), 2013, 35(1): 27-30.

[13] 張文博, 姬紅兵, 王磊, 等. 多隱層輸出矩陣極限學(xué)習(xí)機(jī)[J]. 系統(tǒng)工程與電子技術(shù), 2014, 36(8): 1657-1659.

[14] 陳瑩, 朱明. 多子直方圖均衡微光圖像增強(qiáng)及FPGA實(shí)現(xiàn)[J]. 中國光學(xué), 2014, 7(2):225-233.

A Multi-scale Wavelet Image Retrieval Simulation of Kernel Extreme Learning Machine

SUN Zhong-hua，YANG Xiao-di，GuLimila×kezierbieke

（，，830052，）

The principle of kernel Extreme Learning Machine (ELM) is demonstrated. Based on above, a multi-scale wavelet kernel ELM is proposed in which the multi-scale wavelet kernel is employed as kernel function. It is an achievable ELM which has classification ability in the distribution space with no training data while Gaussian kernel ELM does not perform well. Simulation results show that multi-scale wavelet kernel ELM has higher retrieval precision and efficiency compared with support vector machine model when they are used in image retrieval. The proposed approach has excellent performance and application value.

image retrieval，multi-scale wavelet kernel，SVM，ELM，classification algorithm

TP391.9

A

1001-8891(2015)06-0484-04

2014-10-23；

2015-01-08.

孫中華（1989-），男，碩士研究生，研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)。

古麗米拉×克孜爾別克（1970-），女，碩士，副教授，研究方向：現(xiàn)代通信技術(shù)及嵌入式技術(shù)。E-mail：glml@xjau.edu.cn。

新疆農(nóng)業(yè)大學(xué)大學(xué)生創(chuàng)新項(xiàng)目，編號：jqztp:72013068。