·信息科學(xué)·

基于在線支持向量機(jī)的電子鼻模式識(shí)別算法

余煒1,2,萬代立1, 周婭1,楊喜敬1

(1.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院, 云南 昆明650500; 2.成都工業(yè)學(xué)院 電氣與電子工程系, 四川 成都611730)

摘要：針對(duì)現(xiàn)有電子鼻系統(tǒng)訓(xùn)練誤差大、運(yùn)行速度慢等特點(diǎn),提出了一種新的基于在線支持向量機(jī)(Online-SVM)的電子鼻系統(tǒng)模式識(shí)別方法。該方法使用CH4氣體與傳感器陣列響應(yīng)的值作為輸入數(shù)據(jù),經(jīng)在線支持向量機(jī)算法進(jìn)行模式識(shí)別,對(duì)CH4氣體的濃度進(jìn)行預(yù)測(cè)和分類。與期望結(jié)果對(duì)比,新方法的平均誤差降低為5.3%,運(yùn)行時(shí)間降為0.199 4s,表明基于在線支持向量機(jī)的電子鼻系統(tǒng)模式識(shí)別方法能有效提高電子鼻系統(tǒng)識(shí)別的精度和速度。

關(guān)鍵詞：電子鼻;在線支持向量機(jī);模式識(shí)別;預(yù)測(cè);損失函數(shù)

收稿日期：2013-10-12

基金項(xiàng)目：四川省教育廳重點(diǎn)項(xiàng)目資助(14ZA0286)；四川省應(yīng)用基礎(chǔ)研究計(jì)劃資助項(xiàng)目(2013SZZO)；云南省應(yīng)用基礎(chǔ)研究計(jì)劃基金資助項(xiàng)目(2011FZ037)

作者簡介：余煒，男，重慶人，博士，副教授，從事通信與信號(hào)處理、智能信息處理研究。

中圖分類號(hào)：TN911.6

A pattern recognition method for electronic nose based

on online support vector machine

YU Wei12, WAN Dai-li1, ZHOU Ya1, YANG Xi-jing1

(1.Faculty of Information Engineering and Automation, Kunming University of Science and Technology,

Kunming 650500, China; 2.Department of Electrical and Electronic Engineering,

Chengdu Technological University, Chengdu 611730， China)

Abstract:A new online support vector machine (online-SVM) method was presented as the electronic nose system pattern recognition algorithm in the paper to solve the problems of big training error and low execution speed which exist in current electronic nose systems. In the paper, the response values from CH4 gas sensor array was the input data, and online support vector machine algorithm was used as the pattern recognition algorithm to predict and classify the concentration of CH4 gas to obtain predictions. Compared with the expected results, the average error of the proposed algorithm was lowered to about 5.3%, and the operating time was reduced to 0.199 4s, which showed that the new algorithm based on online-SVM could improve the discrimination accuracy and execution speed of the electronic nose systems.

Key words: electronic nose; online support vector machine; pattern recognition; forecasting; loss function

人工嗅覺系統(tǒng)俗稱電子鼻[1],電子鼻系統(tǒng)的研究始于20世紀(jì)80年代[2],它具有仿生科學(xué)的痕跡,作為一種仿生學(xué)器件,電子鼻系統(tǒng)的工作原理與人鼻嗅覺形成過程類似。目前,電子鼻系統(tǒng)已經(jīng)廣泛應(yīng)用到食品工業(yè)、環(huán)境監(jiān)測(cè)、質(zhì)量控制、醫(yī)療事業(yè)等各個(gè)領(lǐng)域。一個(gè)簡單的電子鼻系統(tǒng)主要由氣體傳感器陣列及相應(yīng)的模式識(shí)別算法構(gòu)成。

在電子鼻系統(tǒng)中模式識(shí)別算法占有舉足輕重的地位,目前應(yīng)用最為廣泛的模式識(shí)別算法主要有以下兩類:一類是建立在統(tǒng)計(jì)理論上的線性分類方法,包括:K-近鄰法(K-NN)、聚類算法(CA)、主成分分析法(PCA)、判別分析(DA);另外一類基于神經(jīng)網(wǎng)絡(luò),包括:概率神經(jīng)網(wǎng)絡(luò)(PNN)、反向傳播人工神經(jīng)網(wǎng)絡(luò)(BP-ANN)、學(xué)習(xí)向量量化(LVQ)及自組織映射(SOM)等。前者算法模型較為簡單,無需訓(xùn)練,但抗干擾能力較差,比較適合于環(huán)境變化不大的場(chǎng)合;后者具有較強(qiáng)的抗干擾能力,但網(wǎng)絡(luò)訓(xùn)練過程中花費(fèi)的時(shí)間遠(yuǎn)大于運(yùn)算的時(shí)間,另外還存在一些局限性:如PNN對(duì)內(nèi)存容量的需求大,神經(jīng)網(wǎng)絡(luò)算法容易產(chǎn)生過學(xué)習(xí),陷入局部最小化,LVQ訓(xùn)練速度較慢等[3-4]。

一種優(yōu)秀的模式識(shí)別算法應(yīng)具備以下6個(gè)特征[5-8]:①高精度;②運(yùn)算速度快;③抗干擾能力強(qiáng);④存儲(chǔ)空間小;⑤易于訓(xùn)練;⑥能對(duì)不確定性進(jìn)行估計(jì)。目前還沒有一種算法能滿足以上所有特征,只能綜合考慮選擇一種較優(yōu)的算法。在線支持向量機(jī)Online-SVM(online support vector machine)具有以下兩方面的優(yōu)點(diǎn),一是占用存儲(chǔ)空間少,無須對(duì)全部的歷史數(shù)據(jù)進(jìn)行保存;二是訓(xùn)練過程中充分利用歷史訓(xùn)練結(jié)果,顯著地減少了后續(xù)訓(xùn)練時(shí)間[9]。在線支持向量機(jī)不但能克服神經(jīng)網(wǎng)絡(luò)的缺點(diǎn),而且還使整個(gè)系統(tǒng)的運(yùn)算速度得以提高?；谝陨系膬?yōu)點(diǎn)，本文提出了在線支持向量機(jī)算法作為電子鼻系統(tǒng)中模式識(shí)別的方法。

1在線支持向量機(jī)的原理

從統(tǒng)計(jì)學(xué)理論角度出發(fā),支持向量機(jī)函數(shù)回歸[10]可表示為:對(duì)于給定的訓(xùn)練樣本集為{(xi,yi),i=1,2，…,l},其中,xi∈Rd為輸入值,yi∈R為對(duì)應(yīng)的目標(biāo)值,l為樣本數(shù),在特征空間F,構(gòu)建一個(gè)線性回歸函數(shù):f(x)=wφ(x)+b,其中:φ:Rx→Fw∈F;使得函數(shù)y和f之間的距離為:R(y,f)=∫L(y,f)dx最小,L()是損失函數(shù)(Lossfunction)。根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則，定義損失函數(shù)為

L(xi,yi)=

用于函數(shù)逼近的支持向量機(jī)為

(1)

(2)

(3)

將式(3)代入式(2)得到對(duì)偶優(yōu)化問題

(4)

(5)

W的一階條件為

(6)

-gi+2ε，

(7)

(8)

W的一階條件引出KKT[9]條件,因此將訓(xùn)練集X中的樣本分為

E:誤差支持向量集；

S:邊界支持向量集；

R:剩余支持向量集。

一個(gè)向量只允許從當(dāng)前集合移動(dòng)到相鄰集合。圖1所示為各集合間的幾何解釋,下圖為向量可能的移動(dòng)方向。

圖1　各集合間的幾何關(guān)系 Fig.1　The relationships of sets

算法具體流程為[11]:增加新向量(xc,yc),

1) 令θc=0;

③ 集合S，E，E*和R中的樣本轉(zhuǎn)移,更新矩陣γ。

4)X=X∪{(xc,yc)},算法結(jié)束。

2基于在線支持向量機(jī)電子鼻數(shù)據(jù)分析

2.1氣體定量分析

混合氣體進(jìn)入電子鼻系統(tǒng)后,對(duì)氣體進(jìn)行定性分析,識(shí)別出氣體的類別,之后對(duì)氣體進(jìn)行濃度的定量分析。在該系統(tǒng)中定量分析對(duì)象是CH4。氣體測(cè)量范圍從200×10-6到6 000×10-6,每增加200×10-6測(cè)量一次各個(gè)傳感器的響應(yīng)值,共有30組數(shù)據(jù)。數(shù)據(jù)來源為文獻(xiàn)[12]。

2.2算法及步驟

步驟1定性分析,確認(rèn)出CH4氣體；

步驟2建立訓(xùn)練模型。采用在線支持向量機(jī)算法得到訓(xùn)練模型；

步驟3結(jié)果預(yù)測(cè)。使用步驟2中的模型對(duì)步驟1中的確定出氣體濃度進(jìn)行預(yù)測(cè),輸出結(jié)果。

2.3實(shí)驗(yàn)結(jié)果分析

系統(tǒng)中采用在線支持向量機(jī)對(duì)CH4氣體定量分析,傳感器共有6只,每組數(shù)據(jù)為30組,共采集到180組數(shù)據(jù)。Online-SVM性能的好壞與懲罰因子C及核函數(shù)、不敏感系數(shù)ε及其寬度系數(shù)等參數(shù)的選擇密切相關(guān)。實(shí)驗(yàn)中選取合適的參數(shù)能使在線支持向量機(jī)的誤判率降低。經(jīng)過實(shí)驗(yàn)分析,選取懲罰因子為10,不敏感系數(shù)為0.001,通過選取線性核函數(shù)和高斯基核函數(shù)為核函數(shù)的online-SVM對(duì)CH4氣體的定量分析實(shí)驗(yàn)結(jié)果對(duì)比如表1所示。

表1兩種核函數(shù)結(jié)果比較

Tab.1The comparison result of two kinds of kernel function

%

表2　CH 4氣體定量分析結(jié)果

通過表1的分析可以得到,采用線性核函數(shù)運(yùn)行時(shí)間較長,定量分析平均誤差和最大誤差較差。鑒于表1采用高斯基核函數(shù)為系統(tǒng)的核函數(shù)性能較優(yōu)。采用高斯基核函數(shù)為核函數(shù)對(duì)CH4氣體濃度進(jìn)行定量分析,結(jié)果如表2。

3結(jié)語

本文針對(duì)電子鼻系統(tǒng)數(shù)據(jù)的高維特點(diǎn)及實(shí)時(shí)性特點(diǎn),提出了在線支持向量作為電子鼻系統(tǒng)的模式識(shí)別算法,與傳統(tǒng)電子鼻模式識(shí)別算法相比,該算法不僅占用較少內(nèi)存資源,具有更快的運(yùn)行速度,而且使用更少的支持向量,對(duì)數(shù)據(jù)定量分析誤差更小;通過實(shí)例證明了該算法易于訓(xùn)練并且能對(duì)不確定性進(jìn)行相對(duì)準(zhǔn)確的估計(jì)。通過傳感器陣列與在線支持向量機(jī)作為模式識(shí)別的電子鼻系統(tǒng)性能較好,在改進(jìn)現(xiàn)有商用電子鼻系統(tǒng)具有一定的參考價(jià)值。

參考文獻(xiàn)：

[1]金翠云,崔瑤,王穎.基于核PCA與SVM相結(jié)合的電子鼻模式識(shí)別算法研究[J]. 北京化工大學(xué)學(xué)報(bào),2012,39(2):106-109.

[2]GARDNER J W, BARTLETT N.A briefhistory ofelectronic nose[J].Sensors and Actuators B，1994,18-19：211-220.

[3]耿志廣,王希武,王寅龍,等.基于人工神經(jīng)網(wǎng)絡(luò)的電子鼻對(duì)混合氣體檢測(cè)研究[J].現(xiàn)代計(jì)算機(jī),2010(5):45-48.

[4]范超群,張順平,占瓊, 等.特征提取及其在電子鼻對(duì)可燃液體識(shí)別中的應(yīng)用[J].傳感器與微系統(tǒng),2007,26(8):108-110.

[5]張覃軼,謝長生,陽浩,等.電子鼻模式識(shí)別方法的比較研究[J].傳感技術(shù)學(xué)報(bào),2005,18(3):576-579.

[6]MANUELE B,GINO T,GIAMPIETRO T, et al. A comparative analysis of basic pattern recognition techniques for the development of small size electronic nose[J].Sensors and Actuators B,2002,85:137-144.

[7]GETINO J, HORRILLO M C, GUTIKRREZ J, et al. Analysis of VOCs with a tin oxide sensor array[J]. Sensors and Actuators B,1997,43:200-205.

[8]ALEIXANDRE M, SAYAGO I, HORRILLO M C, et al. Analysis of neural networks and analysis of feature selection with genetic algorithm to discriminate among pollutant gas[J].Sensors and Actuators B, 2004, 103: 122-128.

[9]孔鳳.傳送帶給料生產(chǎn)加工站的神經(jīng)元在線優(yōu)化算法[D]. 合肥:合肥工業(yè)大學(xué),2010.

[10]VAPNIK V. The nature of statistical learning theory [M]. NewYork:Springer,1999.

[11]MA Jun-shui,THEILER J,PERKINS S. Accurate on-line support vector regression[J].Neural Computation,2003,15(11)：2683-2703.

[12]石春燕.基于人工神經(jīng)網(wǎng)絡(luò)的多氣體分析系統(tǒng)研究與設(shè)計(jì)[D]. 吉林:吉林大學(xué)，2004.

(編輯曹大剛)