任紅格　李冬梅　李福進(jìn)

(河北聯(lián)合大學(xué)電氣工程學(xué)院　河北 唐山 063009)

?

動態(tài)神經(jīng)網(wǎng)絡(luò)分類器主動學(xué)習(xí)算法及其智能控制應(yīng)用

任紅格李冬梅李福進(jìn)

(河北聯(lián)合大學(xué)電氣工程學(xué)院河北 唐山 063009)

摘要針對動態(tài)神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練時采樣時間長、計算量大的問題，提出一種動態(tài)神經(jīng)網(wǎng)絡(luò)分類器的主動學(xué)習(xí)算法。根據(jù)主動學(xué)習(xí)AL(Active Learning)算法中一種改進(jìn)型不確定性采樣策略，綜合考慮樣本的后驗概率及其與已標(biāo)記樣本間的相似性，標(biāo)注綜合評價得分值較小的樣本，將其用于對網(wǎng)絡(luò)分類器的訓(xùn)練。通過Sobol’敏感度分析法，神經(jīng)網(wǎng)絡(luò)適時地增加敏感度值較大或刪減敏感度值較小的隱層神經(jīng)元，以提高其學(xué)習(xí)速率，減小輸出誤差。分類器訓(xùn)練仿真實驗結(jié)果表明，與被動學(xué)習(xí)算法相比，該算法能夠大大縮短網(wǎng)絡(luò)分類器訓(xùn)練時間，降低其輸出誤差。將該算法用于液壓AGC系統(tǒng)中，實驗結(jié)果表明，該算法可實現(xiàn)系統(tǒng)中PID控制器參數(shù)的在線調(diào)節(jié)，提高了厚度控制精度，以此驗證了該算法的適用性。

關(guān)鍵詞主動學(xué)習(xí)動態(tài)神經(jīng)網(wǎng)絡(luò)分類器Sobol’敏感度分析法改進(jìn)型不確定采樣策略液壓AGC

0引言

神經(jīng)網(wǎng)絡(luò)作為一種監(jiān)督學(xué)習(xí)模型廣泛應(yīng)用于分類問題[1]，神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計包括神經(jīng)網(wǎng)絡(luò)模型的選擇、采集樣本、標(biāo)記樣本以及樣本訓(xùn)練等過程[2]。若樣本采集、標(biāo)注的方法選擇不當(dāng)，就有可能增加分類器訓(xùn)練時間，并在計算量上也付出較大代價。同樣，若神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)選擇過大或過小也會影響分類器學(xué)習(xí)效率，改變分類器最終性能。

基于上述問題，在分類器學(xué)習(xí)方法選取上，目前主動學(xué)習(xí)AL算法是該領(lǐng)域中的重要研究方向之一，它同時利用標(biāo)注和無標(biāo)注樣例來構(gòu)建高精度分類模型，以降低人類專家工作量[3]。近年來主動學(xué)習(xí)被大量應(yīng)用于信息檢索、圖像和語音識別、文本分類和自然語言處理等領(lǐng)域[3,4]。2009年，韓光等人將一種SVM主動學(xué)習(xí)算法應(yīng)用于障礙物檢測中，并在真實的野外環(huán)境圖像庫上進(jìn)行了實驗，證明了其較快的收斂速度[5]；2011年，陳榮等人將主動學(xué)習(xí)算法引入到SVM分類器的圖像分類算法中，并通過實驗驗證了該算法能夠有效地減少分類器訓(xùn)練時所需的人工標(biāo)注樣本的數(shù)量，同時獲得較高的準(zhǔn)確率和較好的魯棒性[6]；2013年，吳偉寧通過主動學(xué)習(xí)算法，以盡量少的標(biāo)注和時間代價構(gòu)造了一個較高精度的對象類別識別系統(tǒng)[7]。

在神經(jīng)網(wǎng)絡(luò)模型選取的問題上，由于目前的神經(jīng)網(wǎng)絡(luò)多數(shù)是通過足夠的設(shè)計經(jīng)驗和充足的數(shù)據(jù)確定其結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一旦確定將不再調(diào)整[8]。因此，本文建立了一種基于敏感度分析的增長—修剪型動態(tài)神經(jīng)網(wǎng)絡(luò)模型。動態(tài)神經(jīng)網(wǎng)絡(luò)通過敏感度分析，刪減敏感度值小的神經(jīng)元，當(dāng)網(wǎng)絡(luò)處理問題能力較弱時，插入敏感度值大的神經(jīng)元，以提高網(wǎng)絡(luò)學(xué)習(xí)速率，減小輸出誤差。

首先，本文在主動學(xué)習(xí)算法現(xiàn)有的不確定性采樣策略US(Uncertainty Sampling)基礎(chǔ)上，提出一種改進(jìn)型不確定性采樣策略MUS(Modified Uncertainty Sampling)。通過對各訓(xùn)練樣本后驗概率以及無標(biāo)記樣本與有標(biāo)記樣本間相似性的分析，從大量無標(biāo)記樣本中選取符合采樣條件的樣本，用以動態(tài)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，從而達(dá)到減少采集樣本時間和計算量的目的。其次，可訓(xùn)練的動態(tài)神經(jīng)網(wǎng)絡(luò)分類器根據(jù)Sobol’敏感度分析方法適時地增加敏感度值較大或刪減敏感度值較小的隱含層神經(jīng)元，以縮短網(wǎng)絡(luò)學(xué)習(xí)時間，減小網(wǎng)絡(luò)輸出誤差。最后，將該算法用于液壓AGC系統(tǒng)中，通過在線調(diào)節(jié)PID控制器的參數(shù)來達(dá)到提高厚度控制的目的。仿真實驗結(jié)果驗證了所提算法的有效性和適用性。

1主動學(xué)習(xí)算法

主動學(xué)習(xí)算法的思想是利用現(xiàn)有的知識，選擇標(biāo)記部分樣例加入訓(xùn)練集，迭代訓(xùn)練分類器，盡可能用較少的訓(xùn)練數(shù)據(jù)得到較高分類性能的分類器，以加速學(xué)習(xí)過程并提高分類性能。主動學(xué)習(xí)算法的工作過程是一個迭代訓(xùn)練分類器的過程，該過程先通過采樣方法從大量沒有標(biāo)記的樣例中選出最有價值的樣例，之后用這些樣例進(jìn)行循環(huán)訓(xùn)練，當(dāng)達(dá)到一定精度后輸出[ 3,4,9]。

主動學(xué)習(xí)算法可以由五個組件進(jìn)行建模：

A=(C,L,S,Q,U)

其中C為分類器；L是一組已標(biāo)注的訓(xùn)練樣本集；Q是用于在未標(biāo)注的樣本中查詢信息量大的樣本的查詢函數(shù)；U是整個未標(biāo)注樣本集；S是督導(dǎo)者，來對未標(biāo)注樣本進(jìn)行標(biāo)注。

主動學(xué)習(xí)算法的過程：初始化階段，隨機(jī)從未標(biāo)記樣本中選取一小部分樣本由督導(dǎo)者進(jìn)行標(biāo)注，用已標(biāo)注好的樣本對分類器進(jìn)行初步訓(xùn)練得到一個初始分類器模型；循環(huán)查詢階段，督導(dǎo)者S從未標(biāo)注樣本集U中按照某種查詢標(biāo)準(zhǔn)Q，選取一定的未標(biāo)注樣本進(jìn)行標(biāo)注，并加到訓(xùn)練樣本集L中，分類器C被重新訓(xùn)練，直至達(dá)到某種訓(xùn)練停止標(biāo)準(zhǔn)為止[1,10]。

主動學(xué)習(xí)方法采樣策略有很多種，其中基于不確定性的樣例選擇方法是適用性最廣的一類樣例采集方法。該樣例選擇方法是對后驗概率p(y′|x)的預(yù)測值最接近0.5的樣例進(jìn)行采集，其中y′是x的預(yù)測值，之后加入到訓(xùn)練集中。

基于不確定性采樣策略的主動學(xué)習(xí)算法在采樣過程中，因為只根據(jù)后驗概率接近0.5進(jìn)行采樣，就會出現(xiàn)采集到重復(fù)樣例的情況，所以本文在不確定性采集策略的基礎(chǔ)上進(jìn)行了改進(jìn)。除了后驗概率因素，還考慮了無標(biāo)記樣本與有標(biāo)記樣本間的相似性，將二者結(jié)合進(jìn)行樣例的采集。

2基于動態(tài)神經(jīng)網(wǎng)絡(luò)的主動學(xué)習(xí)算法

本文將一種基于改進(jìn)型不確定性采樣策略的主動學(xué)習(xí)算法與動態(tài)神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出一種新型的動態(tài)網(wǎng)絡(luò)主動學(xué)習(xí)(MUSAL)算法。該算法首先選取一些已標(biāo)記樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到一個初始動態(tài)網(wǎng)絡(luò)。之后根據(jù)采樣策略從大量無標(biāo)記樣本中選取符合條件的樣本進(jìn)行標(biāo)記，用于訓(xùn)練網(wǎng)絡(luò)。若訓(xùn)練步數(shù)達(dá)到設(shè)定的最大步數(shù)或者網(wǎng)絡(luò)輸出符合要求時，訓(xùn)練過程便會終止；否則系統(tǒng)繼續(xù)循環(huán)訓(xùn)練。

2.1動態(tài)神經(jīng)網(wǎng)絡(luò)主動學(xué)習(xí)算法的樣本采集

主動學(xué)習(xí)算法是一個迭代過程，首先使用已標(biāo)記樣本L對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到一個初始網(wǎng)絡(luò)權(quán)值。之后用網(wǎng)絡(luò)從對無標(biāo)記樣本集U中進(jìn)行輸出，選取后驗概率接近0.5的n個樣本，對n個樣本進(jìn)行評定采集符合條件的樣本，將采集到的樣本加入到訓(xùn)練集中對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。樣本采集具體方法如下：

(1)

(2)

綜合上述兩方面，對無標(biāo)記樣例xi進(jìn)行評價：

Goal(xi)=Pi·Sim(xi)

(3)

其次根據(jù)式(3)選取最小得分值Goal(xi)的樣本由專家進(jìn)行標(biāo)記，加入已標(biāo)記樣本集L得到一個新的標(biāo)記樣本集L′，再由L′重新訓(xùn)練網(wǎng)絡(luò)，繼續(xù)在剩下的無標(biāo)記樣本集U′中采集樣本。直到達(dá)到最大迭代次數(shù)，或者U變?yōu)榭占?/p>

2.2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整

增長—修剪型動態(tài)神經(jīng)網(wǎng)絡(luò)主要思想是：基于敏感度分析，刪除敏感度值太小的神經(jīng)元，并在神經(jīng)網(wǎng)絡(luò)信息處理能力不夠時插入敏感度值較大的新神經(jīng)元。每次調(diào)整完結(jié)構(gòu)，都要進(jìn)行參數(shù)的修改[8,11,12]。將該網(wǎng)絡(luò)與主動學(xué)習(xí)結(jié)合，在減少網(wǎng)絡(luò)訓(xùn)練時間的同時也提高了網(wǎng)絡(luò)輸出的準(zhǔn)確性。

動態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1　動態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

第一層：輸入層

該層有n個節(jié)點，輸入層神經(jīng)元的輸出為：

ui=xii=1,2,…,n

(4)

其中，ui表示輸入層第i個神經(jīng)元的輸出，x=(x1,x2,…,xn)表示神經(jīng)網(wǎng)絡(luò)的輸入。

第二層：隱含層

該層含有m個神經(jīng)元，其輸出為：

(5)

第三層：輸出層

設(shè)該層有K個神經(jīng)元，其輸出為：

(6)

其中，yk表示第k個神經(jīng)元的輸出，wjk是隱含層第j個神經(jīng)元與輸出層第k個神經(jīng)元之間的連接權(quán)值。

網(wǎng)絡(luò)訓(xùn)練過程中均方差為：

(7)

其中，ydk表示神經(jīng)網(wǎng)絡(luò)第k個神經(jīng)元的期望輸出，yk表示神經(jīng)網(wǎng)絡(luò)第k個神經(jīng)元的實際輸出，b是神經(jīng)網(wǎng)絡(luò)訓(xùn)練步數(shù)。

假設(shè)采集到m個樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這些樣本通過網(wǎng)絡(luò)輸出得到對應(yīng)的均方差，并按大小排序，結(jié)果如下：

E1,E2,…,Et,Et+1,…,Em-1,Em

若Et是神經(jīng)網(wǎng)絡(luò)對上述樣例輸出方差最接近目標(biāo)誤差Eg的，則將Et作為系統(tǒng)反饋誤差調(diào)節(jié)網(wǎng)絡(luò)權(quán)值，以此訓(xùn)練網(wǎng)絡(luò)。如果網(wǎng)絡(luò)輸出的誤差E≥αEg，其中α是判斷因子，α>1，說明此時神經(jīng)網(wǎng)絡(luò)的處理能力較弱，隱含層神經(jīng)元個數(shù)需要增加；如果網(wǎng)絡(luò)訓(xùn)練時間變得很長，此時的網(wǎng)絡(luò)可能需要對神經(jīng)元進(jìn)行修減簡化自身結(jié)構(gòu)。

動態(tài)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分為兩部分：輸入層與隱含層之間的連接；隱含層與輸出層之間的連接[8]，如圖2所示。本文主要通過分析隱含層神經(jīng)元輸出權(quán)值對神經(jīng)網(wǎng)絡(luò)輸出的影響調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)。

圖2　動態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分解圖

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整的基本思想是：利用基于方差的全局敏感度分析法——Sobol’法。對神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元與輸出層神經(jīng)元之間的連接權(quán)值進(jìn)行分析，得出敏感度值大小不同的神經(jīng)元。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)過大時，刪除敏感度值較小的神經(jīng)元；當(dāng)神經(jīng)網(wǎng)絡(luò)處理信息能力較弱時，插入上述神經(jīng)元敏感度分析過程中得出的敏感值較大的神經(jīng)元，以達(dá)到對結(jié)構(gòu)的調(diào)整。同時利用最速下降算法對新結(jié)構(gòu)的所有神經(jīng)元連接權(quán)值進(jìn)行修改。

Sobol’方法是典型的基于方差的全局敏感度分析法，其核心思想是對模型函數(shù)進(jìn)行分解，分別得到參數(shù)1次、2次以及更高次的敏感度。其中，1次敏感度代表參數(shù)主要影響，其他代表的是參數(shù)間相互作用的敏感度[13-16]。假設(shè)模型輸出函數(shù)Y=f(x),輸入xi∈X(i=1,2,…,n)并且0≤xi≤1。則輸出函數(shù)分解如下：

f1,2,…,n(x1,x2,…,xn)

(8)

式中，若每一個分項都滿足對其所包含的任意變量的積分為零，即：

∫fi1,i2,…,ikdxis=0

(9)

其中，1≤i1

fi(xi)=∫…∫f(x)dx1…dxi-1dxi+1…dxn-f0

(10)

(11)

以此類推可得出式(8)中各個分解項函數(shù)。

模型輸出f(x)的總方差為：

(12)

偏方差Ei為:

(13)

偏方差Ei,j為:

(14)

同樣以此類推便可得出各階方差。

在Sobol’方法中，總方差E表示所有輸入?yún)?shù)x對模型輸出的影響；偏方差Ei表示單個輸入數(shù)xi對模型輸出的影響；偏方差Ei,j表示輸入?yún)?shù)xi與xj之間相互作用對模型輸出的影響。則定義方差之比作為衡量輸入?yún)?shù)作用的全局敏感度值，表示為：

(15)

將網(wǎng)絡(luò)隱含層神經(jīng)元與輸出層神經(jīng)元間的連接權(quán)值[w11,w12,…,w1K,w21,w22,…,w2K,…,wm1,wm2,…,wmK]作為網(wǎng)絡(luò)神經(jīng)元敏感度分析的輸入量，神經(jīng)網(wǎng)絡(luò)為多輸出量，其輸出根據(jù)式(8)可分解為：

(16)

由于動態(tài)神經(jīng)網(wǎng)絡(luò)中隱含層各神經(jīng)元對網(wǎng)絡(luò)輸出的作用是相互獨立的，故只需計算輸入?yún)?shù)的一階靈敏度值即可。利用上述Sobol’算法計算出隱含層神經(jīng)元一階敏感度值：

(17)

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具體調(diào)節(jié)過程如下：

(1) 給定一個隱含層神經(jīng)元個數(shù)不為0的三層感知器神經(jīng)網(wǎng)絡(luò)，進(jìn)行訓(xùn)練；分析是否符合結(jié)構(gòu)的修改條件，符合條件轉(zhuǎn)向步驟(2)，否則轉(zhuǎn)向步驟(4)。

(2) 判斷是否滿足結(jié)構(gòu)增長條件，若不滿足轉(zhuǎn)步驟(3)。若滿足，利用式(17)計算出每一個隱層神經(jīng)元敏感度值，添加一個神經(jīng)元，并設(shè)定該神經(jīng)元的初始權(quán)值與敏感度最大的神經(jīng)元的權(quán)值相等，即：

wnew=wmax

(18)

(3) 根據(jù)修剪條件si<σ(σ為敏感度設(shè)定閾值，通常小于目標(biāo)誤差)對神經(jīng)元敏感度進(jìn)行分析，刪除敏感度值小于σ的神經(jīng)元。

(4) 利用快速下降算法對網(wǎng)絡(luò)連接權(quán)值進(jìn)行修改，如式(19)所示：

(19)

(5) 輸出達(dá)到允許范圍或者訓(xùn)練步數(shù)達(dá)到最大值時，停止計算；否則，若結(jié)構(gòu)不需調(diào)整則轉(zhuǎn)向步驟(4)，若結(jié)構(gòu)需要調(diào)整則轉(zhuǎn)向步驟(2)。

3液壓厚度自動控制系統(tǒng)

液壓厚度自動控制AGC(Automatic Gauge Control)系統(tǒng)精確度較高，響應(yīng)速度較快并且過載保護(hù)簡單可靠。因此現(xiàn)在軋機(jī)中普遍應(yīng)用液壓壓下控制系統(tǒng)[17-19]，液壓AGC系統(tǒng)輥縫控制框圖如圖3所示。

圖3　液壓AGC輥縫控制框圖

根據(jù)圖3，通過對系統(tǒng)中各動態(tài)元件的特性分析，AGC系統(tǒng)的整體模型如圖4所示。根據(jù)圖4代入各參數(shù)，經(jīng)過簡化可得出被控對象傳遞函數(shù)為：

(20)

圖4　液壓AGC系統(tǒng)輥縫控制整體結(jié)構(gòu)圖

4仿真實驗

在實驗中選取5000個樣本進(jìn)行分類，設(shè)定初始隨機(jī)選擇的訓(xùn)練樣本數(shù)為200個，類別數(shù)量為4，網(wǎng)絡(luò)分類器神經(jīng)元敏感度閾值為σ=0.1，動態(tài)網(wǎng)絡(luò)分類器訓(xùn)練步數(shù)最大值為T=10 000，輸出最大誤差E=0.04。

圖5　動態(tài)神經(jīng)網(wǎng)絡(luò)輸出誤差

圖5描述的是分別通過基于改進(jìn)型不確定性采樣策略的主動學(xué)習(xí)(MUSAL)算法、基于不確定性采樣策略的主動學(xué)習(xí)(USAL)算法和被動學(xué)習(xí)PL(Passive Learning)算法等三種方法訓(xùn)練的動態(tài)神經(jīng)網(wǎng)絡(luò)的輸出誤差變化曲線。x軸表示動態(tài)網(wǎng)絡(luò)分類器訓(xùn)練的步數(shù)，y軸表示動態(tài)網(wǎng)絡(luò)分類器輸出誤差大小。從圖5可以看出通過三種方法，最終都能得到輸出誤差滿足要求的動態(tài)網(wǎng)絡(luò)分類器。圖5中，三條曲線起始位置表示的是動態(tài)網(wǎng)絡(luò)分類器初始化后的輸出誤差。通過對三條曲線的分析，三條曲線的起始位置是相近的，說明隨機(jī)選取樣本訓(xùn)練得到的初始分類器輸出誤差相差不大。但隨著迭代過程的進(jìn)行，三條曲線漸漸有了差距，其中PL法的效率最低，在分類器誤差相同時，PL法需要訓(xùn)練的步數(shù)最多，其次是USAL法，而MUSAL法則需要最少的訓(xùn)練步數(shù)，這就說明在得到相同輸出誤差的分類器時，使用MUSAL法能大大縮短訓(xùn)練網(wǎng)絡(luò)分類器的時間。如圖5所示，使用PL算法的分類器最終的輸出誤差也是不如其他兩種方法低，達(dá)到穩(wěn)定時，該方法輸出誤差在0.04與0.05之間，而USAL法雖與MUSAL法的最終誤差很相近，但還是比MUSAL法最終誤差稍微高些，大約在0.04左右，使用MUSAL算法分類器最終的輸出誤差為0.03左右。這就證明了MUSAL算法在縮短動態(tài)網(wǎng)絡(luò)分類器訓(xùn)練時間上的有效性，并且也降低了網(wǎng)絡(luò)的輸出誤差。

主動學(xué)習(xí)動態(tài)網(wǎng)絡(luò)控制如圖6所示。

圖6　主動學(xué)習(xí)動態(tài)網(wǎng)絡(luò)控制器

采用主動學(xué)習(xí)動態(tài)網(wǎng)絡(luò)控制與被動學(xué)習(xí)動態(tài)網(wǎng)絡(luò)控制器兩種方法通過MATLAB對液壓AGC系統(tǒng)進(jìn)行實驗仿真。選取剛厚度期望值hr=5 mm，要求允許最大偏差值emax=0.05 mm。實際板厚輸出與板厚誤差隨軋制時間變化的仿真曲線如圖7和圖8所示。 圖中，x軸表示的是板帶材軋制時間，y軸分別表示AGC系統(tǒng)實際輸出的板帶材厚度和厚度誤差。主動學(xué)習(xí)動態(tài)網(wǎng)絡(luò)控制器能使系統(tǒng)實際的輸出厚度達(dá)到期望值5 mm，輸出在0.2 s左右時開始穩(wěn)定，并且最終可以保持穩(wěn)定；輸出誤差滿足要求，在0.05 mm范圍內(nèi)，超調(diào)量很??；而與主動學(xué)習(xí)動態(tài)網(wǎng)絡(luò)控制器相比，被動學(xué)習(xí)動態(tài)網(wǎng)絡(luò)控制器的輸出雖然最終也達(dá)到了平衡但與期望值之間稍微存在一些誤差，并且達(dá)到穩(wěn)定時用時也較長，超調(diào)量較大。以此驗證了本文算法的高效性及適用性。

圖7　主動學(xué)習(xí)動態(tài)網(wǎng)絡(luò)控制厚度輸出曲線　　　圖8　主動學(xué)習(xí)動態(tài)網(wǎng)絡(luò)控制厚度誤差輸出曲線

5結(jié)語

針對動態(tài)神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中訓(xùn)練時間長、計算量較大等問題，提出一種動態(tài)神經(jīng)網(wǎng)絡(luò)分類器的主動學(xué)習(xí)算法。該算法在不確定性采樣策略的基礎(chǔ)上，進(jìn)行了改進(jìn)，通過對無標(biāo)記樣本與標(biāo)記樣本集相似性的考慮，提高了采集樣本的有效性。并通過動態(tài)網(wǎng)絡(luò)輸出誤差的MATLAB仿真實驗對該算法進(jìn)行了驗證。仿真實驗結(jié)果表明，動態(tài)神經(jīng)網(wǎng)絡(luò)輸出誤差達(dá)到平衡時間較短，并且誤差值較小，以此驗證了該主動學(xué)習(xí)算法的有效性。最后將該方法應(yīng)用于液壓AGC系統(tǒng)中，通過在線調(diào)節(jié)液壓AGC系統(tǒng)中PID控制器參數(shù)，提高厚度控制精度。最后利用MATLAB對實驗進(jìn)行仿真，結(jié)果表明，系統(tǒng)輸出具有較快的調(diào)節(jié)速度和很小的超調(diào)量，以此證明了該算法的適用性。

參考文獻(xiàn)

[1] 劉康,錢旭,王自強(qiáng).主動學(xué)習(xí)算法綜述[J].計算機(jī)工程與應(yīng)用,2012,48(34):1-4.

[2] 胡靜,高雋,楊靜.模糊神經(jīng)網(wǎng)絡(luò)分類器的主動學(xué)習(xí)方法[J].中國科學(xué)技術(shù)大學(xué)學(xué)報,2008,38(3):241-246.

[3] 吳偉寧,劉揚(yáng),郭茂祖,等.基于采樣策略的主動學(xué)習(xí)算法研究進(jìn)展[J].計算機(jī)研究與發(fā)展,2012,49(6):1162-1173.

[4] 徐冉冉.基于主動學(xué)習(xí)的智能算法及其在模式分類中的應(yīng)用[D].江蘇:江南大學(xué),2013.

[5] 韓光,趙春霞,胡雪蕾.一種新的SVM主動學(xué)習(xí)算法及其在障礙物檢測中的應(yīng)用[J].計算機(jī)研究與發(fā)展,2009,46(11):1934-1941.

[6] 陳榮,曹永鋒,孫洪.基于主動學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的多類圖像分類[J].自動化學(xué)報,2011,37(8):954-962.

[7] 吳偉寧.主動學(xué)習(xí)算法中采樣策略研究[D].黑龍江:哈爾濱工業(yè)大學(xué),2013.

[8] 韓紅桂.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)動態(tài)優(yōu)化設(shè)計方法及應(yīng)用[D].北京:北京工業(yè)大學(xué),2011.

[9] 白龍飛.基于支持向量機(jī)的主動學(xué)習(xí)方法研究[D].山西:山西大學(xué),2012.

[10] 孫功星,戴貴亮.神經(jīng)網(wǎng)絡(luò)主動學(xué)習(xí)的進(jìn)化算法[J].計算機(jī)科學(xué),2002,29(10):61-63.

[11] Peter J E V,Dwight R P.Numerical sensitivity analysis for aerodynamic optimization:a survey of approaches[J].Computers & Fluids,2010,39(3):373-391.

[12] 喬俊飛,韓紅桂.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)動態(tài)優(yōu)化設(shè)計的分析與展望[J].控制理論與應(yīng)用,2010,27(3):350-357.

[13] Yu W,Harris T J.Parameter uncertainty effects on variance-based sensitivity analysis[J].Reliability Engineering & System Safety,2009,94(2):596-603.

[14] 李睿.Sobol’靈敏度分析方法在結(jié)構(gòu)動態(tài)特性分析中的應(yīng)用研究[D].湖南:湖南大學(xué),2003.

[15] Sobol’ I M.Sensitivity estimates for non-linear mathematical models[J].Mathematical Modelling and Computational Experiment,1993,4(1):407-414.

[16] Saltelli A,Taranto S,Campolongo F.Sensitivity analysis as an ingredient of modeling[J].Statistical Science,2000,15(4):377-395.

[17] 張貫宇.基于模糊神經(jīng)網(wǎng)絡(luò)參數(shù)整定的熱軋帶鋼厚度仿人智能控制[D].山西:太原理工大學(xué),2013.

[18] 丁修堃,張殿華,王貞祥.高精度板帶鋼厚度控制的理論與實踐[M].北京:冶金工業(yè)出版社,2009.

[19] 楊安,歐陽奇.軋機(jī)液壓AGC系統(tǒng)建模及仿真[J].機(jī)床與液壓,2008,36(9):243-246.

收稿日期：2015-01-15。國家自然科學(xué)基金項目(61203343)；河北省自然科學(xué)基金項目(E2014209106)。任紅格，副教授，主研領(lǐng)域：人工智能。李冬梅，碩士生。李福進(jìn)，教授。

中圖分類號TP13TP183

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.057

APPLICATION OF ACTIVE LEARNING ALGORITHM FOR DYNAMIC NEURAL NETWORK CLASSIFIER AND ITS INTELLIGENT CONTROL

Ren HonggeLi DongmeiLi Fujin

(SchoolofElectricalEngineering,HebeiUnitedUniversity,Tangshan063009,Hebei,China)

AbstractIn view of the long sampling time and large computation amount in training process of dynamic neural network classifier, we put forward an active learning algorithm for dynamic neural network classifier. According to an improved uncertainty sampling strategy in active learning algorithm, and considering both the posterior probability of the sample and the similarity of the marked samples, we annotated the samples with smaller comprehensive evaluation score and applied them in network classifier training. By sobol’ sensitivity analysis method, the neural network timely increased or pruned the hidden layer neurons with larger sensitivity value or smaller larger sensitivity value in order to improve the learning rate and reduce the output error. Results of simulation experiment of classifier training showed that compared with the passive learning algorithm, the proposed algorithm could greatly shorten the network classifier training time and reduce the output error. Applying the algorithm to hydraulic AGC system, the experimental results showed that it could realise the online adjustment of PID controller parameters in system, and improve the precision of the thickness control, these validated the applicability of the proposed algorithm.

KeywordsActive learningDynamic neural network classifierSobol’ sensitivity analysisImproved uncertainty sampling strategyHydraulic AGC