邢?；ǎ嘞却?/p>

(1.北京師范大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京 100875;2.海南師范大學(xué)信息科學(xué)與技術(shù)學(xué)院，海南?？?571158)

0 引言

敏感性分析是一種定量描述模型輸入變量對(duì)輸出變量的重要性程度的方法，假設(shè)模型表示為y=f(x1，x2，…，xn)(xi為模型的第i個(gè)屬性值)，令每個(gè)屬性在可能的取值范圍內(nèi)變動(dòng)，研究和預(yù)測(cè)這些屬性的變動(dòng)對(duì)模型輸出值的影響程度(蔡毅等，2008)。將影響程度的大小稱(chēng)為該屬性的敏感性系數(shù)，敏感性系數(shù)越大，說(shuō)明該屬性對(duì)模型輸出的影響越大。敏感性分析的核心目的就是通過(guò)對(duì)模型的屬性進(jìn)行分析，篩選出重要屬性，約簡(jiǎn)模型。經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)敏感性分析方法主要有:(1)基于連接權(quán)的敏感性分析方法，如 Garson算法(Garson，1991)、Tchaban 方法(Tchaban et al，1998)等;(2)基于輸出對(duì)輸入變量的求偏導(dǎo)的敏感性分析方法，如Dimoponlos方法(Dimoponlos et al，1995)、Ruck 方法(Ruck et al，1990)等;(3)與統(tǒng)計(jì)方法結(jié)合的敏感性分析方法(Olden et al，2002);(4)基于輸入變量擾動(dòng)的敏感性分析方法(Scardi et al，1999)。

然而，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、初始連接權(quán)值和閾值的選擇對(duì)網(wǎng)絡(luò)的訓(xùn)練結(jié)果和敏感性分析有很大的影響，針對(duì)基于連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法中求取敏感性系數(shù)的不穩(wěn)定性，提出一種遺傳算法優(yōu)化連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法。

1 基于連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析

神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練可以獲得輸出變量大于輸入變量的數(shù)值函數(shù)關(guān)系及各層神經(jīng)元間的連接權(quán)值，敏感性分析利用這個(gè)關(guān)系及連接權(quán)值可以得到輸入變量對(duì)輸出變量的重要性。以下提到的神經(jīng)網(wǎng)絡(luò)都假定為3層前向網(wǎng)絡(luò)，輸入層、隱含層、輸出層神經(jīng)元個(gè)數(shù)分別為N、L、M，(x1，…，xN)為輸入變量，(y1，…，yM)為輸出變量，w=wijNL為輸入層與隱含層間連接權(quán)重，v=vjkLM為隱含層與輸出層間的連接權(quán)重。f(netj)和f(netk)分別表示隱層神經(jīng)元j的激活函數(shù)、輸出神經(jīng)元k的激活函數(shù)，隱層各神經(jīng)元激活函數(shù)一致，輸出層各神經(jīng)元激活函數(shù)一致。網(wǎng)絡(luò)有m個(gè)訓(xùn)練樣本，n個(gè)測(cè)試樣本。

1.1 Garson方法

Garson算法(Garson，1991)是基于連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法的一個(gè)代表，用連接權(quán)值的乘積來(lái)計(jì)算輸入變量對(duì)輸出變量的影響程度或稱(chēng)相對(duì)貢獻(xiàn)值。輸入變量xi對(duì)輸出變量yk的影響程度(貢獻(xiàn)值)為:

式(1)中，由于連接權(quán)wij和vjk的值有正有負(fù)，在累加的過(guò)程中會(huì)弱化xi對(duì)yk的影響，導(dǎo)致結(jié)果不正確。在對(duì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法研究和反復(fù)實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，將公式(1)改造為公式(2)更能真實(shí)客觀地反映輸入對(duì)輸出的重要性。

經(jīng)過(guò)分析和公式推算，發(fā)現(xiàn)公式(2)可化簡(jiǎn)為:

1.2 Tchaban 方法

2 遺傳算法及改進(jìn)策略

遺傳算法(GA)是一種借鑒自然界自然選擇和進(jìn)化機(jī)制發(fā)展起來(lái)的自適應(yīng)搜索算法。它使用了群體搜索技術(shù)，將種群代表一組問(wèn)題解，通過(guò)對(duì)當(dāng)前種群進(jìn)行選擇、交叉和變異等一系列遺傳操作，產(chǎn)生新一代的種群，并逐步使種群進(jìn)化到包含近似最優(yōu)解的狀態(tài)。由于其思想簡(jiǎn)單、易于實(shí)現(xiàn)及其健壯性，已廣泛應(yīng)用在問(wèn)題求解、優(yōu)化和搜索、機(jī)器學(xué)習(xí)、智能控制、模式識(shí)別和人工生命等領(lǐng)域(Lam et al，2001)。

根據(jù)預(yù)測(cè)樣本的預(yù)測(cè)值與期望值的誤差最小原則，使用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)值和閾值，使得優(yōu)化后的神經(jīng)網(wǎng)絡(luò)能夠更好地進(jìn)行樣本預(yù)測(cè)和分類(lèi)，并在優(yōu)化的神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行敏感性分析。改進(jìn)策略和步驟如下。

步驟2:對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值編碼，得到初始種群。遺傳算法不能直接處理問(wèn)題空間的參數(shù)，必須通過(guò)編碼把要求問(wèn)題的可行解表示成遺傳空間的染色體或個(gè)體。常用的編碼方法有位串編碼、Grey編碼、實(shí)數(shù)編碼等。筆者采用10位的二進(jìn)制編碼。

步驟5:通過(guò)選擇，交叉，變異算子操作產(chǎn)生新種群。采用輪盤(pán)賭法以0.9的概率選擇優(yōu)良個(gè)體組成新種群;隨機(jī)選擇種群中2個(gè)個(gè)體進(jìn)行單點(diǎn)交叉以產(chǎn)生新的優(yōu)秀個(gè)體，交叉概率設(shè)為0.7;為了維持種群的多樣性，以0.01的概率產(chǎn)生變異基因數(shù)。

步驟6:產(chǎn)生的新種群滿(mǎn)足要求或者達(dá)到遺傳迭代次數(shù)則解碼得到最佳神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，否則轉(zhuǎn)步驟3。

步驟7:在最優(yōu)化并且穩(wěn)定的神經(jīng)網(wǎng)絡(luò)權(quán)值基礎(chǔ)上進(jìn)行敏感性分析。應(yīng)用遺傳算法優(yōu)化后的連接權(quán)值作為BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)，應(yīng)用上述基于連接權(quán)的敏感性分析公式(3)、公式(4)求出各輸入變量的敏感系數(shù)，根據(jù)敏感系數(shù)篩選出主要輸入變量，去掉對(duì)輸出貢獻(xiàn)不大(敏感系數(shù)較小)的輸入變量，約簡(jiǎn)神經(jīng)網(wǎng)絡(luò)的模型。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)一:多元線性函數(shù)擬合及各輸入重要性

函數(shù)中輸入、輸出的關(guān)系已經(jīng)很明確，各個(gè)輸入變量對(duì)輸出的影響也已知。設(shè)計(jì)本實(shí)驗(yàn)的目的是測(cè)試在能實(shí)現(xiàn)函數(shù)高精度擬合的遺傳算法優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型上，所求取的敏感性系數(shù)是否穩(wěn)定并能真實(shí)反映個(gè)輸入變量的重要性程度。對(duì)于每個(gè)變量隨機(jī)產(chǎn)生1 000個(gè)0～1之間的隨機(jī)數(shù)，800個(gè)作為訓(xùn)練數(shù)據(jù)，100個(gè)作為校驗(yàn)數(shù)據(jù)，100個(gè)作為測(cè)試數(shù)據(jù)。應(yīng)用筆者提出的遺傳算法優(yōu)化連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法(SA-GA-BP)求取各個(gè)輸入變量的敏感系數(shù)，實(shí)驗(yàn)重復(fù)進(jìn)行10次，結(jié)果如圖1所示。

圖1 函數(shù)中各變量的敏感性系數(shù)

從圖1中可以看到優(yōu)化后的連接權(quán)敏感性分析，所求得的敏感系數(shù)基本穩(wěn)定，敏感系數(shù)的大小反映了輸入變量的重要程度，跟函數(shù)關(guān)系中所表示的一致。

3.2 實(shí)驗(yàn)二:遙感影像分類(lèi)及波段篩選

實(shí)驗(yàn)數(shù)據(jù)選用HYDICE光譜儀所獲取的華盛頓廣場(chǎng)地區(qū)的公共測(cè)試圖像，191個(gè)波段，該圖像中包含草地、屋頂以及道路等7種類(lèi)別地物(Landgrebe，2003)，如圖2所示。使用ENVI 4.6選擇標(biāo)準(zhǔn)差最大的10個(gè)波段作為輸入屬性，分別是波段55，75，103，133，141，155，168，181，184，190。實(shí)驗(yàn)?zāi)康氖菫榱藴y(cè)試所提優(yōu)化連接權(quán)的敏感性分析方法篩選對(duì)分類(lèi)貢獻(xiàn)大的主要波段的穩(wěn)定性，以及此方法篩選主要波段對(duì)提高遙感影像地物分類(lèi)精度的有效性。實(shí)驗(yàn)中分別選用各類(lèi)地物的500個(gè)像素點(diǎn)作為訓(xùn)練樣本，整幅圖像的全部像素點(diǎn)作為測(cè)試。應(yīng)用遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)敏感性分析方法(SA-GA-BP)篩選出5重要波段，與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)(使用以上10個(gè)波段)，與用遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)方法(GA-BP，使用以上10個(gè)波段)進(jìn)行遙感影像分類(lèi)實(shí)驗(yàn)比較，分類(lèi)精度見(jiàn)表1。

圖2 華盛頓廣場(chǎng)地區(qū)圖像及各類(lèi)地物參考圖

表1 3種方法的分類(lèi)精度

從表1中可以看出，GA-BP方法對(duì)水體、樹(shù)木，街道等各類(lèi)地物識(shí)別有明顯的優(yōu)勢(shì)，分類(lèi)精度比標(biāo)準(zhǔn)的BP有明顯的提高。SA-GA-BP方法只使用篩選出的5個(gè)重要波段進(jìn)行分類(lèi)，有效地約簡(jiǎn)了模型，并且分類(lèi)精度也有所提高，說(shuō)明基于優(yōu)化的神經(jīng)網(wǎng)絡(luò)進(jìn)行敏感性分析能有效地篩選出對(duì)分類(lèi)貢獻(xiàn)較大的波段，約簡(jiǎn)模型提高效率，并提高了模型的分類(lèi)精度。

4 結(jié)論

人工神經(jīng)網(wǎng)絡(luò)有很好地預(yù)測(cè)和分析非線性關(guān)系的能力，但容易陷入局部極值且收斂速度慢，而遺傳算法有很強(qiáng)的全局尋優(yōu)能力。因此將兩者結(jié)合，針對(duì)基于連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法的不穩(wěn)定性，提出遺傳算法優(yōu)化連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法。優(yōu)化后的人工神經(jīng)網(wǎng)絡(luò)測(cè)試誤差有明顯的改善，連接權(quán)穩(wěn)定，從而得到穩(wěn)定的敏感性系數(shù)，根據(jù)敏感系數(shù)大小能有效地篩選出對(duì)輸出貢獻(xiàn)大的屬性。應(yīng)用此敏感性分析方法可以較客觀地篩選出對(duì)地物分類(lèi)貢獻(xiàn)較大的主要波段。

蔡毅，邢巖，胡丹.2008.敏感性分析綜述［J］.北京師范大學(xué)學(xué)報(bào):自然科學(xué)版，44(1):9－16.

李方，閆永慧.2012.BP小波神經(jīng)網(wǎng)絡(luò)在邊坡位移預(yù)測(cè)中的應(yīng)用［J］.地質(zhì)學(xué)刊，36(2):134－137.

余先川，代莎，胡丹，等.2011.基于Lasso函數(shù)的分層混合模糊－神經(jīng)網(wǎng)絡(luò)及其在遙感影像分類(lèi)中的應(yīng)用［J］.地球物理學(xué)報(bào)，54(6):1672－1678.

DIMOPOULOS Y，BOURRET P，LEK S.1995.Use of some sensitivity criteria for choosing networks with good generalization ability［J］.Neural Processing Letters，2(6):1 － 4.

GARSON G D.1991.Interpreting neural network connection weights［J］.Artificial Intelligence Expert，6(4):47 － 51.

GEVREY M，DIMOPOULOS I，LEK S.2003.Review and comparison of methods to study the contribution of variables in Artificial Neural Network models［J］.Ecological Modeling，160(3):249－264.

GEVREY M，DIMOPOULOS I，LEK S.2006.Two-way interaction of input variables in the sensitivity analysis of neural network models［J］.Ecological Modeling，195(1/2):43－50.

LAM H K，LING S H，LEUNG F H F，et al.2001.Tuning of the Structure and Parameters of Neural Network Using an Improved Genetic Algorithm［C］//IECON'01:the 27th annual conference of the IEEE Industrial Electronics Society.Denver，Colorado，USA:IEEE，25 －30.

LANDGREBE D A.2003.Signal theory methods in multispectral remote sensing［M］.Hoboken，New Jersey，USA:Wiley Interscience.

OLDEN J D，JACKSON D A.2002.Illuminating the“black box”:a randomization approach for understanding variable contributions in artificial neural networks［J］.Ecological Modeling，154(1/2):135 －150.

RUCK D W，ROGERS S K，KABRISKY M.1990.Feature selection using a multilayer perceptron［J］.Journal of Neural Network Computing，2(2):40 －48.

SCARDI M，HARDING L W.1999.Developing an empirical model of phytoplankton primary production:a neural network case study［J］.Ecological Modeling，120(2/3):213－223.

TCHABAN T，TAYLOR M J，GRIFFIN A.1998.Establishing impacts of the inputs in a feedforward neural network［J］.Neural Compute Application，7(4):309 －317.