周本達(dá)，施明華，萬(wàn)甜甜，趙義超

(1.皖西學(xué)院 金融與數(shù)學(xué)學(xué)院，安徽 六安 237012；(2.皖西學(xué)院 金融風(fēng)險(xiǎn)智能控制與預(yù)警研究中心，安徽 六安 237012)

?

一種基于改進(jìn)分布估計(jì)算法的統(tǒng)計(jì)模型選擇

周本達(dá)，施明華，萬(wàn)甜甜，趙義超

(1.皖西學(xué)院 金融與數(shù)學(xué)學(xué)院，安徽 六安 237012；(2.皖西學(xué)院 金融風(fēng)險(xiǎn)智能控制與預(yù)警研究中心，安徽 六安 237012)

回歸模型是數(shù)據(jù)處理中的經(jīng)典分析方法，在許多領(lǐng)域都有重要應(yīng)用?；貧w模型的模型選擇的常用方法是專家選擇和完全模型法，但兩者都過于依賴主觀經(jīng)驗(yàn)，影響系統(tǒng)的運(yùn)行效果。針對(duì)選擇回歸模型問題的特點(diǎn),在分布估計(jì)算法基礎(chǔ)上設(shè)計(jì)了相應(yīng)的概率矩陣, 以赤池信息準(zhǔn)則(AIC)和貝葉斯信息準(zhǔn)則(BIC)作為模型選擇的度量標(biāo)準(zhǔn)，提出了解決統(tǒng)計(jì)模型選擇問題的改進(jìn)分布估計(jì)算法。該算法基于遺傳算法變異思想構(gòu)造變異算子,基于免疫機(jī)理設(shè)計(jì)選擇策略。最后，通過實(shí)例，將新算法與傳統(tǒng)的遺傳算法，以及經(jīng)典的模型選擇方法進(jìn)行仿真比較，得出新算法在AIC、BIC值等各種指標(biāo)上效果提高。

統(tǒng)計(jì)模型；模型選擇；免疫選擇策略；分布估計(jì)算法

多元統(tǒng)計(jì)分析中的回歸分析方法是一種廣泛的數(shù)據(jù)處理法，它主要根據(jù)已知數(shù)據(jù)建立擬合程度良好的回歸模型。建模過程涉及2個(gè)核心問題，即如何從眾多解釋變量當(dāng)中選取重要變量(變量選擇)以及如何選擇恰當(dāng)?shù)暮瘮?shù)表達(dá)形式(變換選擇)，一般稱為模型選擇問題。其實(shí)質(zhì)相當(dāng)于以下優(yōu)化問題：利用調(diào)查數(shù)據(jù)對(duì)變量進(jìn)行取舍、函數(shù)形式確定，建立變量間的相互依賴形式，使某種度量標(biāo)準(zhǔn)(統(tǒng)計(jì)準(zhǔn)則)最優(yōu)[1]?；痉椒ㄓ兄鸩交貧w(stepwise regression)、專家選擇、完全模型法(Complete Modeling)等，但它們過于依賴建模者的主觀經(jīng)驗(yàn)和建模過程。近年來，隨著分布估計(jì)算法、遺傳算法和粒子群算法等智能算法技術(shù)的發(fā)展，一些學(xué)者將智能算法用于求解此類問題，并取得不錯(cuò)的效果[1，2]。

分布估計(jì)算法 (Estimation of Distribution Algorithm, EDA)采用一種新型的進(jìn)化機(jī)制，以遺傳算法(GA)的遺傳機(jī)制為基礎(chǔ)，將統(tǒng)計(jì)學(xué)習(xí)規(guī)則和GA的隱并行性進(jìn)行了有機(jī)結(jié)合，從而可以充分利用種群的全局信息建立個(gè)體的概率分布模型，依據(jù)概率模型對(duì)整個(gè)解空間進(jìn)行學(xué)習(xí)、抽樣產(chǎn)生新解，實(shí)現(xiàn)種群進(jìn)化[3-6]。EDA在沒有破壞積木塊結(jié)構(gòu)的基礎(chǔ)上，既繼承了GA通用、并行和強(qiáng)魯棒性特點(diǎn)，又克服了傳統(tǒng)算法對(duì)初始化敏感的缺點(diǎn)，可以大幅提高求解質(zhì)量和效率[5]。但基本的EDA不能直接利用進(jìn)化過程中的局部信息，也沒有考慮種群中個(gè)體的多樣性，更沒有設(shè)計(jì)比較好的機(jī)制對(duì)局部最優(yōu)解進(jìn)行控制[7]。另外，基本分布估計(jì)算法沒有考慮種群中個(gè)體的多樣性，尤其在迭代后期會(huì)影響算法尋優(yōu)性能，免疫算法[8]模擬免疫系統(tǒng)，依據(jù)抗體濃度構(gòu)建繁殖策略，可以有效地保持種群多樣性[8]。但免疫算法中抗體濃度的計(jì)算方法很多(如基于信息熵、歐氏距離、二進(jìn)制的海明距離等)，各有優(yōu)劣，目前采用較多的是信息熵方法，但信息熵方法對(duì)二進(jìn)制編碼抗體間的相似度和濃度無法度量，對(duì)于間斷函數(shù)或變化幅度較大的函數(shù)定義相似度和濃度度量也不太精確[8]，并且其運(yùn)行速度也較緩慢。

本文將以基本的分布估計(jì)算法為基礎(chǔ)，拓展個(gè)體編碼方式，設(shè)計(jì)反映統(tǒng)計(jì)模型中變量選擇和變換選擇的選擇矩陣，定義選擇矩陣對(duì)應(yīng)的概率模型矩陣。同時(shí)，結(jié)合免疫機(jī)理定義種群中個(gè)體相似度和個(gè)體濃度，計(jì)算個(gè)體期望生存概率，據(jù)此設(shè)計(jì)免疫選擇策略和自適應(yīng)變異算子，改進(jìn)概率模型的更新方法，提出一種求解模型選擇問題的改進(jìn)分布估計(jì)算法。

1 分布估計(jì)算法及其改進(jìn)

分布估計(jì)算法解決問題的一般過程是：首先建立解空間的個(gè)體分布概率模型，然后對(duì)當(dāng)前種群進(jìn)行適應(yīng)度值計(jì)算評(píng)估，依據(jù)選取規(guī)則選擇優(yōu)勢(shì)個(gè)體組成候選集，采取統(tǒng)計(jì)學(xué)習(xí)手段更新對(duì)應(yīng)的概率模型，再依據(jù)抽樣規(guī)則對(duì)概率模型進(jìn)行抽樣，產(chǎn)生下一代種群[5]。

1.1 模型選擇問題

1.2 選擇矩陣及其對(duì)應(yīng)的概率矩陣

設(shè)計(jì)選擇矩陣分別為：F=(fij)m×4和G=(gij)m×12，其中，若ti取集合T中第j元素fij=1，否則fij=0；且若ei取集合E中第j元素gij=1，否則gij=0。對(duì)應(yīng)的概率矩陣分別為P=(pij)m×4和Q=(qij)m×12，其中，pij∈[0,1]且∑jpij=1；qij∈[0,1]且∑jqij=1。分別表示ti取集合T中第j元素的概率和ei取集合E中第j元素的概率。

1.3 適應(yīng)度函數(shù)(Fitness function)

赤池信息準(zhǔn)則(Akaike Information Criterion，AIC)主要基于信息論角度設(shè)計(jì)，其目標(biāo)是使模型擬合信息損失達(dá)到最小，其中信息損失是由真實(shí)模型與候選模型間的Kullback-Leibler距離來度量[11-12]；而貝葉斯信息準(zhǔn)則(Bayesian Information Criterion，BIC)主要是基于貝葉斯統(tǒng)計(jì)角度考慮，與AIC 信息相比，BIC的右邊第2項(xiàng)中用logn代替了數(shù)值2，即考慮模型參數(shù)個(gè)數(shù)時(shí)，BIC比AIC的懲罰力度更大[13]。

1.4 概率模型及其更新

設(shè)第t代某個(gè)體的概率矩陣為P=(pij(t))m×4和Q=(qij(t))m×12，其對(duì)應(yīng)的分類矩陣為：F=(fij(t))m×4和G=(gij(t))m×12，選取N個(gè)個(gè)體進(jìn)行更新，則第t+1代的概率pij(t+1)為：

(1)

1.5 免疫選擇

依據(jù)免疫算法的免疫選擇策略設(shè)計(jì)如下：設(shè)個(gè)體長(zhǎng)度為l，種群規(guī)模為N。

定義2 個(gè)體間相似性：設(shè)種群中兩個(gè)體A1和A2的適應(yīng)度值分別為g1和g2，設(shè)常數(shù)r>0和m>0，若有H(A1，A2)≤r且|g1-g2|≤m，則稱個(gè)體A1與A2是相似的。

定義3 個(gè)體濃度：種群中與個(gè)體Ai相似的個(gè)體個(gè)數(shù)ni(包含Ai)稱為個(gè)體Ai在種群中的濃度[5]。

由定義4可見，個(gè)體期望生存概率與適應(yīng)度成正比，與濃度成反比，這樣既能保證算法的收斂速度，又能保持個(gè)體的多樣性[5]。

1.6 變異算子

分布估計(jì)算法利用可行解在解空間概率分布，產(chǎn)生概率模型來描述搜索空間中，再?gòu)哪Ｐ椭谐闃赢a(chǎn)生新解，可以說分布估計(jì)算法有效地利用了解空間的全局統(tǒng)計(jì)信息。但每代發(fā)現(xiàn)局部最優(yōu)解的局部信息并不能直接被EDA使用。因此，本文利用免疫算子度量個(gè)體間的相似性，據(jù)此設(shè)計(jì)自適應(yīng)變異算子來克服EDA的這一缺陷[5]。

設(shè)A為變異個(gè)體，設(shè)i∈[1,m]和s∈[m+1,2m]，變異算子把個(gè)體A=(a1,a2,…,a2m)變異為B=(a1,a2,…ai-1,b,…as-1,c,…,a2m)，其中，b∈T且b≠ai，c∈E,且c≠as。自適應(yīng)的變異概率pm如下：

(2)

注：在進(jìn)化初期，種群中的不同個(gè)體數(shù)較多，變異概率較??；在進(jìn)化后期，種群中的不相似個(gè)體數(shù)較少，變異概率較大。自適應(yīng)變異有效拓展了算法的開采能力。

2 分布估計(jì)算法的改進(jìn)

求解模型選擇問題的改進(jìn)分布估計(jì)算法步驟如下：

Step2 適應(yīng)度值計(jì)算，并判斷是否滿足終止條件。若滿足，算法結(jié)束，否則繼續(xù)；

Step6 依據(jù)概率矩陣從更新后的優(yōu)勢(shì)群體中采樣N次，得到新一代種群，轉(zhuǎn)Step2。

3 實(shí)驗(yàn)與分析

文章采用Bilkent University DataSets[5，9]、UCI DataSets[5，10]提供的標(biāo)準(zhǔn)算例在MATLAB 2010a環(huán)境下測(cè)試，并同stepwise regression、Complete Modeling、標(biāo)準(zhǔn)遺傳算法(SGA)和佳點(diǎn)集遺傳算法(GGA)[14,15]進(jìn)行比較。

算法參數(shù)設(shè)置為：種群規(guī)模為200，最大迭代代數(shù)為300，學(xué)習(xí)速率α為0.4，每個(gè)算例執(zhí)行100次。在試驗(yàn)中我們將樣本數(shù)據(jù)集分成兩部分，75%的數(shù)據(jù)進(jìn)行擬合，余下數(shù)據(jù)用于檢驗(yàn)，并記錄算例運(yùn)行100次的AIC和BIC最優(yōu)值(BestVideo)、平均值(Ave)、平均收斂代數(shù)(AveGen)以及找到最佳值的平均用時(shí)(單位：秒)，記錄結(jié)果表1和2所示。

表1和表2中的SGA、GGA和IEDA等智能算法在求解回歸模型時(shí)，準(zhǔn)則值指標(biāo)要好于完全模型法和逐步回歸法，處理大規(guī)模數(shù)據(jù)時(shí)表現(xiàn)尤為突出，例如，對(duì)于Fat算例，三種智能算法無論在何種準(zhǔn)則下都比完全模型法和逐步回歸法縮小50%以上。免疫選擇策略中個(gè)體期望生存概率的利用充分保證了改進(jìn)的分布估計(jì)算法的整體尋優(yōu)能力，同時(shí)，集合遺傳算法的變異操作，及大地提高了算法開采能力。因?yàn)椴捎米赃m應(yīng)變異概率，尤其在迭代后期能保證所有的采樣區(qū)域都能被采樣點(diǎn)覆蓋，因此，IEDA的平均尋優(yōu)時(shí)間和收斂代數(shù)比SGA和GGA好，所搜索到的最優(yōu)解是最好的。

表1 AIC值的計(jì)算結(jié)果

表2 BIC值的計(jì)算結(jié)果

4 結(jié)論(Conclusions)

文章基于回歸模型選擇問題的AIC和BIC度量方法，結(jié)合遺傳算法中的變異算子對(duì)基本分布估計(jì)算法進(jìn)行了改進(jìn)，設(shè)計(jì)能對(duì)變量選擇和函數(shù)變換并行實(shí)施的智能求解算法，克服了逐步回歸、完全模型等傳統(tǒng)方法求解回歸模型選擇問題時(shí)依靠主觀經(jīng)驗(yàn)和較強(qiáng)路徑依賴性等缺點(diǎn)?；貧w模型選擇問題求解的實(shí)驗(yàn)結(jié)果表明：基于算法融合思想對(duì)分布估計(jì)算法的改進(jìn)提高了計(jì)算效率、有較穩(wěn)定的計(jì)算結(jié)果，充分顯示了其良好的尋優(yōu)性能，比傳統(tǒng)回歸方法有較大程度的改進(jìn)。

[1]SANDRA PATERLINI, TOMMASO MINERVA. Regression Model Selection Using Genetic Algorithms [C]. RECENT ADVANCES in NEURAL NETWORKS, FUZZY SYSTEMS & EVOLUTIONARY COMPUTING, 2010: 19-27.

[2]施明華，周本達(dá)，陳明華.基于均勻設(shè)計(jì)抽樣的改進(jìn)遺傳算法在回歸模型中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2012，32(11)：3050-3053.[3]Aimin Zhou, JianyongSun, Qingfu Zhang. An Estimation of Distribution Algorithm With Cheap and Expensive Local Search Methods[J].IEEE TRANSACTIONS ON EVOLUTIONARY COMPUTATION,2015,19(6):807-822.

[4]Hauschild M, Pelikan M, Lima C, et.al. Analyzing Probabilistic Models in Hierarchical BOA on Traps and Spin Glasses[C]//Proc. of GECCO’07. London, UK: IEEE Press, 2007.[5]周本達(dá)，姚宏亮，李國(guó)成.一種求解聚類問題的分布估計(jì)算法[J].計(jì)算機(jī)工程，2011，37(22)：191-195.

[6]周樹德，孫增炘.分布估計(jì)算法綜述[J].自動(dòng)化學(xué)報(bào)，2007，33(2)：113-124.

[7]Li Shuzhuo, Chen Yinghui, Du Haifeng,et.al. A Genetic Algorithm with Local Search Strategy for Improved Detection of Community Structure[J]. Complexity, 2010,15(4):53-60.[8]周本達(dá)，姚宏亮，陳明華.一種改進(jìn)拉丁方抽樣免疫遺傳算法[J].計(jì)算機(jī)應(yīng)用研究，2011，28(4)：1283-1285，1289.

[9]Bilkent University,Function Approximation Repository[EB/OL].http://funapp.cs.bilkent.edu.tr/DataSets/, 2016-04-18.

[10]UCI Machine Learning Repository[EB/OL].http://archive.ics.uci.edu/ml/index.html/,2016-04-18.

[11]呂純濂，陳舜華，楊勇杰.線性模型中變量和變換的同時(shí)選擇[J].數(shù)值計(jì)算與計(jì)算機(jī)應(yīng)用，2005，4(1)：26-35.

[12]KELVIN G. BALCOMBE, Model Selection Using Information Criteria and Genetic Algorithms[J]. Computational Economics, 2005, 25:207-228.

[13]賈桂文，張景川.基于BIC準(zhǔn)則模型選擇的光纖光柵波長(zhǎng)溫度擬合研究[J].傳感技術(shù)學(xué)報(bào)，2014，27(2)：217-219.

[14]張鈴，張鈸.遺傳算法機(jī)理的研究[J].軟件學(xué)報(bào)，2000，11(7)：945-952.

[15]張鈴，張鈸.佳點(diǎn)集遺傳算法[J].計(jì)算機(jī)學(xué)報(bào)，2001，24(9)：917-922.

A Statistic Model Selection Based on the Improved Estimation of Distribution Algorithm

ZHOU Benda, SHI Minghua, WAN Tiantian, ZHAO Yichao

(1.SchoolofFinance&Mathematics,WestAnhuiUniversity,Lu’an237012,China; 2.FinancialRiskIntelligentControlandPreventionInstitute,WestAnhuiUniversity,Lu’an237012,China)

Regression model is a classical analysis method in data processing. It has numerous applications in many fields. The most commonly-used methods are expert selection and complete model method. However, they are too dependent on the subjective experience. According to the characteristics of regression model selection problem, we design the corresponding probability matrix. Then, by combining Akaike Information Criterion (AIC) and Bayesian Information Criterion (BIC), we present an improved estimation of distribution algorithm for solving statistical model selection problem. It constructs mutation operator based on the idea of mutation of GA. Moreover, the selection policy is designed on the basis of the immune mechanism. Finally, we use computer simulation to compare this improved EDA, traditional genetic algorithm and classical algorithm for model selection and to show that the new EDA has superiority in AIC, BIC and other various indices.

statistical model; model selection; selection strategy of immune; estimation of distribution algorithm

2016-07-04

安徽省高校省級(jí)自然科學(xué)研究重點(diǎn)項(xiàng)目(KJ2016A742)；皖西學(xué)院校級(jí)自然項(xiàng)目(WXZR201619)；六安市定向委托皖西學(xué)院市級(jí)研究項(xiàng)目(2009LW018)。

周本達(dá)(1974-)，男，安徽六安人，教授，碩士，研究方向：智能算法、金融網(wǎng)絡(luò)、計(jì)算金融。

O212.4

A

1009-9735(2016)05-0033-05