邸若海,高曉光,郭志高

(西北工業(yè)大學電子信息學院,陜西西安 710129)

?

小數(shù)據(jù)集BN建模方法及其在威脅評估中的應用

邸若海,高曉光,郭志高

(西北工業(yè)大學電子信息學院,陜西西安 710129)

貝葉斯網(wǎng)絡是數(shù)據(jù)挖掘領域的主要工具之一.在某些特定場合,如重大裝備的故障診斷、地質災害預測及作戰(zhàn)決策等,希望用少量數(shù)據(jù)得到較好的結果.因此,本文針對小數(shù)據(jù)集條件下的貝葉斯網(wǎng)絡學習問題展開研究.首先,建立基于連接概率分布的結構約束模型,提出I-BD-BPSO(Improved-Bayesian Dirichlet-Binary Particle Swarm Optimization)結構學習算法;其次,建立單調性參數(shù)約束模型,提出MCE(Monotonicity Constraint Estimation)參數(shù)學習算法;最后,應用所提算法構建威脅評估模型并應用變量消元法進行推理計算.實驗結果表明,在小數(shù)據(jù)集條件下,本文的結構學習算法優(yōu)于經(jīng)典的二值粒子群優(yōu)化算法,參數(shù)學習算法優(yōu)于最大似然估計、保序回歸及凸優(yōu)化算法,并能夠構建有效的威脅評估模型.

貝葉斯網(wǎng)絡;小數(shù)據(jù)集;二值粒子群優(yōu)化;威脅評估

1　引言

針對小數(shù)據(jù)集條件下的貝葉斯網(wǎng)絡(Bayesian Network,BN)結構學習,主要有兩類方法:基于擴展數(shù)據(jù)的方法和基于先驗約束的方法,本文屬于后者.基于先驗約束的方法有兩種思路,一種是將先驗約束轉化為狄利克雷分布中的等價樣本量[1]來約束評分函數(shù),另一種則是通過定性知識限制貝葉斯網(wǎng)絡的搜索過程.基于等價樣本量方法的優(yōu)點在于計算簡單,而缺點在于無法靈活的融入各種形式的專家知識,因為對于領域專家來說,往往更傾向于給出定性知識而非精確的數(shù)值.進而,一些定性的結構約束模型被提出,如節(jié)點序[2,3]、因果關系[4]、邊的存在[5,6]等各種形式.但上述約束并未考慮約束的不確定性,雖然吳紅等人[7]用邊的存在概率描述約束的不確定性,并將其以權重的形式加入到最小描述長度(Minimum Description Length,MDL)評分之中,進而采用模擬退火算法進行搜索.但其提出的約束模型只是考慮到節(jié)點之間存在邊的概率,并未考慮到不存在邊和存在反向邊的概率,并且其修改MDL評分的方法是一種近似方法,缺少一定的理論支撐.針對此問題,本文提出一種新的結構約束,并將約束以先驗概率的形式融入到評分函數(shù)中,進而結合二值粒子群優(yōu)化算法學習BN結構.

針對小數(shù)據(jù)集條件下的BN參數(shù)學習,現(xiàn)有的方法基本可分為兩類.第一類是利用約束將參數(shù)學習問題轉化為似然函數(shù)或者熵函數(shù)的約束優(yōu)化問題[8～11],進而應用凸優(yōu)化[8,10]或梯度法[9,11]進行求解.此類方法優(yōu)點是為參數(shù)學習提供了一個統(tǒng)一的框架,但缺點在于算法復雜度較高,且學習精度一般.第二類是將約束通過虛擬樣本的形式轉化為參數(shù)的先驗信息[13～15],進而結合貝葉斯估計進行求解.此類方法的缺點是針對不同的約束必須有不同的處理方法,但其優(yōu)點在于針對某些特定約束其計算簡單且精度往往較高,本文屬于此類方法.此外,文獻[12]將定性影響約束轉化為序約束并應用保序回歸算法調整參數(shù)大小,使得參數(shù)滿足序約束.雖然其計算簡單,但精度難以保證.通過分析現(xiàn)有的文獻,我們發(fā)現(xiàn)所有的參數(shù)約束都是描述子節(jié)點相同父節(jié)點不同的這一類參數(shù)之間的大小關系.而對父節(jié)點相同而子節(jié)點不同這一類參數(shù)之間的關系并未提及.因此,本文提出一種單調性約束模型來描述此類約束,并給出基于此模型的參數(shù)學習方法.

2　基于連接概率分布的BN結構學習

2.1連接概率分布的結構約束模型

貝葉斯網(wǎng)絡是描述各個變量之間連接關系的有向無環(huán)圖,先驗概率指在這些變量集所組成的網(wǎng)絡空間中,某一具體網(wǎng)絡的存在概率.一方面,專家很難有這樣的經(jīng)驗,另一方面,當變量數(shù)大于3時,專家很難在這么大的一個空間里給出某一具體網(wǎng)絡的概率.專家一般只能對網(wǎng)絡中的某些變量之間的連接概率給出一些經(jīng)驗.設a和b為貝葉斯網(wǎng)絡中的兩個變量,同時,引入連接變量r,在本文中r的取值為a指向b(a→b)、b指向a(b→a)、a和b之間無連接(a…b),本文中專家經(jīng)驗表示為連接變量的概率分布,由概率分布的定義可得以下結論,如式(1)所示.

P(a→b)+P(b→a)+P(a…b)=1

(1)

假設在一個貝葉斯網(wǎng)絡中,專家給出P(a→b)=0.8,那么,我們即認為連接變量r剩下的取值服從均勻分布,如式(2)所示.

(2)

依據(jù)式(1)和(2)可得到貝葉斯網(wǎng)絡中所有連接變量的概率分布,在得到概率分布之后,進而根據(jù)此概率分布求出每個網(wǎng)絡的先驗概率.而在實際的問題中,專家不可能對所有的變量都給出約束,往往只是對其中部分變量給出約束,所以如何利用部分約束獲得每個網(wǎng)絡的先驗概率是首先要解決的問題.

2.2基于改進先驗分布的評分函數(shù)

設整個網(wǎng)絡有m個變量,G為其對應的有向無環(huán)圖,D為樣本數(shù)據(jù),r1,r2,…,rn為專家約束所對應的連接變量,令J=P(r1,r2,…,rn),R=(r1,r2,…,rn),如果C為連接變量聯(lián)合分布的某一取值,則JC=P(R=C),在m個變量所對應的解空間中,每一個解都唯一決定C的取值.本文要求取的評分函數(shù)為P(G|D,J)如式(3)所示.

(3)

第一個等號由貝葉斯定理可以得到,第二個等號成立是因為當G給定時,J與數(shù)據(jù)D是條件獨立的,所以P(D|G,J)=P(D|G).當專家約束和網(wǎng)絡數(shù)據(jù)給定時,P(D|J)就是一個常數(shù),所以,要使得整個網(wǎng)絡的評分最高,只需使得分子P(D|G).P(G|J)取最大即可.

P(G|J)=P(G,CG|J)=P(G|J,CG)·P(CG|J)

=P(G|CG)·P(CG|J)

=P(G|CG)·JC

(4)

其中CG為網(wǎng)絡空間中某一網(wǎng)絡所對應的約束連接變量,CG的取值由網(wǎng)絡結構G唯一確定,其分布由專家經(jīng)驗確定.由于CG的取值由G唯一確定,所以第一個等號成立.根據(jù)貝葉斯定理和鏈式規(guī)則可得到第二個等號成立.當約束所對應的連接變量取值已知時,網(wǎng)絡結構G和連接變量的分布條件獨立,則第三個等號成立.當CG已知條件下,某一網(wǎng)絡結構G的存在概率實際上就是包含這一特定網(wǎng)絡子結構的概率,如果能夠得到在整個網(wǎng)絡空間中含有這一特定子結構的網(wǎng)絡個數(shù)NC,那么可以得到:

(5)

為了表述方便,這里令P(CG|J)=JC,進而完整的評分函數(shù)則表示為:

(6)

由于P(D|J)為一常量,進而將評分化簡為:

logP(G|D,J)=logP(D|G)+logP(G|J)

(7)

上面的評分屬于貝葉斯統(tǒng)計評分這一大類,與現(xiàn)有的評分函數(shù)(BD評分)的區(qū)別在于結構先驗分布不同,BD評分一般認為結構的先驗分布服從均勻分布,而本文提及的評分函數(shù)中,貝葉斯網(wǎng)絡的結構先驗分布不一定服從均勻分布.其中,某一具體網(wǎng)絡結構的先驗概率而是由專家經(jīng)驗決定的.為了方便描述,本文中將此評分函數(shù)命名為評分I-BD.具體表達式如(8)所示.

ScoreI-BD

(8)

其中,mijk是數(shù)據(jù)中滿足Xi=k,其父節(jié)點π(Xi)=j的樣本個數(shù),αijk為參數(shù)先驗分布中的超參數(shù).

Jc為專家經(jīng)驗所對應連接變量的聯(lián)合概率分布,假設專家給出3個變量a、b、c之間的約束模型如表1所示,依據(jù)表1中每個連接變量的分布,進而求得連接變量的聯(lián)合分布如表2所示.

表1　專家經(jīng)驗對應的約束模型

表2　專家經(jīng)驗對應的JC

由表1和2可以看出JC是通過將3個節(jié)點所組成的有向無環(huán)圖進行列舉,并且分別計算每個有向無環(huán)圖存在的概率.

n個變量組成有向無環(huán)圖的個數(shù)由Robinson給出了解析表達式,經(jīng)過查找文獻,并未發(fā)現(xiàn)對含有特定結構約束的有向無環(huán)圖個數(shù)求解的解析表達式,即本文的NC.當網(wǎng)絡的變量較少時(一般小于4),我們可以通過枚舉法將所有的有向無環(huán)圖都列舉出來,找出其中符合要求的網(wǎng)絡結構,進而得到NC.但往往枚舉是行不通的,隨著變量數(shù)的增加有向無環(huán)圖的個數(shù)呈指數(shù)倍數(shù)增加.在這種情況下,精確的計算NC是很困難的,所以,本文給出一種基于抽樣的近似方法.

(9)

(10)

其中,N為n個變量的有向無環(huán)圖的個數(shù),可由式(10)計算得到,S為對n個變量所組成的網(wǎng)絡結構空間的采樣個數(shù),SC為符合特定結構約束的樣本個數(shù).

2.3I-BD-BPSO算法實現(xiàn)

2.1節(jié)將專家經(jīng)驗表示為連接概率分布,2.2節(jié)利用連接概率分布對BD評分進行改進,進而得到I-BD評分,在此基礎上,本節(jié)結合BPSO算法學習BN結構.算法中涉及到的粒子表示、更新及無效結構處理的方法可參考文獻[16].具體流程如算法1.

算法1I-BD-BPSO

Input:數(shù)據(jù)D,專家經(jīng)驗E,BPSO算法相關參數(shù)

1:初始化m個粒子組成的初始種群Q(t),進化代數(shù)t=0;

2:對粒子進行無效結構處理;

3:根據(jù)專家經(jīng)驗E,利用式(9)和(10)計算Jc和Nc;

4:whilet<設定進化代數(shù) do

5:計算每個粒子的I-BD評分;

6:更新局部最優(yōu)和全局最優(yōu);

7:根據(jù)局部最優(yōu)和全局最優(yōu)計算粒子速度;

8:通過粒子速度來更新粒子的位置,進而得到新的粒子;

9:對粒子進行無效結構處理,進而獲得新的種群;

10:t=t+1;

11:end while;

Output:獲得新種群的全局最優(yōu)值

3　基于單調性約束的貝葉斯網(wǎng)絡參數(shù)學習算法

3.1單調性約束模型

一個由n個變量X={X1,X2,…,Xn}組成的貝葉斯網(wǎng)B,不失一般性,設其中的節(jié)點Xi共有ri個取值,其父節(jié)點π(Xi)的取值共有qi個組合.對一固定的j(即父節(jié)點的取值給定時)有:

k1>k2?P(X=k1|π(X)=j)>P(X=k2|π(X)=j)

(11)

假設貝葉斯網(wǎng)B的參數(shù)符合單調性約束,為了推導方便,這里令P(X=k1|π(X)=j)=z1,那么P(X=kn|π(X)=j)=zn,于是由參數(shù)的規(guī)范性和單調性可得:

(12)

3.2先驗分布中超參數(shù)的確定

考慮θ的貝葉斯估計,一般情況下,在計算P(D|θ)時需要對先驗概率P(θ)做一些假設:

假設1：關于不同變量Xi的參數(shù)相互獨立.

假設2：給定一個變量Xi對應于π(Xi)的不同取值的參數(shù)相互獨立.

假設3：P(θij*)是狄利克雷分布,其中θij*由θij1θij2,…，θijr所組成.所以,一般假設先驗分布P(θ)是狄利克雷分布D(α1,α2,…，αr),即

(13)注意狄利克雷分布D(α1,α2,…,αr)的邊緣分布是B(α1,α2),即對于每個參數(shù)θij1或θijr服從B(α1,α2).假設P(θ)為狄利克雷分布D(α1,α2,…,αr)就等于假設關于θ的先驗知識相當于α個虛擬數(shù)據(jù)樣本,其中滿足X=xi的樣本數(shù)為αi.由貝葉斯估計可得:

(14)

式(12)給出了參數(shù)的取值范圍,一般可認為參數(shù)在區(qū)間內服從均勻分布,設參數(shù)θ服從U(θ1,θ2),問題轉化為用B(α1,α2)去等效U(θ1,θ2),即:

(15)

為了解決上述問題,采用二階矩法進行擬合:

(16)

(17)

(18)

通過式(15)到(18)可以求得參數(shù)α1和α2,并將其帶入到式(14)中,從而獲得θ的貝葉斯估計.

3.3MCE算法實現(xiàn)

假設貝葉斯網(wǎng)B的參數(shù)θijk符合單調性約束,θijk中k有n種取值,應用3.1節(jié)的單調性約束模型,結合3.2節(jié)的先驗分布超參數(shù)確定方法,以貝葉斯估計為算法基本框架,進而給出MCE算法流程.如算法2.

算法2MCE

Input:數(shù)據(jù)D,專家經(jīng)驗E

1:根據(jù)專家經(jīng)驗E構建單調性約束模型,令k=1;

2:whilek

3:由式(12)得到參數(shù)的θijk的約束區(qū)間;

4:利用式(15～18)獲取θijk先驗分布的超參數(shù);

5:利用式(14)計算θijk的貝葉斯估計;

6:k=k+1;

7:end while;

Output:符合單調性約束的所有參數(shù)

4　仿真實驗

本文中結構學習和參數(shù)學習過程是分開進行的.首先,利用第2節(jié)提到的結構學習算法學習結構,其次,在結構已知的條件下,利用第3節(jié)的參數(shù)學習算法學習參數(shù).仿真實驗部分由3部分組成:4.1節(jié)驗證結構算法仿真比較、4.2節(jié)驗證參數(shù)學習算法仿真比較、4.3節(jié)利用結構和參數(shù)學習算法構建UAV威脅評估模型.

4.1結構學習算法仿真

圖1給出結構學習部分的仿真模型及專家約束模型:

為了證明在小數(shù)據(jù)集條件下,利用I-BD評分能夠將專家經(jīng)驗引入到貝葉斯結構學習中,進而得到更為準確的網(wǎng)絡結構,本文引入漢明距離和標準的BD評分進行仿真分析.

漢明距離=丟失的邊+反轉的邊+多余的邊

(9)

ScoreBD

(20)

為了說明算法的有效性,在樣本數(shù)為50的條件下,與經(jīng)典的BPSO算法進行比較,分別利用BD評分和漢明距離對兩種算法進行評估,仿真結果如下:

通過對圖2的仿真結果進行分析可知,在小數(shù)據(jù)集條件下,利用I-BD評分學習得到的貝葉斯網(wǎng)絡結構的漢明距離較小,BD評分較高,說明網(wǎng)絡更符合真實網(wǎng)絡,進而證明I-BD-BPSO算法的有效性.

4.2參數(shù)學習算法仿真

使用BN學習中經(jīng)典的草坪濕潤網(wǎng)絡模型進行算法驗證實驗,我們通過專家經(jīng)驗給出網(wǎng)絡中參數(shù)所服從的單調性約束,如式(21)所示.

(21)

將MCE算法與最大似然估計(Maximum Likelihood Estimation,MLE)、保序回歸(Isotonic Regression Estimation,IRE)和凸優(yōu)化(Convex Optimization Estimation,COE)進行對比,采用KL(Kullback-Leibler) 距離反映參數(shù)學習精度.

(22)

本文分別對4種算法所得參數(shù)分布的KL距離進行對比仿真,分別將每種算法運行10次,求取其平均值,仿真結果如圖3所示,圖3(b)是局部放大圖.從圖上可以看出,本文的MCE方法能夠得到最小的KL距離,獲得參數(shù)的準確性最高,保序回歸算法和凸優(yōu)化算法稍差一些,但都要優(yōu)于MLE算法.在樣本數(shù)據(jù)量小于20時,本文算法的優(yōu)勢尤為明顯,而隨著樣本數(shù)的增加,保序回歸算法和凸優(yōu)化與本文算法的差距逐漸減小.

4.3UAV威脅評估建模仿真

4.3.1任務想定

紅方:有人作戰(zhàn)飛機和無人機協(xié)同執(zhí)行對藍方的防空壓制.

藍方:由指揮站和若干防空導彈車組成防空系統(tǒng).

作戰(zhàn)描述:為提高作戰(zhàn)效率,降低作戰(zhàn)成本,紅方采用有人作戰(zhàn)飛機指揮控制無人機的作戰(zhàn)模式對藍方防空力量進行壓制,當無人作戰(zhàn)飛機進入藍方防空區(qū)域一段時間后,受到藍方強電磁干擾,為確保紅方有人作戰(zhàn)飛機的安全,有人作戰(zhàn)飛機必須撤離,由無人機單獨完成對敵防空壓制任務,在執(zhí)行防空壓制任務時需要對藍方目標進行威脅評估,進而為攻擊決策提供支持.

想定中考慮與威脅(T)相關的因素為目標的速度(V)、距離(D)和目標與無人機進入角之和(A),下面對這幾個威脅因素的取值進行解釋.

(1)目標的速度(V):速度特指速度的大小.令無人機速度為Vu,目標的速度的取值為式(23)所示.

(23)

(2)目標的距離(D):目標與無人機之間的距離.距離的取值為式(24)所示.

(24)

(3)目標和無人機的進入角之和(A):目標的速度方向與目標線的夾角和無人機的速度方向與目標線的夾角之和.進入角之和的取值為式(25)所示.

(25)

(4)目標的威脅(T):威脅值大小是對以上3個因素的綜合,目標的威脅取值由式(26)～(30)給出.

T=0.5d+0.3a+0.2v

(26)

(27)

(28)

(29)

(30)

4.3.2仿真過程

在4.3.1節(jié)的任務想定下,利用本文提出I-BD-BPSO算法與MCE算法,實現(xiàn)UAV在與有人機通信中斷后的小數(shù)據(jù)集條件下的威脅評估模型構建,并通過剩余的樣本數(shù)據(jù)進行推理分析,進一步說明本文提出的小數(shù)據(jù)集下的BN學習算法的有效性以及可行性.下面給出具體的仿真條件和仿真方法:

(1)本文仿真工作使用Matlab版本為R2010a,Vc++版本為6.0,運行環(huán)境為操作系統(tǒng)Window XP.

(2)在通信中斷前,有人機實時接收UAV傳來的目標信息,進而進行威脅評估和攻擊決策.實驗中首先對想定過程進行仿真,進而采集相關的實驗數(shù)據(jù),利用式(23)～(30)對相關實驗數(shù)據(jù)進行離散化,實驗中共獲得仿真數(shù)據(jù)1200組,用其中50組作為小數(shù)據(jù)集構建BN模型.

(3)得到威脅評估模型之后應用變量消元法并結合剩余的仿真數(shù)據(jù)進行推理,進而說明小數(shù)據(jù)集條件下本文算法在UAV威脅評估中的可行性.

4.3.3仿真結果

首先,在仿真之前給出專家經(jīng)驗所對應的結構約束如圖4(a),然后,在樣本數(shù)據(jù)為50的條件下構建威脅評估網(wǎng)絡,結果如圖4(b)所示.實驗中令目標威脅節(jié)點為1號節(jié)點,目標距離、目標與無人機的進入角之和、目標速度節(jié)點分別為2、3、4號節(jié)點.

當獲得威脅評估網(wǎng)絡的結構之后,需要確定網(wǎng)絡的參數(shù),下面給出參數(shù)約束:

(31)

(32)

(33)

式(31)～(33)中D={1,2,3}表示D={遠,中,近},V={1,2,3}表示V={慢,中,快},A={1,2}表示A={大,小},T={1,2,3}表示T={低,中,高}.進而得到參數(shù)學習結果如表3所示.

表3　樣本數(shù)量為50時本文算法所得網(wǎng)絡參數(shù)

為了進一步證明算法的有效性和可行性,將所得模型用于威脅評估,通過剩余的1150條樣本數(shù)據(jù)來檢驗BN威脅評估模型的推理準確度,推理算法選擇變量消元法,推理的準確度具體計算過程如下:

(34)

(35)

(36)

其中T表示威脅變量,n為用于檢驗的樣本個數(shù),取值為1150,DataT(j)表示第j條數(shù)據(jù)中的威脅變量的取值,T(j)表示推理算法得到的威脅變量取值.利用式(34)～(36)得η=0.7035.由此可見,小數(shù)據(jù)條件下的BN威脅評估模型能夠很好的對威脅數(shù)據(jù)進行建模.

5　總結

本文提出了一種小數(shù)據(jù)集條件下的BN建模方法,并構建威脅評估模型.仿真結果表明,在小數(shù)據(jù)集條件下,本文提出的建模方法通過結合正確的專家經(jīng)驗,能夠得到較好的結構和參數(shù),進而保證模型的推理精度,為小數(shù)據(jù)集條件下的建模問題提供了一種有效的方法.由于專家經(jīng)驗的正確與否會直接影響到模型的構建,下一步的主要研究當專家提供的約束不完全正確時,如何在約束和數(shù)據(jù)之間取得一個折中,使得算法具有一定的自適應性.

[1]SILANDER T,KONTKANEN P,MYLLYMAKI P.On sensitivity of the map Bayesian network structure to the equivalent sample size parameter[A].David H.Proceedings of the 23rd International Conference on Uncertainly in Artifical Intelligence[C].Vancouer:Springer,2008.360-367.

[2]朱明敏,劉三陽,汪春峰.基于先驗節(jié)點序學習貝葉斯網(wǎng)絡結構的優(yōu)化方法[J].自動化學報,2011,37(12):1514-1519.

ZHU Ming-min,LIU San-yang,WANG Chun-feng.An optimization approach for structural learning Bayesian networks based on prior node ordering[J].Acta Automatica Sinica,2011,37(12):1154-1519.(in Chinese)

[3]COOPER G F,HERSKOVITS E.A Bayesian method for the induction of probabilistic networks from data[J].Machine Learning,1992,9(4):309-347.

[4]BORBOUDAKIS G,TSAMARDINOS I.Incorporating causal prior knowledge as path-constraints in Bayesian networks and maximal ancestral graphs[A].Andrew M.Proceedings of the 29th International Conference on Maching Learning [C].Edinburgh:ACM,2012.28-36.

[5]COMPOSC P,ZENG Z,JI Q.Structure learning of Bayesian networks using constraints[A].Dan R.Proceedings of the 26th International Conference on Maching Learning [C].Montreal:ACM,2009.280-287.

[6]CAMPOSC P,JI Q.Efficient structure learning of Bayesian networks using constraints[J].Journal of Machine Learning Research,2011,12(3):663-689.

[7]吳紅,王維平,楊峰.融合先驗信息的貝葉斯網(wǎng)絡結構學習方法[J].系統(tǒng)工程與電子技術,2012,34(12):2585-2591.

WU Hong,WANG Wei-ping,YANG Feng.Structure learning method of Bayesian network with prior information[J].Systems Engineering and Electronics,2012,34(12):2585-2591.(in Chinese)

[8]ALTENDORF E,RESTICAR A.Learning from sparse data by exploiting monotonicity constraints[A].Max C.Proceedings of the 21st International Conference on Uncertainly in Artifical Intelligence [C].Edinburgh:Springer,2005.18-26.

[9]CAMPOS C P,JI Q.Improving Bayesian network parameter learning using constraints[A].Ejiri M.Proceedings of the 19th International Conference on Pattern Recognition[C].Florida:IEEE,2008.1-4.

[10]NICULESCU R S,MITCHELL T M.Bayesian network learning with parameter constraints[J].Journal of Machine Learning Research,2006,7(1):1357-1383.

[11]LIAO W H,QIANG J.Learning Bayesian network parameters under incomplete data with domain knowledge[J].Pattern Recognition,2009,42(11):3046-3056.

[12]FEELDER A D,VANDERGAGA L.Learning Bayesian networks parameters under order constraints[J].Journal of Approximate Reasoning,2006,42(1):37-53.

[13]任佳,高曉光,茹偉.數(shù)據(jù)缺失的小樣本條件下BN參數(shù)學習[J].系統(tǒng)工程理論與實踐,2011,31(1):172-177.

REN Jia,GAO Xiao-guang,RU Wei.Parameters learning of BN in small sample on data missing[J].Systems Engineering—Theory & Practice,2011,31(1):172-177.(in Chinese)

[14]RUI C,SHOEMAKER R,WANG W.Anovel knowledge-driven systems biology approach for phenotype prediction upon genetic intervention[J].IEEE Transactions on Computational Biology and Bioinformatics,2011,1(8):1170-1181.

[15]YUN Z,FENTON N,NEIL M.Bayesian network approach to multinomial parameter learning using data and expert judgments[J].Journal of Approximate Reasoning,2014,55(2):1252-1268.

[16]高曉光,邸若海,郭志高.基于改進粒子群優(yōu)化算法的貝葉斯網(wǎng)絡結構學習[J].西北工業(yè)大學學報,2014,32(5):749-754.

GAO Xiao-guang,DI Ruo-hai,GUO Zhi-gao.Structure learning of BN based on improved particle swarm optimaziton[J].Journal of Northwest Polytechnical University,2014,32(5):749-754.(in Chinese)

邸若海男,1986年出生于陜西西安.現(xiàn)為西北工業(yè)大學博士研究生.主要研究方向為復雜系統(tǒng)建模和貝葉斯網(wǎng)絡學習.

E-mail:xfwtdrh@163.com

高曉光(通信作者)女,1957年出生于遼寧沈陽.現(xiàn)為西北工業(yè)大學教授,博士生導師.主要研究方向為復雜系統(tǒng)建模及效能評估.

E-mail:cxg2012@nwpu.edu.cn

The Modeling Method with Bayesian Networks and Its Application in the Threat Assessment Under Small Data Sets

DI Ruo-hai,GAO Xiao-guang,GUO Zhi-gao

(SchoolofElectronicandInformation,NorthwesternPolytechnicalUniversity,Xi’an,Shaanxi710129,China)

Bayesian network is one of the main tools for data mining.In such cases as large equipment fault diagnosis,geological disaster forecast,operational decision,etc,good results are expected to achieve based on small data sets.Therefore,this article focuses on the problem of learning Bayesian network from small data sets.Firstly,the structure constraint model based on the probability distribution of the connection was built.Then,the improved-Bayesian Dirichlet-binary particle swarm optimization algorithm was proposed.Secondly,the monotonicity parameter constraint model was defined and the monotonicity constraint estimation algorithm was proposed.Finally,the proposed algorithm was applied to construct the threat assessment model.Then,the model was used for reasoning with the variable elimination method.Experimental results reveal that the structure learning algorithm outperforms classical binary particle swarm optimization algorithm and the parameter learning method surpasses maximum likelihood estimation,isotonic regression and convex optimization method for small data sets.The threat assessment model is also proved to be effective.

Bayesian network;small data sets;binary particle swarm optimization;threat assessment

2014-10-21;修回日期:2015-05-10;責任編輯:覃懷銀

國家自然科學基金(No.60774064,No.61305133);全國高校博士點基金(No.20116102110026);中央高?；究蒲袠I(yè)務費專項基金(No.3102015KY0902,No.3102015BJ(Ⅱ)GH01)

TP18

A

0372-2112 (2016)06-1504-08