郭文強,寇 馨，李夢然，侯勇嚴，肖秦琨

(1.陜西科技大學電子信息與人工智能學院，陜西 西安 710021；2.陜西科技大學陜西省人工智能聯(lián)合實驗室，陜西 西安 710021；3.陜西科技大學電氣與控制工程學院，陜西 西安 710021；4.西安工業(yè)大學電子信息工程學院，陜西 西安 710021)

1 引言

隨著研究人員對貝葉斯網(wǎng)絡BN(Bayesian Network)理論的不斷深入研究，其應用范圍越來越廣泛[1-5]，如故障的診斷[6]、經(jīng)濟領域的預測[7]和醫(yī)學診斷[8]等都可以通過BN來進行參數(shù)學習，但很多時候因數(shù)據(jù)不足導致無法學習到更精確的結果。

當樣本數(shù)據(jù)充足時，最大似然估計法MLE(Maximal Likelihood Estimate)能很好地實現(xiàn)BN參數(shù)估計，但是當樣本數(shù)據(jù)較少時，該算法就不能精確地估計參數(shù)[9]；定性最大后驗概率QMAP(Qualitative Maximum A Posterior)算法對滿足定性約束的參數(shù)集合通過拒絕-接受算法進行虛擬采樣，再將真實數(shù)據(jù)和虛擬數(shù)據(jù)結合估計BN參數(shù)，但拒絕-接受算法以概率分布函數(shù)估計為基礎，而實際問題中BN參數(shù)的概率分布函數(shù)較難估計[10]，限制了該算法的應用。文獻[11]提出了一種單調(diào)約束估計MCE(Monotonic Constraint Estimation)算法，利用單調(diào)約束模型學習參數(shù)，當訓練數(shù)據(jù)不足時，將領域知識引入?yún)?shù)學習過程中，雖然該算法也提高了參數(shù)學習的精度，但實際應用中單調(diào)約束的假設不易給定。文獻[12]提出了一種基于定性知識和進化策略的約束參數(shù)進化學習算法。首先在BN參數(shù)學習過程中引入定性知識，以縮小參數(shù)搜索空間；然后引入進化策略，避免結果陷入局部最優(yōu)。但是，該算法在解決參數(shù)優(yōu)化問題時存在收斂結果不穩(wěn)定的缺陷。

為了克服以上算法的缺陷，并且更好地解決樣本數(shù)據(jù)較少時參數(shù)學習的問題，同時能夠在實際應用中更方便地估計參數(shù)，并得到穩(wěn)定的參數(shù)學習結果，本文提出一種基于變權重融合的BN參數(shù)學習VWPL(Variable Weight Parameter Learning)算法，首先根據(jù)小樣本數(shù)據(jù)量的變化，設計了調(diào)整樣本數(shù)據(jù)和定性約束擴展參數(shù)的權重系數(shù)；然后進行變加權融合計算得出BN參數(shù)學習結果，解決了在小數(shù)據(jù)集情況下貝葉斯網(wǎng)絡參數(shù)學習的問題。

2 相關理論知識

2.1 最大似然估計

在樣本數(shù)據(jù)充足的情況下，研究人員通常采用最大似然估計(MLE)算法來學習BN參數(shù)。MLE算法的本質(zhì)是計算似然函數(shù)取最大值時的參數(shù)取值[13]，可表示為式(1)所示：

(1)

其中，Di表示樣本數(shù)據(jù)集，n為數(shù)據(jù)集個數(shù)，θ表示貝葉斯網(wǎng)絡的參數(shù)。

貝葉斯網(wǎng)絡模型的參數(shù)估計可表示為式(2)所示：

θijk=P(Xi=k|Pa(Xi)=j)

(2)

其含義是在第i個節(jié)點Xi的父節(jié)點Pa(Xi)取值為第j個組合狀態(tài)的條件下，Xi取值為k時的條件概率參數(shù)的取值[14]。在實際應用中，可以用式(3)估計每個參數(shù)的最大似然估計：

(3)

當樣本數(shù)據(jù)很少時，式(3)就會出現(xiàn)Nij接近于0的情況，為了避免這種情況對式(3)做一些修正，如式(4)所示：

(4)

其中，η為一個接近于零的很小的常數(shù)，c=qi·ri，qi表示第i個節(jié)點的父節(jié)點變量的取值數(shù)，ri表示第i個節(jié)點的子節(jié)點變量的取值數(shù)。

2.2 小數(shù)據(jù)集閾值

在進行參數(shù)學習時，學習模型的最小樣本數(shù)據(jù)集閾值確定如式(5)[15]所示：

(5)

其中，M表示所需最小數(shù)據(jù)集數(shù)量；λ表示度量網(wǎng)絡結構中變量的概率分布的偏度系數(shù)；d表示最大父節(jié)點數(shù)；ε表示KL(Kullback-Leibler)誤差；N表示網(wǎng)絡節(jié)點數(shù)；K表示網(wǎng)絡節(jié)點最大狀態(tài)數(shù)；δ表示網(wǎng)絡置信度。

2.3 KL散度

參數(shù)學習算法得到的估計結果與真實結果之間的差別可以用作評判參數(shù)學習結果的測度。本文采用KL散度來衡量BN參數(shù)估計方法的精度，其定義如式(6)[16]所示：

(6)

其中,θijk代表真實參數(shù)結果，θ′ijk代表BN參數(shù)學習得到的參數(shù)結果。θ′ijk與θijk越接近，KL散度越小，說明此參數(shù)學習方法得出的結果精度越高。

3 BN參數(shù)學習及變權重融合

3.1 BN參數(shù)學習

貝葉斯網(wǎng)絡(BN)參數(shù)學習是在已知貝葉斯網(wǎng)絡拓撲結構的前提下，利用專家先驗知識和訓練樣本數(shù)據(jù)[17]，來確定模型中相關變量間的條件概率分布的過程。

如圖1所示為BN參數(shù)學習的基本過程。實線框①表示由BN1模型(其中,G1表示BN結構，θ1表示其參數(shù))可得到觀測樣本數(shù)據(jù)集{D11,D12,…,D1h,Dp}；同理，由模型BN2(其中,G2表示BN結構，θ2表示參數(shù))可得到觀測數(shù)據(jù)集{D21,D22,…,D2f,Dp}。當樣本數(shù)據(jù)集較小時，BN1與BN2模型會有一定的概率得到相同的數(shù)據(jù)集Dp。虛線框②表示當獲得的數(shù)據(jù)足夠充足時，BN1模型將得到的樣本數(shù)據(jù)集{D11,D12,…,D1h,Dp}利用參數(shù)學習算法(如MLE算法)學到參數(shù)θ′1；同理，通過由模型BN2得到的數(shù)據(jù)集{D21,D22,…D2f,Dp}利用參數(shù)學習算法也可估計出參數(shù)θ′2。隨著樣本數(shù)據(jù)量不斷增加，每次通過樣本數(shù)據(jù)集學習出的相應的參數(shù)會越來越接近真實參數(shù)，并當學習用的樣本數(shù)據(jù)足夠充足時，學習出的BN參數(shù)會收斂于真實參數(shù)。

Figure 1 BN parameter learning 圖1 BN參數(shù)學習

3.2 加權影響

結合2種或2種以上數(shù)據(jù)集來進行BN參數(shù)學習，既能夠避免僅使用單一數(shù)據(jù)集導致數(shù)據(jù)信息利用不充分的缺點，又能提高參數(shù)學習的精度。但是，結合多種數(shù)據(jù)集進行參數(shù)加權估計時，每種數(shù)據(jù)集所占的權重對結果也會產(chǎn)生影響，而權重可分為固定權重和變化權重2種類型[18]。在參數(shù)估計過程中，若每種數(shù)據(jù)集的權重系數(shù)因某種規(guī)則變化則稱之為變權重算法VWPL，反之則為不變權重即定權重算法FWPL(Fixed Weight Parameter Learning)。

3.3 變權重融合

融合模型是一種形式框架，是對從多個信息源獲取的數(shù)據(jù)或信息進行關聯(lián)，并對其估計結果進行持續(xù)精煉的過程，同時也是信息處理過程中不斷自我修正，以獲得結果的改善的一個過程。

本文選擇變權重融合框架作為目標融合領域(BN約束知識和樣本數(shù)據(jù))和目標評估領域(BN參數(shù)學習)的估計模型，主要基于以下考慮：信息融合具有一定的容錯性，對所采用的樣本數(shù)據(jù)和約束信息進行加權組合，調(diào)節(jié)權重，而不會破壞整個估計模型的正確性；同時，它自然地解決了統(tǒng)計模型中參數(shù)適應性問題，即根據(jù)樣本數(shù)據(jù)量的大小調(diào)節(jié)權重，滿足約束知識和樣本數(shù)據(jù)的融合性?；谧儥嘀厝诤线M行參數(shù)學習的基本思想是根據(jù)數(shù)據(jù)量的變化情況，不斷調(diào)整參數(shù)估計中各種學習數(shù)據(jù)集的權重系數(shù)，然后加權融合確定出最終參數(shù)估計結果。圖2所示為本文所使用的變權重融合框架的示意圖。

Figure 2 Diagram of variable weight fusion framework圖2 變權重融合框架示意圖

基于加權融合的參數(shù)學習問題可以轉(zhuǎn)化為形如式(7)和式(8)所示的問題：

(7)

(8)

其中,ωi(t)為權重系數(shù)，θijk(ωi(t))為ωi(t)對應的BN參數(shù)集合，m，L∈N。

又由文獻[19]可知,BN參數(shù)估計可由式(9)表示：

θ=(1-ω)·θprior+ω·θdata

(9)

其中，θprior表示由先驗知識得到的參數(shù)集，θdata表示由樣本數(shù)據(jù)集得到的參數(shù)集，ω表示參數(shù)集的權重因子，θ表示最終的參數(shù)學習結果。

分析可知，在小樣本情況下進行BN參數(shù)學習時，隨著樣本數(shù)據(jù)量的變化會學習得到不同的參數(shù)。體現(xiàn)在式(9)中，若學習了q次，就有q個變化的權重因子，即權重ω隨之在0～1相應發(fā)生變化，且當ω=0，即無樣本數(shù)據(jù)時，參數(shù)估計可借由專家先驗知識獲得；而當樣本量足夠充分時，此時ω=1，參數(shù)估計僅由樣本數(shù)據(jù)本身統(tǒng)計量來決定。

因此，本文選擇基于變權重融合的方法來進行BN參數(shù)學習，通過先計算樣本數(shù)據(jù)和約束擴展參數(shù)集的權重，再求出加權融合后的參數(shù)估計值。由于隨著數(shù)據(jù)量的變化，權重可以作出相應的調(diào)整，從而能獲得更好的參數(shù)學習效果。

4 基于變權重融合的BN參數(shù)學習算法

本文提出的小數(shù)據(jù)集情況下基于變權重融合的BN參數(shù)學習(VWPL)算法的流程圖如圖3所示。

Figure 3 Flow chart of VWPL algorithm圖3 VWPL算法流程圖

VWPL的主要步驟如下所示：

步驟1建立參數(shù)學習模型結構(包括貝葉斯網(wǎng)絡模型的節(jié)點和有向邊)；

步驟2由式(5)獲取計算參數(shù)學習模型所需的最小樣本數(shù)據(jù)集閾值M；

步驟3根據(jù)專家先驗知識確定出該參數(shù)學習模型的不等式約束條件Ω；

步驟5通過Bootstrap方法[20]進行參數(shù)擴展得到Q組滿足約束條件Ω的候選參數(shù)集θijk(Ω)；

步驟6有關基于變權重融合的貝葉斯網(wǎng)絡參數(shù)計算可方便地描述為式(10)，據(jù)此再去確定出合適的權重因子ω來分配樣本數(shù)據(jù)集與約束擴展參數(shù)集對參數(shù)學習方法學習結果信任度的指標。

(10)

其中，θdata表示樣本數(shù)據(jù)參數(shù)集，θconstraintextension表示約束擴展參數(shù)集，θestimate為最終參數(shù)學習結果。

步驟7設計變權重因子ω如式(11)所示：

(11)

其中，D為樣本量，σ=D/M，其含義是通過樣本量與最小樣本數(shù)據(jù)集閾值的比值來反映樣本數(shù)據(jù)量的規(guī)模。

步驟9根據(jù)式(12)的BN變權重參數(shù)計算模型來進行加權融合計算得出最終的參數(shù)學習結果。

(12)

其中s表示樣本。

分析可知：在式(11)中，若數(shù)據(jù)量D趨向于+∞，則ω近似等于1，此時利用式(12)進行參數(shù)估計的結果依賴于樣本數(shù)據(jù)本身的數(shù)據(jù)量，其結果趨向于MLE算法估計的結果；若數(shù)據(jù)量接近于0，則ω近似等于0，此時參數(shù)估計結果傾向于由約束擴展參數(shù)集獲得，即依賴于先驗知識；隨著學習參數(shù)集總數(shù)的逐漸變化，可調(diào)整約束擴展參數(shù)集和樣本數(shù)據(jù)集各自所占的權重因子比重。綜上所述，由基于變權重融合的BN參數(shù)學習算法(式(12))來估計參數(shù)能夠有效提高參數(shù)估計的精度。

5 實驗與結果分析

通過以下實驗來驗證本文所提算法在小數(shù)據(jù)集情況下進行參數(shù)學習的可行性。首先用Asia網(wǎng)絡模型在模擬數(shù)據(jù)上分別采用MLE算法、QMAP算法、定權重算法(FWPL)和本文算法(VWPL)進行BN參數(shù)學習對比分析。然后，將VWPL算法應用于軸承故障診斷實驗。本次實驗程序通過Matlab R2014a編程完成，仿真實驗平臺為Windows 7系統(tǒng)，處理器為Intel(R)Celeron(R)CPU 1.60 GHz。

5.1 模擬數(shù)據(jù)BN參數(shù)學習實驗設置

Asia網(wǎng)絡模型是驗證BN參數(shù)學習算法的經(jīng)典模型之一，圖4為該模型的結構。

Figure 4 Structure of Asia network model圖4 Asia網(wǎng)絡模型結構

該網(wǎng)絡共有8個節(jié)點，分別是：節(jié)點A(訪問亞洲)、節(jié)點S(吸煙)、節(jié)點T(肺結核)、節(jié)點L(肺癌)、節(jié)點B(支氣管炎)、節(jié)點O(肺結核或者肺癌)、節(jié)點X(X射線結果)和節(jié)點H(呼吸困難)。以對節(jié)點H進行參數(shù)學習為例，參數(shù)事件集合如表1所示。其中，事件取1時表示事件為假，2表示事件為真。表2為由專家經(jīng)驗部分知識得到的概率參數(shù)P(H|O,B)所滿足的約束條件Ω。

Table 1 Parameter event sets表1 參數(shù)事件集合

在表2中，T1>T2表示在“未患肺結核或肺癌且無支氣管炎”這一條件下“呼吸困難”為“不發(fā)生”的概率大于在“未患肺結核或肺癌但患有支氣管炎”這一條件下“呼吸困難”為“不發(fā)生”的概率，本文將其稱為約束條件1，即C1。以此類推可得其余13個約束條件。上述約束條件1～約束條件14的約束集合是符合大眾認知范圍的合理客觀規(guī)律。

Table 2 Sets of constraints satisfied by the probability parameter P(H|O,B)表2 概率參數(shù)P(H|O,B)所滿足的約束集合

5.2 模擬數(shù)據(jù)上的實驗結果分析

本實驗中Asia模型進行參數(shù)學習所需的最小樣本數(shù)據(jù)量可根據(jù)式(5)計算得到，其中，λ取1.85，d為2，ε取0.05，N為8，K為2，δ取0.01，得出M近似等于50。用于參數(shù)學習的總數(shù)據(jù)集個數(shù)設置為500。

5.2.1 本文算法與MLE及QMAP算法的對比

在樣本數(shù)量為50組的條件下，分別用MLE、QMAP和VWPL算法學習節(jié)點H的參數(shù)。圖5所示為3種算法學習15次得到的估計參數(shù)與真實參數(shù)間KL散度取平均值的對比情況。

Figure 5 KL divergence comparison of three algorithm with 1～50 groups of samples圖5 1～50組樣本數(shù)量下3種算法KL散度對比

在樣本數(shù)量相對充足時，實驗中取200組樣本，3種算法學習節(jié)點H參數(shù)的KL散度對比如圖6所示。

Figure 6 KL divergence comparison of three algorithms with 1～200 groups of samples圖6 1～200組樣本數(shù)量下3種算法KL散度對比

實驗結果表明：

(1)在50組樣本數(shù)據(jù)情況下，MLE的KL散度較大，QMAP和VWPL具有明顯優(yōu)勢。隨著樣本數(shù)量的不斷增加，MLE的KL散度值逐漸減小，但總體上始終還是高于QMAP和VWPL的，QMAP的KL散度的變化趨勢不明顯；在樣本數(shù)量為5～10時，VWPL的KL散度曲線與QMAP的KL散度曲線相交，而后VWPL的KL散度總體繼續(xù)呈一定的下降趨勢，說明了其在小數(shù)據(jù)集情況下的大多數(shù)情形中進行BN參數(shù)估計的優(yōu)越性。原因是隨著數(shù)據(jù)量的增加VWPL在不斷變化權重以進行加權融合估計。

(2)在200組樣本數(shù)據(jù)下，QMAP的KL散度仍基本上保持不變，而VWPL和MLE的KL散度一直呈逐漸下降趨勢。因為MLE在樣本量相對充足時參數(shù)估計的結果會比較好，所以在本實驗中隨著樣本量逐漸增加，MLE在樣本量為134左右時，其KL散度開始低于VWPL的并基本趨于穩(wěn)定不變，但VWPL的KL散度也隨著樣本量的增加一直在不斷減小并逐漸趨近于MLE的，說明了VWPL算法在樣本量相對充足時依然具有一定的可行性。

綜上所述，VWPL算法在小數(shù)據(jù)集情況下的參數(shù)學習精度較MLE和QMAP更具優(yōu)勢，且在樣本數(shù)據(jù)相對充足時依然可行，本文算法能隨著數(shù)據(jù)量的變化調(diào)整權重因子，不斷提高參數(shù)學習的精度。

5.2.2 本文算法與定權重算法的對比

在5.2.1節(jié)實驗1基礎上，增加定權重條件下的算法(FWPL)來學習節(jié)點H的參數(shù)與VWPL進行對比，進一步來驗證本文算法的優(yōu)越性。本節(jié)選擇了3組固定權重(分別是0.1,0.5和0.7)進行實驗，50組樣本數(shù)量下其KL散度對比圖如圖7a～圖7c所示，200組樣本數(shù)量下其KL散度對比圖如圖8a～圖8c所示。

由實驗結果得出：(1)當ω<0.5時，不管是在50組還是200組樣本數(shù)量下進行實驗，F(xiàn)WPL得到的KL精度估計結果相較于VWPL都較差；(2)當ω=0.7時，50組樣本量時的定權重參數(shù)估計已經(jīng)接近于變權重估計的KL精度，但200組樣本量時的變權重參數(shù)估計的KL精度仍優(yōu)于定權重參數(shù)估計的；(3)從上述實驗結果對比可看出，要想同時讓小數(shù)據(jù)集上和相對充足數(shù)據(jù)集上的KL精度都達到較好的參數(shù)學習效果，VWPL算法有著更明顯的優(yōu)勢。

Figure 7 KL divergence comparison between VWPL and FWPL with 1～50 groups of samples圖7 1～50組樣本數(shù)量下變權重與定權重算法的KL散度對比

Figure 8 KL divergence comparison between VWPL and FWPL with 1～200 groups of samples圖8 1～200組樣本數(shù)量下變權重與定權重算法的KL散度對比

通過與定權重算法的實驗對比可知，本文算法在小樣本數(shù)據(jù)集或相對充足樣本數(shù)據(jù)情況下都具有一定的可行性和優(yōu)越性。

5.3 本文算法在軸承故障診斷中的應用實驗

在現(xiàn)實生產(chǎn)過程中，特別是在需要診斷設備故障時，有時很難獲取足夠的模型訓練所需的故障數(shù)據(jù)。本次實驗使用了文獻[21]的軸承故障診斷模型以及469條特征數(shù)據(jù)進行本文參數(shù)學習算法的驗證。實驗中所采用的原始數(shù)據(jù)源于美國Case Western Reserve University軸承故障模擬實驗中心，他們采用破壞性實驗獲取了數(shù)量相對充足的典型軸承故障類型的監(jiān)測數(shù)據(jù)。

5.3.1 實驗條件設置

軸承診斷BN模型中共有9個節(jié)點[21]，1個父節(jié)點和8個子節(jié)點。診斷每種故障類型時的概率置信度取0.7。參數(shù)學習總備選數(shù)據(jù)集個數(shù)為500，根據(jù)專家經(jīng)驗可以得到8條參數(shù)約束條件。故障診斷實驗過程首先是根據(jù)領域?qū)＜医?jīng)驗實現(xiàn)BN模型的結構建模，再分別在小數(shù)據(jù)集(45組樣本量)和相對充足數(shù)據(jù)(200組樣本量)這2個實驗數(shù)據(jù)條件下利用本文算法進行參數(shù)學習，在構建好故障診斷推理模型之后，再利用269組數(shù)據(jù)在已建好的模型上選用經(jīng)典有效的聯(lián)合樹算法進行軸承的各種典型故障推理診斷實驗來驗證本文算法的可行性。

5.3.2 診斷推理實驗結果

表3和表4是分別利用45組和200組特征數(shù)據(jù)進行建模，然后再用269組特征數(shù)據(jù)診斷推理的結果。

Table 3 Modeling and reasoning accuracy results of VWPL on 45 groups of data表3 45組數(shù)據(jù)上變權重算法建模推理正確率結果

Table 4 Modeling and reasoning accuracy results of VWPL on 200 groups of data表4 200組數(shù)據(jù)上變權重算法建模推理正確率結果

實驗結果表明：本文算法在小數(shù)據(jù)集上進行建模推理時，對滾動體故障狀態(tài)及外圈故障狀態(tài)診斷的效果略差于相對充足數(shù)據(jù)集上的建模推理結果。整體上其診斷正確率較高，表明了本文算法在小數(shù)據(jù)集情況下進行參數(shù)學習的可行性和有效性。

6 結束語

本文提出的BN變權重學習算法在小數(shù)據(jù)集上進行BN參數(shù)學習時，能夠隨著數(shù)據(jù)量的變化不斷調(diào)整樣本量和定性約束參數(shù)的權重，進而優(yōu)化參數(shù)學習的結果，提高了學習精度。將該算法應用在故障診斷中的實驗結果也展現(xiàn)出其可行性和實用性。該算法為在智能決策系統(tǒng)中，尤其是小數(shù)據(jù)集情況下進行建模與推理提供了一條有效的途徑。