鹿 浩，張鴻洲,2*，鐘 寒，宿亞杰，石晶瑩

(1.中國人民公安大學(xué)信息網(wǎng)絡(luò)安全學(xué)院，北京 100038；2.中國人民公安大學(xué)公共安全風(fēng)險(xiǎn)防控教育部工程研究中心，北京 100038; 3.大連市公安局中山分局，大連 116001)

近年來，貝葉斯網(wǎng)絡(luò)模型已經(jīng)成為不確定知識推理的重要工具[1]，由于貝葉斯網(wǎng)絡(luò)模型具有表達(dá)能力強(qiáng)、可讀性強(qiáng)等特點(diǎn)，目前廣泛應(yīng)用于態(tài)勢感知[2-3]、犯罪分析[4]、意圖識別[5]、故障診斷[6]、決策支持[7]、風(fēng)險(xiǎn)分析[8]等多個(gè)領(lǐng)域中。貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)是模型構(gòu)建的重要環(huán)節(jié)，實(shí)質(zhì)上就是確定給定結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)的條件概率表(conditional probability table, CPT)[9]。

目前應(yīng)用較為廣泛的參數(shù)學(xué)習(xí)方法有最大似然估計(jì)法(maximum likelihood estimation, MLE)、最大期望法(expectation maximization, EM)、最大后驗(yàn)概率法(maximum a posterior, MAP)、貝葉斯估計(jì)法等[10]。上述方法是基于觀測數(shù)據(jù)學(xué)習(xí)獲取參數(shù)的方法，在數(shù)據(jù)量充足情況下可以得到較為準(zhǔn)確的參數(shù)，但是在實(shí)際情況中大多數(shù)領(lǐng)域往往無法獲取大量高質(zhì)量數(shù)據(jù)，當(dāng)數(shù)據(jù)集較小的情況下，所得參數(shù)與實(shí)際存在較大誤差。

為解決上述問題，大量研究在小數(shù)據(jù)集的參數(shù)學(xué)習(xí)過程中引入專家先驗(yàn)知識。專家先驗(yàn)知識是經(jīng)過大量實(shí)踐所得到的經(jīng)驗(yàn)，是人對某個(gè)特定領(lǐng)域相關(guān)問題學(xué)習(xí)的結(jié)果。文獻(xiàn)[11]提出在貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的過程中根據(jù)領(lǐng)域知識確定各個(gè)節(jié)點(diǎn)在其父節(jié)點(diǎn)取值確定時(shí)的參數(shù)單調(diào)性，并將單調(diào)性約束轉(zhuǎn)化為虛擬樣本結(jié)合數(shù)據(jù)進(jìn)行參數(shù)學(xué)習(xí)。文獻(xiàn)[12]提出將專家對節(jié)點(diǎn)間條件概率看作正態(tài)分布，然后采用貝葉斯最大后驗(yàn)概率方法進(jìn)行參數(shù)學(xué)習(xí)。文獻(xiàn)[13]對專家知識進(jìn)行蒙特卡洛抽樣轉(zhuǎn)化為樣本結(jié)合數(shù)據(jù)集進(jìn)行貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)中。文獻(xiàn)[14]將參數(shù)學(xué)習(xí)轉(zhuǎn)化為似然函數(shù)優(yōu)化問題并采用凸約束方法進(jìn)行求解。文獻(xiàn)[15]針對連續(xù)節(jié)點(diǎn)離散化的問題，使用云模型將定量樣本轉(zhuǎn)化為定性樣本用于參數(shù)學(xué)習(xí)，為定量樣本參數(shù)學(xué)習(xí)提出新的學(xué)習(xí)方法。文獻(xiàn)[16]針對不完整數(shù)據(jù)集的貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)，在對相關(guān)參數(shù)的范圍進(jìn)行了約束，提高了參數(shù)學(xué)習(xí)的精度。文獻(xiàn)[17]將專家先驗(yàn)和單調(diào)性約束進(jìn)行融合進(jìn)行參數(shù)學(xué)習(xí)，提高了專家知識的利用率。

綜合上述文獻(xiàn)，大量研究已經(jīng)注意到在使用現(xiàn)有數(shù)據(jù)學(xué)習(xí)的同時(shí)，需要結(jié)合領(lǐng)域內(nèi)專家的相關(guān)知識，專家知識的表示方法可以呈現(xiàn)為多種形式。在構(gòu)建貝葉斯網(wǎng)絡(luò)模型的過程中專家知識的表示方法包括正態(tài)分布[12]、單調(diào)性約束[16]和蒙特卡洛采樣[13]等方法，但是領(lǐng)域內(nèi)單一專家的知識由于專家掌握程度不同，存在片面性和主觀性強(qiáng)的問題。

在解決復(fù)雜問題求解過程中知識片面問題中，主要方法有群體研討和D-S證據(jù)理論等。群體研討[18-20]是解決復(fù)雜問題求解過程的重要方法之一，在問題討論的過程中需要將復(fù)雜問題分解為多個(gè)子問題分階段進(jìn)行討論，研究的過程需要設(shè)計(jì)研究規(guī)則和安排研討協(xié)調(diào)員，且專家在研討的過程中需要同時(shí)在線，無法分開采集專家知識。D-S證據(jù)理論[21-22]在解決爭議問題中具有較強(qiáng)的優(yōu)勢，能夠?qū)σ延凶C據(jù)進(jìn)行合成，綜合考慮來自多源的不確定信息。

為了解決貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)過程中采用單一專家知識主觀性較強(qiáng)的問題，提升領(lǐng)域?qū)＜抑R利用率?，F(xiàn)提出基于D-S證據(jù)理論的專家綜合知識進(jìn)行融合，將融合得到的先驗(yàn)知識轉(zhuǎn)化為狄利克雷分布的超參數(shù)，最后采用最大后驗(yàn)概率法進(jìn)行參數(shù)學(xué)習(xí)。在該方法中，采用D-S證據(jù)理論將多專家知識進(jìn)行融合能夠降低單一專家對知識片面性理解造成的誤差，并且能夠一定程度上克服數(shù)據(jù)量小、學(xué)習(xí)參數(shù)不精確等問題。

1 相關(guān)理論基礎(chǔ)

1.1 貝葉斯網(wǎng)絡(luò)

貝葉斯網(wǎng)絡(luò)又稱信念網(wǎng)絡(luò)、因果網(wǎng)絡(luò)，最早于18世紀(jì)由貝葉斯提出，20世紀(jì)Pearl將其引入人工智能領(lǐng)域。貝葉斯網(wǎng)絡(luò)結(jié)合了圖論與概率論的特點(diǎn)，能夠表達(dá)不確定知識進(jìn)行推理并可視化展示。

貝葉斯網(wǎng)絡(luò)模型的核心是貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)和各節(jié)點(diǎn)之間的條件概率。一般情況下可將貝葉斯網(wǎng)絡(luò)模型記作N=。

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)有向無環(huán)圖(directed acyclic graph，DAG)，節(jié)點(diǎn)位置以及節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系記作G，各節(jié)點(diǎn)的參數(shù)表示節(jié)點(diǎn)之間的依賴程度記作θ，學(xué)習(xí)參數(shù)θ的過程稱作參數(shù)學(xué)習(xí)。

貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)是在貝葉斯網(wǎng)絡(luò)模型結(jié)構(gòu)確定的情況下，通過觀測數(shù)據(jù)通過計(jì)算獲取各節(jié)點(diǎn)條件概率的過程。設(shè)一個(gè)包含n個(gè)節(jié)點(diǎn)的貝葉斯網(wǎng)絡(luò)模型X。對于其中任一節(jié)點(diǎn)Xi，該節(jié)點(diǎn)狀態(tài)數(shù)為ri，其父節(jié)點(diǎn)狀態(tài)數(shù)為qi。則節(jié)點(diǎn)Xi的參數(shù)表示為

θijk=P[Xi=k|π(Xi)=j]

(1)

1.2 D-S證據(jù)理論

定義1(識別框架) 給定一問題域Q，設(shè)非空集合Θ={θ1,θ2,…,θN}，對于問題域中任一命題A，其基本概率分配均屬于冪集2Θ。

定義2(基本概率分配) 給定識別框架Θ，概率質(zhì)量(mass)函數(shù)滿足以下條件：

m(?)=0

(2)

(3)

定義3(信任函數(shù)) 給定識別框架Θ，mass函數(shù)的信任函數(shù)定義為

(4)

定義4(似然函數(shù)) 給定識別框架Θ，mass函數(shù)的似然函數(shù)定義為

(5)

定義5(證據(jù)合成規(guī)則) Dempster合成規(guī)則(dempster’s combinational rule)也稱證據(jù)合成公式。對于?A?Θ，Θ上的兩個(gè)mass函數(shù)m1、m2的合成規(guī)則為

(6)

定義6(歸一化常數(shù)) 定義為

(7)

2 融合專家綜合知識的貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)方法

提出一種融合專家綜合知識的參數(shù)學(xué)習(xí)方法，將來自領(lǐng)域內(nèi)多位專家的知識進(jìn)行融合，采用正態(tài)分布表示合成后的專家知識，并結(jié)合數(shù)據(jù)集進(jìn)行參數(shù)學(xué)習(xí)獲取貝葉斯網(wǎng)絡(luò)模型參數(shù)，流程圖如圖1所示。

2.1 專家知識收集與綜合

貝葉斯網(wǎng)絡(luò)模型中任意一組節(jié)點(diǎn)之間均存在條件概率，將一組節(jié)點(diǎn)的條件概率取值視為一個(gè)問題域Q，對于問題域Q中節(jié)點(diǎn)取值的每種情況構(gòu)建一個(gè)識別框架Θ。

針對給定的問題域Q，收集相關(guān)領(lǐng)域內(nèi)n位專家先驗(yàn)知識，專家根據(jù)其對問題域Q的了解情況，個(gè)性化確定其識別框架Θi，并給出相關(guān)知識，每位專家的知識用一個(gè)mass函數(shù)表示，收集并形成專家知識集，記作

M={m1(Θ1),m2(Θ2),…,mn(Θn)}

(8)

在式(6)和式(7)的基礎(chǔ)上將證據(jù)合成公式進(jìn)行推廣，得到多個(gè)mass函數(shù)合成規(guī)則，即

(9)

(10)

將專家綜合知識使用證據(jù)合成公式進(jìn)行合成，獲得專家綜合先驗(yàn)知識m。

2.2 專家綜合知識表示

將問題域Q中識別框架Θ對應(yīng)的專家綜合知識表示為正態(tài)分布[12],記作

(11)

式(11)中：m為合成后的專家綜合先驗(yàn)知識，為正態(tài)分布的期望；σ為正態(tài)分布的均方差。

將專家知識正態(tài)分布轉(zhuǎn)化成為狄利克雷分布的超參數(shù)用于參數(shù)學(xué)習(xí)，使用狄利克雷分布的邊緣分布Beta分布逼近正態(tài)分布。采用期望相等、方差和位置差值最小的方式進(jìn)行逼近。

(12)

min{[(DB-DM)2+(LB-LM)2]}

(13)

式中：α、β為Beta分布的參數(shù)；EB、EM、LB、LM、DB、DM分別為Beta分布和正態(tài)分布的期望、位置和方差。求解式(12)、式(13)獲得Beta分布的參數(shù)。

2.3 融合專家綜合知識參數(shù)學(xué)習(xí)

將所得Beta分布的參數(shù)值作為貝葉斯最大后驗(yàn)估計(jì)方法中的專家先驗(yàn)知識，結(jié)合已有樣本數(shù)據(jù)進(jìn)行貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)，如式(14)所示。

(14)

式(14)中：Nijk為樣本中節(jié)點(diǎn)i取值為k且父節(jié)點(diǎn)取值為j的統(tǒng)計(jì)值；αijk為求解獲得的Beta分布超參數(shù)。

3 仿真分析

以貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)常用數(shù)據(jù)集草坪濕潤模型為例，對本文算法進(jìn)行仿真實(shí)驗(yàn)。由于草坪濕潤模型中各節(jié)點(diǎn)之間關(guān)系為常識，仿真過程中所采用的專家知識為3名對相關(guān)情況具有豐富經(jīng)驗(yàn)的專家實(shí)際指定，正態(tài)分布方差為σ2=0.155。

3.1 仿真內(nèi)容

選擇經(jīng)典草坪濕潤模型作為目標(biāo)模型進(jìn)行貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)。草坪濕潤模型包含4個(gè)節(jié)點(diǎn)和4條邊(圖2)。模型中各個(gè)節(jié)點(diǎn)均有TRUE和FALSE兩種取值，采用1代表TRUE，0代表FALSE，網(wǎng)絡(luò)模型的真實(shí)參數(shù)如表1所示。

圖2 草坪濕潤貝葉斯網(wǎng)絡(luò)模型

表1 草坪濕潤模型真實(shí)參數(shù)表

3.2 結(jié)果分析

分別使用最大似然估計(jì)法、貝葉斯估計(jì)法、一致先驗(yàn)最大后驗(yàn)概率法和本文所述方法在10數(shù)據(jù)、20數(shù)據(jù)、30數(shù)據(jù)、40數(shù)據(jù)和50數(shù)據(jù)的情況下進(jìn)行參數(shù)學(xué)習(xí)。通過比較各種方法在不同小數(shù)據(jù)集的情況下的K-L散度和歐式距離驗(yàn)證本文方法的性能。

K-L散度(Kullback-Leibler divergence)又稱相對熵，在人工智能領(lǐng)域常用于衡量兩種概率分布之間的差異情況。歐式距離是進(jìn)行相似性度量的一種常見衡量指標(biāo)，表示二者在歐式空間中的距離。K-L散度值和歐式距離越小，證明學(xué)習(xí)所用方法與實(shí)際參數(shù)之間的差距越小，準(zhǔn)確度越高。

為了降低實(shí)驗(yàn)過程產(chǎn)生的誤差，4種方法在不同數(shù)據(jù)量的情況下分別重復(fù)測試10次，并取結(jié)果的平均值進(jìn)行分析。由圖3和圖4可以看出，本文方法在10、20、30、50數(shù)據(jù)量的情況下參數(shù)學(xué)習(xí)精度明顯優(yōu)于最大似然估計(jì)法、貝葉斯估計(jì)法和一致先驗(yàn)最大后驗(yàn)概率法。在40數(shù)據(jù)量的情況下，本文方法與貝葉斯估計(jì)法和一致先驗(yàn)最大似然估計(jì)法學(xué)習(xí)所得參數(shù)精度稍高。

圖4 不同數(shù)據(jù)量下草坪濕潤模型K-L散度

為了進(jìn)一步分析本文方法的參數(shù)學(xué)習(xí)精度，將4種方法在50數(shù)據(jù)量下各個(gè)節(jié)點(diǎn)的條件概率值與真實(shí)值之間的K-L散度和歐式距離進(jìn)行分析，如圖5所示。

圖5 50數(shù)據(jù)量下草坪濕潤模型參數(shù)學(xué)習(xí)結(jié)果

由圖5可以看出，4種方法進(jìn)行參數(shù)學(xué)習(xí)所得結(jié)果中，本文方法與其他方法相比，歐式距離明顯減小，學(xué)習(xí)所得參數(shù)與實(shí)際情況的歐式距離的接近0。通過上述實(shí)驗(yàn)結(jié)果表明，本文方法相較其他方法能夠在貝葉斯參數(shù)學(xué)習(xí)結(jié)合專家綜合知識的前提下通過已有數(shù)據(jù)進(jìn)行補(bǔ)正，并且參數(shù)學(xué)習(xí)結(jié)果的準(zhǔn)確度有明顯提升。

3.3 實(shí)例驗(yàn)證

以典型刑事案件盜竊案件作為研究對象，依靠公安刑偵專家和一線民警經(jīng)驗(yàn)確定節(jié)點(diǎn)及節(jié)點(diǎn)間關(guān)系構(gòu)建線索研判貝葉斯網(wǎng)絡(luò)模型結(jié)構(gòu)，并采用本文方法進(jìn)行參數(shù)學(xué)習(xí)。通過構(gòu)建所得線索研判模型進(jìn)行分析，并與真實(shí)案件相關(guān)線索比較，驗(yàn)證本文方法的合理性和有效性。

在刑事案件偵查過程中，公安機(jī)關(guān)通過現(xiàn)場勘驗(yàn)檢查、相關(guān)人員走訪、受害者詢問等方法獲取與案件有關(guān)線索。以犯罪嫌疑人的相關(guān)特征作為推理目標(biāo)構(gòu)建貝葉斯網(wǎng)絡(luò)模型模型，將受害人的經(jīng)濟(jì)狀況、現(xiàn)場翻動(dòng)痕跡、現(xiàn)場偽造痕跡作為證據(jù)節(jié)點(diǎn)，構(gòu)建線索研判貝葉斯網(wǎng)絡(luò)，采用GeNIe進(jìn)行仿真，如圖6所示。

圖6 線索研判貝葉斯網(wǎng)絡(luò)模型

線索研判貝葉斯網(wǎng)絡(luò)模型中，通過犯罪現(xiàn)場的犯罪痕跡和受害人的經(jīng)濟(jì)狀況推測犯罪嫌疑人的犯罪動(dòng)機(jī)。并通過犯罪現(xiàn)場痕跡、受害人的經(jīng)濟(jì)狀況結(jié)合犯罪動(dòng)機(jī)推測犯罪嫌疑人的相關(guān)特征。按照上述節(jié)點(diǎn)間關(guān)系，收集來自公安機(jī)關(guān)偵查部門的3位具有豐富偵查經(jīng)驗(yàn)的專家先驗(yàn)知識并使用D-S證據(jù)理論進(jìn)行合成作為專家綜合先驗(yàn)知識，如表2所示。

表2 專家綜合先驗(yàn)知識(犯罪嫌疑人經(jīng)濟(jì)狀況)

通過對現(xiàn)有相關(guān)的100件刑事案件的現(xiàn)場勘驗(yàn)檢查筆錄、詢問筆錄等案件有關(guān)材料進(jìn)行分析，獲得線索研判貝葉斯網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)樣本，如表3所示。

表3 刑事案件參數(shù)學(xué)習(xí)樣本

將專家知識結(jié)合數(shù)據(jù)集學(xué)習(xí)后所得參數(shù)輸入線索研判貝葉斯網(wǎng)絡(luò)模型結(jié)構(gòu)中，獲得完整的貝葉斯網(wǎng)絡(luò)模型，如圖7所示。以公安機(jī)關(guān)實(shí)際刑事案件對構(gòu)建所得模型進(jìn)行驗(yàn)證，某一盜竊案件在前期偵查過程中通過群眾走訪、現(xiàn)場勘查和被害人詢問等方法已知被害人經(jīng)濟(jì)狀況好且現(xiàn)場具有翻動(dòng)痕跡。將上述證據(jù)輸入貝葉斯網(wǎng)絡(luò)模型中進(jìn)行推理，獲得推理結(jié)果為作案動(dòng)機(jī)為圖財(cái)、犯罪嫌疑人與被害人不認(rèn)識、犯罪嫌疑人有前科的可能性較高，如圖8所示。對比破案后的犯罪嫌疑人的實(shí)際情況，與推理所得結(jié)果相符，驗(yàn)證了方法的有效性。

圖7 線索研判貝葉斯網(wǎng)絡(luò)模型

圖8 線索研判推理結(jié)果

4 總結(jié)

在結(jié)合專家知識的貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)方法的基礎(chǔ)上，為了解決單一專家知識結(jié)合小數(shù)據(jù)集進(jìn)行參數(shù)學(xué)習(xí)可能產(chǎn)生的誤差大的問題，提出了融合專家綜合知識的參數(shù)學(xué)習(xí)方法。通過實(shí)驗(yàn)，證明了本文方法相較于最大似然估計(jì)法、貝葉斯估計(jì)法和一致先驗(yàn)最大后驗(yàn)概率法學(xué)習(xí)精度具有明顯提升。在部分領(lǐng)域中，數(shù)據(jù)獲取的成本較高，可以利用領(lǐng)域內(nèi)豐富的專家知識綜合后輔助進(jìn)行參數(shù)學(xué)習(xí)。將專家綜合知識進(jìn)行融合用于構(gòu)建貝葉斯網(wǎng)絡(luò)，能夠克服數(shù)據(jù)量少和單一專家知識主觀性強(qiáng)造成的參數(shù)學(xué)習(xí)準(zhǔn)確性差的問題。將本文方法應(yīng)用于公安機(jī)關(guān)刑事偵查線索研判貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)，模型推理結(jié)果與實(shí)際情況相符，驗(yàn)證了本文方法的有效性。研究在專家知識的利用上首先對多個(gè)專家知識進(jìn)行了綜合，但是專家知識的收集方法較為單一，知識的表示形式較為簡單，下一步工作的重點(diǎn)是考慮采用經(jīng)驗(yàn)函數(shù)對專家知識進(jìn)行采集和表示，并將專家知識綜合后用于貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)。