摘 要：貝葉斯網(wǎng)絡(luò)是研究變量之間預(yù)測能力的有力工具，在解決不確定性和不完整性問題以及處理復(fù)雜問題上有很大的優(yōu)勢。作為樸素貝葉斯網(wǎng)絡(luò)的擴(kuò)展，馬爾科夫毯貝葉斯網(wǎng)絡(luò)只依據(jù)對輸出結(jié)果有顯著影響的輸入變量進(jìn)行分類預(yù)測，是一種更為理想的解決方案。利用馬爾科夫毯貝葉斯網(wǎng)絡(luò)進(jìn)行流失客戶分析，挖掘?qū)е铝魇У目蛻籼卣?，從而輔助決策者制訂相應(yīng)的客戶挽留策略。

關(guān)鍵詞：貝葉斯網(wǎng)絡(luò)；馬爾科夫毯；客戶流失問題

中圖分類號：TP181

貝葉斯網(wǎng)絡(luò)以因果關(guān)系圖的形式，直觀表示了事物之間的因果關(guān)系，并利于進(jìn)行相關(guān)的分類預(yù)測，廣泛應(yīng)用于數(shù)據(jù)分析領(lǐng)域。馬爾科夫毯貝葉斯網(wǎng)絡(luò)是其擴(kuò)展，該模型能夠提高預(yù)測的準(zhǔn)確性，降低數(shù)據(jù)的過度擬合，但也增加了計(jì)算的復(fù)雜性，因此需要花費(fèi)更長的時(shí)間來構(gòu)造模型。

1 貝葉斯網(wǎng)絡(luò)

貝葉斯網(wǎng)絡(luò)（Bayesian Networks，BN）也稱貝葉斯信念網(wǎng)絡(luò)，20世紀(jì)80年代由Lauritzen和Spiegelhalter提出。貝葉斯網(wǎng)絡(luò)是以貝葉斯理論為基礎(chǔ)，貝葉斯網(wǎng)絡(luò)是圖論與概率論結(jié)合的產(chǎn)物，定性并定量地研究變量間關(guān)系。貝葉斯網(wǎng)絡(luò)應(yīng)用于分類、特征提取和推理等方面，是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的重要工具，在故障診斷、風(fēng)險(xiǎn)評估和生物信息等方面有著廣泛的應(yīng)用。

1.1 貝葉斯網(wǎng)絡(luò)的組成

貝葉斯網(wǎng)絡(luò)G=由網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)S和局部概率分布θ的集合兩部分組成。網(wǎng)絡(luò)結(jié)構(gòu)S表示分類型隨機(jī)變量集合X={X1，X2，…，Xn}之間的獨(dú)立和條件獨(dú)立關(guān)系，S是一個(gè)有向無環(huán)圖，表示變量間的依賴關(guān)系。節(jié)點(diǎn)X1的父節(jié)點(diǎn)記為Pαi，父節(jié)點(diǎn)的取值集合用 表示。參數(shù)集合θ是與每個(gè)變量相對應(yīng)的局部概率，是給定父節(jié)點(diǎn)下的條件概率集合。變量X1的參數(shù)集合為：

。

1.2 貝葉斯網(wǎng)絡(luò)的分類預(yù)測

貝葉斯網(wǎng)絡(luò)對新數(shù)據(jù)的分類預(yù)測的依據(jù)是，貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)S和參數(shù)集合θ，其核心是聯(lián)合概率的計(jì)算。如果在給定Y條件下，變量X1和X2是條件獨(dú)立的，則對于量X1，X2，Y的任何取值都有P（X1|X2，y）=P（X1|y）。

類似地，p=（x1，x2，x3，…，xn）=P（x1）P（x2|x1）P（x3|x1，x2）…P（xn|x1，x2，…，xn-1）中的每一項(xiàng)都可以表示為：

P（xi|x1，x2，…，xi-1）=P（xi|Pαi），即與除父節(jié)點(diǎn)外的其他變量條件獨(dú)立。于是有， ，即只需依據(jù)網(wǎng)絡(luò)結(jié)構(gòu)和局部概率集合就可直接計(jì)算聯(lián)合概率，進(jìn)而實(shí)現(xiàn)分類預(yù)測。

2 馬爾科夫毯網(wǎng)絡(luò)

2.1 馬爾科夫毯網(wǎng)絡(luò)的基本概念

馬爾科夫毯變量是馬爾科夫毯網(wǎng)絡(luò)中的一個(gè)基本概念，是指對于節(jié)點(diǎn)Xi來說，其父節(jié)點(diǎn)、子節(jié)點(diǎn)以及子節(jié)點(diǎn)的父節(jié)點(diǎn)，都屬于節(jié)點(diǎn)X1的馬爾科夫毯變量。以樸素貝葉斯網(wǎng)絡(luò)為例，由于輸入變量節(jié)點(diǎn)均為輸出變量節(jié)點(diǎn)的子節(jié)點(diǎn)，所以輸出變量的馬爾科夫毯變量是所有輸入變量。對于馬爾科夫毯網(wǎng)絡(luò)來說，輸入變量的馬爾科夫毯變量應(yīng)是與輸出變量顯著相關(guān)的輸入變量。于是，分類預(yù)測將基于輸出變量的馬爾科夫毯變量的聯(lián)合概率，而非全體輸入變量。構(gòu)建馬爾科夫毯網(wǎng)絡(luò)的主要任務(wù)是估計(jì)參數(shù)集合θ以及確定網(wǎng)絡(luò)結(jié)構(gòu)S。

2.2 馬爾科夫毯網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)估計(jì)

通常采用貝葉斯方法進(jìn)行估計(jì)，涉及參數(shù)的先驗(yàn)概率、似然函數(shù)，以及參數(shù)的后驗(yàn)概率三個(gè)方面。先驗(yàn)分布與后驗(yàn)分布是共軛分布，同屬一分布族[1] 。

如果馬爾科夫毯網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)對應(yīng)的變量均為二分類變量，參數(shù)θ的先驗(yàn)分布可選用Beta分布。標(biāo)準(zhǔn)Beta分布的數(shù)學(xué)定義為：

式中，Г（）為Gamma函數(shù)，Г（x）=（x-1）！，Г（1）=1；θ取值在0～1之間。Bata分布中的參數(shù)α和β成為超參數(shù)。參數(shù)θ的后驗(yàn)分布也服從Beta分布：

式中，n為“成功”的次數(shù)；N為實(shí)驗(yàn)的次數(shù)。基于這個(gè)后驗(yàn)分布，參數(shù)θ的期望為： ，即為最終參數(shù)估計(jì)值。

如果馬爾科夫毯網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)對應(yīng)的變量為具有r個(gè)類別的多分類型變量，參數(shù)θ的先驗(yàn)分布可選用Dirichlet分布。Dirichlet分布的數(shù)學(xué)定義為：

式中，α1，α2，αr為超參數(shù)。參數(shù)θ的后驗(yàn)分布仍為Dirichlet分布，即：P（θ|D）=Dir（θ|α1+N1，α2+N2，…，αr+Nr）式中，N1，N2，…，Nr為各類別“成功”次數(shù)。參數(shù)θk的最終估計(jì)值為后驗(yàn)分布的期望：

。

2.3 馬爾科夫毯網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)

確定馬爾科夫毯網(wǎng)絡(luò)結(jié)構(gòu)S的核心是尋找各個(gè)變量的馬爾科夫毯變量。對于節(jié)點(diǎn)Xi，不在馬爾科夫毯變量范圍內(nèi)的變量，是與變量Xi條件獨(dú)立的變量。所以，構(gòu)建馬爾科夫毯網(wǎng)絡(luò)結(jié)構(gòu)S的首要任務(wù)是確定獨(dú)立變量對，它們均不在彼此的馬爾科夫毯變量中。

馬爾科夫毯網(wǎng)絡(luò)利用條件獨(dú)立檢驗(yàn)方法，發(fā)現(xiàn)變量之間的條件獨(dú)立關(guān)系，并以此為基礎(chǔ)構(gòu)建馬爾科夫毯網(wǎng)絡(luò)。常用的方法有：條件卡方（Pearson Chi-square）檢驗(yàn)和條件對數(shù)似然率（Log Likelihood Ratio）檢驗(yàn)等。

設(shè)I（Xi， Xj）為變量Xi和Xj獨(dú)立檢驗(yàn)的概率P-值，I（Xi， Xj，S）為給定變量S條件下，變量對Xi和Xj條件獨(dú)立檢驗(yàn)的概率P-值。馬爾科夫毯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的基本步驟如下：第一，起始的網(wǎng)絡(luò)結(jié)構(gòu)S是一個(gè)完全連接的無向網(wǎng)絡(luò)。第二，如果I（Xi，Xj）大于指定的顯著水平α，則刪除節(jié)點(diǎn)Xi和節(jié)點(diǎn)Xj間的連接弧線。第三，對每個(gè)節(jié)點(diǎn)Xi，在其剩余弧線中，尋找是否存在I（Xi，Xj，S）大于顯著性水平α。如果存在，則刪除節(jié)點(diǎn)Xi和節(jié)點(diǎn)Xj間的連接弧線。第四，將無向弧線轉(zhuǎn)換為有向弧線。

2.4 馬爾科夫毯網(wǎng)絡(luò)的分類預(yù)測

首先找到輸出變量的馬爾科夫毯變量，并得到馬爾科夫毯變量的聯(lián)合概率，從而完成分類預(yù)測。

現(xiàn)對于新觀測Xp的輸出變量值進(jìn)行分類預(yù)測。設(shè)馬爾科夫毯網(wǎng)絡(luò)中，輸出變量Y對應(yīng)節(jié)點(diǎn)的父節(jié)點(diǎn)集合記為πY；πY丨P表示給定Xp時(shí)πY中各輸入變量的具體取值；Xch=（X1，X2，X3，…，Xm）是輸出變量Y的子節(jié)點(diǎn)集合（有m個(gè)子節(jié)點(diǎn)）；πi表示Xch中第i個(gè)子節(jié)點(diǎn)的父節(jié)點(diǎn)（不包括輸出變量節(jié)點(diǎn)）集合。

根據(jù)貝葉斯公式，對于新觀測Xp，輸出變量Y有k個(gè)可能的類別取值，輸出變量取Yj的概率為：

式中， 即為輸出變量及馬爾科夫毯變量的聯(lián)合概率。其中C為常量，它將與分母中的C約掉，并不影響預(yù)測結(jié)果。這里引入常數(shù)C的目的是，表示并非輸入變量集合中所有變量都參與計(jì)算，參與計(jì)算的僅是馬爾科夫毯變量。

3 案例分析

本文數(shù)據(jù)選取自某公司的電信客戶數(shù)據(jù)，選取了463條客戶信息，每條數(shù)據(jù)包括年齡、性別、收入、開通月數(shù)、教育水平等字段；并利用通用數(shù)據(jù)挖掘軟件Clementine12.0，目的在于研究對流失客戶有重要影響的因素，并計(jì)算出預(yù)測模型，以此指導(dǎo)銷售。

圖1顯示，客戶流失的馬爾科夫毯變量包括開通月數(shù)、收入和年齡，其中最顯著影響因素為開通月數(shù)，重要性超過0.8。預(yù)測一個(gè)新客戶是否流失時(shí)，僅需計(jì)算流失與其馬爾科夫毯變量的聯(lián)合概率即可。

電信公司可以靈活應(yīng)對各種不同的人群設(shè)計(jì)不同的服務(wù)項(xiàng)目，最大限度地提高市場占有率，避免客戶流失，提高客戶的忠誠度；同時(shí)分析結(jié)果也為公司提供了大量的數(shù)據(jù)信息和潛在規(guī)律，從而使公司獲得充分的市場信息，以獲得最大收益。

圖1 客戶流失問題的馬爾科夫毯網(wǎng)絡(luò)

4 結(jié)束語

隨著互聯(lián)網(wǎng)的發(fā)展，電子商務(wù)已經(jīng)成為了商業(yè)運(yùn)作的重要模式。數(shù)據(jù)挖掘技術(shù)有助于企業(yè)從數(shù)據(jù)庫以及數(shù)據(jù)倉庫中更快和更精確地尋找到所需要的信息內(nèi)容，貝葉斯網(wǎng)絡(luò)是數(shù)據(jù)挖掘領(lǐng)域的重要算法。樸素貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)簡單，不涉及網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)。馬爾科夫毯網(wǎng)絡(luò)更多考慮了輸入變量之間的條件獨(dú)立性，因而更利于找到輸出變量有重要影響的因素；它在電子商務(wù)中的應(yīng)用，有助于分析客戶流失規(guī)律，幫助企業(yè)及時(shí)制定營銷策略，維持客戶忠誠度。

參考文獻(xiàn)：

[1]薛薇，陳歡哥.基于Clementine的數(shù)據(jù)挖掘[M].中國人民大學(xué)出版社，2012：383-386.

[2]朱志勇，徐長梅，劉志兵，胡晨剛.基于貝葉斯網(wǎng)絡(luò)的客戶流失分析研究[J].計(jì)算機(jī)工程與科學(xué)，2013（03）：155-158.

[3]王雙成，苑森淼.基于貝葉斯網(wǎng)絡(luò)的馬爾科夫毯預(yù)測學(xué)習(xí)[J].模式識別與人工智能，2004（01）：17-21.

[4]王雙成，冷翠平.貝葉斯網(wǎng)絡(luò)的適應(yīng)性學(xué)習(xí)[J].小型微型計(jì)算機(jī)系統(tǒng)，2009（04）：706-709.

作者簡介：林璐（1990-），女，福建福州人，碩士研究生，研究方向：計(jì)算機(jī)應(yīng)用及開發(fā)。

作者單位：貴州師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，貴陽 550001