[摘要] 在數(shù)據(jù)收集過程中，由于各種原因可能造成數(shù)據(jù)集包括有噪聲、不完整，甚至不一致的數(shù)據(jù)。這些問題將嚴重影響數(shù)據(jù)挖掘的質(zhì)量和結(jié)果的穩(wěn)健性，因此，對數(shù)據(jù)挖掘的對象進行預處理就顯得尤為重要。數(shù)據(jù)的預處理分為數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)消減。缺失值的處理是數(shù)據(jù)的清洗的第一步。對缺失值的處理有多種方法，本文將主要分析多重插補的方法。

[關(guān)鍵詞] 缺失值插補多重插補

缺失值是指粗糙數(shù)據(jù)中由于缺少信息而造成的數(shù)據(jù)的聚類，分組，刪失或截斷。它指的是現(xiàn)有數(shù)據(jù)集中某個或某些屬性的值是不完全的。數(shù)據(jù)挖掘所面對的數(shù)據(jù)不是特地為某個挖掘目的收集的，所以可能與分析相關(guān)的屬性并未收集（或某段時間以后才開始收集），這類屬性的缺失不能用缺失值的處理方法進行處理，因為它們未提供任何不完全數(shù)據(jù)的信息，它和缺失某些屬性的值有著本質(zhì)的區(qū)別。

一、缺失值產(chǎn)生的原因

缺失值的產(chǎn)生的原因多種多樣，主要分為機械原因和人為原因。機械原因是由于機械原因?qū)е碌臄?shù)據(jù)收集或保存的失敗造成的數(shù)據(jù)缺失，比如數(shù)據(jù)存儲的失敗，存儲器損壞，機械故障導致某段時間數(shù)據(jù)未能收集（對于定時數(shù)據(jù)采集而言）。人為原因是由于人的主觀失誤、歷史局限或有意隱瞞造成的數(shù)據(jù)缺失，比如，在市場調(diào)查中被訪人拒絕透露相關(guān)問題的答案，或者回答的問題是無效的，數(shù)據(jù)錄入人員失誤漏錄了數(shù)據(jù)。

二、缺失值的類型

缺失值從缺失的分布來講可以分為完全隨機缺失，隨機缺失和完全非隨機缺失。完全隨機缺失（missing completely at random，MCAR）指的是數(shù)據(jù)的缺失是隨機的，數(shù)據(jù)的缺失不依賴于任何不完全變量或完全變量。隨機缺失(missing at random，MAR)指的是數(shù)據(jù)的缺失不是完全隨機的，即該類數(shù)據(jù)的缺失依賴于其他完全變量。完全非隨機缺失(missing not at random，MNAR)指的是數(shù)據(jù)的缺失依賴于不完全變量自身。

從缺失值的所屬屬性上講，如果所有的缺失值都是同一屬性，那么這種缺失成為單值缺失，如果缺失值屬于不同的屬性，稱為任意缺失。另外對于時間序列類的數(shù)據(jù)，可能存在隨著時間的缺失，這種缺失稱為單調(diào)缺失。

三、缺失值的處理方法

對于缺失值的處理，從總體上來說分為刪除存在缺失值的個案和缺失值插補。對于主觀數(shù)據(jù)，人將影響數(shù)據(jù)的真實性，存在缺失值的樣本的其他屬性的真實值不能保證，那么依賴于這些屬性值的插補也是不可靠的，所以對于主觀數(shù)據(jù)一般不推薦插補的方法。插補主要是針對客觀數(shù)據(jù)，它的可靠性有保證。

1.刪除含有缺失值的個案

主要有簡單刪除法和權(quán)重法。簡單刪除法是對缺失值進行處理的最原始方法。它將存在缺失值的個案刪除。如果數(shù)據(jù)缺失問題可以通過簡單的刪除小部分樣本來達到目標，那么這個方法是最有效的。當缺失值的類型為非完全隨機缺失的時候，可以通過對完整的數(shù)據(jù)加權(quán)來減小偏差。把數(shù)據(jù)不完全的個案標記后，將完整的數(shù)據(jù)個案賦予不同的權(quán)重，個案的權(quán)重可以通過logistic或probit回歸求得。如果解釋變量中存在對權(quán)重估計起決定行因素的變量，那么這種方法可以有效減小偏差。如果解釋變量和權(quán)重并不相關(guān)，它并不能減小偏差。對于存在多個屬性缺失的情況，就需要對不同屬性的缺失組合賦不同的權(quán)重，這將大大增加計算的難度，降低預測的準確性，這時權(quán)重法并不理想。

2.可能值插補缺失值

它的思想來源是以最可能的值來插補缺失值比全部刪除不完全樣本所產(chǎn)生的信息丟失要少。在數(shù)據(jù)挖掘中，面對的通常是大型的數(shù)據(jù)庫，它的屬性有幾十個甚至幾百個，因為一個屬性值的缺失而放棄大量的其他屬性值，這種刪除是對信息的極大浪費，所以產(chǎn)生了以可能值對缺失值進行插補的思想與方法。常用的有如下幾種方法。

(1)均值插補。數(shù)據(jù)的屬性分為定距型和非定距型。如果缺失值是定距型的，就以該屬性存在值的平均值來插補缺失的值；如果缺失值是非定距型的，就根據(jù)統(tǒng)計學中的眾數(shù)原理，用該屬性的眾數(shù)(即出現(xiàn)頻率最高的值)來補齊缺失的值。

(2)利用同類均值插補。同均值插補的方法都屬于單值插補，不同的是，它用層次聚類模型預測缺失變量的類型，再以該類型的均值插補。假設X=(X1，X2…Xp)為信息完全的變量，Y為存在缺失值的變量，那么首先對X或其子集行聚類，然后按缺失個案所屬類來插補不同類的均值。如果在以后統(tǒng)計分析中還需以引入的解釋變量和Y做分析，那么這種插補方法將在模型中引入自相關(guān)，給分析造成障礙。

(3)極大似然估計（Max Likelihood ，ML）。在缺失類型為隨機缺失的條件下，假設模型對于完整的樣本是正確的，那么通過觀測數(shù)據(jù)的邊際分布可以對未知參數(shù)進行極大似然估計（Little and Rubin）。這種方法也被稱為忽略缺失值的極大似然估計，對于極大似然的參數(shù)估計實際中常采用的計算方法是期望值最大化(Expectation Maximization，EM）。該方法比刪除個案和單值插補更有吸引力，它一個重要前提：適用于大樣本。有效樣本的數(shù)量足夠以保證ML估計值是漸近無偏的并服從正態(tài)分布。但是這種方法可能會陷入局部極值，收斂速度也不是很快，并且計算很復雜。

(4)多重插補（Multiple Imputation，MI）。多值插補的思想來源于貝葉斯估計，認為待插補的值是隨機的，它的值來自于已觀測到的值。具體實踐上通常是估計出待插補的值，然后再加上不同的噪聲，形成多組可選插補值。根據(jù)某種選擇依據(jù)，選取最合適的插補值。

多重插補方法分為三個步驟：①為每個空值產(chǎn)生一套可能的插補值，這些值反映了無響應模型的不確定性；每個值都可以被用來插補數(shù)據(jù)集中的缺失值，產(chǎn)生若干個完整數(shù)據(jù)集合。②每個插補數(shù)據(jù)集合都用針對完整數(shù)據(jù)集的統(tǒng)計方法進行統(tǒng)計分析。③對來自各個插補數(shù)據(jù)集的結(jié)果，根據(jù)評分函數(shù)進行選擇，產(chǎn)生最終的插補值。

假設一組數(shù)據(jù)，包括三個變量Y1，Y2，Y3，它們的聯(lián)合分布為正態(tài)分布，將這組數(shù)據(jù)處理成三組，A組保持原始數(shù)據(jù)，B組僅缺失Y3，C組缺失Y1和Y2。在多值插補時，對A組將不進行任何處理，對B組產(chǎn)生Y3的一組估計值（作Y3關(guān)于Y1，Y2的回歸），對C組作產(chǎn)生Y1和Y2的一組成對估計值（作Y1，Y2關(guān)于Y3的回歸）。

當用多值插補時，對A組將不進行處理，對B、C組將完整的樣本隨機抽取形成為m組（m為可選擇的m組插補值），每組個案數(shù)只要能夠有效估計參數(shù)就可以了。對存在缺失值的屬性的分布作出估計，然后基于這m組觀測值，對于這m組樣本分別產(chǎn)生關(guān)于參數(shù)的m組估計值，給出相應的預測即，這時采用的估計方法為極大似然法，在計算機中具體的實現(xiàn)算法為期望最大化法（EM）。對B組估計出一組Y3的值，對C將利用 Y1，Y2，Y3它們的聯(lián)合分布為正態(tài)分布這一前提，估計出一組(Y1，Y2）。

上例中假定了Y1，Y2，Y3的聯(lián)合分布為正態(tài)分布。這個假設是人為的，但是已經(jīng)通過驗證（Graham和Schafer于1999），非正態(tài)聯(lián)合分布的變量，在這個假定下仍然可以估計到很接近真實值的結(jié)果。

多重插補和貝葉斯估計的思想是一致的，但是多重插補彌補了貝葉斯估計的幾個不足。

(1)貝葉斯估計以極大似然的方法估計，極大似然的方法要求模型的形式必須準確，如果參數(shù)形式不正確，將得到錯誤得結(jié)論，即先驗分布將影響后驗分布的準確性。而多重插補所依據(jù)的是大樣本漸近完整的數(shù)據(jù)的理論，在數(shù)據(jù)挖掘中的數(shù)據(jù)量都很大，先驗分布將極小的影響結(jié)果，所以先驗分布的對結(jié)果的影響不大。

(2)貝葉斯估計僅要求知道未知參數(shù)的先驗分布，沒有利用與參數(shù)的關(guān)系。而多重插補對參數(shù)的聯(lián)合分布作出了估計，利用了參數(shù)間的相互關(guān)系。

以上四種插補方法，對于缺失值的類型為隨機缺失的插補有很好的效果。兩種均值插補方法是最容易實現(xiàn)的，也是以前人們經(jīng)常使用的，但是它對樣本存在極大的干擾，尤其是當插補后的值作為解釋變量進行回歸時，參數(shù)的估計值與真實值的偏差很大。相比較而言，極大似然估計和多重插補是兩種比較好的插補方法，與多重插補對比，極大似然缺少不確定成分，所以越來越多的人傾向于使用多值插補方法。

四、小結(jié)

插補處理只是將未知值補以我們的主觀估計值，不一定完全符合客觀事實。以上的分析都是理論分析，對于缺失值由于它本身無法觀測，也就不可能知道它的缺失所屬類型，也就無從估計一個插補方法的插補效果。另外這些方法通用于各個領域，具有了普遍性，那么針對一個領域的專業(yè)的插補效果就不會很理想，正是因為這個原因，很多專業(yè)數(shù)據(jù)挖掘人員通過他們對行業(yè)的理解，手動對缺失值進行插補的效果反而可能比這些方法更好。缺失值的插補是在數(shù)據(jù)挖掘過程中為了不放棄大量的信息，而采用的人為干涉缺失值的情況，無論是那種處理方法都會影響變量間的相互關(guān)系，在對不完備信息進行補齊處理的同時，我們或多或少地改變了原始的數(shù)據(jù)的信息系統(tǒng)，對以后的分析存在潛在的影響，所以對缺失值的處理一定要慎重。

本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。