李 杰，張曉玲

（大理學(xué)院數(shù)學(xué)與計(jì)算機(jī)學(xué)院，云南大理 671003）

隨機(jī)化區(qū)組試驗(yàn)設(shè)計(jì)中，由于試驗(yàn)樣本退出試驗(yàn)、損壞、記錄丟失等原因常常會(huì)產(chǎn)生缺失數(shù)據(jù)。缺失數(shù)據(jù)的處理方法最簡(jiǎn)單的是刪掉缺失值，這種處理方法有兩個(gè)缺點(diǎn)：①樣本量減少，使得模型的標(biāo)準(zhǔn)誤差增大，從而影響模型的精度；②丟失了珍貴的樣本信息。為了克服以上兩種缺點(diǎn)，可以采用插補(bǔ)的方法來填補(bǔ)缺失值。研究缺失數(shù)據(jù)插補(bǔ)和應(yīng)用的文獻(xiàn)有很多，現(xiàn)在也是一個(gè)研究熱點(diǎn)。

帥平等〔1〕只對(duì)缺失數(shù)據(jù)的方法進(jìn)行了綜述，沒有針對(duì)隨機(jī)化區(qū)組試驗(yàn)設(shè)計(jì)給出缺失數(shù)據(jù)處理方法的建議；田兵〔2〕簡(jiǎn)單介紹了缺失數(shù)據(jù)的單一插補(bǔ)方法；龐新生〔3〕簡(jiǎn)單介紹了隨機(jī)抽樣、分層隨機(jī)抽樣條件下缺失數(shù)據(jù)多重插補(bǔ)的抽樣推斷方法；楊基棟〔4〕從理論上分析了缺失數(shù)據(jù)插補(bǔ)方法的方差和誤差，沒有給出模擬研究的例子；鄧銀燕〔5〕從回歸分析的角度對(duì)缺失數(shù)據(jù)插補(bǔ)方法進(jìn)行了實(shí)證分析，但是沒有考慮實(shí)驗(yàn)設(shè)計(jì)中的隨機(jī)化區(qū)組設(shè)計(jì)缺失數(shù)據(jù)的問題。郁文和鄭明〔6〕研究了缺失數(shù)據(jù)的均值推斷問題。在隨機(jī)缺失及半?yún)?shù)模型的假設(shè)下,設(shè)計(jì)了基于影響函數(shù)理論的經(jīng)驗(yàn)似然推斷方法。此外，也有學(xué)者〔7-9〕從貝葉斯角度對(duì)缺失數(shù)據(jù)進(jìn)行了研究；相關(guān)文獻(xiàn)〔10-12〕從廣義線性模型的角度對(duì)缺失數(shù)據(jù)進(jìn)行了研究；還有學(xué)者〔13-15〕在數(shù)據(jù)挖掘方面對(duì)缺失數(shù)據(jù)造成的影響進(jìn)行了研究；除理論研究外，部分學(xué)者對(duì)缺失數(shù)據(jù)插補(bǔ)方法進(jìn)行了實(shí)例研究〔16-21〕。

通常有3種填補(bǔ)缺失值的方法：均值法、公式法和Yate’s法。均值插補(bǔ)的思想非常簡(jiǎn)單，即用觀測(cè)樣本的均值來插補(bǔ)缺失值，這種方法簡(jiǎn)單易行。公式法最初是由Allan和Wishart（1930年）在處理隨機(jī)化區(qū)組試驗(yàn)中缺失數(shù)據(jù)時(shí)提出來的，其思想是用行和列的均值的組合進(jìn)行插補(bǔ)。Yate’s法是由Yate于1933年提出來的，其基本思想是不考慮缺失值，僅對(duì)觀測(cè)值進(jìn)行線性回歸，然后根據(jù)回歸模型對(duì)缺失部分進(jìn)行預(yù)測(cè)，用預(yù)測(cè)值代替缺失值。

直接刪除缺失數(shù)據(jù)法和3種缺失值插補(bǔ)方法哪一個(gè)好，所填補(bǔ)的缺失值引起的模型誤差最小是一個(gè)很值得研究的問題。主要用隨機(jī)模擬來研究4種方法的好壞，首先產(chǎn)生一個(gè)4×5的隨機(jī)區(qū)組設(shè)計(jì)，其次指定的缺失值個(gè)數(shù)m，缺失位置的組合數(shù)有（m=1,…，6）個(gè)，對(duì)每一個(gè)不同的組合，分別研究4種方法回歸的標(biāo)準(zhǔn)誤差、可決系數(shù)和復(fù)可決系數(shù)，根據(jù)這3個(gè)指標(biāo)的優(yōu)劣來評(píng)價(jià)4種方法的好壞。

1 隨機(jī)化區(qū)組試驗(yàn)設(shè)計(jì)及回歸

1.1 隨機(jī)化區(qū)組試驗(yàn)設(shè)計(jì) 在農(nóng)業(yè)、社會(huì)、經(jīng)濟(jì)和科研中經(jīng)常需要考察一個(gè)變量受一個(gè)或者幾個(gè)變量的影響，例如在水稻種植試驗(yàn)中，不同的施肥量和灌溉量會(huì)影響水稻的產(chǎn)量，實(shí)驗(yàn)者想尋找最優(yōu)的施肥量和灌溉量組合，使得水稻的單畝產(chǎn)量最大，這就需要試驗(yàn)設(shè)計(jì)。

假設(shè)變量y受到兩個(gè)因素A和B的影響，因素A有t個(gè)水平，因素B有b個(gè)水平，因素A和B共有t×b個(gè)組合。變量y在每種組合下的觀測(cè)值用yij（i=1，… ，t，j=1，… ，b）表示，一般用二維表來表示，見表1。

表1 變量y在雙因素影響下的觀測(cè)值

表1所示是試驗(yàn)設(shè)計(jì)中常見的雙因素模型，對(duì)雙因素模型，有很成熟的理論來進(jìn)行分析，實(shí)質(zhì)上它是一種線性回歸。

1.2 線性回歸 用線性回歸的理論進(jìn)行建模，重點(diǎn)在于構(gòu)造相應(yīng)的設(shè)計(jì)矩陣。表1中變量y共有t×b個(gè)，因素A和B不同的水平數(shù)共有t+b個(gè)，構(gòu)造設(shè)計(jì)矩陣的主要思想就是把因素A和B的每個(gè)水平看成一個(gè)二元變量，用0和1表示。設(shè)計(jì)矩陣的形式要根據(jù)變量y排列的形式，變量y可以按行，或者按列拉直，不失一般性，變量y約定按行拉直。即

Y= （y11…y1j…y1b…yi1…yij…yib…yt1…ytj…ytb）T。

根據(jù)線性回歸理論，設(shè)計(jì)矩陣變量的個(gè)數(shù)應(yīng)該為t+b－1個(gè)，前t個(gè)變量為因素A的各個(gè)水平，后b-1個(gè)變量為因素B的前b-1個(gè)變量，設(shè)計(jì)矩陣用X表示。設(shè)計(jì)矩陣的取值依據(jù)變量y而定，例如變量y的第i×j個(gè)變量yij對(duì)應(yīng)的設(shè)計(jì)矩陣X第i×j行的取值為：Ai變量對(duì)應(yīng)的位置取值為1，Bj變量對(duì)應(yīng)的位置取值為1，其余位置都取為0，即（0，…，1，…，1，…，0），假設(shè)t=b=2，設(shè)計(jì)矩陣可以表示為：

線性模型可以表示為：

其中，β是回歸系數(shù)向量，ε=（ε11…εij…εtb），εij獨(dú)立同分布，均值為0，方差為1。

2 插補(bǔ)方法

對(duì)于完全數(shù)據(jù)，可以用線性回歸理論的方法建模。當(dāng)表1中某一個(gè)或幾個(gè)單元格數(shù)據(jù)缺失時(shí)，線性模型就不再適用。一個(gè)樸素的想法：把缺失的部分填補(bǔ)起來，然后再用線性模型進(jìn)行分析。填補(bǔ)的方法有很多種，這里只涉及到3種。

均值插補(bǔ)：假設(shè)數(shù)據(jù)共有n個(gè)，其中有m個(gè)缺失值，觀測(cè)到的數(shù)據(jù)有n－m個(gè)，均值插補(bǔ)的方法就是用n－m個(gè)觀測(cè)數(shù)據(jù)的均值來填補(bǔ)m個(gè)缺失值。填補(bǔ)后再用線性模型進(jìn)行分析。

公式法：由Allan和Wishart（1930年）在處理隨機(jī)化區(qū)組試驗(yàn)中缺失數(shù)據(jù)時(shí)提出來的。假設(shè)表1中第i行第j列的數(shù)據(jù)缺失，填補(bǔ)該處缺失值的方法是：

Yate’s法：用n表示全部數(shù)據(jù)的個(gè)數(shù)，m表示觀測(cè)數(shù)據(jù)的個(gè)數(shù)，n-m為缺失數(shù)據(jù)，Yate’s方法的基本步驟是：

1）用m個(gè)觀測(cè)數(shù)據(jù)進(jìn)行建模；

2）估計(jì)模型的參數(shù)；

3）用模型來預(yù)測(cè)n-m個(gè)缺失值；

4）把n-m個(gè)缺失值的預(yù)測(cè)值作為插補(bǔ)值；

5）運(yùn)用補(bǔ)全的n個(gè)數(shù)據(jù)進(jìn)行建模；

6）重復(fù)3-5步，直到插補(bǔ)的值收斂為止。

這3種方法使用時(shí)各有優(yōu)劣，用以評(píng)價(jià)優(yōu)劣的標(biāo)準(zhǔn)是回歸標(biāo)準(zhǔn)誤差、可決系數(shù)和復(fù)可決系數(shù)?？蓻Q系數(shù)是衡量自變量與因變量關(guān)系密切程度的指標(biāo)，表示自變量解釋了因變量變動(dòng)的百分比，用R2表示，其公式是：

而復(fù)可決系數(shù)同可決系數(shù)一樣是衡量回歸優(yōu)劣的指標(biāo)，但復(fù)可決系數(shù)消除了變量個(gè)數(shù)的影響，可以用于不同變量個(gè)數(shù)模型間的比較，其公式是：

其中n是樣本量，m是自變量的個(gè)數(shù)。

3 模擬研究

模擬研究所用的分析軟件是R軟件，后面所有的編程程序都是用R語(yǔ)言編寫的。首先設(shè)計(jì)一個(gè)隨機(jī)化區(qū)組實(shí)驗(yàn)。A因素有4個(gè)水平，B因素有5個(gè)水平，即t=4，b=5。對(duì)于A因素的第一個(gè)水平，產(chǎn)生5個(gè)服從均值是2，方差是1的正態(tài)隨機(jī)數(shù)；對(duì)于第二個(gè)水平產(chǎn)生5個(gè)服從均值是4，方差是1的正態(tài)隨機(jī)數(shù)；對(duì)于第三個(gè)水平產(chǎn)生5個(gè)服從均值是6，方差是1的正態(tài)隨機(jī)數(shù)；對(duì)于第四個(gè)水平產(chǎn)生5個(gè)均值為8，方差為1的正態(tài)隨機(jī)數(shù)；而對(duì)于因素B，產(chǎn)生的隨機(jī)數(shù)的方法同A類似，只不過B因素每一個(gè)水平產(chǎn)生正態(tài)隨機(jī)數(shù)的均值為1,3,5,7,9，方差都為1。因素A和B各產(chǎn)生了20個(gè)隨機(jī)數(shù)，變量y的值通過如下方法確定：

其中εij是服從均值為0，方差為1的正態(tài)分布。產(chǎn)生的數(shù)據(jù)見表2。

表2 隨機(jī)產(chǎn)生的雙因素實(shí)驗(yàn)設(shè)計(jì)

表2中的數(shù)據(jù)是依據(jù)（3）式進(jìn)行計(jì)算的，接下來的模擬計(jì)算完全依據(jù)表2中產(chǎn)生的數(shù)據(jù)。下面進(jìn)行缺失方法介紹。

表2中共有20個(gè)單元格，要進(jìn)行缺失值模擬研究，需具備兩種條件：缺失值的個(gè)數(shù)和缺失值的位置。缺失值的個(gè)數(shù)m擬定為1,2,3,4,5,6個(gè)，不同的缺失值個(gè)數(shù)對(duì)應(yīng)著不同的缺失位置數(shù)，當(dāng)缺失值個(gè)數(shù)m=1時(shí)，缺失的位置共有個(gè)；缺失值個(gè)數(shù)m=2時(shí)，缺失的位置共有個(gè)；缺失值個(gè)數(shù)m=3時(shí)，缺失的位置共有個(gè)；缺失值個(gè)數(shù)m=4時(shí)，缺失的位置共有個(gè)；缺失值個(gè)數(shù)m=5時(shí)，缺失的位置共有個(gè)；缺失值個(gè)數(shù)m=6時(shí)，缺失的位置共有個(gè)?？紤]到計(jì)算機(jī)內(nèi)存和程序計(jì)算的復(fù)雜性，m只取到6。

對(duì)每一個(gè)確定的缺失值個(gè)數(shù)m和與其對(duì)應(yīng)的缺失位置組合數(shù)mi，在每一種缺失位置情況下計(jì)算刪除缺失值回歸、均值插補(bǔ)回歸、公式插補(bǔ)回歸和Yate’s插補(bǔ)回歸4種回歸的標(biāo)準(zhǔn)誤差、可決系數(shù)和復(fù)可決系數(shù)，只到mi個(gè)缺失位置的情況全部遍歷為止。圖1所示的是缺失個(gè)數(shù)不同的情況下，4種方法標(biāo)準(zhǔn)誤差的箱型圖。從圖1中可以看出Yate’s方法是這4種方法中最好的，標(biāo)準(zhǔn)誤差明顯比均值插補(bǔ)和公式插補(bǔ)要好，表現(xiàn)最差的是均值插補(bǔ)方法。圖2所示的是在不同的缺失值個(gè)數(shù)下，4種方法可決系數(shù)均值的折線圖。因可決系數(shù)和復(fù)可決系數(shù)在模擬結(jié)果中非常接近，故只研究可決系數(shù)。

圖1 不同缺失值個(gè)數(shù)下4種插補(bǔ)方法標(biāo)準(zhǔn)誤差的箱型圖

圖2 不同缺失值個(gè)數(shù)下4種插補(bǔ)方法可決系數(shù)均值折線圖

綜合圖1箱型圖和圖2可決系數(shù)折線圖的分析，可以得出Yate’s方法插補(bǔ)的標(biāo)準(zhǔn)誤差和可決系數(shù)表現(xiàn)是4種方法中最好的；隨著缺失值個(gè)數(shù)的增加，公式法和刪除法的可決系數(shù)有下降的趨勢(shì)。

4 實(shí)例

下面這個(gè)例子來自于Snedecor和Cochran（1967年）的例子，該例子是一個(gè)5×5的拉丁方設(shè)計(jì)，其中3個(gè)數(shù)值缺失，表中的數(shù)據(jù)表示的是小米的產(chǎn)量數(shù)據(jù)，“—”表示缺失，見表3。

表3 小米的產(chǎn)量數(shù)據(jù)

對(duì)表3中的數(shù)據(jù)分別運(yùn)用前面4種方法進(jìn)行分析，得到的結(jié)果如下：直接刪除缺失值方法得到的標(biāo)準(zhǔn)誤差是32.72，可決系數(shù)是0.9904，復(fù)可決系數(shù)是0.9838；均值插補(bǔ)方法的回歸標(biāo)準(zhǔn)誤差是35.27，可決系數(shù)是0.9879，復(fù)可決系數(shù)是0.9811；公式插補(bǔ)方法的回歸標(biāo)準(zhǔn)誤差是30.65，可決系數(shù)是0.9904，復(fù)可決系數(shù)是0.985；Yate’s插補(bǔ)方法的回歸標(biāo)準(zhǔn)誤差是29.49，可決系數(shù)是0.9912，復(fù)可決系數(shù)是0.9862。Yate’s插補(bǔ)方法的各項(xiàng)指標(biāo)都優(yōu)于其它三種方法,用Yate’s方法得到插補(bǔ)的值分別是（194.7434,236.0789,165.9934）。

5 結(jié)論

在隨機(jī)化區(qū)組實(shí)驗(yàn)設(shè)計(jì)中，有4種方法可以進(jìn)行缺失值處理：第一種方法是刪除缺失的案例，只對(duì)觀測(cè)的數(shù)據(jù)進(jìn)行回歸；第二種方法是利用觀測(cè)數(shù)據(jù)的均值進(jìn)行插補(bǔ)，填補(bǔ)缺失值；第三種方法是利用公式法對(duì)缺失的部分?jǐn)?shù)據(jù)進(jìn)行插補(bǔ)；第四種是根據(jù)Yate’s方法進(jìn)行插補(bǔ)。這4種方法各有優(yōu)劣，在樣本量足夠的情況下，可以考慮直接運(yùn)用觀測(cè)數(shù)據(jù)進(jìn)行回歸，或者采用均值插補(bǔ)。公式法插補(bǔ)較為麻煩，計(jì)算量最大的應(yīng)該是Yate’s插補(bǔ)，因?yàn)閅ate’s插補(bǔ)需要進(jìn)行迭代，計(jì)算量比其他三種方法要大，也較為耗時(shí)。就回歸標(biāo)準(zhǔn)誤差和可決系數(shù)而言，Yate’s插補(bǔ)方法是4種方法中最好的，尤其是在樣本量較少的情況下，建議使用Yate’s插補(bǔ)方法。

〔1〕帥平,李曉松,周曉華,等.缺失數(shù)據(jù)統(tǒng)計(jì)處理方法的研究進(jìn)展〔J〕.中國(guó)衛(wèi)生統(tǒng)計(jì),2013,30（1）:135-142.

〔2〕田兵.缺失數(shù)據(jù)的單一插補(bǔ)方法〔J〕.陰山學(xué)刊：自然科學(xué)版,2011,25（3）:17-19.

〔3〕龐新生.缺失數(shù)據(jù)插補(bǔ)處理方法的比較研究〔J〕.統(tǒng)計(jì)與決策,2012（24）:18-22.

〔4〕楊基棟.缺失數(shù)據(jù)的插補(bǔ)方法及其統(tǒng)計(jì)分析〔J〕.華北水利水電學(xué)院學(xué)報(bào),2010,31（2）:98-103.

〔5〕鄧銀燕.缺失數(shù)據(jù)的填充方法研究及實(shí)證分析〔D〕.西安：西北大學(xué),2010.

〔6〕郁文,鄭明.缺失數(shù)據(jù)均值推斷的經(jīng)驗(yàn)似然方法〔J〕.數(shù)學(xué)年刊,2010,31A（1）:71-80.

〔7〕胡思貴,趙明.完全隨機(jī)缺失數(shù)據(jù)下配對(duì)試驗(yàn)的Bayes分析〔J〕.數(shù)學(xué)的實(shí)踐與認(rèn)識(shí),2011,41（8）:73-77.

〔8〕和燕,彭燕梅,唐年勝.帶不可忽略缺失數(shù)據(jù)的再生散度隨機(jī)效應(yīng)模型的Bayes估計(jì)〔J〕.寧夏大學(xué)學(xué)報(bào):自然科學(xué)版,2011,32（3）:193-197.

〔9〕胡芳芳.缺失數(shù)據(jù)的貝葉斯模型處理〔D〕.長(zhǎng)沙：中南大學(xué),2011.

〔10〕汪金暉,張淑梅,辛濤.缺失數(shù)據(jù)下等級(jí)反應(yīng)模型參數(shù)MCMC估計(jì)〔J〕.北京師范大學(xué)學(xué)報(bào):自然科學(xué)版,2011,47（3）:229-234.

〔11〕鄧明.基于GMM的缺失數(shù)據(jù)回歸模型的半?yún)?shù)估計(jì)〔J〕.統(tǒng)計(jì)與信息論壇,2013,28（3）:9-15.

〔12〕陳盼盼.缺失數(shù)據(jù)下半?yún)?shù)變系數(shù)部分線性模型的統(tǒng)計(jì)推斷〔D〕.北京：北京工業(yè)大學(xué),2012.

〔13〕方匡南,謝邦昌.基于聚類關(guān)聯(lián)規(guī)則的缺失數(shù)據(jù)處理研究〔J〕.統(tǒng)計(jì)研究,2011,28（2）:87-92.

〔14〕張宙鋒,張磊,王志超.改進(jìn)的數(shù)據(jù)流缺失數(shù)據(jù)處理算法〔J〕.微電子學(xué)與計(jì)算機(jī),2012,29（3）:55-59.

〔15〕紀(jì)燕霞.數(shù)據(jù)挖掘中處理不完全數(shù)據(jù)的類均值方法及其擴(kuò)展〔D〕.西安：長(zhǎng)安大學(xué),2010.

〔16〕曾潔美.數(shù)據(jù)缺失處理在“綠色礦山”中的應(yīng)用〔D〕.馬鞍山:安徽工業(yè)大學(xué),2012.

〔17〕張熙.多重填補(bǔ)方法估計(jì)存在不依從與缺失值的隨機(jī)對(duì)照試驗(yàn)的因果效應(yīng)〔D〕.上海：復(fù)旦大學(xué),2012.

〔18〕廖娟芬,黃紹軍,李春紅.具有部分缺失數(shù)據(jù)的異均值方差分析法〔J〕.海南師范大學(xué)學(xué)報(bào)：自然科學(xué)版,2011,24（1）:9-11.

〔19〕游曉鋒,丁樹良,劉紅云.缺失數(shù)據(jù)的估計(jì)方法及應(yīng)用〔J〕.江西師范大學(xué)學(xué)報(bào):自然科學(xué)版,2011,35（3）:325-330.

〔20〕岳春柳.缺失數(shù)據(jù)的概率主成分分析〔D〕.長(zhǎng)春：東北師范大學(xué),2010.

〔21〕余競(jìng),鐘涵宇,劉利,等.統(tǒng)計(jì)調(diào)查表缺失數(shù)據(jù)插補(bǔ)效果的實(shí)證分析〔J〕.成都大學(xué)學(xué)報(bào)：自然科學(xué)版,2010,29（4）:307-310.