易昆南,程勛杰
(中南大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,長(zhǎng)沙 410075)
問題1[1]是這樣提出的:分析附件1中 A、B兩組評(píng)酒員對(duì)27組酒樣的評(píng)價(jià)結(jié)果有無顯著性差異,哪一組結(jié)果更可信?
方差分析法解法思路:取A、B兩組評(píng)酒員對(duì)27組酒樣打分的平均值(或打分之和)作單因素方差分析,用檢驗(yàn)結(jié)果來判斷兩組評(píng)酒員對(duì)27組酒樣的評(píng)價(jià)結(jié)果有無顯著性差異。
方差分析[2](analysis of variance,ANOVA)又稱“變異數(shù)分析”或“F檢驗(yàn)”,是由 R.A.Fisher發(fā)明的,用于對(duì)兩個(gè)及兩個(gè)以上樣本均數(shù)差別的顯著性檢驗(yàn)。對(duì)于給定的顯著性水平α∈ (0 ,1),若p=P{ F ≥F0}<α,則拒絕原假設(shè)H0(F0為F統(tǒng)計(jì)量的觀測(cè)值),可以認(rèn)為所考慮的因素對(duì)相應(yīng)變量有顯著性影響;否則,不能拒絕H0,認(rèn)為所考慮的因素對(duì)相應(yīng)變量無顯著性影響。
方差分析的最重要的假定條件為:①各處理?xiàng)l件下的樣本是相互獨(dú)立的,否則可能出現(xiàn)無法解析的輸出結(jié)果;② 各處理?xiàng)l件下的樣本分別來自正態(tài)分布總體,否則使用非參數(shù)分析;③各處理?xiàng)l件下的樣本方差相同,即具有齊效性。
假設(shè)條件①、②容易得到滿足,而假設(shè)條件③恰恰是不滿足的!通過對(duì)題目提供的紅葡萄酒、白葡萄各27種樣本數(shù)據(jù)的計(jì)算,在顯著性水平α=0.05下,兩總體的方差都有顯著性差異(例如對(duì)紅葡萄酒的計(jì)算,在方差是否相等的檢驗(yàn)檢驗(yàn)中,第1組樣本方差=53.91,第2組樣本方差=15.82,F(xiàn)=3.14,p 值為 0.002 6,檢驗(yàn)結(jié)果認(rèn)為兩正態(tài)總體方差不等)。所以直接由上述方法得出的結(jié)論是一種很糟糕的結(jié)果。
另一種處理方法:按每一種酒樣(共27個(gè)酒樣),對(duì)兩組評(píng)酒員的打分結(jié)果做單因素方差分析,這樣可以得到相應(yīng)的結(jié)果,見表1。
表1 27個(gè)酒樣的兩組評(píng)酒員打分的方差分析結(jié)果(α=0.05)
在27個(gè)酒樣對(duì)應(yīng)的兩組樣本的方差分析中,當(dāng)水平α=0.05時(shí),仍有3個(gè)不滿足方差齊性的要求(見表1中黑體數(shù)字)。
即使27個(gè)酒樣對(duì)應(yīng)的兩個(gè)總體都滿足方差齊性,分析表1中的數(shù)據(jù),發(fā)現(xiàn)大于顯著性水平的數(shù)值共有19個(gè),也就是說給定α=0.05,27種紅葡萄酒評(píng)價(jià)結(jié)果中可以認(rèn)為無顯著性差異的結(jié)果所占的比例為,由此可以認(rèn)定在給定α=0.05水平下,以0.704的概率接受,兩組評(píng)酒員的評(píng)價(jià)結(jié)果無顯著性差異。
但是當(dāng)改變一下顯著性水平α的值,比如取α=0.06時(shí),可以發(fā)現(xiàn)大于0.06的結(jié)果共有11個(gè),那么無顯著性差異的結(jié)果所占的比例為40.7%,和α=0.05相比,比例直接下降了將近30百分點(diǎn)。對(duì)兩組評(píng)酒員的評(píng)價(jià)結(jié)果無顯著性差異越來越缺乏自信。
通過上面的分析可以得出,應(yīng)用上述方差分析的方法(且不說未檢驗(yàn)兩組樣本的方差齊性!)作出判斷的關(guān)鍵變成了α的選取,當(dāng)α取的較小時(shí)(如α≤0.05),得出的結(jié)果是兩組評(píng)價(jià)結(jié)果之間沒有顯著性差異,當(dāng)α取的稍微有些大時(shí)(如α=0.06),則得出的結(jié)果就是兩組評(píng)價(jià)結(jié)果之間有顯著性差異!
事實(shí)上,假設(shè)檢驗(yàn)難免要犯錯(cuò)誤,假設(shè)犯第1類錯(cuò)誤[3]的概率為α=0.05,并假設(shè)27次檢驗(yàn)都是獨(dú)立進(jìn)行的,正確接收全部原假設(shè)的概率為(1-α)27=0.9527≈7.45 ×10-36,概率幾乎為 0,錯(cuò)誤的拒絕其中至少一個(gè)假設(shè)的概率為1-(1-0.05)27,幾乎為1。雖然這種方法看似比第1種方法更合乎邏輯,但實(shí)質(zhì)上解法也是錯(cuò)誤的。
用單因素方差分析處理兩組評(píng)酒員對(duì)27組酒樣的評(píng)價(jià)結(jié)果有無顯著性差異的問題,實(shí)質(zhì)上是兩個(gè)正態(tài)總體的方差相等條件下的均值是否相同的檢驗(yàn)問題,方差分析與t檢驗(yàn)的方法等價(jià)。問題的關(guān)鍵在于:27組酒樣有著自身的質(zhì)量排名,A組10人對(duì)每一酒樣打分的平均分所得到的27個(gè)樣本不能看作取自同一總體N(μ1,σ2)的樣本;同樣來自B組的27個(gè)樣本不能看做取自同一總體N(μ2,σ2)的樣本。即使方差齊性滿足,無論使用這兩種方法中的哪一種,樣本中都參雜了27組酒樣的差異,無法保證得到正確的結(jié)論。
兩獨(dú)立樣本 t檢驗(yàn)[4,6]就是根據(jù)樣本數(shù)據(jù)對(duì)兩個(gè)配對(duì)樣本來自的兩總體的均值是否有顯著性差異進(jìn)行推斷。
兩配對(duì)樣本t檢驗(yàn)的前提條件:① 需要克服試驗(yàn)因素帶來的干擾,否則無法區(qū)分結(jié)果的差異究竟是兩總體均值的差異還是試驗(yàn)因素帶來的差異;②樣本來自的兩個(gè)總體應(yīng)該服從正態(tài)分布,或配對(duì)數(shù)據(jù)之差服從正態(tài)分布。
以白葡萄酒為例,設(shè)來自A組28個(gè)樣本與B組28個(gè)樣本的配對(duì)數(shù)據(jù)之差為取自“兩組對(duì)白葡萄酒評(píng)價(jià)的差異”這一總體的簡(jiǎn)單隨機(jī)樣本,假設(shè)這個(gè)總體服從正態(tài)分布 N(μ,σ2),μ,σ2均未知,檢驗(yàn)假設(shè)H0:μ=0,若拒絕原假設(shè),則認(rèn)為兩組對(duì)白葡萄酒評(píng)價(jià)有顯著性差異。注意:不要設(shè)“A組對(duì)白葡萄酒的評(píng)分”為一正態(tài)總體N(μ1,σ2),A組28個(gè)樣本為取自該總體的樣本,前面已經(jīng)提及,這種提法本身是有問題的。
用配對(duì)t檢驗(yàn)方法步驟:① 檢驗(yàn)配對(duì)數(shù)據(jù)之差服從正態(tài)分布;② 進(jìn)行兩正態(tài)總體均值是否相同的配對(duì)t檢驗(yàn)。
具體檢驗(yàn)如下(以白葡萄酒為例)。
首先通過計(jì)算兩組白葡萄酒配對(duì)樣本的差值,繼而計(jì)算對(duì)應(yīng)的均值、方差,做正態(tài)分布的擬合檢驗(yàn)。整個(gè)計(jì)算可通過 SPSS 19.0來完成[5]。檢驗(yàn)結(jié)果見表2。
表2 擬合檢驗(yàn)結(jié)果
檢驗(yàn)結(jié)果符合正態(tài)性假設(shè)。配對(duì)數(shù)據(jù)之差的P-P圖見圖1。
圖1 配對(duì)數(shù)據(jù)之差的P-P圖
從圖1中可以發(fā)現(xiàn),數(shù)據(jù)分布在直線附近。P-P圖同時(shí)也是對(duì)上述結(jié)論的佐證,因此可以用配對(duì)t檢驗(yàn)進(jìn)行求解。得到的結(jié)果見表3。
從表3中可以看到概率p值等于0.038,小于0.05,故認(rèn)為兩組評(píng)酒員的評(píng)價(jià)結(jié)果有顯著性差異。對(duì)紅葡萄酒進(jìn)行類似的分析,得到的結(jié)果見表4。
表4中概率 p值為0.021,也小于0.05。
表3 白葡萄酒配對(duì)t檢驗(yàn)結(jié)果
表4 紅葡萄酒配對(duì)t檢驗(yàn)結(jié)果
兩次檢驗(yàn)結(jié)果都表明:兩組評(píng)酒員的評(píng)價(jià)結(jié)果之間存在顯著性的差異,所以有理由相信兩組評(píng)酒員的評(píng)價(jià)結(jié)果是存在顯著性差異的。
在討論哪一組結(jié)果更可信時(shí),有的參賽隊(duì)以哪一組評(píng)酒打分方差最小來簡(jiǎn)單選擇哪一組結(jié)果更可信,其實(shí)方差小只能說明該組對(duì)問題的看法比較一致,只能從一個(gè)側(cè)面說明問題,但該組打分可能存在系統(tǒng)的偏差(即該組打分與真實(shí)排名的差距),這可能是更重要、更要命的問題,處理的常見方法有字典序法[7-9]等。
統(tǒng)計(jì)分析方法繁多,只有充分認(rèn)識(shí)問題是否滿足該統(tǒng)計(jì)分析方法的條件時(shí),才能正確地使用該統(tǒng)計(jì)分析方法,這是在前期的數(shù)學(xué)建模培訓(xùn)中特別要注意的。
[1]2012年全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽試題[EB/OL].http://ishare.iask.sina.com.cn/f/33790432.html.
[2]何曉群,劉文卿.應(yīng)用回歸分析[M].北京:人民大學(xué)出版社,2007.
[3]魏宗舒.概率論與數(shù)理統(tǒng)計(jì)教程[M].北京:高等教育出版社,2009.
[4]膝龍.包其郁.配對(duì)t檢驗(yàn)誤區(qū)與率轉(zhuǎn)化配對(duì)t檢驗(yàn)方法介紹及各自應(yīng)用范圍[J].醫(yī)學(xué)研究通訊,2003,32(7):21-23.
[5]杜強(qiáng),賈麗燕.SPSS從入門到精通[M].北京:人民郵電出版社,2011.
[6]陳佩珍,陸守曾.關(guān)于配對(duì)t檢驗(yàn)效能的研究[J].中國(guó)衛(wèi)生統(tǒng)計(jì),1996,13(6):19-22.
[7]司守奎,孫璽菁.數(shù)學(xué)建模算法與應(yīng)用[M].北京:國(guó)防工業(yè)出版社,2011.
[8]明日科技 .Visual C++從入門到精通[M].北京:清華大學(xué)出版社,2012.
[9]龔純,王正林.MATLAB語言常用算法程序集[M].北京:電子工業(yè)出版社,2008.