王晶,劉彭*
山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院(泰安 271018)
在食品的質(zhì)量檢驗(yàn)中,基于抽檢數(shù)據(jù)對不同品牌或生產(chǎn)商的同類型產(chǎn)品進(jìn)行合格品率比較是常遇到的基本問題。這里合格品率常指平均值,而在數(shù)據(jù)分析過程中,比較多個總體的平均值所用的方法為方差分析法。方差分析方法是一種在工農(nóng)業(yè)生產(chǎn)和生物科學(xué)各領(lǐng)域普遍應(yīng)用的數(shù)據(jù)分析方法,它首先被用于農(nóng)業(yè)試驗(yàn),在食品科學(xué)、農(nóng)業(yè)、工業(yè)、醫(yī)藥、生物、心理學(xué)、醫(yī)學(xué)、資源環(huán)境等方面均有廣泛應(yīng)用。在試驗(yàn)設(shè)計(jì)問題中每個試驗(yàn)處理即為數(shù)理統(tǒng)計(jì)中的一個總體,在生產(chǎn)和科學(xué)研究中經(jīng)常會遇到3個或3個以上總體(處理)平均數(shù)的比較問題,此時通常采用方差分析法[1]。方差分析又稱變量分析,是由英國統(tǒng)計(jì)學(xué)家R. A. Fisher提出的一種假設(shè)檢驗(yàn)方法。這種方法的思想是將k個試驗(yàn)處理的觀測值作為一個整體看待,把觀測值總變異以方差(均方)量化[2],并按照產(chǎn)生變異的不同來源進(jìn)行分解,獲得不同變異來源總體方差的估計(jì)值,由估計(jì)值的適當(dāng)比值來檢驗(yàn)各樣本所屬總體平均數(shù)是否存在顯著差異。在食品的質(zhì)量檢驗(yàn)中,若不同品牌食品的不合格品率等百分率數(shù)據(jù)不滿足方差分析的基本假定,采用傳統(tǒng)的方差分析方法檢驗(yàn)結(jié)果很有可能與實(shí)際情況嚴(yán)重不符。該文旨在討論此種情形下如何采用合理的統(tǒng)計(jì)方法對不合格品率進(jìn)行檢驗(yàn)。
方差分析是建立在一定數(shù)學(xué)模型基礎(chǔ)上的,如對單因素完全隨機(jī)化試驗(yàn)設(shè)計(jì)等重復(fù)情況下的試驗(yàn)數(shù)據(jù)進(jìn)行方差分析,其問題描述如下[3]:
若試驗(yàn)中共有k個處理,每個處理觀測n次,xij表示來自第i個處理的第j次個觀測值(i=1, 2, …,k,j=1, 2, …,n),所有觀測值共有nk個。記總體平均數(shù)為μ,第i個處理觀測值總體平均數(shù)為μi(i=1, 2, …,k),方差分析方法的分析目的在于比較不同總體的平均數(shù)是否有顯著差異,因此其原假設(shè)可以寫成:
根據(jù)假設(shè)檢驗(yàn)的基本原理,現(xiàn)需構(gòu)造已知分布的統(tǒng)計(jì)量對(1)中的H0進(jìn)行假設(shè)檢驗(yàn)。
對于觀測值xij可用如下線性可加模型描述:
式中:τi為第i個處理的效應(yīng);εij為試驗(yàn)誤差。在線性模型形式下,若試驗(yàn)誤差εij相互獨(dú)立,且均服從正態(tài)分布N(0,σ2),由Cochran定理可以證明[4]在原假設(shè)H0成立時不同變異來源總體方差估計(jì)值的比值服從F分布。因此,此時應(yīng)用方差分析方法比較不同處理平均數(shù)是否有顯著差異即為傳統(tǒng)的F檢驗(yàn)過程。若F檢驗(yàn)結(jié)果顯著,說明各處理平均值存在顯著差異。
由此可見,經(jīng)典參數(shù)統(tǒng)計(jì)中如要進(jìn)行方差分析,數(shù)據(jù)必須滿足獨(dú)立性、正態(tài)性、可加性和方差同質(zhì)性的要求,否則無法直接進(jìn)行F檢驗(yàn)過程,這些條件稱為方差分析的基本假定[5]。在實(shí)際應(yīng)用中如何檢驗(yàn)試驗(yàn)數(shù)據(jù)是否滿足方差分析的基本假定?當(dāng)數(shù)據(jù)不滿足基本假定時應(yīng)如何處理?通過實(shí)際問題為例說明。
方差分析是在效應(yīng)線性可加、誤差獨(dú)立正態(tài)等方差條件下進(jìn)行的,這些條件稱為方差分析的基本假定。因此在實(shí)際應(yīng)用時,需要檢驗(yàn)數(shù)據(jù)是否滿足基本假定的要求,其中效應(yīng)的線性可加性和誤差獨(dú)立性通過試驗(yàn)數(shù)據(jù)的直觀觀察和合理的試驗(yàn)設(shè)計(jì)可以實(shí)現(xiàn),而誤差的正態(tài)分布及方差同質(zhì)往往是不容易滿足的,應(yīng)重點(diǎn)進(jìn)行檢驗(yàn)。由線性模型(2)可知,若隨機(jī)誤差εij服從正態(tài)分布且方差同質(zhì),則相應(yīng)的觀測值xij均來自于正態(tài)分布總體且不同總體方差同質(zhì)。通過例1[6]說明這2個條件的檢驗(yàn)過程。分析,每種食品隨機(jī)抽取5個樣本,統(tǒng)計(jì)其不合格品率如表1所示。試用方差分析檢驗(yàn)四種商品的質(zhì)量是否有顯著差異。
表1 食品質(zhì)量不合格品率抽樣數(shù)據(jù) 單位:%
在例1中,若按照不同品牌食品將合格品率數(shù)據(jù)劃分為4組,在SPSS 22.0[7]中作箱線圖如圖1所示。
圖1 食品質(zhì)量抽樣數(shù)據(jù)箱線圖
由圖1可知,不同品牌食品的不合格品率直觀上來看應(yīng)該有差異,但是若直接按照單因素完全隨機(jī)化試驗(yàn)的數(shù)據(jù)模型(2)進(jìn)行方差分析,檢驗(yàn)結(jié)果見表2。F檢驗(yàn)的顯著性概率p=0.068>0.05,檢驗(yàn)結(jié)果為各品牌食品的平均不合格品率不存在顯著差異,與實(shí)際情況不符。
表2 不合格品率的方差分析結(jié)果
出現(xiàn)此種矛盾的主要原因是表1中的數(shù)據(jù)實(shí)際上并不符合方差分析的基本假定,因此直接應(yīng)用模型(2)進(jìn)行方差分析檢驗(yàn)無法檢驗(yàn)處多個總體均值的差異顯著性。
若要根據(jù)實(shí)際數(shù)據(jù)檢驗(yàn)方差分析的基本假定是否滿足,可綜合應(yīng)用各類統(tǒng)計(jì)方法,如對例1中的數(shù)據(jù)就其總體正態(tài)性和方差同質(zhì)性檢驗(yàn),具體過程如下。
例1中的數(shù)據(jù)來自于4個不同試驗(yàn)處理,可以看作4組樣本觀測值,分別對其總體是否滿足正態(tài)分布進(jìn)行統(tǒng)計(jì)檢驗(yàn)。常用的方法是結(jié)合統(tǒng)計(jì)量、統(tǒng)計(jì)圖像及總體分布的統(tǒng)計(jì)假設(shè)檢驗(yàn)結(jié)果綜合評價。
如對于試驗(yàn)處理A的樣本觀測值,計(jì)算其與分布形狀有關(guān)的統(tǒng)計(jì)量,得到樣本偏度值為2.180,樣本峰度值為4.794,絕對值均遠(yuǎn)大于0,初步判斷與正態(tài)分布相去甚遠(yuǎn)。
而對試驗(yàn)處理A的數(shù)據(jù)作正態(tài)Q-Q圖如圖2所示,也可見與正態(tài)分布差別較大。
圖2 處理A正態(tài)分布Q-Q圖
進(jìn)一步對試驗(yàn)處理A的分布正態(tài)性進(jìn)行統(tǒng)計(jì)推斷,常用的檢驗(yàn)方法Kolmogorov-Smirnov正態(tài)性檢驗(yàn)、Shapiro-Wilk檢驗(yàn)[8]等。SPSS 22.0中應(yīng)用過以上方法試驗(yàn)處理A的正態(tài)性檢驗(yàn)結(jié)果如表3所示。
表3 試驗(yàn)處理A正態(tài)性檢驗(yàn)結(jié)果
2種檢驗(yàn)方法下顯著性概率分別為p=0.005<0.05及p=0.002<0.05,在檢驗(yàn)的顯著性水平α=0.05下應(yīng)拒絕總體服從正態(tài)分布。
從結(jié)果可以判斷試驗(yàn)處理A不服從正態(tài)分布,因此例1中的數(shù)據(jù)不符合方差分析基本假定的正態(tài)性條件。
若假設(shè)例1中的4個試驗(yàn)處理對應(yīng)的總體方差分別為σA2、σB2、σC2和σD2,檢驗(yàn)方差同質(zhì)性的假定條件是否滿足,即檢驗(yàn):
對于多個方差齊性的檢驗(yàn),一般常用的統(tǒng)計(jì)方法有Bartlettχ2檢驗(yàn)和Levene檢驗(yàn)。其中,Bartlettχ2檢驗(yàn)要求數(shù)據(jù)來自正態(tài)總體,而Levene檢驗(yàn)對于總體分布沒有要求。根據(jù)2.1中正態(tài)性檢驗(yàn)結(jié)果,在此選擇Levene檢驗(yàn)方法對方差同質(zhì)性進(jìn)行檢驗(yàn)較為合理。在SPSS 22.0中得到例1中數(shù)據(jù)的方差同質(zhì)性Levene檢驗(yàn)結(jié)果,其顯著性概率p<0.000 1,在顯著性水平α=0.05下應(yīng)拒絕原假設(shè)(3),即例1中4個試驗(yàn)處理的方差不同質(zhì),不滿足方差分析的基本假定。
當(dāng)實(shí)際抽樣數(shù)據(jù)經(jīng)以上檢驗(yàn)過程發(fā)現(xiàn)確實(shí)不滿足方差分析基本假定的某些要求時,用經(jīng)典的參數(shù)方差分析方法對原假設(shè)(1)進(jìn)行檢驗(yàn),其檢驗(yàn)結(jié)果可能與實(shí)際情況嚴(yán)重不符。如例1中的數(shù)據(jù)經(jīng)檢驗(yàn)發(fā)現(xiàn)不滿足總體正態(tài)性條件和方差同質(zhì)性條件,若直接進(jìn)行參數(shù)方差分析結(jié)果如表2,檢驗(yàn)結(jié)果顯然與實(shí)際情況矛盾,并未檢驗(yàn)出不同品牌食品平均不合格品率的顯著性差異,基于這種錯誤結(jié)果就會得到不同品牌食品質(zhì)量無差異的結(jié)論。此時,需考慮更為合理的方差分析方法,在應(yīng)用中常用處理方式包括2種。
在實(shí)際應(yīng)用問題中進(jìn)行方差分析時,往往會出現(xiàn)基本假定中效應(yīng)的線性可加性、分布正態(tài)性和方差的同質(zhì)性條件有一條或多條不滿足的情況。此時可以考慮先對原始數(shù)據(jù)進(jìn)行轉(zhuǎn)換,使得轉(zhuǎn)化后的數(shù)據(jù)更為符合基本假定條件,再對轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行參數(shù)方差分析。常用的數(shù)據(jù)轉(zhuǎn)換方法有平方根轉(zhuǎn)換、對數(shù)轉(zhuǎn)換、倒數(shù)轉(zhuǎn)換和反正弦轉(zhuǎn)換等[9],不同的數(shù)據(jù)轉(zhuǎn)化方式其所起作用不同,可根據(jù)實(shí)際數(shù)據(jù)的具體特點(diǎn)進(jìn)行選擇。
如例1中的試驗(yàn)數(shù)據(jù)經(jīng)檢驗(yàn)不滿足正態(tài)性和方差同質(zhì)性假定,且不合格品率為百分?jǐn)?shù),其取值范圍為區(qū)間[0,1],此時可以考慮對原始數(shù)據(jù)進(jìn)行平方根轉(zhuǎn)換和反正弦轉(zhuǎn)換后再做方差分析,即令轉(zhuǎn)換后的數(shù)據(jù)xij′=arcsin(xij)。其中,平方根轉(zhuǎn)換有利于使方差更為整齊,而百分?jǐn)?shù)取反正弦后更接近于正態(tài)性要求。例1中的數(shù)據(jù)經(jīng)反正弦轉(zhuǎn)換后結(jié)果如表4所示。
表4 食品質(zhì)量不合格品率反正弦轉(zhuǎn)換數(shù)據(jù)
對表4中轉(zhuǎn)換后的數(shù)據(jù)按照單因素完全隨機(jī)化試驗(yàn)的線性模型(2)進(jìn)行方差分析,檢驗(yàn)結(jié)果如表5。F檢驗(yàn)的顯著性概率p=0.037<0.05,即不同品牌食品的平均不合格品率存在顯著差異,更為符合實(shí)際情況。進(jìn)一步通過不合格品率抽樣數(shù)據(jù)的兩兩比較來看,D品牌食品的不合格品率顯著高于其他品牌,應(yīng)進(jìn)行重點(diǎn)檢測,其他品牌的產(chǎn)品質(zhì)量要遠(yuǎn)遠(yuǎn)高于它。若對其進(jìn)行進(jìn)一步檢測分析,其不合格品率仍符合生產(chǎn)標(biāo)準(zhǔn),說明其他品牌在安全范圍內(nèi)。
表5 轉(zhuǎn)換后數(shù)據(jù)的方差分析結(jié)果
實(shí)際應(yīng)用中,應(yīng)該如何轉(zhuǎn)換原始數(shù)據(jù)使其更為符合方差分析的基本假定條件,需要根據(jù)樣本觀測值的特點(diǎn)具體探索,且當(dāng)原始數(shù)據(jù)規(guī)律性不明顯時常用的數(shù)據(jù)轉(zhuǎn)換方法不易達(dá)到檢驗(yàn)的應(yīng)用目的。另外,轉(zhuǎn)換后的數(shù)據(jù)就其本質(zhì)來說不同于原始數(shù)據(jù),應(yīng)用其所包含的信息達(dá)到檢驗(yàn)?zāi)康氖欠裾嬲m合實(shí)際情況也是需要進(jìn)一步研究思考的問題。
參數(shù)方差分析方法需要數(shù)據(jù)組滿足正態(tài)分布假定,當(dāng)數(shù)據(jù)不足以支持正態(tài)性假定時,可以借助非參數(shù)方法解決。若假定數(shù)據(jù)是多組獨(dú)立樣本,在單因素完全隨機(jī)化試驗(yàn)設(shè)計(jì)下,可采用Kruskal-Wallis單因素方差分析方法或Jonckheere-Terpstra檢驗(yàn)方法[10]進(jìn)行多個試驗(yàn)處理平均位置的比較。
若多個總體的平均位置有上升或下降趨勢時,采用Jonckheere-Terpstra檢驗(yàn)方法檢驗(yàn)這種趨勢的顯著性更有針對性。例1中的4組數(shù)據(jù)通過圖1來看總體平均值存在上升趨勢,因此若設(shè)4個總體均值分別為μ1、μ2、μ3、μ4,則原假設(shè)和備擇假設(shè)分別為:
Jonckheere-Terpstra檢驗(yàn)方法的基本做法是對第i組樣本統(tǒng)計(jì)其每一個樣本觀測值小于第j組樣本的觀測值個數(shù)Wij(i,j=1, 2, …,k),對所有Wij在i<j范圍內(nèi)求和得到Jonckheere-Terpstra統(tǒng)計(jì)量:
如果一個樣本的觀測值小于另一個樣本的觀測值的個數(shù)較多或是較少,說明兩者位置之間差異較大,因此當(dāng)統(tǒng)計(jì)量J大時,應(yīng)拒絕(4)中的原假設(shè)H0,認(rèn)為不同總體平均位置有顯著上升趨勢。在檢驗(yàn)的顯著性水平為α?xí)r檢驗(yàn)的臨界值c可以查表獲得,在統(tǒng)計(jì)軟件中可以通過檢驗(yàn)的顯著性概率p值做出推斷。
對例1中的數(shù)據(jù)進(jìn)行Jonckheere-Terpstra檢驗(yàn),在SPSS 22.0得到檢驗(yàn)結(jié)果如表6所示。
表6 食品不合格品率Jonckheere-Terpstra檢驗(yàn)結(jié)果
檢驗(yàn)的顯著性概率p=0.005<0.01,說明4種品牌食品的平均不合格率存在極顯著上升趨勢,即4種食品的平均不合格率差異極顯著。
結(jié)果表明,應(yīng)用Jonckheere-Terpstra檢驗(yàn)對同一試驗(yàn)數(shù)據(jù)進(jìn)行非參數(shù)方差分析,其檢驗(yàn)的顯著性概率p=0.005,遠(yuǎn)小于對轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行參數(shù)方差分析的結(jié)果p=0.037,可以認(rèn)為這種方法更易于檢驗(yàn)出不同總體平均值的差異顯著性。而在非參數(shù)方差分析的各種方法中,相較于Kruskal-Wallis方差分析,Jonckheere-Terpstra檢驗(yàn)具有更強(qiáng)的勢[11]。
在比較多個試驗(yàn)處理的平均值問題中,方差分析法是常用的統(tǒng)計(jì)方法。不同的試驗(yàn)設(shè)計(jì)方法對應(yīng)不同的方差分析模型,但無論采用哪一種模型,在參數(shù)統(tǒng)計(jì)中,都需要數(shù)據(jù)滿足方差分析的基本假定。在實(shí)際應(yīng)用中,首先對數(shù)據(jù)是否滿足基本假定進(jìn)行統(tǒng)計(jì)檢驗(yàn)做出判斷十分必要。一旦樣本觀測值確實(shí)不符合基本假定要求,需要采用其他方法進(jìn)行比較。如對轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行方差分析或直接利用非參數(shù)方差分析方法進(jìn)行檢驗(yàn),是這種情況下的常見處理方式。具體實(shí)際問題中,哪種處理方法更符合實(shí)際需求,要根據(jù)數(shù)據(jù)的特點(diǎn)進(jìn)行選擇,可進(jìn)一步開展綜合比較和探索性分析。
針對食品質(zhì)量檢測中不合格品率這一基本標(biāo)準(zhǔn)的比較進(jìn)行討論。當(dāng)涉及到其他標(biāo)準(zhǔn)的平均值比較,特別數(shù)據(jù)呈現(xiàn)為百分?jǐn)?shù)或比例時,都要注意上述問題和方法的選擇。非參數(shù)方差分析方法普遍適用于這類問題,具有廣泛應(yīng)用,其討論過程可以在類似問題中進(jìn)一步推廣。
但實(shí)例中只是就平均不合格品率進(jìn)行數(shù)據(jù)分析,而不同品牌不合格品率的方差經(jīng)檢驗(yàn)差異也較大,這反映了某些品牌食品的質(zhì)量極不穩(wěn)定的問題。后續(xù)可根據(jù)實(shí)際應(yīng)用結(jié)合這兩個方面對食品質(zhì)量進(jìn)行綜合評價。