郭三剛, 張 琳
(陜西理工大學 數學與計算機科學學院, 陜西 漢中 723000)
假設檢驗是基于小概率事件推理原理,以在總體上的兩個相互對立假設之間做出統(tǒng)計抉擇的理論和方法。小概率事件推理原理必須與假設檢驗結合起來才能正確使用,否則將會產生錯誤[1]。
假設檢驗中有兩個假設:零假設H0(Null Hypothesis)和備擇假設H1(Alternative Hypothesis),后者是檢驗者需要證實的假設,前者是檢驗中需要被檢驗的假設,是與備擇假設對立的假設。通常,零假設和備擇假設由單個總體或多個總體某個或某些參數(數學期望或者方差)等之間的大小關系表示。令θ是上述參數構成的標量或向量,Θ0和Θ1分別表示零假設H0和備擇假設H1為真時所對應的參數θ的取值集合[2]。
零假設和備擇假設都有兩種類型:簡單假設和復合假設。為了正確使用小概率事件推理原理,零假設和備擇假設必須是互為對立的假設。但是,現行的教科書[2-4]有時使用不是互為對立的零假設和備擇假設,在邏輯上是錯誤的。
假設檢驗中,首先要有一個區(qū)分零假設和備擇假設差異性的數值指標T,它是來自于總體的簡單隨機樣本的函數,稱為檢驗統(tǒng)計量。檢驗統(tǒng)計量應當是零假設是否為真的靈敏標記。在零假設為真時,檢驗統(tǒng)計量的概率分布或近似分布是可知的,稱為零分布[5]。
假設檢驗是基于小概率事件推理原理的,即在一次隨機試驗中,小概率事件幾乎是不可能發(fā)生的,如果發(fā)生了則它很可能不是小概率事件。假設檢驗是如何利用小概率事件推理原理呢?首先,構造小概率事件,即給定小概率α(也稱為顯著性水平),在零假設H0為真時構造小概率事件Aα,使得對于任意的θ∈Θ0,有[3]
P(Aα)≤α。
通常,在零假設為真時求檢驗統(tǒng)計量T的數學期望(假定T的方差也存在),根據切比雪夫不等式,可以證明T的值不可能遠離其數學期望太多,遠離太多的概率是很小的。這是我們確定小概率事件Aα的結構和最終形式的理論基礎。小概率事件Aα對應的檢驗統(tǒng)計量T的取值區(qū)域稱為零假設為真時零假設的拒絕域,記為R(lbα1,ubα2),其中α1、α2分別稱為左、右側顯著性水平。
下面根據前面對小概率事件結構的分析介紹拒絕域的結構和系統(tǒng)化求解方法。
(i)雙側假設檢驗的拒絕域:如果零假設H0為真時T的值不能太大也不能太小,則零假設H0的拒絕域具有形式:
R(lbα1,ubα2)=(-∞,lbα1]∪[ubα2,+∞),
其中α1≤α/2,α2≤α/2,相應的檢驗稱為雙側假設檢驗,且P(T≤lbα1)≤α1,P(T≥ubα2)≤α2。
(ii)左側假設檢驗的拒絕域:如果零假設H0為真時,T的值不能太小,則拒絕域具有形式(-∞,lbα1],其中α1≤α,相應的檢驗稱為左側假設檢驗,且P(T≤lbα1)≤α1。
(iii)右側假設檢驗的拒絕域:如果零假設H0為真時,T的值不能太大,則拒絕域具有形式[ubα2,+∞),其中α2≤α,相應的檢驗稱為右側假設檢驗,且P(T≥ubα2)≤α2。
特別地,當假設檢驗為雙側、且檢驗統(tǒng)計量T為連續(xù)型時,取α1=α2=α/2,否則當檢驗統(tǒng)計量T為離散型時,取α1≤α/2,α2≤α/2,且α1、α2盡可能接近α/2;當假設檢驗為左側、且檢驗統(tǒng)計量T為連續(xù)型時,取α1=α,否則當檢驗統(tǒng)計量T為離散型時,取α1≤α,且α1盡可能接近α;當假設檢驗為右側、且檢驗統(tǒng)計量T為連續(xù)型時,取α2=α,否則當檢驗統(tǒng)計量T為離散型時,取α2≤α,且α2盡可能接近α。
根據拒絕域的上述定義,小概率事件Aα可以表示為
Aα={T|T∈R(lbα1,ubα2)}。
在假設檢驗中,勢必會犯兩類錯誤:零假設H0為真卻被拒絕,其概率不大于給定的顯著性水平α;零假設H0為假而卻被接受,其概率記為β,計算公式為
通常一個好的假設檢驗方法,犯第一類錯的概率P(Aα)要較小,即小于預先給定的顯著性水平α,另外,犯第二類錯誤的概率β也要較小。但是,簡單的分析發(fā)現這兩者不能都小,關于如何計算和控制犯兩類錯誤的概率有較多的文獻討論[8-11]。
檢驗統(tǒng)計量T選好以后,關鍵的步驟是如何獲得小概率事件,即零假設H0為真時零假設的拒絕域所對應的事件。文獻[2,3,5]都沒有給出拒絕域的系統(tǒng)化求解方法。為了求拒絕域,文獻都是將可能是復合假設的零假設變成簡單假設來做,這破壞了利用小概率事件推理原理的邏輯基礎。再如馬世榮[12]給出零假設拒絕域的一種模式化求解方法,但也同樣破壞了零假設可能是復合假設的現實。姜淑美[13]利用Neyman K. Pearson定理推導出單個正態(tài)總體均值或方差的單側假設檢驗中拒絕域的一種方法,但在求解過程中也將復合的零假設簡化為簡單假設處理,且方法過于復雜。馮予等[14]給出了二點總體中未知參數p的雙側假設檢驗的基本方法和泊松總體參數λ的單側假設檢驗,但仍將單側假設檢驗中復合的零假設改為簡單假設求解拒絕域。曹曉剛等[15]給出了單個正態(tài)總體均值的假設檢驗拒絕域一種分析求解方法,但沒有給出一般、可推廣性的系統(tǒng)化方法。羅榮華等[16]從抽樣誤差極限的角度提出了假設檢驗的一種新思維,僅考慮正態(tài)總體均值的三種假設檢驗,用觀察法給出零假設為真時其拒絕域的形式,沒有給出系統(tǒng)化求解方法。
本文給出了一種基于最優(yōu)化方法求解零假設為真時其拒絕域和計算p-值的系統(tǒng)化求解方法。這種方法對零假設中的任意參數θ∈Θ0,使得事件Aα={T|T∈R(lbα1,ubα2)}總是小概率事件,且滿足:
P(Aα)=P(T∈R(lbα1,ubα2))≤α。
通常,要將文字描述的零假設和備擇假設抽象成用總體參數表達的等式或不等式的形式,一般地,有三種形式的零假設和備擇假設
H0:θ=θ0,H1:θ≠θ0;H0:θ≤θ0,H1:θ>θ0;H0:θ≥θ0,H1:θ<θ0;
通常,雙側假設檢驗的檢驗統(tǒng)計量T的分布不依賴于任何未知參數,即T的分布類型和分布函數是確定的。假定檢驗統(tǒng)計量T的數學期望ET和方差DT都存在。假定三種零假設為真時,檢驗統(tǒng)計量T的數學期望依次滿足:ET=m0,ET≥m0,ET≤m0,這里m0為常數。然后,依此條件得到零假設為真時零假設的拒絕域的結構類型。
知道了零假設為真時其拒絕域的結構類型,那么給定顯著性水平α,以及左右側顯著性水平α1和α2,就可以給出拒絕域R(lbα1,ubα2)的一種系統(tǒng)化求解方法。
分別就雙側、左側和右側假設檢驗討論零假設為真時其拒絕域的系統(tǒng)化求解方法。
2.1.1 雙側假設檢驗
根據假定:雙側假設檢驗零假設為真時,檢驗統(tǒng)計量T的概率分布不依賴于任何未知參數,故?(θ,θ0)∈Θ0,T的分布是相同的。于是,有
P(T∈R(lbα1,ubα2))=α,
即P(T≤lbα1)=α1,P(T≥ubα2)=α2,
查檢驗統(tǒng)計量T的概率分位數表或者設法計算,協調地找到臨界值lbα1和ubα2,且lbα1要盡可能地大,ubα2要盡可能地小。
2.1.2 左側假設檢驗
選擇α1=α,按照下式求解零假設H0的拒絕域:
(1)
2.1.3 右側假設檢驗
選擇α2=α,按照下式求解零假設H0的拒絕域:
(2)
分別就雙側、左側和右側假設檢驗討論零假設H0為真時其拒絕域的系統(tǒng)化求解方法。
2.2.1 雙側假設檢驗
根據假定:雙側假設檢驗的檢驗統(tǒng)計量T的分布不依賴于任何參數,故?(θ,θ0)∈Θ0,T的分布是相同的。于是,有
P(T≤lbα1)=α1,P(T≥ubα2)=α2,
查檢驗統(tǒng)計量T的概率分位數表或者設法計算,協調地找到臨界值lbα1和α1,ubα2和α2,使得lbα1要盡可能地大,ubα2要盡可能地小。
2.2.2 左側假設檢驗
選擇α1≤α,且α1盡可能接近α,按照下式求解零假設H0的拒絕域:
(3)
2.2.3 右側假設檢驗
選擇α2≤α,且α2盡可能接近α,按照下式求解零假設H0的拒絕域:
(4)
2.1—2.2節(jié)的系統(tǒng)化方法求解的拒絕域保證了零假設H0為真時所有參數(θ,θ0)∈Θ0對應的事Aα={T|T∈R(lbα1,ubα2)}都是小概率事件。
事實上,無論檢驗統(tǒng)計量是連續(xù)型還是離散型,都有:
(1)對雙側假設檢驗,?(θ,θ0)∈Θ0,有
(5)
(2)對左側假設檢驗,?(θ,θ0)∈Θ0,有
(6)
(3)對右側假設檢驗,?(θ,θ0)∈Θ0,有
(7)
上述計算p-值的系統(tǒng)化方法能夠保證p-值檢驗的完備性,下面以定理給出并證明之。
定理上述計算p-值的系統(tǒng)化方法能夠保證p-值檢驗的完備性,即根據p-值和給定的顯著性水平α的相對大小,可以在零假設H0和備擇假設H1之間做出抉擇,即如果p-值大于α,則接受零假設H0;如果p-值小于或等于α,則拒絕零假設H0而接受備擇假設H1。
證明下面就雙側、左側和右側假設檢驗分別證明。
(I)雙側假設檢驗。再分兩種情況討論。
(i)如果P(T≥tobs)=min{P(T≥tobs),P(T≤tobs)},則p=2P(T≥tobs)。
如果p≤α,我們要證明tobs∈R(lbα1,ubα2)。不然,設lbα1 (8) (ii)如果P(T≤tobs)=min{P(T≥tobs),P(T≤tobs)},則p=2P(T≤tobs)。 如果p≤α,我們要證明tobs∈R(lbα1,ubα2)。不然,設lbα1 (9) (II)左側假設檢驗。如果 且零假設為真時其拒絕域為R(lbα1,ubα2)=(-∞,lbα1]。那么,根據小概率事件推理原理以及p-值與給定的顯著性水平α之間的相對大小,在零假設H0和備擇假設H1之間做出統(tǒng)計推斷。 事實上,如果p>α,即 故tobs>lbα1,即檢驗統(tǒng)計量T的觀察值tobs落入了零假設H0為真時的接受域,故接受零假設H0而拒絕備擇假設H1。 如果p≤α,則如果tobs>lbα1,則 (III)右側假設檢驗。如果 且零假設為真時其拒絕域為[ubα2,+∞)。那么,根據小概率事件推理原理以及p-值與給定的顯著性水平α之間的相對大小,在零假設H0和備擇假設H1之間做出統(tǒng)計推斷。 事實上,如果p>α,則 故tobs 如果p≤α,則如果tobs 證畢。 定理表明:按照本文所提出的計算p-值的系統(tǒng)化方法保證了p-值決策的完備性。p-值決策的完備性蘊含著一種假設檢驗方法,即給定顯著性水平α,依據p-值與顯著性水平α的相對大小對零假設和備擇假設做出統(tǒng)計推斷。 限于篇幅,關于拒絕域和p-值的系統(tǒng)化求解方法的應用將另文介紹。 本文詳細介紹了假設檢驗的基本理論與方法,將求解零假設拒絕域的問題轉化為一個最優(yōu)化問題,提出了一種求解零假設拒絕域和計算p-值的系統(tǒng)化方法,該方法能夠保證所得到的拒絕域對零假設為真時的所有參數對應的事件都是小概率事件;另外,證明了p-值的系統(tǒng)化計算方法保證了p-值檢驗的完備性。4 小 結