井曉丹，朱永忠，井 睿

（1.河海大學(xué) 理學(xué)院，南京 211100；2.西北農(nóng)林科技大學(xué) 經(jīng)濟管理學(xué)院，陜西 咸陽 712100）

0 引言

模型選擇是建模的基本問題之一，對模型進行選擇的目的是選擇輸入變量的一個最小子集，并使最終模型具有較好的預(yù)測性能。在最優(yōu)模型選擇過程中，要充分考慮計算的復(fù)雜程度和模型的預(yù)測性能。

到目前為止，許多科研工作者對貝葉斯模型選擇進行了大量的研究，得出了很多模型選擇方法[1]。在模型選擇時，常用的方法是根據(jù)預(yù)測性能對模型進行選擇。交叉驗證法[2]和廣義信息準則[3]都可以得到模型預(yù)測性能的一個漸近無偏估計[4]，但不是真正無偏估計模型的泛化能力。當給定的數(shù)據(jù)集較小時，這兩個估計中含有隨機誤差項，較大的方差可能會導(dǎo)致過擬合現(xiàn)象，在模型選擇過程中導(dǎo)致選擇非最優(yōu)模型以及在所選模型的性能估計中產(chǎn)生偏倚[5-7]。模型選擇的另一種方法是構(gòu)建一個完整的參考模型[8-10]，這種方法給出的預(yù)測模型幾乎與參考模型一致。如果完整的模型過于復(fù)雜或觀察所有變量的成本太高，那么該模型可以通過投影方法穩(wěn)健地簡化，將全模型的信息投影到子模型上。投影方法考慮到形成全模型時模型的不確定性[11]，將參考模型的后驗信息投影到候選模型，從而使候選模型中的方差減小,降低模型中的過擬合現(xiàn)象。在預(yù)測性能方面，投影方法似乎優(yōu)于其他的模型選擇方法，但對于不同大小的數(shù)據(jù)集，投影方法對模型中自變量數(shù)目的選擇[12]存在不確定性。鑒于此，本文在對模型進行選擇時將k折交叉驗證與投影預(yù)測法相結(jié)合，數(shù)值實驗結(jié)果表明，改進后的方法能選出具有良好預(yù)測性能的最簡模型。

1 常用模型選擇方法

1.1 預(yù)測性能

統(tǒng)計學(xué)家們通常用效用函數(shù)描述模型的質(zhì)量，一種常用的衡量候選模型M預(yù)測性能好壞的效用函數(shù)[13]是：

其中，y?表示未來預(yù)測值，表示訓(xùn)練數(shù)據(jù)集。

由于未來預(yù)測值是未知的，導(dǎo)致效用函數(shù)u(M，?)無法求值。因此通常將式（1）的計算用下式代替：

（1）留一交叉驗證

式（2）可以通過使用已獲得的數(shù)據(jù)集D代替真實數(shù)據(jù)進行計算，生成概率分布pt(?)的一個估計。但使用與擬合模型相同的數(shù)據(jù)集D，會導(dǎo)致泛化能力有一個樂觀的估計。為了解決這一問題，1974年Geisser[14]等提出留一交叉驗證法，即將給定的數(shù)據(jù)集分成兩部分，一部分作為訓(xùn)練集，用于擬合模型；另一部分作為測試集，用于檢測模型的預(yù)測性能。其基本思想是：每次從數(shù)據(jù)集D=

中取一個樣本(xi，yi)作為測試集，用剩下的n-1 個 樣 本(xn，yn)}組成訓(xùn)練集。將此步驟重復(fù)n次，依次取遍所有的n個樣本分別作為測試集，最后用n個測試誤差的均值作為泛化誤差的估計。

由于模型需要被擬合n次，導(dǎo)致留一交叉驗證法的計算量可能很大。如果n很大，不僅擬合次數(shù)很多，也會使得擬合單個模型的過程變得特別慢，那么，這種方法將非常耗時。

(2)k折交叉驗證

1979年，Geisser和Eddy[2]提出了k折交叉驗證。k折交叉驗證是一種常用的樣本重用方法，它與留一交叉驗證

其中，pt(?)是概率分布，下標t代表此概率分布是由真實數(shù)據(jù)計算得到的。這個表達式粗略地描述了候選模型M的預(yù)測性能。

1.2 交叉驗證

法類似，其本質(zhì)區(qū)別在于數(shù)據(jù)的切分方式不同。

k折交叉驗證的基本思想是：將數(shù)據(jù)集等分成k個子集I1，…，Ik，每次從中取一個數(shù)據(jù)集作為測試集，而其余k-1個數(shù)據(jù)集作為訓(xùn)練集，重復(fù)此步驟k次。平均k次的結(jié)果作為泛化誤差的估計：

其中，Is(i)表示將第i個樣本集作為測試集，DIs(i)表示在訓(xùn)練集中將第i個樣本集刪除。

k折交叉驗證中，較小的k會使方差變大，導(dǎo)致模型預(yù)測效果變差。統(tǒng)計學(xué)家們通過利用大量數(shù)據(jù)集，使用不同方法進行大量的實驗，表明10折是獲得最好誤差估計的恰當選擇。但這也不是絕對的，爭議仍然存在。令k=10其優(yōu)勢在于：第一，方便計算。使用10折交叉驗證只需要把模型擬合十次，可行性更高；第二，考慮到偏差-方差的權(quán)衡問題，令k=10時，會產(chǎn)生一個中等程度的偏差，使得測試誤差的估計不會有過大的偏差或方差[15]。本文中將使用k=10進行討論。

1.3 廣義信息準則

廣義信息準則可以估計模型的預(yù)測性能，包括參數(shù)的不確定性，也可以用于異常模型。其估計模型泛化能力的公式為：

其中，V是函數(shù)方差，由下式給出：

其中，·||·是布爾運算中的“或”運算，θ是模型參數(shù)。

參考模型M*和候選模型M之間的差異定義如下：

這里，兩個期望都采用了后驗概率p(θ|D，M)。

1.4 投影預(yù)測方法

模型選擇的另一種方法是建立一個參考模型M*，這種方法稱為參考模型法[8-10]。從預(yù)測角度看，用所有的變量形成參考模型將會得到更好的預(yù)測效果。參考模型法被認為是對未來預(yù)測值的最好擬合。投影預(yù)測方法是參考模型方法的一種表現(xiàn)形式。

投影預(yù)測方法的基本思想是：將參考模型M*的后驗信息投影到候選模型M上，因此候選模型的預(yù)測分布與參考模型的分布非常接近。候選模型的參數(shù)是由擬合的參考模型決定的，而不是由數(shù)據(jù)決定。

給出參考模型的參數(shù)θ*，在候選模型M的參數(shù)空間上，投影參數(shù)θ⊥定義如下：

計算KL散度，并根據(jù)式（6）分別計算出投影參數(shù)那么式（7）近似等于：

Dupuis和Robert[16]提出了模型選擇的一種方法:

其中，M0代表空模型，它與參考模型的差異是最大的，從變量選擇角度看,M0是自由變量模型，M*代表參考模型，M代表候選模型。Dupuis和Robert指出，在模型選擇過程中，要選擇具有較好解釋能力的最簡模型，但他們沒有討論模型預(yù)測性能這一閾值的影響。一般情況下，對子模型的預(yù)測性能來說，?(M)是一個不可靠的指標。這是因為通常情況下，參考模型M*與真實數(shù)據(jù)生成的模型Mt是不同的，且M和M*之間存在差異，但M，M*卻與Mt有相同的預(yù)測性能。

投影方法考慮到形成全模型時的不確定性，能最好地保留全模型的預(yù)測性能。但在一般情況下，參考模型和子模型之間預(yù)測性能的差異是一個不可靠的指標。這個屬性使得投影方法不容易確定最終模型的大小。

1.5 模型空間方法

在模型空間上有如下分布：

其預(yù)測通過貝葉斯模型平均(BMA)獲得:

嚴格來說，BMA假設(shè)候選模型是真實數(shù)據(jù)生成的模型。此外，在變量選擇的背景下,BMA已被Raftery[17]證明在理論上和實踐中都具有良好的預(yù)測性能。

2 一類改進的貝葉斯模型選擇方法

2.1 模型改進

投影方法的預(yù)測效果雖然很好，但它決定最終模型中自變量數(shù)目的效果并不理想。針對這一點，本文在對模型進行選擇時將k折交叉驗證與投影預(yù)測法相結(jié)合對其進行改進。

其基本思想為：使用投影方法進行變量搜索，將顯著性變量作為訓(xùn)練集；交叉驗證時，訓(xùn)練集用來確定模型的大小，測試集對最終選擇的模型在獨立數(shù)據(jù)集上的性能進行預(yù)測。

選擇中的過擬合現(xiàn)象和選擇的偏倚取決于模型預(yù)測性能估計中的方差和用于比較的候選模型數(shù)量。對于后者，與在變量組合中用逐步回歸法選擇模型相比，改進后的方法中，交叉驗證法通過比較p+1個模型（變量已經(jīng)排序），降低了模型的比較數(shù)，當僅用來決定模型大小時，它產(chǎn)生的過擬合是相當小的。

對模型中自變量進行選擇時，應(yīng)盡可能地使自變量個數(shù)達到最少，而且模型具有較高的預(yù)測精度。改進后的方法允許在模型的預(yù)測性能和模型中自變量個數(shù)之間進行取舍，在損失較少預(yù)測精度的基礎(chǔ)上簡化模型。

對于臨界值U和α，變量選擇時應(yīng)滿足的條件為：

其中，ΔMLPD(m)表示交叉驗證時訓(xùn)練集中m變量的樣本外預(yù)測，U表示為了減少模型中自變量數(shù)量而損失的預(yù)測精度，α是置信水平。

方法改進后，k折交叉驗證令搜索重復(fù)進行k次，然后對預(yù)測模型進行擬合，需要注意的是：在這個過程中參考模型也被擬合了k次，每次也是用相同測試集中的數(shù)據(jù)對模型的預(yù)測性能進行估計。因此可以比較預(yù)測模型和參考模型在獨立數(shù)據(jù)集上的預(yù)測性能，并進行估計，進而判斷選擇的模型是否是最優(yōu)模型。

改進后的方法優(yōu)點在于：第一，降低了模型的復(fù)雜程度，能夠保證模型中所含自變量的準確性；第二，考慮到形成全模型時的不確定性，能夠最好地保留全模型的預(yù)測性能，準確給出模型預(yù)測性能的一個漸近無偏估計。

2.2 數(shù)據(jù)仿真

2.2.1 模型

下文將討論線性模型中的回歸問題。對于回歸，這里采用標準的高斯模型：

其中，x是輸入變量的p維向量，ω是對應(yīng)的權(quán)重，σ2是噪聲的方差。因為超參數(shù)τ2是共軛先驗的，因此這個模型在大部分情況下都可以求解。對于回歸模型（13），通過在輸入向量x=(x0，x1，…，xp)和相應(yīng)的權(quán)向量ω=(ω0，ω1，…，ωp)中增加常數(shù)項，將截距項計入。參數(shù)ατ，βτ，ασ，βσ的值將在數(shù)據(jù)集的描述中一起給出。

由于考慮變量的選擇問題，因此子模型中輸入變量的數(shù)目不同，使得x和ω的維數(shù)是變化的。在預(yù)測性能的比較中，參考模型M*使用BMA[16]。

2.2.2 數(shù)據(jù)仿真

本文將進行兩個仿真實驗，分別采用不同評價指標比較 LOO-CV、CV-10、WAIC、BMA-Proj、IMP-Method的預(yù)測性能和變量選擇，并由此說明方法改進后的優(yōu)越性。為了在模型選擇方法之間產(chǎn)生有效的比較，在每次實驗中，各種模型選擇方法都在相同的訓(xùn)練集和測試集對上進行。

首先，做一個模擬的變量選擇實驗，用以說明不同方法之間的差異。數(shù)據(jù)分布如下：

仿真實驗中，將變量總數(shù)設(shè)為p=100。對所有變量進行分組，每組五個變量。每個變量xj的均值為0，方差為1，且與同一組中其他變量相關(guān)，相關(guān)系數(shù)設(shè)為ρ，但與其他組的變量均不相關(guān)。將前三組變量的權(quán)重設(shè)為（ω1∶5，ω6∶10，ω11∶15） =（ξ，0.5ξ，0.25ξ），其余變量的權(quán)重設(shè)為0。常量ξ調(diào)整數(shù)據(jù)集的信噪比。也就是說，在數(shù)據(jù)集中有15個相關(guān)變量，85個無關(guān)變量。將訓(xùn)練集的大小設(shè)為n=100，300，500，令相關(guān)系數(shù)ρ=0，0.5，0.9，為了得到不同水平相關(guān)系數(shù)ρ的比較結(jié)果，將ξ的值設(shè)為σ2Var[y]。在回歸模型(13)中，令參數(shù)ασ=0.5，使用BMA作為參考模型M[18]。*

對每個 (n，ρ)的組合，模型選擇方法見表1。LOO-CV、CV-10、WAIC、BMA-Proj中用逐步回歸法對變量進行搜索，即從空模型開始，使每一步選入的變量都最大限度地增加了模型的預(yù)測性能。

表1 數(shù)據(jù)仿真中使用的模型選擇方法

將預(yù)測模型在數(shù)據(jù)量為n?=1000且與訓(xùn)練集數(shù)據(jù)不相關(guān)的測試集上進行測試。對模型的預(yù)測性能進行評價時，使用對數(shù)預(yù)測密度的均值(MLPD)：

為了更直觀地比較不同方法的預(yù)測性能，用下式表示性能差異：

其中，M是選擇的子模型，M*是參考模型(BMA)。若ΔMLPD(M)=0，則說明所用方法與BMA有相同的預(yù)測性能；出現(xiàn)負值說明所用方法的預(yù)測性能比BMA糟糕；相對應(yīng)的，正值表示所用方法的預(yù)測性能更好。由于BMA已經(jīng)被證明具有良好的預(yù)測性能[11，17，19]，因此對模型進行選擇的目的是希望找到與BMA預(yù)測性能接近的最簡模型。

圖1模型選擇方法的比較

圖1左列中正方形、圓形以及三角形對應(yīng)的橫坐標表示模型中自變量的平均數(shù)，灰色線表示數(shù)據(jù)集中相關(guān)變量的數(shù)目是15、右列中正方形、圓形以及三角形對應(yīng)的橫坐標表示不同模型選擇方法的預(yù)測性能與BMA預(yù)測性能的差異大小，三條垂直的點線代表空模型的性能（僅指截距項），正方形、圓形以及三角形代表變量間相關(guān)水平的強弱（相關(guān)程度見圖例）。

從圖1可以看出：仿真實驗中使用的所有方法的預(yù)測性能都不如BMA方法的預(yù)測性能好。從預(yù)測的角度來看，模型平均通常會產(chǎn)生最好的預(yù)測效果。因此，對模型進行選擇的主要目的是簡化模型，并且基本上不會影響預(yù)測的準確性，而不是試圖通過考慮模型的不確定性來提高預(yù)測精度。

其次，對于小數(shù)據(jù)集（n=100）的模型選擇，LOO-CV、CV-10、WAIC選出的模型預(yù)測性能比較差，甚至比沒有變量的模型（右列中三條垂直的點線）預(yù)測性能更糟。這是因為缺乏數(shù)據(jù)，預(yù)測性能估計中的高方差導(dǎo)致選擇了過擬合的模型。過度擬合是一個潛在的問題，阻礙模型的選擇，尤其是當數(shù)據(jù)集較小時，會導(dǎo)致估計中的高方差，高方差對模型預(yù)測精度的提高是不利的。此外，從圖1可以看出：變量間的高相關(guān)性在一定程度上改善了預(yù)測效果。上述三種方法僅對大數(shù)據(jù)集（n=500）的預(yù)測性能較好。相比之下，投影預(yù)測法的預(yù)測效果明顯更好，特別是對于小的數(shù)據(jù)集（n=100），其預(yù)測性能接近BMA。但從左列可以看出：在不同大小的數(shù)據(jù)集上，投影方法選擇的模型中自變量個數(shù)的變化比較大，在小數(shù)據(jù)集上模型復(fù)雜程度較大。而方法改進后，模型中自變量個數(shù)趨于穩(wěn)定，在較小數(shù)據(jù)集上模型的復(fù)雜程度變小，且模型的預(yù)測性能仍接近BMA的預(yù)測性能。

采用逐步回歸法對變量進行排序，然后重新進行實驗，并將模型的CV效用和測試效用作為評價模型性能的指標。

圖2 CV效用和測試效用

圖2中虛曲線表示CV效用，代表模型選擇中的過擬合現(xiàn)象；實曲線表示變量排序后的測試效用。兩條曲線之間的距離表示選擇引起的偏倚。垂直虛線表示模型中自變量的平均數(shù)。

令ρ=0.5，用逐步回歸法對變量進行選擇。CV效用（10折）用選出的顯著性變量進行計算，測試效用在數(shù)據(jù)集中余下的其他數(shù)據(jù)上進行計算。

由圖2可知，前三種方法中，所選模型預(yù)測性能的變化是非常大的。在不同大小的數(shù)據(jù)集上進行變量選擇時，模型選擇中出現(xiàn)過擬合現(xiàn)象，而且當訓(xùn)練集變大時，選擇過程中的過擬合現(xiàn)象減?。粡目漳Ｐ烷_始，在預(yù)測模型中一次添加一個變量，模型的CV效用比較高，但測試效用卻很糟糕。也就是說，用逐步回歸法對變量進行選擇時，模型的預(yù)測性能被高估。由此可知，經(jīng)過變量選擇后，CV效用是一個樂觀的估計。但是對空模型和包含所有變量的模型而言，CV效用和測試效用幾乎相同，因為這些模型不涉及任何選擇。

與LOO-CV、CV-10、WAIC相比，投影預(yù)測方法中測試效用的變化程度小，且不容易產(chǎn)生過擬合現(xiàn)象。但從圖2可以看出：投影方法對模型中自變量個數(shù)的選取并不理想。

方法改進后，模型的復(fù)雜程度降低，且仍具有良好的預(yù)測性能。當增加多個變量時，子模型會越來越接近參考模型(BMA)，從而避免了預(yù)測精度下降的問題。

表2 改進前后模型中自變量個數(shù)及CV值的比較

由表2可知，方法改進后模型的大小趨于穩(wěn)定，但預(yù)測精度略有下降；樣本量越大的數(shù)據(jù)集確定的模型越合適。

通過數(shù)據(jù)仿真可以看出：改進后的方法產(chǎn)生了較好的預(yù)測效果，它簡化了模型，而且不會失去太多的預(yù)測精度。在尋找預(yù)測性能良好的最簡模型時似乎是最穩(wěn)健的方法。

3 總結(jié)

本文將k折交叉驗證與投影預(yù)測法相結(jié)合對模型進行選擇，通過仿真實驗說明了使用這種方法對模型進行選擇時，能選出具有良好預(yù)測性能的最簡模型。但改進后的方法也存在一些問題，方法改進后不僅增加了計算量，而且預(yù)測精度略有下降。針對出現(xiàn)的不足，還需要進行更深入的研究。