丁夢珍

（安徽科技學院信息與網(wǎng)絡工程學院，安徽滁州233100）

1 引言

回歸模型主要分為參數(shù)模型和非參數(shù)模型[1]，當回歸函數(shù)的形式已知，而參數(shù)未知，則該模型為參數(shù)回歸模型，參數(shù)方法雖然比較簡單明確，但是缺乏一定的靈活性，如果實際模型與假定相背離，那么建立的模型對實際指導毫無意義，為了使模型具有更廣泛的適用范圍，非參數(shù)模型應運而生，該方法無需預先假定回歸函數(shù)的形式，而是基于數(shù)據(jù)結構去估計回歸函數(shù)，因而適應數(shù)據(jù)變化的能力更強，具有良好的穩(wěn)健性.現(xiàn)在人們研究比較多的非參回歸擬合方法主要包括：核估計、局部多項式估計、樣條估計、正交級數(shù)估計和小波估計等[2].在眾多的估計方法中，樣條估計依其靈活性和穩(wěn)定性占據(jù)著重要的位置，如回歸樣條、光滑樣條、懲罰樣條等，而懲罰樣條估計又在樣條法中有著舉足輕重的作用.懲罰樣條最早由Eilers、Marx（1996）[3]提出，當時是為了解決廣義線性光滑問題，現(xiàn)在已擴展到多個方面，如廣義可加模型、變系數(shù)模型等，其基本思想是在目標函數(shù)中加入B樣條基函數(shù)系數(shù)的差分作為懲罰項，主要用于解決高階樣條基函數(shù)計算的復雜度或估計的不可控問題.

懲罰樣條估計能得到廣泛的應用：一方面是由于可以使用較少的節(jié)點構造基函數(shù)，從而降低計算工作量，另一方面是其具有良好的高維擴展性.由J.Duchon（1977）[4]提出的薄板樣條是一元樣條到多元樣條的非張量積形式的推廣.在經(jīng)典的懲罰薄板樣條回歸模型中，對每個基函數(shù)系數(shù)施加的懲罰權重是一樣的，然而當數(shù)據(jù)具有強烈的局部變化特征時，這種等權重性懲罰使得模型的擬合效果不理想，因此如何提高模型的局部自適應性成為一個熱門的研究課題[5].探究該問題的思路主要包括兩種，其一是基于薄板樣條基函數(shù)的節(jié)點個數(shù)和位置的優(yōu)化選擇[6]，其二是針對不同基函數(shù)系數(shù)的局部懲罰權重的優(yōu)化選取[7].本文基于第二種思路展開探索，通過分析薄板樣條基函數(shù)的空間幾何意義，引入數(shù)據(jù)的局部縱向極差的變式來表示數(shù)據(jù)的局部變化特征[8]，以此構造局部懲罰權重并嵌入到回歸模型的懲罰項當中.這種方法結合了數(shù)據(jù)的局部變化特征和基函數(shù)的幾何意義，使得模型的懲罰權重由局部數(shù)據(jù)所驅動，從而具有局部特性.相比于經(jīng)典的懲罰回歸模型，該模型更適用于具有明顯的局部波動特征的數(shù)據(jù).模型的估計流程類似于經(jīng)典的嶺回歸估計[9]，參數(shù)求解簡單.由函數(shù)模擬的結果表明該方法的自適應特征是非常有效和顯著的，提升了模型的擬合精度.本文的第二部分內(nèi)容對自然薄板樣條回歸模型和懲罰薄板樣條回歸模型作一簡介；第三部分內(nèi)容根據(jù)樣條基函數(shù)的幾何意義引入了自適應懲罰薄板樣條回歸模型；第四部分內(nèi)容給出相應模型的函數(shù)模擬例子；最后部分內(nèi)容對全文進行總結.

2 薄板樣條回歸模型

2.1 自然薄板樣條回歸模型

假設有n對觀測數(shù)據(jù){（ti，yi），i=1，2，…，n}，則非參數(shù)回歸模型如（1）式所示[10]，

并假設E[ε|t]=0，E[y|t]=0，將看作關于二元變量t∈[a，b]×[a，b]的待估光滑函數(shù).薄板樣條g通過最小化（2）式來估計f，

其中y=（y1，y2，…，yn）′，g=（g（t1），g（t2），…，g（tn））′，懲罰函數(shù)J（g）用來度量回歸函數(shù)的粗糙程度，調節(jié)參數(shù)λ控制回歸函數(shù)的擬合優(yōu)度與光滑度之間的平衡.二維空間上基于二階偏導數(shù)的粗糙度懲罰項被定義為

則滿足（2）式最小的薄板樣條函數(shù)g（t）形式如下

式中δ=（δ1，δ2，…，δn）′和α=（α1，α2，α3）′為待定系數(shù)向量且滿足約束條件Tδ=0，T為3×n矩陣，其元素Tij=?j（tk），?1，?2，?3為二維空間上次數(shù)小于2的多項式構成的三維空間的一組基.||·||表示歐幾里得范數(shù)，η（·）是薄板樣條的核函數(shù)，其采用以下形式

現(xiàn)定義n階方陣E，其元素為Eij=||η（ti-tj）||.則該模型擬合的目標函數(shù)為

且滿足Tδ=0，則系數(shù)向量的估計值可由方程組（6）唯一確定

求得

其中Tr（Hλ）是帽子矩陣的跡，則使得GCV（λ）取到最小的λ值即為最優(yōu)取值.

2.2 懲罰薄板樣條回歸模型

自然薄板樣條回歸模型將粗糙懲罰思想推廣到二維空間，放寬了多個解釋變量的線性假定，使模型在假定方面具有更強的適應性，是一般線性模型的全面擴展.但該模型是多個樣條變量的非參數(shù)回歸分析，如果使用全部樣本作為節(jié)點，在應用時會增加不必要的工作量，這就要求通過降低節(jié)點個數(shù)即基函數(shù)維數(shù)來重新構造回歸模型，即懲罰薄板樣條回歸模型.

此時薄板樣條函數(shù)形式如下：

其中κ1＜κ2＜…＜κK為[a，b]×[a，b]上均勻選定的節(jié)點，則懲罰薄板樣條回歸模型的擬合目標函數(shù)為：

3 自適應懲罰樣條回歸模型

由（10）式中的懲罰矩陣S的構造可知，該矩陣未考慮數(shù)據(jù)在縱向上的變化特征，且總調節(jié)參數(shù)λ對每個基函數(shù)系數(shù)δ1，δ2，…，δK的懲罰權重是相同的，同樣也忽略了數(shù)據(jù)在縱向上的局部波動特征，因而懲罰薄板樣條回歸模型對數(shù)據(jù)的估計缺乏自適應性，而當數(shù)據(jù)在縱向上的變化有明顯的局部特征時，該回歸模型就難以捕捉到這些信息，進而導致擬合效果不理想.為了彌補該缺陷，本文提出一種改進的方法，其思想是將數(shù)據(jù)的局部縱向的變化特征添加到懲罰矩陣S當中，使得懲罰矩陣包含數(shù)據(jù)在縱向上的局部變化特征，該方法稱之為自適應懲罰薄板樣條回歸模型，下面給出具體過程.

通過分析薄板樣條的第k個節(jié)點位置的基函數(shù)δiη（||t-κi||）可知，該函數(shù)是關于二元變量t的凸函數(shù)，系數(shù)δK的符號決定了該曲面開口的方向，數(shù)值控制了開口的大小.|δk|越大，開口越小，曲面越尖銳，反之則開口越大，曲面越平坦.因此|δk|越大時，δiη（||t-κi||）能充分地擬合波動較劇烈的數(shù)據(jù)，反之則能精準地擬合波動較平緩的數(shù)據(jù).從而在懲罰回歸模型中，在數(shù)據(jù)波動較大的區(qū)域給予薄板樣條系數(shù)較小的懲罰權重是合理的，反之則應給予薄板樣條系數(shù)較大的懲罰權重，這種處理方式能夠使得薄板樣條在全局上準確地反映出數(shù)據(jù)的變化特征，從而增強模型的自適應性，提高模型的擬合精度.

基于上文分析，我們引入局部懲罰權重向量ω=（ω（κ1），…，ω（κK），0，…，0），并記

將（10）式中的β乘以W，此時模型擬合的目標函數(shù)為

式中P=W′SW，下面討論如何選取懲罰權重向量ω.根據(jù)上文所述，懲罰權重應當設置成數(shù)據(jù)在縱向上的局部變化幅度的單調遞減函數(shù)，本文采用以節(jié)點為中心的圓域內(nèi)的數(shù)據(jù)在縱向上的極差來反映該位置的局部波動幅度，具體表達式如下：

進而構造該極差的單調遞減函數(shù)

正數(shù)q用來調節(jié)懲罰權重的力度，依然根據(jù)懲罰最小二乘估計得

4 模擬

本節(jié)將給出幾個具有代表性的數(shù)值模擬實例，根據(jù)擬合等高線圖和統(tǒng)計指標來進一步說明基于本文提出的方法相比自然薄板樣條（full spline）、懲罰薄板樣條（p-spline）和tprs[6]的擬合效果的優(yōu)良性.所有計算和作圖均在R3.2.1中實現(xiàn).

例1光滑函數(shù)表達式為

樣本分布在[0，1]×[0，1]區(qū)域內(nèi)的24×24均勻網(wǎng)格上，其所對應的響應變量為yi=f（xi，zi）+εi，且εi~N（0，0.052），懲罰樣條的節(jié)點選擇在區(qū)域內(nèi)12×12均勻網(wǎng)格上，薄板回歸樣條的節(jié)點個數(shù)為144.一次隨機試驗結果的真實等高線及基于四種模型的擬合等高線如圖1所示.

圖1描繪了真實函數(shù)的等高線圖及基于四種方法的擬合等高線圖，通過對比可以清晰地發(fā)現(xiàn)，基于自適應懲罰薄板樣條方法的擬合函數(shù)相對平滑一些，在邊界處擬合效果的優(yōu)勢更加顯著，且在總體上能夠較準確地估計出真實函數(shù)的走勢.另外引入統(tǒng)計指標均方誤差MSE作為度量準則，即MSE值越小模型的擬合效果越好.

圖1 （a）為真實函數(shù)的等高線，（b）為基于自然薄板樣條回歸模型的擬合等高線，（c）為基于懲罰薄板樣條回歸模型的擬合等高線，（d）為基于自適應懲罰薄板樣條的擬合等高線，（e）基于tprs的擬合等高線.

為了盡可能降低隨機因素對估計的影響，我們進行了100次獨立重復試驗并給出了MSE箱線圖，如圖2所示，顯然本文提出的方法的回歸效果更理想.

圖2 100次獨立重復實驗下，基于自然薄板樣條擬合、懲罰薄板樣條擬合、tprs擬合與自適應懲罰薄板樣條擬合的MSE箱線圖.

例2光滑函數(shù)表達式為：

其中δx=0.3，δy=0.4，樣本分布在[0，1]×[0，1]區(qū)域內(nèi)的24×24均勻網(wǎng)格上，其所對應的響應變量為yi=f（xi，zi）+εi，且εi~N（0，0.12），懲罰樣條的節(jié)點選擇在區(qū)域內(nèi)12×12均勻網(wǎng)格上，薄板回歸樣條的節(jié)點個數(shù)為144.一次隨機試驗結果的真實等高線及基于四種模型的擬合等高線如圖3所示.

圖3 （a）為真實函數(shù)的等高線，（b）為基于自然薄板樣條回歸模型的擬合等高線，（c）為基于懲罰薄板樣條回歸模型的擬合等高線，（d）為基于自適應懲罰薄板樣條的擬合等高線，（e）基于tprs的擬合等高線.

圖3描繪了真實函數(shù)的等高線圖及基于四種方法的擬合等高線圖，可見基于自適應懲罰薄板樣條方法的擬合等高線明顯比較平滑，有效地避免了過度波動，能夠較準確地估計出真實等高線的走勢，在整體上與真實等高線更加吻合.此外，四種估計方法的MSE箱線圖如圖4所示，說明本文所提出的方法在估計精度上優(yōu)于另外兩種估計方法，擬合效果更加理想.

圖4 100次獨立重復實驗下，基于自然薄板樣條擬合、懲罰薄板樣條擬合、tprs擬合與自適應懲罰薄板樣條擬合的MSE箱線圖.

例3光滑函數(shù)表達式為

樣本分布在[0，1]×[0，1]區(qū)域內(nèi)的24×24均勻網(wǎng)格上，其所對應的響應變量為yi=f（xi，zi）+εi，且εi~N（0，0.52），懲罰樣條的節(jié)點選擇在區(qū)域內(nèi)15×15均勻網(wǎng)格上，薄板回歸樣條的節(jié)點個數(shù)為225.一次隨機試驗結果的真實等高線及基于四種模型的擬合等高線如圖5所示.

圖5描繪了真實函數(shù)的等高線圖及基于四種方法的擬合等高線圖，直觀上看，基于自適應懲罰薄板樣條方法的擬合等高線更加接近于真實曲線，不規(guī)則的波動會減弱，光滑度得到顯著的提高.另外，圖6給出了四種估計方法的MSE箱線圖，顯然本文提出的方法的MSE減小的幅度非常明顯，取得了較好的擬合效果.

圖5 （a）為真實函數(shù)的等高線，（b）為基于自然薄板樣條回歸模型的擬合等高線，（c）為基于懲罰薄板樣條回歸模型的擬合等高線，（d）為基于自適應懲罰薄板樣條的擬合等高線，（e）基于tprs的擬合等高線.

圖6 100次獨立重復實驗下，基于自然薄板樣條擬合、懲罰薄板樣條擬合、tprs擬合與自適應懲罰薄板樣條擬合的MSE箱線圖.

例4光滑函數(shù)表達式為

樣本分布在[-10，10]×[-10，10]區(qū)域內(nèi)的24×24均勻網(wǎng)格上，其所對應的響應變量為yi=f（xi，zi）+εi，且εi~N（0，0.52），懲罰樣條的節(jié)點選擇在區(qū)域內(nèi)12×12均勻網(wǎng)格上，薄板回歸樣條的節(jié)點個數(shù)為144.一次隨機試驗結果的真實等高線及基于四種模型的擬合等高線如圖7所示.

圖7 （a）為真實函數(shù)的等高線，（b）為基于自然薄板樣條回歸模型的擬合等高線，（c）為基于懲罰薄板樣條回歸模型的擬合等高線，（d）為基于自適應懲罰薄板樣條的擬合等高線，（e）基于tprs的擬合等高線.

圖7描繪了真實函數(shù)的等高線圖及基于四種方法的擬合等高線圖，從中可以發(fā)現(xiàn)基于自適應懲罰薄板樣條方法擬合的線條更加光滑，與真實等高線有著較好的重合.此外，圖8畫出了四種估計方法的MSE箱線圖，表明本文提出的方法的估計精度比較高，能夠準確地模擬出函數(shù)真實走勢.綜上所述，不管是考察統(tǒng)計指標MSE還是觀測圖形，基于自適應懲罰薄板樣條估計都是一種比較理想的估計方法.

圖8 100次獨立重復實驗下，基于自然薄板樣條擬合、懲罰薄板樣條擬合、tprs擬合與自適應懲罰薄板樣條擬合的MSE箱線圖.

5 總結

如何提高回歸模型的擬合精度是一個相當有意義的研究課題，本文通過增強模型的自適應性能力的途徑來提高精度.文中提出了自適應懲罰薄板樣條回歸模型，該方法的局部懲罰權重是由節(jié)點周圍區(qū)域內(nèi)部分數(shù)據(jù)的縱向極差的遞減函數(shù)所生成，并將其嵌入到經(jīng)典懲罰回歸模型的懲罰項中.其創(chuàng)新點在于當數(shù)據(jù)在局部區(qū)域內(nèi)波動幅度較大時，模型能夠給予擬合曲面較小的懲罰權重，而當數(shù)據(jù)在局部區(qū)域內(nèi)波動幅度較小時，則能夠給予擬合曲面較大的懲罰權重，從而由數(shù)據(jù)驅使的懲罰權重可以提升模型的自適應性，進而提高模型的擬合精度.模擬結果顯示，基于極差調節(jié)的局部懲罰權重的回歸模型的擬合曲面能夠較精準地反映數(shù)據(jù)的局部變化特征，使得擬合曲面和真實曲面更吻合.