何云飛，楊聯(lián)強

（安徽大學 數(shù)學科學學院，合肥 230601）

0 引言

假定觀測數(shù)據(jù) (X1，Y1)，…(Xn，Yn)，i=1，2， ...，n是來自二元總體(X，Y)的一組簡單隨機樣本，則X和Y之間的回歸模型通常建立為Yi=m(Xi)+εi，i=1，2，…n。其中X是預測變量，Y是響應變量，m(x)稱作回歸函數(shù)。εi是隨機誤差，簡單情況下，通常假定εi，i=1，...，n。獨立同分布且E(εi|x=Xi)=0，則回歸分析的任務是求出回歸函數(shù)E(Y|X=x)=m(x)。

回歸模型的求解通常可分為參數(shù)方法和非參數(shù)方法[1]。如果m(x)為特定形式的函數(shù)形式，只是其中參數(shù)未知，通常稱為參數(shù)模型。經(jīng)典的參數(shù)模型代表是線性模型，該方法有完善的理論和應用體系，被經(jīng)濟、社會等領域廣泛使用。但參數(shù)模型的缺點是先驗的設定了回歸函數(shù)的形式，容易發(fā)生模型設定錯誤[2]。非參數(shù)模型是對參數(shù)模型必要的補充，其并不用假定回歸函數(shù)的具體函數(shù)形式，而是用特定的方法將回歸函數(shù)構造性的擬合出來[3]。經(jīng)典的非參數(shù)回歸的方法有很多,局部多項式回歸[4]是其中一種具有代表性的方法，Cleveland（1979）[5]將該方法擴大到更一般的情況，Hastie和Tibshirani（1986）[6]對其更進一步擴展到多元模型。局部多項式回歸在很多場合有著非常好的表現(xiàn)[7]，但局部多項式方法對于密集程度不均勻的數(shù)據(jù)（即非等間隔的數(shù)據(jù)）擬合效果卻并不理想[8]。因此，改進局部多項式回歸核函數(shù)中的帶寬成為一個有價值的研究問題[8.9]。其中，LOESS方法最初由Cleveland(1979)提出，后由Cleveland和Devlin（1988）[10]加以完善，該方法通過數(shù)據(jù)在預測變量上分布的稠密性來自動調整局部權重，從而使得模型對非等間隔數(shù)據(jù)有更好的自適應性。

然而，LOESS方法只是考慮數(shù)據(jù)在預測變量方向上分布的不均勻性，卻沒有考慮數(shù)據(jù)在響應變量方向上波動特征的非齊性。本文通過基于觀測數(shù)據(jù)局部波動特征的調節(jié),構造了一種新的自適應LOESS方法，既保留了傳統(tǒng)的LOESS方法相對于局部多項式方法在非均勻分布數(shù)據(jù)擬合時的優(yōu)越性，又使得模型在擬合具有非齊性波動特征的數(shù)據(jù)時，有更良好的自適應性。模擬和實際應用的例子顯示該方法將優(yōu)于LOESS方法。

1 局部多項式回歸與LOESS回歸

首先對局部多項式回歸以及在此基礎上的LOESS方法作簡介。

設 (X1，Y1)，(X2，Y2)，…(Xn，Yn)為來自 (X，Y)一組樣本值，其回歸函數(shù)形式為：

在局部多項等式m(Xi，x)中，當預測點Xi接近x時，在該點處的多項式則為：

式（1）是在x用Taylor公式展成p次多項式。其中局部多項式（1）中的系數(shù){a0(x)，a1(x)，a2(x)，…，ap(x)}是使下式最小化所得到的：

其中使用高斯核函數(shù)：

其中h是用來決定估計光滑度的正的常量，稱為帶寬。

為通過矩陣簡化計算，設：

對角矩陣定義如下：

通過以上矩陣和向量可以將式（2）寫成矩陣形式如下所示：

并最小化即可得到其系數(shù)估計值為：

以上是局部多項式回歸，但是其缺點是對于處理非等間隔的數(shù)據(jù)時并不能達到一個很好的擬合效果。LOESS方法與局部多項式的區(qū)別在于通過帶寬的局部化，從而使得擬合目標函數(shù)中權重局部化，即將式（2）改寫為：

其中w是核函數(shù)，h是x和k的函數(shù)，hk(x)定義為離x第k個近的點Xi到其的距離。若取s∈(0，1),令k=[ns]，即取k是比ns大的最小整數(shù)，s被稱為帶寬調節(jié)因子。相應的，擬合的目標函數(shù)變?yōu)椋?/p>

其中：

并最小化即可得到其系數(shù)估計值為：

從局部權重的對角矩陣中可以看出LOESS對密集程度不一致的數(shù)據(jù)有更好的自適應性。

2 基于局部權重調節(jié)的自適應LOESS方法

由上文可見，相比較局部多項式回歸中對角矩陣(3)中核函數(shù)的h固定不變，LOESS對角矩陣中的k近鄰距離

hk(x)能夠隨著數(shù)據(jù)關于Xi的密集程度而改變，在Xi密集的位置，hk(x)取值較小，而在Xi稀疏的位置，hk(x)取值較大。但是，這種方法沒有考慮觀測數(shù)據(jù)在Yi維度上的波動特征。假設在所展開的x附近有離群點或者在縱向上有偏差較大的點時如果也按LOESS方法中距離越近其權重越大則容易導致較差的擬合效果。基于這點，在LOESS方法的基礎上，本文考慮構造一個包含觀測數(shù)據(jù)在因變量方向上變化特征的權重，使得在所展開的(xi，Y(i))附近的點無論是從解釋變量方向上還是響應變量方向上，距離(xi，Y(i))越遠其權重越小，越近則權重越大。其中Y(i)為距xi最近的響應變量，即當xi為實際觀測值時，Y(i)為xi對應的因變量；當xi為其取值范圍內(nèi)的非觀測點時，Y(i)

則為距xi最近的因變量觀察值對應的響應變量觀測值。權重的構造形式是在LOESS方法上作如下改進:

要估計系數(shù)，最小化上式，其方法與步驟與LOESS方法一樣?？山獾脼椋?/p>

其中：

在實際情況中，對于一固定點(x，Y(i))，其附近的點到其距離越近受其影響則越大（相關性越強),即無論在自變量方向上還是因變量方向上，到該點距離遠的受到該點的影響較小，對應的權重就小，反之，距離近的權重就大。

3 模擬

下面將通過三個實例來顯示改進后的自適應LOESS的擬合效果。并比較兩種方法在相同的帶寬下留一交叉驗證得分(CV)值和估計的均方誤差(MSE)的大小。

例 1：（Doppler）函數(shù)表達式f(x)=5(x(1-x))0.5sin(2π(1+c)/(x+c))，c=0.05，yi=f(xi)+εi，xi∈[0，1]，等間隔取值，εi～N(0，0.22)。取樣本容量為n=200的數(shù)據(jù)集并分別應用傳統(tǒng)的和改進后的LOESS方法進行估計，結果如圖1至圖3所示。其中，圖1分別是真實函數(shù)圖像和兩種方法所估計的函數(shù)圖像，其中兩種方法估計的函數(shù)圖像都是在最小的CV值下的圖像，此時兩者的差異并不明顯,但計算可得此時兩種方法的CV分別為0.43368和0.19837，MSE分別為6.7317和4.8673。圖2是在s=0.2時兩者的估計圖像，此時可明顯地看出改進后的方法較傳統(tǒng)的LOESS方法有更好的擬合效果。圖3是CV值和MSE關于s的函數(shù)圖形，可以看出在相同帶寬下改進后的自適應LOESS的CV值和MSE均小于傳統(tǒng)的LOESS方法。

圖1 Doppler函數(shù)及其估計值圖像

圖2相同帶寬下的估計圖像

圖3MSE和CV關于帶寬參數(shù)s的變化圖像

例2：（Mexican Hat）該函數(shù)表達式為f(x)=-1+1.5x+0.2φ(x-0.6)，其中φ表示標準正態(tài)分布的密度函數(shù)，，其中樣本容量為n=200。分別應用傳統(tǒng)和改進之后的LOESS進行估計，結果如圖4至圖6所示。圖4分別是真實函數(shù)圖像和兩種方法所估計的函數(shù)圖像，其中估計的函數(shù)圖像都是在兩種方法最小的CV值下的圖像，可看出改進后的LOESS方法的估計效果更好。計算出此時兩種方法所對應的是CV值分別是0.41076和0.193745，MSE分別為26.1369和0.8363。圖5是在s=0.15時兩者的估計圖像，此時兩者的估計效果均差于在各自最小的CV值下的圖像，但改進后LOESS方法依舊優(yōu)于傳統(tǒng)LOESS方法。圖6可看出，在相同帶寬下改進后的自適應LOESS所求出的CV值和MSE均小于傳統(tǒng)的LOESS方法。

圖4 Mexican Hat函數(shù)及其估計圖像

圖5相同帶寬下的估計圖像

圖6MSE和CV關于帶寬參數(shù)s的變化圖像

例3：設f(x)=sin(0.1πx)+0.7sin(1.23πx)+0.5cos(2.7πx)+0.2sin(0.6πx)，其中樣本形式為yi=f(xi)+εi,xi∈(0.2，0.3，…，19.9，20，20.5，…39.5，40)，εi～N(0，0.22)，樣本容量為238。分別應用傳統(tǒng)和改進后的LOESS方法進行估計，結果如圖7至圖9所示。圖7分別是真實函數(shù)圖像和兩種方法所估計的函數(shù)圖像，其中兩種方法估計的函數(shù)圖像都是在最小的CV值下的圖像，此時改進后的方法在處理這樣波動性較大且密集程度不一的數(shù)據(jù)時的能力明顯好于傳統(tǒng)LOESS，計算此時兩者的CV值分別為0.50736和0.21673，MSE分別為0.1982和0.1932。圖8是在各自最小的CV值下的圖像，改進后的自適應LOESS方法依舊優(yōu)于傳統(tǒng)LOESS方法。圖9可看出，在相同帶寬下改進后的自適應LOESS所求出的CV值和MSE均小于傳統(tǒng)的LOESS方法。

圖7模擬函數(shù)及其估計圖像

圖8相同帶寬下的估計圖像

圖9MSE和CV關于帶寬參數(shù)s的變化圖像

4 應用

本文將用傳統(tǒng)LOESS和改進后的自適應LOESS方法對2015年我國的A股收盤指數(shù)進行估計，數(shù)據(jù)來源于Wind(萬得數(shù)據(jù)庫)。

圖10在s所能取到的最小值時的擬合圖像

圖11殘差圖

圖10并不能明顯觀測出兩種方法的估計的差異，然而從圖11可以看出傳統(tǒng)LOESS方法的殘差的波動性方面差于改進后的LOESS。傳統(tǒng)LOESSS方法的殘差不僅總體上比自適應LOESS方法大，而且出現(xiàn)了顯著的異方差性，而自適應LOESS方法的殘差則平穩(wěn)很多。說明自適應LOESS方法在處理觀測數(shù)據(jù)局部波動特征非齊性時較傳統(tǒng)LOESS方法具有更強的自適應性。

5 總結

本文針對局部多項式擬合的思想，通過構造包含因變量方向上變化特征的權重并加入LOESS模型，使得模型在估計因變量波動特征具有局部非齊性時具有更強的自適應性。相比于傳統(tǒng)LOESS方法，新方法并沒有顯著提升模型復雜度，卻提高了對這些復雜數(shù)據(jù)的擬合精確性。模擬和實際應用顯示新方法明顯提升了對復雜數(shù)據(jù)的擬合和趨勢濾波能力。當然，對該方法估計結果的漸進性質分析是待完成的重要理論研究工作。