兩種觀點下最小二乘解的統(tǒng)一性

柳彥軍

(重慶第二師范學(xué)院 數(shù)學(xué)與信息工程系，重慶 400065)

摘要：通過對比偏導(dǎo)數(shù)及向量兩種觀點下最小二乘解的求法，得出兩種觀點下最小二乘解的求解方法本質(zhì)上是統(tǒng)一的。

關(guān)鍵詞：偏導(dǎo)數(shù)；向量；最小二乘解

收稿日期：2015-03-14

基金項目：重慶市教委科研項目(KJ1501407),重慶第二師范學(xué)院教改項目(JG2015219)

作者簡介：柳彥軍(1988-)，甘肅莊浪人，助教，研究方向：非線性分析與偏微分方程。

中圖分類號：O172

文獻(xiàn)標(biāo)識碼：A

文章編號：1008-6390(2015)05-0153-02

一、問題提出

插值法雖然在一定程度上可以解決根據(jù)函數(shù)表求函數(shù)的近似表達(dá)式問題，但同時亦存在著明顯的缺陷。首先，因為由實驗提供的數(shù)據(jù)往往帶有測試誤差，個別數(shù)據(jù)的誤差還可能很大，如果要求近似曲線嚴(yán)格地經(jīng)過所有數(shù)據(jù)點，就會使曲線保留著這些誤差，從而失去原數(shù)據(jù)表示的規(guī)律；同時，實驗數(shù)據(jù)又往往很多，用插值法得到的近似表達(dá)式，明顯地缺乏實用價值，而最小二乘法是解決此類問題的一個常用方法。

設(shè)實系數(shù)線性方程

(1)

無解，即無論x1，x2，…，xs取哪一組實數(shù)值，s元函數(shù)

(2)

的值都大于零，這樣的方程組稱為矛盾方程組(或稱超定方程組)。我們設(shè)法找c1，c2，…，cs，使當(dāng)x1=c1，x2=c2，…，xs=cs時，(2)式的值最小，這樣的c1，c2，…，cs稱為矛盾方程組(1)的最小二乘解。這種問題就是一個常見的最小二乘法問題。

二、偏導(dǎo)數(shù)觀點下矛盾方程組的最小二乘解求法

要使Q取得極小值，則

從而極值條件變?yōu)?/p>

(3)

具有s個未知量s個方程式的線性方程組(3)稱為對應(yīng)于矛盾方程組(1)的法方程組(也叫正規(guī)方程組)。

記A=(aij)n×s

X=(x1，x2，…，xs)T

B=(b1，b2，…，bs)T

則(3)式等價于

ATAX=ATB

即ATAX=ATB就是最小二乘解所滿足的線性方程組。

三、向量觀點下最小二乘解的求法

為了解決最小二乘法問題，我們需要討論向量到子空間的距離這一問題。

設(shè)W是歐式空間V的一個子空間，它是由向量α1，α2，…，αs生成的，即W=(α1，α2，…，αs)。易知α正交于W的充分必要條件是α正交于每個αi(i=1，2，…，s)。

定理設(shè)W是有限維歐式空間V的一個子空間，α是V中一個向量，再設(shè)β是W中使α-β正交于W的一個向量，則對W中任一向量γ，都有

|α-β|≤|α-γ|

證先把α-γ分解成兩個向量的和

α-γ=(α-β)+(β-γ)

因為W是一個子空間，所以由β∈W，γ∈W知，β-γ∈W。

由于α-β正交于W，所以α-β正交于β-γ，所以

|α-γ|2=|α-β|2+|β-γ|2

因此

|α-β|≤|α-γ|

證畢。

由于α可表成

α=β+(α-β)

其中β∈W, α-β∈W⊥,因此β就是α在子空間W上的內(nèi)射影。由此可知，一個向量α到子空間W中各向量間的距離以α到α在W上的內(nèi)射影β之間的距離最短。

現(xiàn)在利用這個事實討論最小二乘法，并且給出最小二乘解滿足的代數(shù)條件。

令

A=(aij)n×s

X=(x1，x2，…，xs)T

B=(b1，b2，…，bs)T，

則線性方程組(1)可寫成

AX=B

再令A(yù)的列向量依次為α1，α2，…，αs，并設(shè)

W=(α1，α2，…，αs)，

顯然W是Rn的子空間，B∈Rn。B與W中的向量k1α1+k2α2+…+ksαs間的距離的平方為

|B-(k1α1+k2α2+…+ksαs)|2

它就是當(dāng)x1=k1，x2=k2，…，xs=ks時(2)的值。最小二乘法問題就是要找實數(shù)c1，c2，…，cs，使B與

c1α1+c2α2+…+csαs間的距離比B與W中其它向量間的距離都短。這意味著c1α1+c2α2+…+csαs是B在W上的內(nèi)射影，即

B-(k1α1+k2α2+…+ksαs)⊥W

亦即內(nèi)積

〈B-(c1α1+c2α2+…+csαs),αi〉=0，i=1，2，…，s

令C=(c1，c2，…，cs)T，上式等價于

〈B-AC,αi〉=0，i=1，2，…，s

根據(jù)內(nèi)積的性質(zhì)，有

〈B,αi〉=〈AC,αi〉，i=1，2，…，s

即

αiTB=αiTAC,i=1，2，…，s

上式又等價于

ATB=ATAC

也就是說，C是線性方程組

ATAX=ATB

(4)

的解向量。

反之，當(dāng)(c1，c2，…，cs)是線性方程組(4)的(實)解向量時，上述過程倒推回去，可知B與c1α1+c2α2+…+csαs間的距離比B與W中其他向量間的距離都短，亦即當(dāng)x1=c1，x2=c2，…，xs=cs時，(2)取得最小值。

因此(3)就是最小二乘解所滿足的線性方程組，它的系數(shù)矩陣是ATA，常數(shù)項是ATB。

由此可見，上述偏導(dǎo)數(shù)觀點下和向量觀點下最小二乘解所滿足的線性方程組是同一個方程組。因此，兩種觀點下最小二乘解的求解方法本質(zhì)上是一樣的。

參考文獻(xiàn)：

[1]李信真,車剛明,歐陽潔,等.計算方法[M].西安:西北工業(yè)大學(xué)出版社,2000.

[2]楊萬利,牛慶銀,董玉才,等.數(shù)值分析教程[M].北京:國防工業(yè)出版社,2002.

[3]肖筱南,趙來軍,黨林立.現(xiàn)代數(shù)值計算方法[M].北京:北京大學(xué)出版社,2003.

[4]華東師范大學(xué)數(shù)學(xué)系.數(shù)學(xué)分析[M].北京:高等教育出版社,2007.

[5]劉仲奎,楊永保,程輝,等.高等代數(shù)[M].北京:高等教育出版社,2003.

[6]王萼芳,石生明.高等代數(shù)[M].北京:高等教育出版社,2003.

[7]程其襄,張殿宙,魏國強(qiáng).實變函數(shù)與泛函分析基礎(chǔ)[M].北京:高等教育出版社,2003.

[8]李慶揚,關(guān)治,白峰杉.數(shù)值計算原理[M].北京:清華大學(xué)出版社,2000.

[責(zé)任編輯王南山]