王樂洋 余 航

1)東華理工大學測繪工程學院，南昌 330013

2)江西省數(shù)字國土重點實驗室，南昌 330013

總體最小二乘方法的適用性研究*

王樂洋1，2)余 航1)

1)東華理工大學測繪工程學院，南昌 330013

2)江西省數(shù)字國土重點實驗室，南昌 330013

從數(shù)據(jù)擬合的角度探討總體最小二乘方法的適用性，給出總體最小二乘殘差距離與最小二乘殘差距離之間的關(guān)系表達式并推廣到多維情形;研究總體最小二乘準則、數(shù)據(jù)最小二乘準則和最小二乘準則之間的關(guān)系，給出適用場合;通過模擬計算分析，得出有益結(jié)論。

總體最小二乘;數(shù)據(jù)最小二乘;最小二乘;數(shù)據(jù)擬合

近年來，總體最小二乘理論在測量數(shù)據(jù)處理領(lǐng)域得到廣泛應用［1－9］，但某些情況下其解與最小二乘解在估值和精度方面相差不大［6］。因此，總體最小二乘與最小二乘在適用性等方面需要進一步探討和分析。本文從數(shù)據(jù)擬合的角度探討了總體最小二乘方法的適用性，定義與殘差距離有關(guān)的角度，繪制最小二乘、數(shù)據(jù)最小二乘和總體最小二乘準則的幾何關(guān)系圖，通過模擬算例給出相關(guān)的分析和結(jié)論。

1 總體最小二乘殘差距離與最小二乘殘差距離

當以y為觀測值時，最小二乘擬合的殘差距離為:

總體最小二乘擬合的殘差距離為:

圖1 直線擬合的殘差距離示意圖Fig.1 Sketch of residual distance with linear fitting

在實際的直線擬合或參數(shù)估計問題中，以y為觀測值的最小二乘擬合、以x為觀測值的最小二乘擬合與總體最小二乘擬合得到的直線是不相同的，向量1、2和3并不會構(gòu)成圖 1 所示的直角三角形。若以向量1和向量2為直角邊構(gòu)成一個直角三角形(見圖1)，設(shè)其中一個角為α，則有:

在參數(shù)估計(直線擬合)時，分析如下:

1)當α=0°時，d2=0，即x的誤差為零，是以 y為觀測值的最小二乘擬合。

2)當0°＜ α ＜45°時，0＜tanα =d2/d1＜1，即 d2＜d1，x的誤差小于y的誤差，以y的誤差為主要誤差源。在參數(shù)精度要求不高時，仍可忽略x的誤差，以y為觀測值進行最小二乘擬合;若要求較高，則必須使用總體最小二乘估計同時考慮x和y的誤差。

3)當 α =45°時，d2=d1，x與 y的誤差相等，在進行參數(shù)估計(直線擬合)時必須同時加以考慮，即進行總體最小二乘擬合。

4)當45°＜α ＜90°時，1＜tanα=d2/d1＜ +∞，即d2＞d1，x的誤差大于y的誤差，以x的誤差為主要誤差源。參數(shù)精度要求不高時，可忽略y的誤差，以x為觀測值進行最小二乘擬合;若精度要求較高，則必須使用總體最小二乘估計同時考慮x和y的誤差。

5)當α=90°時，d1=0，即y的誤差為零，是以x為觀測值的最小二乘擬合。

在多維情況下，若有如下線性估計函數(shù)模型:

式中，A∈Rm×n(m ＞n)為列滿秩系數(shù)矩陣;X∈Rn×1為待估計參數(shù);b∈Rm×1為觀測值。則:

式中，0°≤α≤90°;bobs=［bobs1…bobsn］T為 b的觀測值，btru=［btru1…btrun］T為b的真值;vec(·)為矩陣拉直算子，即將矩陣按列拉直得到的列向量;Aobs為系數(shù)矩陣A的觀測值，Atru為A的真值。

多維情況下同樣可得出上述結(jié)論。

2 總體最小二乘準則與最小二乘準則

對于式(5)的線性模型，估計準則如下。

1)最小二乘準則:

2)數(shù)據(jù)最小二乘準則:

3)總體最小二乘準則:

3 TLS適用性實驗與分析

3.1 實驗方案與結(jié)果

3.2 結(jié)果分析

圖2 最小二乘與總體最小二乘準則的幾何關(guān)系Fig.2 Geometrical relationship between LS norm and TLS norm

表1 模擬觀測點真值Tab.1 True values of simulated data

表2 計算方案Tab.2 Calculation schemes

從方案2與方案4可以看出，無論y的誤差大于x的誤差，還是x的誤差大于y的誤差，總體最小二乘結(jié)果的精度較最小二乘、數(shù)據(jù)最小二乘都高。當y的誤差大于x時，總體最小二乘結(jié)果和最小二乘比較相近，而數(shù)據(jù)最小二乘的偏差相對較大，精度也較差。當x的誤差大于y時，總體最小二乘結(jié)果和數(shù)據(jù)最小二乘結(jié)果比較接近，而最小二乘結(jié)果的偏差相對較大，其精度也差。

從方案3可以看出，當x的誤差與y相當時，最小二乘和數(shù)據(jù)最小二乘結(jié)果的精度都比總體最小二乘差，結(jié)果偏離真值的程度也大。此時，必須同時考慮x和y的誤差，任何單一的以y或以x為觀測值的最小二乘擬合都是不可取的。

為了更全面地比較，對表4作模擬計算發(fā)現(xiàn)，隨著角度α的增大，最小二乘法的單位權(quán)中誤差估值逐漸增大，數(shù)據(jù)最小二乘法的單位權(quán)中誤差估值逐漸減小，而總體最小二乘法的單位權(quán)中誤差估值穩(wěn)定在0.66～0.69之間。當x的誤差比y小(即α≤45°)時，最小二乘的解算精度與總體最小二乘相當;隨著x誤差的增加，最小二乘的解算精度逐漸差于總體最小二乘。因此，在測量數(shù)據(jù)處理中必須根據(jù)實際情況選用恰當?shù)姆椒ā?/p>

表3 各方案擬合結(jié)果Tab.3 Results of each scheme

表4 加入不同隨機誤差的結(jié)果Tab.4 Results of adding different stochastic error

續(xù)表4

1 Golub G H，Van Loan C F.An analysis of the total least squares problem［J］.SIAM J Numer Anal，1980，17:883 －893.

2 Schaffrin B，Wieser A.On weighted total least-squares adjustment for linear regression［J］.Journal of Geodesy，2008，82(7):415－421.

3 Tong Xiaohua，Jin Yanmin，Li Lingyun.An improved weighted total least squares method with applications in linear fitting and coordinate transformation［J］.Journal of Surveying Engineering，2011，137(4):120 －128.

4 Shen Yunzhong，Li Bofeng，Chen Yi.An iterative solution of weighted total least－ squares adjustment［J］.Journal of Geodesy，2011，85(4):229 －238.

5 Xu Caijun，Wang Leyang，Wen Yangmao，et al.Strain rates in the Sichuan-Yunnan region based upon the total least squares heterogeneous strain model from GPS data［J］.Terr Atmos Ocean Sci，2011，22(2):133 －147.

6 王樂洋.基于總體最小二乘的大地測量反演理論及應用研究［D］.武漢:武漢大學，2011.(Wang Leyang.Research on theory and application of total least squares in geodetic inversion［D］.Wuhan:Wuhan University，2011)

7 王樂洋，許才軍，魯鐵定.病態(tài)加權(quán)總體最小二乘平差的嶺估計解法［J］.武漢大學學報:信息科學版，2010，35(11):1 346 － 1 350.(Wang Leyang，Xu Caijun，Lu Tieding.Ridge estimation method in ill-posed weighted total least squares adjustment［J］.Geomatics and Information Science of Wuhan University，2010，35(11):1 346 －1 350)

8 王樂洋，許才軍，魯鐵定.邊長變化反演應變參數(shù)的總體最小二乘方法［J］.武漢大學學報:信息科學版，2010，35(2):181 － 184.(Wang Leyang，Xu Caijun，Lu Tieding.Inversion of strain parameter using distance changes based on total least squares［J］.Geomatics and Information Science of Wuhan University，2010，35(2):181 －184)

9 王樂洋，許才軍.附有相對權(quán)比的總體最小二乘平差［J］.武漢大學學報:信息科學版，2011，36(8):887－890.(Wang Leyang，Xu Caijun.Total least-squares adjustment with weighting scaling factor［J］.Geomatics and Information Science of Wuhan University，2011，36(8):887 －890)

10 Stewart G W.On the invariance of perturbed null vectors under column scaling［J］.Numer Math，1984，44:61－65.

STUDY ON THE APPLICABILITY OF TOTAL LEAST SQUARES METHOD IN SURVEYING ADJUSTMENT

Wang Leyang1，2)and Yu Hang1)
1)Faculty of Geomatics，East China Institute of Technology，Nanchang 330013
2)Jiangxi Province Key Lab for Digital Land，Nanchang330013

The applicability of total least squares studied systematically with data fitting.The relationship formula between total least squares residual distance and least squares residual distance was obtained and extended to the multi-dimensional cases.According to the relationship among the criterion of least squares(LS)，data least squares(DLS)and total least squares(TLS)，the applicability was determined.

total least squares;data least squares;least squares;data fitting

P207

A

1671-5942(2014)03-0121-04

2014-01-02

國家自然科學基金項目(41204003，41161069，41304020);江西省自然科學基金項目(20132BAB216004);江西省教育廳項目(GJJ13456，KJLD12077);地理空間信息工程國家測繪地理信息局重點實驗室項目(201308);東華理工大學博士科研啟動基金項目(DHBK201113);東華理工大學研究生創(chuàng)新專項資金項目(DYCA13001)。

王樂洋，男，1983生，博士，講師，研究方向為大地測量反演及總體最小二乘平差的理論與應用。E－mail:wleyang@163.com。