武繼剛, 李妙君, 趙淑平

(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,廣東 廣州 510006)

最小二乘回歸(least squares regression,LSR)是統(tǒng)計(jì)學(xué)理論中一種典型的數(shù)據(jù)分析工具,通過(guò)最小化實(shí)際值和預(yù)測(cè)值的差值平方和來(lái)學(xué)習(xí)投影矩陣?；贚SR已經(jīng)研究出了許多經(jīng)典模型,但是,傳統(tǒng)的LSR模型存在3個(gè)主要問(wèn)題。

第2個(gè)問(wèn)題是基于LSR的方法對(duì)噪聲的敏感性。在實(shí)際應(yīng)用中,由于圖像在獲取、發(fā)布或傳輸過(guò)程中受到噪聲的干擾[7],導(dǎo)致同一個(gè)類(lèi)別的訓(xùn)練樣本和測(cè)試樣本之間的差異可能很大。對(duì)于噪聲數(shù)據(jù)的分類(lèi)問(wèn)題,適當(dāng)?shù)亟档皖?lèi)邊距通?？梢杂懈玫姆诸?lèi)精度。Peng等[8]使用negative ε-dragging技術(shù)來(lái)確定不同類(lèi)別之間的適當(dāng)邊距。趙雯等[9]提出的判別低秩表示(discriminative low-rank representation,DLRR)算法可以在遮擋的訓(xùn)練樣本中分離出相對(duì)干凈的圖像。Bao等[10]提出了基于松弛局部保持回歸(relaxed local preserving regression,RLPR),使用了L2,1范數(shù)替代損失函數(shù)的LF范數(shù)。Fang等[11]將原始數(shù)據(jù)分解為一個(gè)“干凈”的分量加上稀疏的噪聲分量,使用了一個(gè)稀疏項(xiàng)來(lái)補(bǔ)償回歸誤差,這有助于在回歸過(guò)程中抑制噪聲的干擾。楊章靜等[12]提出一種基于潛在子空間去噪的學(xué)習(xí)圖像分類(lèi)方法(denoising latent subspace based subspace learning,DLSSL),在原始空間和標(biāo)簽空間中間引進(jìn)一個(gè)潛在子空間,將學(xué)習(xí)分成了2個(gè)過(guò)程,對(duì)樣本先進(jìn)行降噪處理,然后使用潛在子空間中的“干凈”數(shù)據(jù)進(jìn)行回歸分類(lèi)。

第3個(gè)問(wèn)題是傳統(tǒng)的LSR沒(méi)有過(guò)多關(guān)注樣本之間的相關(guān)性和標(biāo)簽的類(lèi)內(nèi)緊湊性,這會(huì)破壞數(shù)據(jù)的基礎(chǔ)結(jié)構(gòu)并導(dǎo)致過(guò)擬合問(wèn)題。ICS_DLSR[3]在最小二乘回歸模型中引入了類(lèi)間稀疏性約束,使轉(zhuǎn)換后的樣本在每個(gè)類(lèi)別中具有共同的稀疏結(jié)構(gòu),有效地利用樣本之間的相關(guān)性。基于低秩表示(low-rank representation,LRR)的模型很容易捕獲數(shù)據(jù)的全局結(jié)構(gòu)。鐘堃琰等[13]提出對(duì)通過(guò)ε-dragging技術(shù)所得的松弛矩陣施加低秩約束,可以提高其類(lèi)內(nèi)緊湊性,保證了回歸標(biāo)簽的類(lèi)內(nèi)相似性。Chen等[14]將Fisher判別準(zhǔn)則和ε-dragging技術(shù)集成到一個(gè)模型中提出了Fisher判別最小二乘回歸模型(fisher discriminative least squares regression,FDLSR),Fisher準(zhǔn)則可以提高松弛學(xué)習(xí)過(guò)程中松弛標(biāo)簽的類(lèi)內(nèi)緊湊性和相似性。在FDLSR中還證明了DLSR的本質(zhì)是基于L2范式的支持向量機(jī)的松弛版本。

因此,本文提出一種基于低秩稀疏表達(dá)的彈性最小二乘回歸學(xué)習(xí)(low-rank sparse representation based elastic least squares regression,LRSR-eLSR)模型。引入半靈活性的回歸目標(biāo)矩陣,將0-1目標(biāo)松弛為更可行的變量矩陣,為不同類(lèi)別的樣本提供合適的邊距,并且不會(huì)輕易破壞回歸目標(biāo)的結(jié)構(gòu)。同時(shí),為了避免結(jié)構(gòu)信息的丟失,引入低秩約束來(lái)學(xué)習(xí)具有判別性的投影矩陣,捕獲數(shù)據(jù)不同類(lèi)別的底層結(jié)構(gòu)。除此之外,引入了具有行稀疏性的誤差項(xiàng),可以從噪聲或損壞的數(shù)據(jù)中穩(wěn)健地提取特征。模型的流程如圖1所示。

圖1 模型框架圖

1 相關(guān)工作

X為來(lái)自c個(gè)類(lèi)別的n個(gè)訓(xùn)練樣本的訓(xùn)練集,X=[x1,x2,…,xn]∈Rd×n,其中d為每個(gè)樣本的特征維數(shù)。LF范數(shù)、L2,1范數(shù)和核范數(shù)的計(jì)算分別為

(1)

(2)

‖X‖*=∑i|σi|。

(3)

式中:XT為矩陣X的轉(zhuǎn)置;σ為矩陣的奇異值。

1.1 最小二乘回歸(LSR)

最小二乘回歸的目標(biāo)是學(xué)習(xí)一個(gè)將訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為二進(jìn)制標(biāo)簽空間的最優(yōu)投影矩陣,常見(jiàn)函數(shù)表示為

(4)

式中:W∈Rc×d為投影矩陣;β>0為正則化參數(shù)。Y為對(duì)應(yīng)于數(shù)據(jù)集X的0-1標(biāo)簽矩陣,定義如下:如果訓(xùn)練樣本xi來(lái)自第k個(gè)類(lèi)別,則列向量yi的第k個(gè)元素為1,其余元素為0,Y=[y1,y2,…,yn]∈Rc×n。

將式(4)中的第1項(xiàng)看作損失函數(shù),第2項(xiàng)表示廣泛使用的L2正則化,用來(lái)避免過(guò)擬合。

1.2 重定向最小二乘回歸(ReLSR)

ReLSR的核心思想是通過(guò)關(guān)注相對(duì)值,直接從數(shù)據(jù)中學(xué)習(xí)回歸目標(biāo)矩陣,能夠提高多分類(lèi)的性能。模型在學(xué)習(xí)過(guò)程中對(duì)目標(biāo)矩陣進(jìn)行直接優(yōu)化,約束每個(gè)樣本其真類(lèi)和假類(lèi)目標(biāo)之間的差值應(yīng)大于1,將其表達(dá)為一個(gè)優(yōu)化問(wèn)題,如式(5)所示:

(5)

式中:H為目標(biāo)矩陣;en為全為1的行向量;b為偏差向量。

ReLSR在學(xué)習(xí)的過(guò)程中會(huì)對(duì)H重復(fù)更新,初始化H可以令H=Y。ReLSR的目標(biāo)矩陣是通過(guò)只關(guān)注不同類(lèi)別對(duì)應(yīng)的相對(duì)值來(lái)學(xué)習(xí)的,以保證大多數(shù)數(shù)據(jù)點(diǎn)的正確分類(lèi)。

1.3 基于低秩類(lèi)間稀疏性的半靈活性目標(biāo)最小二乘回歸(LIS_StLSR)

LIS_StLSR與ReLSR一樣,都是在學(xué)習(xí)中更新目標(biāo)矩陣,但是,LIS_StLSR采用半靈活性的回歸目標(biāo)矩陣與低秩類(lèi)間稀疏約束相結(jié)合,學(xué)習(xí)到目標(biāo)矩陣可以保證對(duì)每個(gè)數(shù)據(jù)點(diǎn)的正確分類(lèi)的要求有很大的限制并且不會(huì)破壞回歸目標(biāo)原有的結(jié)構(gòu),不會(huì)影響到下一次迭代訓(xùn)練中的回歸性能。LIS_StLSR的目標(biāo)函數(shù)如(6)式所示:

(6)

式中:Z為低秩表示矩陣;‖WXZi‖2,1為低秩類(lèi)間約束項(xiàng)。

LIS_StLSR通過(guò)訓(xùn)練樣本的“干凈”表示來(lái)實(shí)現(xiàn)類(lèi)間關(guān)系,使得共享同一標(biāo)簽的投影樣本保持共同的稀疏結(jié)構(gòu),同時(shí),利用訓(xùn)練樣本的低秩表示進(jìn)行類(lèi)間稀疏學(xué)習(xí)。

2 本文模型

2.1 提出問(wèn)題和新的回歸模型

傳統(tǒng)的最小二乘回歸模型使用了嚴(yán)格的二元標(biāo)簽矩陣作為目標(biāo)矩陣。從幾何學(xué)的角度,不同類(lèi)別樣本的距離應(yīng)該要盡可能大,而同一個(gè)類(lèi)別的樣本之間的距離盡可能小,學(xué)習(xí)到的回歸目標(biāo)更具有判別力,可以增加回歸模型的靈活性。不同于DLSR使用ε-dragging技術(shù)放松標(biāo)簽矩陣,模型通過(guò)對(duì)真假類(lèi)別之間的學(xué)習(xí)目標(biāo)實(shí)施約束直接從數(shù)據(jù)中學(xué)得回歸目標(biāo),并引入一個(gè)稀疏誤差項(xiàng)E以放松標(biāo)簽矩陣。將上述表達(dá)為一個(gè)優(yōu)化問(wèn)題,如式(7)所示:

(7)

式中:λ1和λ2均為正則化參數(shù)。

與0-1矩陣Y相比,目標(biāo)矩陣H可以直接從數(shù)據(jù)中學(xué)習(xí),可以更準(zhǔn)確地測(cè)量回歸誤差。為了在學(xué)習(xí)過(guò)程中捕捉數(shù)據(jù)相關(guān)的底層結(jié)構(gòu),根據(jù)低秩最小化的性質(zhì),對(duì)式(7)中轉(zhuǎn)換矩陣W使用LF范數(shù),同時(shí)添加低秩約束。構(gòu)建的目標(biāo)函數(shù)為

(8)

式中:λ3為正則化參數(shù);rank(·)表示矩陣的秩。

由于秩函數(shù)的離散性,式(8)是一個(gè)非凸非光滑問(wèn)題,所以很難求解,根據(jù)文獻(xiàn)[15],將秩函數(shù)替換為核范數(shù)正則化可以得到上述優(yōu)化問(wèn)題的凸松弛形式,對(duì)式(8)重新構(gòu)造:

(9)

考慮求解問(wèn)題,對(duì)式(9)中的核范數(shù)利用公式轉(zhuǎn)化為L(zhǎng)F范數(shù)進(jìn)行統(tǒng)一求解,根據(jù)文獻(xiàn)[5]中的Theorem 1,對(duì)于任意的矩陣W,可以得到:

(10)

由式(9)和式(10),可以得到最終的目標(biāo)函數(shù),如式(11)所示:

(11)

2.2 模型求解

對(duì)目標(biāo)函數(shù)(式(11))使用ADMM算法[16]進(jìn)行優(yōu)化求解,其增廣拉格朗日函數(shù)為

(12)

式中:C為拉格朗日乘子;μ>0為罰參數(shù)。

對(duì)于式(12),在其他參數(shù)固定的情況下交替求解W、E、H、A和B。具體解決步驟如下。

步驟1 更新W。固定E、H、A和B,可以通過(guò)最小化以下目標(biāo)來(lái)獲得W。

(13)

式(13)中,通過(guò)將L(W)相對(duì)于W的導(dǎo)數(shù)設(shè)置為零,可以獲得最佳W。即

(14)

由式(14)可以得到W的最優(yōu)解為

(15)

式中:Id表示維數(shù)為d的單位向量。

步驟2 更新E。固定其他參數(shù),令U=WX-H,可以通過(guò)最小化以下基于L2,1范數(shù)的目標(biāo)函數(shù)來(lái)獲得E。

(16)

式中:Ej,：和Uj,：分別表示E和U的第j行向量。

步驟3 更新A。固定其他參數(shù),通過(guò)對(duì)A進(jìn)行求導(dǎo),令導(dǎo)數(shù)為0,可以得到A的閉式解為

(17)

步驟4 更新B。固定其他參數(shù),通過(guò)對(duì)B進(jìn)行求導(dǎo),令導(dǎo)數(shù)為0,可以得到B的閉式解為

(18)

步驟5 更新H。令S=WX-E,公式如下所示:

(19)

將式(19)分解為n個(gè)獨(dú)立的子問(wèn)題求解得到H的最優(yōu)解,每個(gè)子問(wèn)題都對(duì)應(yīng)H這一行的學(xué)習(xí),則每個(gè)子優(yōu)化問(wèn)題可以表示為

(20)

式中:k表示行的真類(lèi)索引;i表示在h中最大值的索引。

更新式(20)為

(21)

步驟6 更新C和μ為

(22)

式中:ρ和μmax均為數(shù)值很小的正參數(shù)。

根據(jù)上述求解過(guò)程可以得到學(xué)習(xí)的投影矩陣W,對(duì)任何測(cè)試樣本y,其投影樣本為Wy,使用最近鄰分類(lèi)器對(duì)其進(jìn)行分類(lèi)。

2.3 計(jì)算時(shí)間復(fù)雜度

LRSR-eLSR模型的主要耗時(shí)是在逆矩陣的運(yùn)算上,式(13)中的時(shí)間復(fù)雜度為O(d3);式(14)的時(shí)間復(fù)雜度為O(r3);式(15)的時(shí)間復(fù)雜度為O(r3)。對(duì)于矩陣的加、減、乘,計(jì)算成本可以忽略不計(jì)。因此,本文所提出的方法的主要計(jì)算成本是O(t(d3+2r3)),其中t表示迭代次數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

將本文模型與其他算法進(jìn)行比較,包括LRDLSR[17]、FDLSR[14]、SALPL[15]、CDPL[18]、DLSR[1]、ReLSR[4]和SN-TSL[19]。所有實(shí)驗(yàn)均在MATLAB R2018b中進(jìn)行,操作系統(tǒng)為Windows 10。

3.1 數(shù)據(jù)集

Extended Yale B數(shù)據(jù)集:由38人提供的2 414幅圖像,每個(gè)類(lèi)別有59～64個(gè)正面圖像,具有不同的照明。實(shí)驗(yàn)中使用的所有圖像都提前調(diào)整為32×32像素。然后從每個(gè)類(lèi)隨機(jī)抽取10、15、20、25張圖像作為訓(xùn)練集,其余樣本作為測(cè)試集。

LFW數(shù)據(jù)集:包含了1 680個(gè)在無(wú)約束條件下拍攝對(duì)象的13 000多張人臉圖像。在這個(gè)實(shí)驗(yàn)中,使用了一個(gè)包含86個(gè)人共1 251張圖像的子集,每個(gè)受試者只有10～20張圖像。在實(shí)驗(yàn)中,將圖像尺寸調(diào)整為32×32像素,隨機(jī)選擇每個(gè)受試者的5、6、7、8張圖像作為訓(xùn)練樣本。

COIL-20數(shù)據(jù)集:包含了20個(gè)物體,每個(gè)物體有72個(gè)灰色圖像,這些圖像是從不同方向拍攝的。在實(shí)驗(yàn)中,對(duì)每個(gè)圖像進(jìn)行下采樣,使其具有32×32像素,從每個(gè)類(lèi)隨機(jī)抽取10、15、20、25張圖像作為訓(xùn)練集。

MNIST數(shù)據(jù)集:一個(gè)包含0～9的手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集,該數(shù)據(jù)集包含60 000個(gè)用于訓(xùn)練和10 000個(gè)用于測(cè)試的圖像,圖像尺寸為28×28像素。在實(shí)驗(yàn)中,從每個(gè)類(lèi)隨機(jī)抽取40、60、80和100張圖像作為訓(xùn)練集。

3.2 結(jié)果與分析

實(shí)驗(yàn)重復(fù)執(zhí)行10次并記錄平均準(zhǔn)確率。對(duì)于二分類(lèi)問(wèn)題,樣本將根據(jù)真實(shí)類(lèi)別與學(xué)習(xí)器預(yù)測(cè)類(lèi)別組合為4種情況,如表1所示。

表1 二分類(lèi)混淆矩陣表

準(zhǔn)確率Acc是一個(gè)分類(lèi)性能的檢測(cè)指標(biāo),表示在所有的樣本中被分類(lèi)模型預(yù)測(cè)為正確的樣本數(shù)量所占的比例,如式(23)所示[20]:

(23)

式中:TP表示待檢測(cè)樣本屬于正類(lèi)并且分類(lèi)模型也將待檢測(cè)樣本預(yù)測(cè)為正類(lèi);TN表示待檢測(cè)樣本屬于反類(lèi)并且分類(lèi)模型也將待檢測(cè)樣本預(yù)測(cè)為反類(lèi);FP表示待檢測(cè)樣屬于反類(lèi)但是分類(lèi)模型將待檢測(cè)樣本預(yù)測(cè)為正類(lèi);FN表示待檢測(cè)樣本屬于正類(lèi)但是分類(lèi)模型將待檢測(cè)樣本預(yù)測(cè)為反類(lèi)。其中FP和FN都是分類(lèi)模型預(yù)測(cè)不正確的情況。

表2為Extended Yale B人臉數(shù)據(jù)集上不同方法對(duì)比的結(jié)果。顯然,在人臉數(shù)據(jù)集上,當(dāng)樣本數(shù)量為15、20、25時(shí),本文算法取得了最佳的分類(lèi)結(jié)果。

表2 Extended Yale B上不同方法的平均分類(lèi)準(zhǔn)確率

表3為L(zhǎng)FW人臉數(shù)據(jù)集上不同方法的對(duì)比結(jié)果。由于LFW數(shù)據(jù)集是一個(gè)很難進(jìn)行圖像分類(lèi)的數(shù)據(jù)集,使用不同分類(lèi)方法獲得的平均準(zhǔn)確率都相對(duì)不高,當(dāng)樣本數(shù)量為6、7、8時(shí),LRSR-eLSR的性能較好。

表3 LFW數(shù)據(jù)集上不同方法的平均分類(lèi)準(zhǔn)確率

表4為在COIL-20物體數(shù)據(jù)集上不同方法對(duì)比的結(jié)果。由結(jié)果可以分析,提出的模型獲得了比其他方法好的分類(lèi)結(jié)果。因此,LRSR-eLSR在解決客觀(guān)識(shí)別任務(wù)方面有很大的潛力,這證明了模型對(duì)于對(duì)象分類(lèi)任務(wù)的有效性。

表4 COIL-20上不同方法的平均分類(lèi)準(zhǔn)確率

表5為在MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集上不同方法對(duì)比的結(jié)果。可以發(fā)現(xiàn),與其他方法相比,LRSR-eLSR可以提供更好的結(jié)果。

表5 MNIST上不同方法的平均分類(lèi)準(zhǔn)確率

在Extended Yale B、LFW和COIL-20這3個(gè)數(shù)據(jù)集上,對(duì)比基于松弛標(biāo)簽方法的DLSR和ReLSR,LRSR-eLSR可以學(xué)習(xí)更具判別力的變換。因?yàn)镈LSR和ReLSR只關(guān)注于擴(kuò)大類(lèi)間距,而不關(guān)心縮小類(lèi)內(nèi)距離。與DLSR和ReLSR不同,本文方法通過(guò)引入半靈活性的回歸目標(biāo)H,使得模型在數(shù)據(jù)中直接學(xué)習(xí)矩陣。

3.3 參數(shù)靈敏度分析

在本文方法中,參數(shù)λ1、λ2和λ3需要進(jìn)行靈敏度分析,用于平衡相應(yīng)約束項(xiàng)。λ1用于避免投影W的平凡解;λ2用于松弛標(biāo)簽矩陣,以自適應(yīng)地?cái)M合變換后的數(shù)據(jù);λ3保證了數(shù)據(jù)底層結(jié)構(gòu)。首先,定義一個(gè)候選集{10-5,10-4,10-3,10-2,10-1,100,101,102};其次,在Extended Yale B數(shù)據(jù)集上,分析LRSR-eLSR算法的λ1、λ2、λ3對(duì)Acc的影響。

實(shí)驗(yàn)采用控制變量法確定λ1、λ2、λ3的最佳參數(shù)組合。例如,為了確定λ1的敏感度,先令λ2=1,λ3=1,得出不同λ1的值對(duì)Acc的影響。為了確定不同參數(shù)組合的最優(yōu)值,將其中一個(gè)參數(shù)固定為之前單個(gè)參數(shù)選擇階段的最優(yōu)值,并使用網(wǎng)格搜索算法觀(guān)察另外2個(gè)參數(shù)在候選集范圍內(nèi)變化時(shí)Acc的變化。

圖2為在Extended Yale B數(shù)據(jù)集上調(diào)整單個(gè)參數(shù)時(shí)LRSR-eLSR的Acc曲線(xiàn)。圖3為在Extended Yale B數(shù)據(jù)集上不同參數(shù)組合時(shí)LRSR-eLSR的Acc曲線(xiàn)。由圖2、3可知,λ1穩(wěn)定性差,其最大值為1,說(shuō)明不需要對(duì)模型過(guò)多施加避免平凡解的項(xiàng)。λ3比較穩(wěn)健,其值對(duì)模型的Acc影響較小。因此,首先固定參數(shù)λ3的值,通過(guò)選擇λ1和λ2的不同組合計(jì)算LRSR-eLSR模型的Acc,可以獲得這2個(gè)參數(shù)的最佳組合;其次,采用相同的方法從參數(shù)λ3的候選參數(shù)集中找到最佳值;最后,應(yīng)用λ1、λ2、λ3的最佳參數(shù)組合運(yùn)算10次,得到平均分類(lèi)準(zhǔn)確率Acc。實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)參數(shù)λ1∈[10-1,101]、λ2∈[100,102]時(shí),LRSR-eLSR模型性能較好。

圖2 調(diào)整單個(gè)參數(shù)時(shí)LRSR-eLSR的Acc

圖3 不同參數(shù)組合時(shí)LRSR-eLSR的Acc

3.4 消融實(shí)驗(yàn)

為了評(píng)估所提出模型中每一項(xiàng)的有效性,從Extended Yale B、LFW、COIL-20和MNIST數(shù)據(jù)集中分別選取25、8、25、100個(gè)樣本作為訓(xùn)練樣本,其余的樣本作為測(cè)試樣本進(jìn)行消融實(shí)驗(yàn)。將所有實(shí)驗(yàn)重復(fù)10次,取平均值,結(jié)果如圖4所示。其中,LRSR-eLSR(λ1)表示設(shè)置模型中的λ1=0,即模型沒(méi)有矩陣W的LF范數(shù)項(xiàng);LRSR-eLSR(λ2)表示設(shè)置模型中的λ2=0,即模型中少了系數(shù)誤差項(xiàng)E;LRSR-eLSR(λ3)表示設(shè)置模型中的λ3=0,即模型少了低秩約束項(xiàng)。

圖4 LRSR-eLSR在4個(gè)數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果對(duì)比

由圖4可知,LRSR-eLSR(λ1)和LRSR-eLSR(λ3)的性能比LRSR-eLSR差得多。這表明所提出的LRSR-eLSR極大地受益于矩陣W的LF范數(shù)項(xiàng)和低秩約束項(xiàng)。LF范數(shù)具有防止過(guò)擬合的作用,追求低秩回歸標(biāo)簽有助于學(xué)習(xí)更多的判別投影,從而顯著提高最終分類(lèi)性能。

4 結(jié)論

本文提出了一種基于低秩稀疏表達(dá)的彈性最小二乘回歸學(xué)習(xí)模型(LRSR-eLSR)。該模型通過(guò)對(duì)回歸矩陣增加彈性約束擴(kuò)大不同類(lèi)別之間的差值,以構(gòu)建放松的標(biāo)簽矩陣。此外,對(duì)轉(zhuǎn)換矩陣添加了稀疏性約束和低秩約束,使回歸目標(biāo)具有稀疏性和低秩性,在保持?jǐn)?shù)據(jù)的低秩結(jié)構(gòu)的同時(shí)防止過(guò)擬合。在不同任務(wù)的公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,相對(duì)于現(xiàn)有的最小二乘回歸變體的方法,本文方法具有優(yōu)異的性能。