□文/閆靜瑩

（西安財(cái)經(jīng)大學(xué) 陜西·西安）

［提要］ 支持向量回歸（SVR）模型對(duì)高維數(shù)據(jù)的研究具有出色的泛化能力和很高的預(yù)測(cè)精度，但在問(wèn)題之初，數(shù)據(jù)往往存在著多重共線(xiàn)性的問(wèn)題。本文引入Lasso算法進(jìn)行變量篩選后再建立SVR回歸模型，以此期望獲得較好的模型效果。選取陜西省一般公共預(yù)算收入及相關(guān)統(tǒng)計(jì)指標(biāo)數(shù)據(jù)進(jìn)行實(shí)證分析，使用Lasso算法進(jìn)行變量?jī)?yōu)化后建立SVR回歸模型對(duì)陜西省一般公共預(yù)算收入進(jìn)行預(yù)測(cè)，從結(jié)果上來(lái)看，模型預(yù)測(cè)效果較好，在六個(gè)時(shí)間節(jié)點(diǎn)上，預(yù)測(cè)值與實(shí)際值完全一致。進(jìn)而說(shuō)明在高維統(tǒng)計(jì)建模時(shí)，使用Lasso算法進(jìn)行變量篩選能夠使得模型達(dá)到一個(gè)較好的效果。

引言

在高維統(tǒng)計(jì)建模中，為了減少因自變量較少而產(chǎn)生的模型偏差，通常會(huì)預(yù)先選擇較為多的變量以達(dá)到減少偏差的目的。然而，并不是每一個(gè)自變量都對(duì)因變量有強(qiáng)解釋作用，因此在研究中為了提升模型的擬合效果以及預(yù)測(cè)精度，就必須要選擇對(duì)因變量具有強(qiáng)解釋作用的自變量來(lái)進(jìn)行分析。Tibshirani在1996年提出了Lasso（The Least Absolute Shrinkage and Selectionator operator）算法，該算法可以將不相關(guān)的自變量收縮為零，以此達(dá)到優(yōu)化回歸模型中的多重共線(xiàn)性問(wèn)題，其主要是通過(guò)構(gòu)造一個(gè)一階懲罰函數(shù)，以此來(lái)對(duì)壓縮回歸系數(shù)的絕對(duì)值進(jìn)行懲罰，從而獲得一個(gè)精煉模型。

SVR回歸模型也叫支持向量回歸模型，支持向量回歸（SVR）的特點(diǎn)是使用核、稀疏解和VC控制邊距和支持向量的數(shù)量。作為一種監(jiān)督學(xué)習(xí)方法，SVR使用對(duì)稱(chēng)損失函數(shù)進(jìn)行訓(xùn)練，主要優(yōu)點(diǎn)是計(jì)算復(fù)雜度不依賴(lài)于輸入空間的維度，具有出色的泛化能力和很高的預(yù)測(cè)精度。顧艷文收集2011～2019年的百度指數(shù)數(shù)據(jù)，并采用Lasso回歸等方法對(duì)變量進(jìn)行篩選，最后建立SVR模型進(jìn)行預(yù)測(cè)得到了很好的預(yù)測(cè)效果。任晶晶通過(guò)對(duì)呂梁市2006～2019年地方財(cái)政收入及其影響因素的相關(guān)數(shù)據(jù)進(jìn)行分析，建立了關(guān)于支持向量回歸SVR的地方財(cái)政收入預(yù)測(cè)模型，預(yù)測(cè)模型精度較高，取得了很好的預(yù)測(cè)效果。喻鐵朔依據(jù)課程間的相關(guān)性，采用SVR模型進(jìn)行成績(jī)預(yù)測(cè)，并在預(yù)測(cè)基礎(chǔ)上實(shí)現(xiàn)學(xué)業(yè)預(yù)警，模型取得了很好的預(yù)測(cè)結(jié)果，對(duì)教師教學(xué)提供了參考依據(jù)。

在研究地方財(cái)政收入的影響因素時(shí)，常常因?yàn)閿?shù)據(jù)繁瑣而使得國(guó)內(nèi)學(xué)者去尋求一些方法來(lái)優(yōu)化對(duì)影響因素的選擇。朱海龍通過(guò)對(duì)嶺回歸和LASSO回歸在安徽省財(cái)政收入影響因素問(wèn)題上進(jìn)行比較分析，認(rèn)為相較于嶺回歸模型，LASSO回歸模型更優(yōu)。馮海琦在基于Lasso回歸模型對(duì)山東省社會(huì)消費(fèi)品零售額的影響因素分析時(shí)，認(rèn)為最小絕對(duì)收縮和選擇算子回歸模型更有優(yōu)勢(shì)。徐子卿以貴州省1995～2017年的地方財(cái)政一般預(yù)算收入及其他相關(guān)經(jīng)濟(jì)指標(biāo)數(shù)據(jù)為樣本，通過(guò)Adaptive-Lasso變量選擇法來(lái)分析影響貴州省地方財(cái)政收入的關(guān)鍵因素取得了較好的預(yù)測(cè)效果。農(nóng)秋紅通過(guò)Lasso變量選擇法和逐步回歸法的比較，發(fā)現(xiàn)Lasso變量選擇法選取的指標(biāo)在廣西區(qū)域經(jīng)濟(jì)發(fā)展研究中更具代表性，預(yù)測(cè)精度也更高。

在以往研究中，主要集中于研究地方財(cái)政收入的影響因素，對(duì)地方一般公共預(yù)算收入的影響因素研究較少。地方一般公共預(yù)算收入包括地方本級(jí)收入、上級(jí)政府對(duì)本級(jí)政府的稅收返還和轉(zhuǎn)移支付、下級(jí)政府上繳收入?？茖W(xué)合理地分析影響地方一般公共預(yù)算收入的主要因素，能有效地避免預(yù)算收支規(guī)模的隨意性和盲目性，對(duì)宏觀(guān)經(jīng)濟(jì)調(diào)控具有非常重要的現(xiàn)實(shí)意義和作用。在對(duì)地方一般公共預(yù)算收入的研究中，數(shù)據(jù)的多重共線(xiàn)性問(wèn)題始終對(duì)模型的精度產(chǎn)生重要的影響，為了減少模型過(guò)度擬合和多重共線(xiàn)性的問(wèn)題，目前普遍采用嶺回歸和LASSO回歸方法進(jìn)行相關(guān)問(wèn)題的研究。

結(jié)合上述文獻(xiàn)分析，參考之前學(xué)者的研究結(jié)果，本文選取陜西省2010～2020年的一般公共預(yù)算收入及相關(guān)數(shù)據(jù)來(lái)進(jìn)行實(shí)證分析，通過(guò)Lasso算法在建模中進(jìn)行變量的篩選，研究Lasso算法在SVR回歸模型中的實(shí)際應(yīng)用問(wèn)題。

一、Lasso算法原理

在面對(duì)高維數(shù)據(jù)時(shí)，為防止在擬合模型時(shí)出現(xiàn)過(guò)擬合的問(wèn)題，往往需要先對(duì)高維數(shù)據(jù)進(jìn)行降維處理。在1996年，Robert Tibshirani提出Lasso回歸算法，是一種估計(jì)方法，這種估計(jì)方法是縮減性的，即在回歸的過(guò)程中，將不重要的一些參數(shù)的回歸系數(shù)縮減為0，從而實(shí)現(xiàn)對(duì)高維數(shù)據(jù)的降維，完成變量篩選。這樣的Lasso回歸算法就是在傳統(tǒng)的最小二乘估計(jì)上對(duì)模型的系數(shù)施加一個(gè)懲罰，定義為：

公式（1）中，β是n維參數(shù)向量；X是矩陣；Y是因變量；λ是收縮參數(shù)。模型的懲罰力度與收縮參數(shù)λ有關(guān)，λ越小，則懲罰力度越小，于是模型中保留的變量就越多；λ越大，則懲罰力度越大，模型中保留的變量就越少。通過(guò)調(diào)節(jié)λ的值即可完成變量的篩選。

二、SVR回歸模型原理

在線(xiàn)性回歸中，目標(biāo)通常是為數(shù)據(jù)擬合一條回歸線(xiàn)，以使偏差引起的誤差最小。其表達(dá)式為：

為了最小化這種偏差，首先需要通過(guò)總結(jié)數(shù)據(jù)點(diǎn)和回歸線(xiàn)之間的所有平方垂直差來(lái)制定優(yōu)化問(wèn)題；然后使用普通最小二乘法的技術(shù)來(lái)確定向量W和偏置項(xiàng)b，從而使誤差函數(shù)最小化。

與普通最小二乘不同，SVR模型設(shè)置了閾值誤差容限ε圍繞回歸線(xiàn)，使得所有數(shù)據(jù)點(diǎn)在ε不會(huì)因?yàn)樗麄兊腻e(cuò)誤而受到懲罰。支持向量機(jī)通過(guò)將二元分類(lèi)問(wèn)題表述為凸優(yōu)化問(wèn)題來(lái)解決。

優(yōu)化問(wèn)題需要找到分離超平面的最大邊距，同時(shí)正確分類(lèi)盡可能多的訓(xùn)練點(diǎn)。SVM用支持向量表示這個(gè)最優(yōu)超平面。SVM的稀疏解決方案和良好的泛化能力有助于適應(yīng)回歸問(wèn)題。

SVR將輸入數(shù)據(jù)的原始空間映射到更高維的特征空間，通常通過(guò)非線(xiàn)性高斯核函數(shù)實(shí)現(xiàn)。在特征空間中，問(wèn)題變成了擬合數(shù)據(jù)的最優(yōu)線(xiàn)性平面f（x）＝μ+ωT?（x）的構(gòu)造。其中，μ是偏差基數(shù)，ω是權(quán)重。于是，通過(guò)最小化向量范數(shù)ω的平方來(lái)尋求最平滑的函數(shù)f（x），構(gòu)建SVR的優(yōu)化目標(biāo)為：

其中，位于邊界上的點(diǎn)滿(mǎn)足條件：

每個(gè)訓(xùn)練數(shù)據(jù)的預(yù)測(cè)值的誤差最多等于ε，然后使用拉格朗日乘子將約束優(yōu)化問(wèn)題重新表述為對(duì)偶問(wèn)題形式，對(duì)于每個(gè)約束，使用二次規(guī)劃來(lái)確定，之后計(jì)算最佳權(quán)重的偏差，得到SVR映入核函數(shù)后的表達(dá)式：

三、實(shí)證分析

（一）數(shù)據(jù)說(shuō)明及研究框架。為了探究Lasso算法在SVR回歸模型中的應(yīng)用，考慮到統(tǒng)計(jì)指標(biāo)因?yàn)闀r(shí)間跨度較長(zhǎng)和統(tǒng)計(jì)口徑不一致的影響，本文選取《陜西統(tǒng)計(jì)年鑒》中2010～2020年以來(lái)的對(duì)一般公共預(yù)算收入影響較大的17個(gè)統(tǒng)計(jì)指標(biāo)如表1所示。（表1）

表1 統(tǒng)計(jì)指標(biāo)說(shuō)明一覽表

利用Lasso算法進(jìn)行數(shù)據(jù)多重共線(xiàn)性問(wèn)題的處理和變量篩選，將得到的強(qiáng)解釋性變量用于SVR回歸模型的建立，最終通過(guò)SVR回歸模型對(duì)陜西省2021年、2022年的一般公共預(yù)算收入進(jìn)行預(yù)測(cè)。

（二）數(shù)據(jù)預(yù)處理。在已獲取的研究數(shù)據(jù)中，首先進(jìn)行異常值處理。本文針對(duì)可能出現(xiàn)的異常值情況，通過(guò)繪制箱線(xiàn)圖來(lái)進(jìn)行分析，將出現(xiàn)的異常值用前后兩次數(shù)據(jù)的均值進(jìn)行替換。

（三）相關(guān)性分析。對(duì)所選擇的17個(gè)統(tǒng)計(jì)指標(biāo)進(jìn)行相關(guān)性分析，使用Lasso特征選擇模型進(jìn)行特征選擇繪制相關(guān)性熱力圖，直觀(guān)顯示相關(guān)性如圖1所示。（圖1）

圖1 影響陜西省一般公共預(yù)算收入統(tǒng)計(jì)指標(biāo)熱力圖

通過(guò)影響陜西省一般公共預(yù)算收入的統(tǒng)計(jì)指標(biāo)熱力圖，可以發(fā)現(xiàn)上述17個(gè)統(tǒng)計(jì)指標(biāo)均與一般公共預(yù)算收入有強(qiáng)相關(guān)性，并且這些屬性間存在多重共線(xiàn)性。于是下一步通過(guò)Lasso算法來(lái)解決多重共線(xiàn)性問(wèn)題，并得到優(yōu)化后的統(tǒng)計(jì)指標(biāo)。

（四）基于Lasso算法的變量篩選。在研究陜西省一般公共預(yù)算收入與各統(tǒng)計(jì)指標(biāo)的關(guān)系時(shí)，Lasso回歸模型中的λ值是未知的，為了使得因變量y是由潛在的協(xié)變量子集的線(xiàn)性組合來(lái)確定的，本文在此通過(guò)Lasso回歸中的LARS算法來(lái)估計(jì)所需包含的變量及系數(shù)。

LARS算法類(lèi)似于逐步回歸，先確定與因變量y相關(guān)度最高的自變量x，用類(lèi)似前向梯度算法中的殘差估計(jì)得到新的變量y1，并且進(jìn)一步得到x1，使得x1和y1的相關(guān)度與x和y的相關(guān)度相同，殘差y1分布在x1和x的角平分線(xiàn)方向，繼續(xù)沿著殘差角平分線(xiàn)方向直到出現(xiàn)x2和y的相關(guān)度最大時(shí)，將其引入到y(tǒng)的逼近特征集合，并把y的逼近特征集合的共同角分線(xiàn)作為新的逼近方向。不斷循環(huán)直至所有的變量均已取完則算法終止?；诒疚牡膶?shí)驗(yàn)數(shù)據(jù)得到該算法的可視化結(jié)果如圖2所示。（圖2）

圖2 LARS算法可視化結(jié)果圖

LARS算法可視化結(jié)果中的每一條折線(xiàn)都代表著一個(gè)統(tǒng)計(jì)指標(biāo)，接下來(lái)通過(guò)Lasso回歸算法進(jìn)行變量篩選，得到Lasso回歸系數(shù)如表2所示。（表2）

表2 Lasso回歸系數(shù)一覽表

從Lasso算法結(jié)果可以看到，17個(gè)統(tǒng)計(jì)指標(biāo)中，生產(chǎn)總值（億元）、能源消費(fèi)總量（萬(wàn)噸標(biāo)準(zhǔn)煤）、一般公共預(yù)算支出（億元）、城鎮(zhèn)居民人均可支配收入（元）、農(nóng)林牧漁業(yè)總產(chǎn)值（萬(wàn)元）、規(guī)模以上工業(yè)企業(yè)利潤(rùn)總額（萬(wàn)元）、建筑業(yè)總產(chǎn)值（萬(wàn)元）、社會(huì)消費(fèi)品零售總額（億元）、進(jìn)出口總值（萬(wàn)元）、居民平均工資（元）、全省居民人均生活消費(fèi)支出（元）對(duì)陜西省一般公共預(yù)算收入具有強(qiáng)解釋關(guān)系。

基于以上Lasso回歸算法的變量篩選結(jié)果，本文選取生產(chǎn)總值（億元）、能源消費(fèi)總量（萬(wàn)噸標(biāo)準(zhǔn)煤）、一般公共預(yù)算支出（億元）、城鎮(zhèn)居民人均可支配收入（元）、農(nóng)林牧漁業(yè)總產(chǎn)值（萬(wàn)元）、規(guī)模以上工業(yè)企業(yè)利潤(rùn)總額（萬(wàn)元）、建筑業(yè)總產(chǎn)值（萬(wàn)元）、社會(huì)消費(fèi)品零售總額（億元）、進(jìn)出口總值（萬(wàn)元）、居民平均工資（元）、全省居民人均生活消費(fèi)支出（元）這11個(gè)變量建立關(guān)于陜西省一般公共預(yù)算收入的SVR回歸模型，并對(duì)2021年和2022年的陜西省一般公共預(yù)算收入進(jìn)行預(yù)測(cè)。

（五）SVR回歸模型的構(gòu)建及預(yù)測(cè)?；贚asso算法篩選出的統(tǒng)計(jì)指標(biāo)，構(gòu)建SVR回歸模型，并對(duì)陜西省2021年、2022年的一般公共預(yù)算收入進(jìn)行預(yù)測(cè)，得到陜西省一般公共預(yù)算收入的預(yù)測(cè)結(jié)果如圖3所示。（圖3）

圖3 SVR回歸模型預(yù)測(cè)結(jié)果圖

通過(guò)SVR回歸模型預(yù)測(cè)結(jié)果可以看到，預(yù)測(cè)值與實(shí)際值較為接近，說(shuō)明模型預(yù)測(cè)效果較好，預(yù)測(cè)陜西省2021年一般公共預(yù)算收入為2，593億元，預(yù)測(cè)陜西省2022年的一般公共預(yù)算收入為2，754億元。

四、結(jié)論

本文選取2010～2020年陜西省一般公共預(yù)算收入相關(guān)統(tǒng)計(jì)指標(biāo)，研究了Lasso算法在SVR回歸模型預(yù)測(cè)中的應(yīng)用?？梢钥吹降氖?，Lasso算法很好地解決了統(tǒng)計(jì)指標(biāo)之間多重共線(xiàn)性的問(wèn)題，在通過(guò)Lasso算法進(jìn)行變量篩選后，使得后續(xù)建立的SVR模型的預(yù)測(cè)精度與實(shí)際值之間的差異非常小，在六個(gè)時(shí)間節(jié)點(diǎn)上，預(yù)測(cè)值與實(shí)際值完全一致。由此可以看到，在高維統(tǒng)計(jì)建模時(shí)，使用Lasso算法來(lái)進(jìn)行變量篩選能夠使得模型達(dá)到一個(gè)較好的效果。

同時(shí)，在實(shí)證分析中，也可以看到模型對(duì)實(shí)際問(wèn)題的解決提供了很好的方法選擇。在對(duì)陜西省一般公共預(yù)算收入的影響因素分析中，發(fā)現(xiàn)一般公共預(yù)算支出對(duì)一般公共預(yù)算收入具有很顯著的正向影響，其次是能源消費(fèi)總量、城鎮(zhèn)居民人均可支配收入、規(guī)模以上工業(yè)企業(yè)利潤(rùn)總額、建筑業(yè)總產(chǎn)值、社會(huì)消費(fèi)品零售總額、居民平均工資、全省居民人均生活消費(fèi)支出均對(duì)陜西省一般公共預(yù)算收入有著正向影響。而生產(chǎn)總值、農(nóng)林牧漁業(yè)總產(chǎn)值、進(jìn)出口總值則對(duì)陜西省一般公共預(yù)算收入有著負(fù)向影響。

五、建議

基于以上實(shí)證分析結(jié)果，本文給出關(guān)于提升陜西省一般公共預(yù)算收入的建議：（一）政府應(yīng)落實(shí)積極的財(cái)政政策，全力支持經(jīng)濟(jì)平穩(wěn)健康發(fā)展，繼續(xù)深化財(cái)稅體制改革，不斷提升財(cái)政預(yù)算管理水平。制訂考核方案，納入考核體系，針對(duì)專(zhuān)項(xiàng)資金，要加強(qiáng)事前的績(jī)效評(píng)估，將評(píng)估結(jié)果與政策安排掛鉤，明確各級(jí)應(yīng)承擔(dān)的責(zé)任。持續(xù)加大財(cái)政投入，將各項(xiàng)政策落實(shí)到實(shí)處，積極幫助企業(yè)解困發(fā)展，引導(dǎo)社會(huì)資本支持實(shí)體經(jīng)濟(jì)發(fā)展，重點(diǎn)支持中小微企業(yè)、個(gè)體工商戶(hù)以及實(shí)體經(jīng)濟(jì)制造業(yè)等。（二）通過(guò)持續(xù)深化供給側(cè)結(jié)構(gòu)性改革促進(jìn)企業(yè)的良性發(fā)展，鼓勵(lì)企業(yè)間的良性競(jìng)爭(zhēng)，在競(jìng)爭(zhēng)中提升產(chǎn)品質(zhì)量以激發(fā)消費(fèi)市場(chǎng)的潛在活力，拉動(dòng)社會(huì)消費(fèi)品零售總額的提升。加大一般公共預(yù)算支出的投入，讓政府資金下沉到基層，支持和保障居民的就業(yè)、養(yǎng)老、教育以及醫(yī)療等問(wèn)題，進(jìn)而提升居民的平均工資，提升人民生活消費(fèi)支出。（三）加大省級(jí)財(cái)政投入力度，聚力創(chuàng)新驅(qū)動(dòng)平臺(tái)的建設(shè)，促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展。同時(shí)，保障農(nóng)業(yè)農(nóng)村優(yōu)先發(fā)展，加快推進(jìn)農(nóng)業(yè)農(nóng)村現(xiàn)代化，提升糧食和重要農(nóng)產(chǎn)品供給保障能力。優(yōu)化農(nóng)產(chǎn)品貿(mào)易布局，實(shí)施農(nóng)產(chǎn)品進(jìn)口多元化戰(zhàn)略，支持企業(yè)融入全球農(nóng)產(chǎn)品供應(yīng)鏈。強(qiáng)化現(xiàn)代農(nóng)業(yè)科技和物質(zhì)裝備支撐，提高農(nóng)機(jī)裝備自主研制能力，支持高端智能、丘陵山區(qū)農(nóng)機(jī)裝備研發(fā)制造。加大對(duì)農(nóng)林牧漁第三產(chǎn)業(yè)的扶持力度，創(chuàng)新性發(fā)展第三產(chǎn)業(yè)以順應(yīng)市場(chǎng)的需求，從供給側(cè)解決農(nóng)林牧漁業(yè)對(duì)一般公共預(yù)算收入的影響。