吳宗諭, 羅文彩, 陳　勇

(國防科學技術(shù)大學航天科學與工程學院, 湖南 長沙 410073)

?

基于Pareto定律參數(shù)優(yōu)化的徑向基近似建模

吳宗諭, 羅文彩, 陳勇

(國防科學技術(shù)大學航天科學與工程學院, 湖南 長沙 410073)

摘要：針對傳統(tǒng)留一交叉驗證法計算量大不適用于大規(guī)模復雜系統(tǒng)的問題,借鑒經(jīng)濟學中的Pareto定律,選擇對全局誤差大小起決定性作用的樣本點作為關(guān)鍵點,對留一交叉驗證法進行了改進,提出了基于Pareto定律的留一交叉驗證方法。針對徑向基模型形狀參數(shù)的優(yōu)化選擇問題,將基于Pareto定律的留一交叉驗證方法應用于形狀參數(shù)的優(yōu)化,提出了基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法。測試表明,該方法構(gòu)造的徑向基模型具有良好的近似精度和較高的計算效率,具有推廣的價值。

關(guān)鍵詞：徑向基模型; Pareto定律; 留一法; 參數(shù)優(yōu)化

0引言

大規(guī)模復雜系統(tǒng)的多學科優(yōu)化過程中,需要反復調(diào)用系統(tǒng)的高精度分析模型,計算精度高但計算量巨大[1-3]。近似模型是多學科優(yōu)化的關(guān)鍵技術(shù)之一,通過少量的高精度分析和近似計算構(gòu)造顯式近似表達式來代替原有系統(tǒng),是解決多學科優(yōu)化計算復雜性的有效手段[4],若可以構(gòu)造出精度較高的近似模型,便可使許多復雜的工程問題迎刃而解。

目前常用的近似模型[5]有多項式響應面模型、Kriging模型、徑向基模型、支持向量機模型、神經(jīng)網(wǎng)絡(luò)模型。由于徑向基模型具有形式簡單、各向同性、設(shè)置參數(shù)少、易于處理等優(yōu)點[6],對高維問題和非線性問題均具有較好的近似效果,所以本文選擇徑向基模型為研究對象。形狀參數(shù)決定了基函數(shù)的形狀[7],是影響近似模型近似精度的重要因素,合理設(shè)置形狀參數(shù)是構(gòu)建徑向基模型的關(guān)鍵步驟。關(guān)于如何選擇形狀參數(shù),目前常采用基于準則進行優(yōu)化的方法來確定。交叉驗證方法常被用來評估近似模型的泛化性能[8],故可基于交叉驗證對形狀參數(shù)進行優(yōu)化,以此來構(gòu)造高近似精度的徑向基近似模型。交叉驗證有3種形式：Holdout驗證、k重交叉驗證[9]和留一交叉驗證[10-12]。留一法具有泛化誤差估計幾乎無偏、能排除隨機因素影響、確保驗證過程可被完全重復等優(yōu)點,但其高計算成本限制了其在大規(guī)模問題上的應用。本文針對這一缺點,對留一法進行了改進,提出了基于Pareto定律的改進留一交叉驗證方法,并結(jié)合遺傳優(yōu)化算法,對形狀參數(shù)進行優(yōu)化,提出了基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法。該方法進一步提高了徑向基模型的泛化能力,可以適用于以飛行器為代表的采樣成本高昂的復雜系統(tǒng),實現(xiàn)以較小的計算代價達到高精度建模的目的。

1徑向基插值原理

徑向基模型本質(zhì)上是一種插值方法,通過插值基函數(shù)的線性組合構(gòu)造徑向基插值模型,其表達式如下：

(1)

權(quán)系數(shù)向量W為

(2)

式中，Y=[y1,y2,…,yNs]T為樣本點上的真值,矩陣Φ的表達式如下：

(3)

常用的徑向基函數(shù)有薄板樣條插值基函數(shù)、高斯插值基函數(shù)和MQ插值基函數(shù)等,其中2次MQ插值基函數(shù)因其收斂率高的特點得到了廣泛的應用[13-14]。本文采用2次MQ插值基函數(shù)作為徑向基函數(shù),把‖x-xi‖記成歐氏空間距離r,則插值基函數(shù)可表示為

(4)

式中，c是常數(shù),由于其決定了插值基函數(shù)的形狀特性,故稱其為形狀參數(shù)。

2基于Pareto定律的留一交叉驗證法

交叉驗證以其不需要額外增加采樣點,只利用現(xiàn)有訓練樣本點就能驗證近似模型精度的特點,對于飛行器這類采樣成本高的復雜系統(tǒng)具有明顯的優(yōu)勢。

均方根誤差(rootmeansquareerror,RMSE)是比較常用的一種誤差分析統(tǒng)計量,常用于模型的全局誤差估計,將其用于交叉驗證,表達式如下：

(5)

式中，yi為xi上的實際響應值。RMSE的值是衡量近似模型精度的常用標準,RMSE越小認為近似精度越高。

當采樣點確定后,徑向基模型的構(gòu)造就只依賴于形狀參數(shù)c。不同的形狀參數(shù)會導致徑向基模型的差異,此時RMSE就變成了c的函數(shù),記為f(c)。

(6)

這種直接基于留一交叉驗證優(yōu)化形狀參數(shù)的方法缺點是計算量太大,形狀參數(shù)c每取一個值就要構(gòu)建Ns次近似模型。以遺傳算法為例,初始種群數(shù)為50,迭代1 000次后收斂,則整個過程需構(gòu)建50 000Ns次近似模型。對于大規(guī)模復雜問題,這種方法是不可行的。

經(jīng)濟學中著名的Pareto定律[18-20]認為世界上20%的人占有了全世界80%的財富,20%的努力帶來80%的收獲,20%的顧客帶來80%的生意。這種存在于努力和報酬、投入和產(chǎn)出、原因和結(jié)果之間的不平衡關(guān)系,是無法解釋而又真實存在的。一般來說,可以將投入分為2種類型：多數(shù),它們只能起到少許的作用;少數(shù),它們卻能起到主要的作用。Pareto定律講求在平常工作和生活中不要平均地分析、處理和看待問題,要善于抓關(guān)鍵,所以也叫關(guān)鍵少數(shù)法則、最省力法則。

m=0;

fori=1:Ns

end

return(m);

式中，μ(0<μ≤1)為最省力系數(shù),可根據(jù)需要自行設(shè)置大小,本文取為0.8。

(7)

3基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法

具體步驟如下。

步驟 1試驗設(shè)計生成樣本點。首先采用試驗設(shè)計的方法生成樣本點集X=[x1,x2,…,xNs]T,并計算樣本點集X上的真實響應值Y=[y1,y2,…,yNs]T。

步驟 2基于Pareto定律確定全局Pareto點集。形狀參數(shù)c在取值范圍(0,2cemp)上均勻取N個點{c1,c2,…,cN},計算相應的Pareto點集,合并得到全局Pareto點集T。

步驟 3優(yōu)化形狀參數(shù)。對全局Pareto點集T進行留一交叉驗證,根據(jù)式(8)計算PRMSE。將PRMSE作為優(yōu)化準則,由于PRMSE是形狀參數(shù)c的函數(shù)f′(c),尋找使f′(c)取最小值的問題則轉(zhuǎn)化為以下優(yōu)化問題

(8)

步驟 4構(gòu)建徑向基模型。將優(yōu)化后的形狀參數(shù),代入插值基函數(shù)φ,并計算權(quán)系數(shù)向量W,最終得到徑向基插值模型。

流程圖如圖1所示。

圖1　基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造流程

4算例測試

為了驗證基于Pareto定律參數(shù)優(yōu)化的徑向基模型近似建模方法(optimalparameterbasedonParetolawforradialbasisfunctionapproximationmodeling,OPPRBF)的有效性,選取了3個經(jīng)典測試函數(shù)和一個在高超聲速飛行器上的具體應用,以RMSE作為評價近似精度的標準,與傳統(tǒng)基于參數(shù)優(yōu)化的徑向基模型近似建模方法(optimalparameterforradialbasisfunctionapproximationmodeling,OPRBF)進行比較。

4.1測試函數(shù)1：Camelback函數(shù)

Camelback函數(shù)表達式如下

f(x,y)=(4-2.1x2+x4/3)x2+xy+

(9)

在設(shè)計空間[-1,1]×[-1,1]上使用最優(yōu)拉丁超立方試驗設(shè)計法采樣100個點。分別采取OPPRBF和OPRBF對該函數(shù)進行近似,結(jié)果如圖2(b)、2(c)所示。

圖2　Camelback函數(shù)近似建模

將關(guān)鍵點率(關(guān)鍵點數(shù)在樣本點中所占的比率)、建模次數(shù)(整個建模過程中構(gòu)建近似模型的次數(shù))、形狀參數(shù)(經(jīng)優(yōu)化后得到的形狀參數(shù)值)、RMSE(近似模型的交叉驗證均方根誤差)列表如表1所示。由表1可知,采用2種方法得到的形狀參數(shù)相同,RMSE相同;OPRBF的100個采樣點都參加了交叉驗證,但OPPRBF只有17個關(guān)鍵點參加了交叉驗證,占采樣點數(shù)的17%,相比于OPRBF大大減少;另外,OPPRBF總體建模次數(shù)4 330次,遠遠小于OPRBF的25 000次,近似建模計算效率大幅度提高。

表1　Camelback函數(shù)近似建模方法比較

4.2測試函數(shù)2：Haupt函數(shù)

Haupt函數(shù)表達式如下：

f(x,y)=xsin(4x)+1.1ysin(2y)

(10)

在設(shè)計空間[0,3.5]×[0,3.5]上使用最優(yōu)拉丁超立方試驗設(shè)計法采樣100個點。分別采取OPPRBF和OPRBF對該函數(shù)進行近似,結(jié)果如圖3(b)和圖3(c)所示。

圖3　Haupt函數(shù)近似建模

由表2可知,OPRBF得到的形狀參數(shù)為0.437 5,OPPRBF得到的形狀參數(shù)為0.435 7,有略微差異;OPRBF的RMSE為0.211 0略優(yōu)于OPPRBF的0.233 1;OPRBF的100個采樣點都參加了交叉驗證,但OPPRBF只有21個關(guān)鍵點參加了交叉驗證,占采樣點數(shù)的21%,相比于OPRBF大大減少;另外,OPPRBF總體建模次數(shù)5 050次,遠遠小于OPRBF的26 050次,近似建模計算效率大幅度提高。綜合考慮近似精度和計算效率,OPPRBF相比于OPRBF更具有優(yōu)勢。

表2　Haupt函數(shù)近似建模方法比較

4.3測試函數(shù)3∶20維函數(shù)

20維函數(shù)表達式如下:

(11)

在設(shè)計空間上使用最優(yōu)拉丁超立方試驗設(shè)計法采樣300個點。分別采取OPPRBF和OPRBF對該函數(shù)進行近似,結(jié)果如表3所示。

表3　20維函數(shù)近似建模方法比較

由表3可知,采用傳統(tǒng)OPRBF得到的形狀參數(shù)為0.022 6,而采用OPPRBF得到的形狀參數(shù)為0.022 7,相較于OPRBF增大了0.44%;OPRBF的RMSE為6.665 1,OPPRBF的RMSE為6.665 3,較OPRBF增大了0.003%;OPRBF的300個采樣點均參加了交叉驗證,但OPPRBF只有69個點參加了交叉驗證,占采樣點數(shù)的23%;OPRBF的總建模次數(shù)為63 000,OPPRBF的總建模次數(shù)為16 800,較OPRBF建模次數(shù)減少了73.3%,再一次印證了OPPRBF的高效率。

4.4在高超聲速飛行器中的應用

高超聲速飛行器長時間在大氣層中高速飛行,表面氣動加熱十分嚴重,駐點作為飛行器各部件中受熱最嚴重的位置,對其氣動熱分析顯得尤為重要。目前,高超聲速飛行器的氣動熱分析常采用高精度的計算流體力學(computational fluid dynamics， CFD)仿真,但是耗費時間長,計算效率低。本文以圖4所示的乘波構(gòu)型的高超聲速飛行器為例,使用OPPRBF代替高精度的CFD仿真模型。

圖4　乘波構(gòu)型高超聲速飛行器

以高超聲速飛行器的飛行高度和飛行速度作為設(shè)計變量。其中,飛行高度的取值范圍是10～100 km,飛行速度的取值范圍是1～2 km/s。使用最優(yōu)拉丁超立方試驗設(shè)計法采樣100個點,再用CFD仿真獲取這100個樣本點上的駐點溫度,接著分別采取OPPRBF和OPRBF對駐點溫度進行近似,結(jié)果如圖5所示。

圖5　高超聲速飛行器駐點溫度近似建模

方法關(guān)鍵點率/%建模次數(shù)形狀參數(shù)RMSEOPPRBF420800.12509.1310OPRBF—520000.12499.1270

由表4可知,OPRBF得到的形狀參數(shù)為0.124 9,OPPRBF得到的形狀參數(shù)為0.125 0,有略微差異;OPRBF的RMSE為9.127 0略優(yōu)于OPPRBF的9.131 0;OPRBF的100個采樣點都參加了交叉驗證,但OPPRBF只有4個關(guān)鍵點參加了交叉驗證,占采樣點數(shù)的4%,相比于OPRBF大大減少;另外,OPPRBF總體建模次數(shù)2 080次,遠遠小于OPRBF的52 000次,近似建模計算效率大幅度提高。綜合考慮近似精度和計算效率,OPPRBF相比于OPRBF更具有優(yōu)勢。

5結(jié)論

本文針對留一交叉驗證法計算量大的問題,對傳統(tǒng)留一法進行了改進,提出了基于Pareto定律的留一交叉驗證法,并將其應用于徑向基模型的形狀參數(shù)優(yōu)化,提出了基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法。主要結(jié)論如下。

(1) 本文提出的基于Pareto定律的留一交叉驗證法,融合了經(jīng)濟學中少數(shù)決定多數(shù)的思想,較改進前計算量大幅度減少。

(2) 測試算例表明,基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法,相比于傳統(tǒng)的基于留一法參數(shù)優(yōu)化的徑向基模型構(gòu)造方法,不僅近似精度相近,而且計算效率大幅度提高,是一種可以推廣的近似模型構(gòu)造方法。

參考文獻：

[1] Yao W, Chen X Q, Luo W C, et al. Review of uncertainty-based multidisciplinary design optimization methods for aerospace vehicles[J].ProgressinAerospaceSciences, 2011, 47(6):450-479.

[2] Balesdent M, Bérend N, Dépincé P, et al. A survey of multidisciplinary design optimization methods in launch vehicle design[J].StructuralandMultidisciplinaryOptimization, 2012, 45(5):619-642.

[3] Martins J R R A, Lambe A B. Multidisciplinary design optimization:a survey of architectures[J].AIAAJournal, 2013, 51(9):2049-2075.

[4] Deb A, Chou C C, Dutta U, et al. Practical versus RSM-based MDO in vehicle body design[J].SAEInternationalJournalofPassengerCars-MechanicalSystems, 2012, 5(1):110-119.

[5] Queipo N V, Haftka R T, Shyy W, et al. Surrogate based analysis and optimization[J].ProgressinAerospaceSciences, 2005, 41(1):1-28.

[6] Alipanah A, Esmaeili S. Numerical solution of the two-dimensional fredholm integral equations using Gaussian radial basis function[J].JournalofComputationalandAppliedMathematics, 2011, 235(18):5342-5347.

[7] Davydov O, Oanh D T. On the optimal shape parameter for Gaussian radial basis function finite difference approximation of the Poisson equation[J].ComputerandMathematicswithApplications, 2011, 62(5):2143-2161.

[8] Hijmans R J. Cross-validation of species distribution models:removing spatial sorting bias and calibration with a null model[J].Ecology, 2012, 93(3):679-688.

[9] Fushiki T. Estimation of prediction error by usingk-fold cross-validation[J].StatisticsandComputing, 2011, 21(2):137-146.

[10] Mao W T, Mu X X, Zheng Y B, et al. Leave-one-out cross-validation-based model selection for multi-output support vector machine[J].NeuralComputingandApplications, 2014, 24(2):441-451.

[11] Kocaguneli E, Menzies T. Software effort models should be assessed via leave-one-out validation[J].JournalofSystemsandSoftware, 2013, 86(7):1879-1890.

[12] Yuan J, Liu X M, Liu C L. Leave-one-out manifold regularization[J].ExpertSystemswithApplications, 2012, 39(5):5317-5324.

[13] Wang L P, Wang X Y, Zhan H R, et al. The error analysis of element-free method based on radial basis function used in mechanical problems[J].MechanicsinEngineering, 2013, 35(2):67-72. (王立鵬, 王欣彥, 戰(zhàn)洪仁, 等. 基于徑向基函數(shù)的無單元法求解力學問題誤差分析[J]. 力學與實踐, 2013, 35(2):67-72.)

[14] Bayona V, Moscoso M, Kindelan M. Optimal variable shape parameter for multiquadric based RBF-FD method[J].JournalofComputationalPhysics, 2012, 231(6):2466-2481.

[15] Bayona V, Moscoso M, Kindelan M. Optimal constant shape parameter for multiquadric based RBF-FD method[J].JournalofComputationalPhysics, 2011, 230(19):7384-7399.

[16] Xiang S, Wang K M, Ai Y T, et al. Trigonometric variable shape parameter and exponent strategy for generalized multiquadric radial basis function approximation[J].AppliedMathematicalModelling, 2012, 36(5):1931-1938.

[17] Zhou F L, Zhang J M, Sheng X M, et al. Shape variable radial basis function and its application in dual reciprocity boundary face method[J].EngineeringAnalysiswithBoundaryElements, 2011, 35(2):244-252.

[18] Goerlich F J. A simple and efficient test for the Pareto law[J].EmpiricalEconomics, 2013, 45(3):1367-1381.

[19] Cato S. Social choice without the Pareto principle:a comprehensive analysis[J].SocialChoiceandWelfare, 2012, 39(4):869-889.

[20] Pandey V, Bairwa A, Bhattacharya S. Application of the Pareto principle in rapid application development model[J].InternationalJournalofEngineeringandTechnology, 2013, 5(3):2649-2654.

吳宗諭(1991-),男,碩士研究生,主要研究方向為飛行器多學科優(yōu)化設(shè)計。

E-mail：vjzwzy@outlook.com

羅文彩(1975-),男,副教授,博士,主要研究方向為飛行器總體設(shè)計、多學科優(yōu)化設(shè)計。

E-mail：luowencai@sina.com

陳勇(1985-),男,講師,博士,主要研究方向為聲學、流體力學、優(yōu)化理論。

E-mail：literature.chen@gmail.com

網(wǎng)絡(luò)優(yōu)先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20141105.1633.014.html

Optimal parameter based on Pareto law for radial basis

function approximation modeling

WU Zong-yu, LUO Wen-cai, CHEN Yong

(CollegeofAerospaceScienceandEngineering,NationalUniversityofDefense

Technology,Changsha410073,China)

Abstract:The traditional leave-one-out method confronts the difficulty of large calculation scale and is not applicable to a large-scale complex system. Learning from the Pareto law in the economic science, sample points which play dominant roles in the global errors are chose as key points. Accordingly, a new leave-one-out method is proposed to improve the traditional one. To obtain the shape parameter of the radial basis function, the method of the optimal parameter based on the Pareto law for radial basis function approximation modeling is proposed by combining the new leave-one-out method and shape parameter optimization. Numerical tests show that the method is accurate and efficient, and deserves to be promoted.

Keywords:radial basis function; Pareto law; leave-one-out; optimal parameter

作者簡介：

中圖分類號：TP 391.9

文獻標志碼：ADOI:10.3969/j.issn.1001-506X.2015.05.34

收稿日期：2014-03-18；修回日期：2014-10-11；網(wǎng)絡(luò)優(yōu)先出版日期：2014-11-05。