胡曉峰,李 偉,馬 萍,楊 明

(哈爾濱工業(yè)大學(xué) 控制與仿真中心,黑龍江 哈爾濱 150001)

0 引言

仿真技術(shù)是以相似原理、模型理論、系統(tǒng)技術(shù)、信息技術(shù)及仿真應(yīng)用領(lǐng)域的有關(guān)專業(yè)技術(shù)為基礎(chǔ),以計算機系統(tǒng)、與應(yīng)用有關(guān)的物理效應(yīng)及仿真器為工具,利用系統(tǒng)模型對實際或設(shè)想的系統(tǒng)進行研究、分析、實驗與運行的一門多學(xué)科綜合性技術(shù)[1]。由于仿真技術(shù)在應(yīng)用上具有經(jīng)濟性、安全性、可重復(fù)性、無破壞性等優(yōu)點,所以在許多復(fù)雜系統(tǒng)上有著廣泛應(yīng)用。可信度是仿真技術(shù)應(yīng)用的關(guān)鍵指標(biāo)之一,直接關(guān)系到仿真應(yīng)用的成敗。因此,仿真可信度評估一直以來都是研究熱點。

可信度評估是指對模型、仿真系統(tǒng)、仿真實驗結(jié)果是否可信和可信程度進行分析、計算和評價[2]。目前,仿真模型可信度評估方法大多集中在仿真結(jié)果驗證方面。在定性驗證方面,主要方法有表面驗證法和圖靈測試法。在定量驗證方面,用于靜態(tài)結(jié)果驗證的方法有假設(shè)檢驗和參數(shù)估計法,如t檢驗、χ2檢驗和K-S檢驗、區(qū)間估計等,而用于動態(tài)結(jié)果驗證的方法有Theil不等系數(shù)法、灰色關(guān)聯(lián)分析法、頻譜分析法等。仿真系統(tǒng)的可信度評估方法主要是一些綜合性評估方法,如層次分析法[3]、模糊綜合評判方法[4]、基于Bayes網(wǎng)絡(luò)的方法[5]等。仿真實驗結(jié)果的可信度評估方法相對較少。如豆建斌等[6]在仿真系統(tǒng)可信度評估的基礎(chǔ)上將仿真實驗設(shè)備和仿真結(jié)果可信度納入仿真實驗的可信度評估;綦磊升等[7]以數(shù)據(jù)、模型、仿真實驗系統(tǒng)和仿真結(jié)果的可信性為依據(jù),采用模糊層次分析法對指揮信息系統(tǒng)仿真試驗的可信性進行評估。

綜上所述,關(guān)于仿真模型/系統(tǒng)的可信度評估方法研究比較成熟,而針對仿真實驗結(jié)果的可信度評估方法的研究較少,而且現(xiàn)有研究忽略了仿真實驗方案的影響。為此,本文將開展復(fù)雜仿真實驗結(jié)果的可信度評估方法研究。首先,根據(jù)復(fù)雜仿真實驗的特點,構(gòu)建仿真實驗結(jié)果的可信度評估指標(biāo)體系;然后,重點研究仿真實驗的可信度評估指標(biāo)度量方法和指標(biāo)綜合方法;最后,通過實例說明空間填充性和正交性度量準(zhǔn)則的適用性。

1 仿真實驗結(jié)果的可信度評估指標(biāo)體系

指標(biāo)體系是評估工作的基礎(chǔ)。建立準(zhǔn)確清晰、科學(xué)合理的評估指標(biāo)體系對仿真實驗結(jié)果的可信度評估具有重要意義。仿真實驗結(jié)果的可信度評估包含許多因素,運用層次化方法將互相聯(lián)系的有序?qū)哟芜M行劃分,使之條理化,是建立指標(biāo)體系的有效途徑。仿真實驗結(jié)果是在仿真系統(tǒng)上進行實驗產(chǎn)生的輸出,因此仿真實驗結(jié)果的可信度和仿真實驗及仿真系統(tǒng)的可信度有關(guān)。仿真實驗結(jié)果的可信度評估指標(biāo)體系應(yīng)包含仿真實驗的可信度和仿真系統(tǒng)的可信度2個部分,如圖1所示。其中,仿真系統(tǒng)的可信度評估指標(biāo)體系和方法相對成熟,本文主要研究復(fù)雜仿真實驗的可信度評估指標(biāo)體系。

圖1 仿真實驗結(jié)果可信度評估指標(biāo)體系Fig.1 Credibility assessment index system for simulation experiment results

復(fù)雜仿真實驗具有因子數(shù)多、因子水平數(shù)多、考慮指標(biāo)數(shù)多、實驗運行次數(shù)多、獲得的實驗數(shù)據(jù)多等特點。因此,本文主要從運行層實驗的可信度和想定層實驗的可信度2個方面來評估復(fù)雜仿真實驗的可信度,如圖2 所示。運行層實驗的可信度主要受仿真輸出精度的影響。仿真輸出精度與仿真重復(fù)運行次數(shù)有關(guān),是隨機不確定性的體現(xiàn),重復(fù)運行次數(shù)不足會放大仿真實驗的不確定性,從而降低仿真實驗的可信度。想定層實驗的可信度主要由實驗點的空間填充性、正交性、分布一致性和典型性4 個指標(biāo)來度量。其中,空間填充性能保證在參數(shù)響應(yīng)函數(shù)不明確時,通過抽樣獲得整個樣本空間的信息;正交性用來衡量實驗點之間的相關(guān)性,能夠增強分析評估因素對實驗指標(biāo)的影響和各因素的交互作用能力;分布一致性用來檢驗實驗點因素分布是否符合實際系統(tǒng)因素分布,可以保證實驗點選取的有效性;典型性要求實驗點的選擇具有典型性、代表性,盡可能將最佳效應(yīng)點包括在內(nèi),否則很難達到預(yù)期目的。

圖2 復(fù)雜仿真實驗可信度評估指標(biāo)體系Fig.2 Credibility assessment index system for complex simulation experiment

想定層實驗的可信度評估指標(biāo)與實驗?zāi)康拿芮邢嚓P(guān),而且目的不同指標(biāo)也不同。復(fù)雜仿真實驗的目的主要有：1)確定影響系統(tǒng)輸出的因素主次,獲得實驗因素對系統(tǒng)輸出的影響規(guī)律;2)確定系統(tǒng)輸出和實驗因素之間的近似函數(shù)關(guān)系,對輸出進行預(yù)測和優(yōu)化;3)確定最優(yōu)方案,尋找最優(yōu)實驗點;4)驗證與評估,驗證方案是否可行、評估系統(tǒng)性能等。其中：類型1常采用方差分析,而方差分析需要的實驗點必須具有整齊可比的特點,即對實驗樣本的正交性有要求;類型2常采用回歸分析,而回歸分析的準(zhǔn)確性與樣本空間的信息量有關(guān),信息量越多,分析越準(zhǔn)確,即對樣本的空間填充性有要求;類型3一般需要樣本空間的信息量大,且實驗具有“均衡搭配性”“綜合可比性”,對樣本空間填充性和正交性也有一定要求;類型4需要樣本在空間分布范圍廣,具有一定代表性,通常對樣本的空間填充性和典型性有要求。而分布一致性一般在實驗樣本數(shù)量較多的情況下采用,用于檢驗仿真實驗的樣本分布和實際系統(tǒng)是否一致。

2 仿真實驗可信度評估指標(biāo)度量方法

2.1 仿真輸出精度度量方法

仿真輸出的精度和實驗重復(fù)運行次數(shù)有關(guān)。一般來說,實驗重復(fù)運行次數(shù)越大,仿真輸出的相對誤差越小,輸出精度越高。因此,可以通過相對誤差來度量仿真輸出的精度。常用置信區(qū)間法來計算實驗輸出的相對誤差[8]。

可通過置信區(qū)間的計算公式來驗證置信區(qū)間與樣本量的關(guān)系。對于實驗方案A,重復(fù)運行n次,假設(shè)第i次仿真運行對應(yīng)的輸出為o i,則o1,o2,…,o n的均值就是期望μ=E(o)的無偏估計。μ置信度為100(1-α)的置信區(qū)間為

式中：n為方案運行次數(shù);t n-1,1-α/2為自由度是n-1,置信度是100(1-α)t分布的上分位數(shù);S(n)為樣本o1,o2,…,o n的標(biāo)準(zhǔn)偏差,其計算方法為

而相對誤差的估計值為

式中：t n-1,1-α/2隨著實驗次數(shù)n的增加而減小;隨實驗次數(shù)n增加而逐步收斂到某值。因此,d n隨實驗次數(shù)n不斷增加而逐漸減小。

實驗輸出的相對誤差d n需要滿足0≤d n≤1,而且d n越小,仿真輸出的精度就越大,因此采用式(4)來表示仿真輸出的精度,即

2.2 空間填充性度量方法

空間填充性度量準(zhǔn)則也稱作充滿空間(spacefilling)準(zhǔn)則,可分為基于距離(distance-based)、基于均勻性(uniformity-based)、基于熵(entropybased)[9]等準(zhǔn)則。其中,基于均勻性準(zhǔn)則(即基于離差的準(zhǔn)則)不但可以評估抽樣點在d維立方體[0,1]d中的均勻性,而且還能保證其在低維中投影的均勻性,因此常用于度量仿真實驗的空間填充性。

離差度量方法主要有中心L2-離差、可卷L2-離差和混合離差(mixture discrepancy,MD)。其中,中心L2-離差更關(guān)心頂點附近的點,對于中心區(qū)域的點的敏感度較低;可卷L2-離差在各因子平移變換時,其結(jié)果不變;而混合離差能夠較好克服兩者的缺點[11],因此本文采用混合離差度量仿真實驗的空間填充性。對于點集P(X1,X2,…,X n)∈C s,X i=(x i1,x i2,…,x is)',它的混合離差為

混合離差的計算結(jié)果越小,表明實驗點的均勻性越好。利用多目標(biāo)優(yōu)化算法可以求得相應(yīng)實驗條件下,混合離差的上界MDu和下界MDl,從而得到空間填充性的度量,即

2.3 正交性度量方法

常用的正交性度量準(zhǔn)則是實驗設(shè)計矩陣因素間的相關(guān)系數(shù)ρ[12],即

式中：ρij表示實驗設(shè)計矩陣列向量X i=[x1ix2ix ni]和X j=[x1jx2jx nj]間的線性相關(guān)系數(shù),即

實驗設(shè)計矩陣因素間的相關(guān)系數(shù)ρ需要滿足0≤ρ≤1,ρ越小,表明正交程度越高。因此,仿真實驗正交性的度量公式為

2.4 分布一致性和典型性度量方法

實際系統(tǒng)因素在某些情況下具有一定分布規(guī)律,因此可通過度量實驗點和實際系統(tǒng)因素分布的一致性來分析實驗設(shè)計方案的優(yōu)劣。當(dāng)已知實際系統(tǒng)的因素分布時,可對仿真實驗的點因素進行假設(shè)檢驗,從而判斷仿真實驗點和實際系統(tǒng)的因素分布是否一致。一致性程度越好,表明實驗點的選取越符合實際情況,實驗結(jié)果越值得信賴。

當(dāng)實際系統(tǒng)的因素分布為正態(tài)分布時,可采用參數(shù)檢驗法進行一致性檢驗,如U檢驗、t檢驗、χ2檢驗等。當(dāng)實際系統(tǒng)的因素分布不是正態(tài)分布時,可采用非參數(shù)檢驗法進行一致性檢驗,如χ2擬合檢驗、秩和檢驗、K-S檢驗等。當(dāng)根據(jù)檢驗樣本作出接受原假設(shè)H0的推斷時,規(guī)定此時的分布一致性為1-α;當(dāng)作出接受備擇假設(shè)H1的推斷時,規(guī)定此時的分布一致性為α。

實驗點的典型性度量相對簡單,可以通過仿真實驗點對預(yù)設(shè)典型點的覆蓋程度來計算,計算方法為

式中：N為預(yù)設(shè)典型實驗點個數(shù),N∈Z+;N e為仿真實驗點包含的預(yù)設(shè)典型點個數(shù),為大于等于0的整數(shù)。

3 仿真實驗結(jié)果可信度評估指標(biāo)綜合方法

評估指標(biāo)計算結(jié)果需采用指標(biāo)綜合方法得到最終的仿真實驗結(jié)果的可信度。常用的指標(biāo)綜合方法有加法合成法和乘法合成法。

1)加法合成法。加法合成法,又稱線性加權(quán)法,是指在指標(biāo)值和指標(biāo)權(quán)重已知的情況下直接加權(quán)平均得到評估結(jié)果的方法。評估層次分析法中的上層指標(biāo)即使用該方法,其表達式為

該方法的基本思想是“部分之和即整體”,要求各指標(biāo)相互獨立。不相互獨立的指標(biāo),指標(biāo)間有交互信息,和的結(jié)果會導(dǎo)致信息的重復(fù),使得評估結(jié)果不能反映實際情況。而且,由于各指標(biāo)權(quán)重之和恒等于1,造成各指標(biāo)“此消彼長”“相互補償”,即如果某指標(biāo)權(quán)重減小,則一定會以指標(biāo)權(quán)重增大來補償。因此,加法合成法在許多情況下對不同對象間的指標(biāo)值的差異不敏感。此外,加法合成法對數(shù)據(jù)的要求不高,無論指標(biāo)值和權(quán)重是什么形式的取值都能得到評估結(jié)果。

2)乘法合成法。乘法合成法常用于指標(biāo)間關(guān)聯(lián)程度較強的評估問題中,即某個指標(biāo)的變化會對其他指標(biāo)產(chǎn)生影響,從而導(dǎo)致整體評價結(jié)果產(chǎn)生變化。比如在仿真實驗結(jié)果的可信度評估問題中,仿真實驗是在仿真系統(tǒng)可信的基礎(chǔ)上進行的,即仿真實驗與仿真系統(tǒng)關(guān)聯(lián)。因此,仿真實驗結(jié)果的可信度由仿真系統(tǒng)的可信度和仿真實驗的可信度相乘得到。乘法合成法一般有2種表現(xiàn)形式,即

該類方法對指標(biāo)權(quán)重的要求不高,必要時可令各指標(biāo)權(quán)重相等。但該類方法對指標(biāo)值的要求比較高,尤其是對指標(biāo)值中的較小值比較敏感,某一指標(biāo)的變化會對整個評估結(jié)果造成較大的影響。因此,各指標(biāo)需要均衡發(fā)展,避免出現(xiàn)“一損俱損”的局面。

綜上所述：在綜合評估問題中,加法合成法常用于指標(biāo)相互獨立、指標(biāo)權(quán)重差異較大的情況;乘法合成法常用于指標(biāo)相關(guān)聯(lián)、指標(biāo)權(quán)重差異不大、指標(biāo)值有差異的情況。復(fù)雜仿真實驗結(jié)果的可信度評估問題中,運行層實驗與想定層實驗相關(guān)聯(lián),仿真實驗的可信度由想定層實驗可信度和運行層實驗可信度相乘得到。仿真實驗結(jié)果的可信度由仿真系統(tǒng)可信度和仿真實驗可信度相乘得到,其余上層指標(biāo)通過加法合成法求得,如圖3,4所示。

圖3 乘法合成法應(yīng)用Fig.3 Application of multiplicative synthesis

圖4 加法合成法應(yīng)用Fig.4 Application of additive synthesis

上述指標(biāo)綜合的描述為：c ai為仿真輸出i的精度,i=1,2,…,n;v i為想定層實驗可信度的底層指標(biāo)值,i=1,2,3,4;c e1為運行層實驗可信度;c e2為想定層實驗可信度;c e為仿真實驗可信度;c s為仿真系統(tǒng)可信度;c為仿真實驗結(jié)果可信度。

指標(biāo)綜合公式為

式中：w1i是仿真輸出i精度的權(quán)重,0≤w1i≤1,=1;w2i是想定層實驗可信度底層指標(biāo)的權(quán)重,0≤w2i≤1,=1。

4 計算實例

以4種不同優(yōu)化算法下的拉丁超立方試驗設(shè)計(Latin hypercube design,LHD(9,4))為例[12-13],給出空間填充性和正交性指標(biāo)的計算結(jié)果,如表1所示。其中,M 代表最大化最小距離準(zhǔn)則,O 代表正交性準(zhǔn)則,U 代表均勻性準(zhǔn)則,OM 代表正交-最大化最小距離準(zhǔn)則。

表1 4種LHD空間填充性和正交性對比Tab.1 Comparisons for space-filling and orthogonality of 4 LHD

由表1可以看出：M 準(zhǔn)則、U 準(zhǔn)則,以及OM 準(zhǔn)則下LHD 的空間填充性較優(yōu);O 準(zhǔn)則、OM 準(zhǔn)則下LHD的正交性較好,符合實際情況。說明本文使用的空間填充性和正交性度量準(zhǔn)則的適用性較好。

5 結(jié)束語

仿真可信度評估是仿真理論的重要組成部分。目前,仿真可信度的評估方法研究主要集中于仿真模型和仿真系統(tǒng),而對仿真實驗結(jié)果可信度評估的研究較少。因此,本文提出一種復(fù)雜仿真實驗結(jié)果的可信度評估方法,通過實例驗證了空間填充性和正交性度量方法的適用性。該方法不僅可以豐富仿真可信度評估體系,而且可以為應(yīng)用仿真實驗結(jié)果的可信度評估提供參考。今后將對仿真實驗結(jié)果的可信度評估指標(biāo)體系,以及指標(biāo)的綜合方法進行進一步研究。