王瑞利+溫萬(wàn)治

摘要： 綜述國(guó)內(nèi)外建模和模擬（Modeling and Simulation，M&S）的驗(yàn)證與確認(rèn)（Verification and Validation，V&V）的相關(guān)概念、術(shù)語(yǔ)、規(guī)范、置信度評(píng)估方法和應(yīng)用等方面的發(fā)展和研究進(jìn)展，概括M&S的V&V中的幾個(gè)關(guān)鍵問(wèn)題，構(gòu)建復(fù)雜工程M&S的V&V的知識(shí)指南，為M&S的V&V技術(shù)真正走向應(yīng)用提供參考.

關(guān)鍵詞： 復(fù)雜工程； 建模和模擬； 驗(yàn)證與確認(rèn)； 置信度評(píng)估； 知識(shí)指南

中圖分類號(hào)： TB115文獻(xiàn)標(biāo)志碼： A

Abstract： The development and research advances of Verification and Validation（V&V） of Modeling and Simulation（M&S） in China and abroad are reviewed， including concepts， terminologies， specifications， and confidence evaluation methods and applications； a few key issues in V&V of M&S are summarized； a knowledge guide of V&V of M&S for complex engineering is given， which provides reference for the practical application of V&V of M&S.

Key words： complex engineering； modeling and simulation； verification and validation； confidence evaluation； knowledge guide

0引言

在科學(xué)和工程設(shè)計(jì)過(guò)程中，理論、實(shí)驗(yàn)和數(shù)值模擬是3種基本研究手段.現(xiàn)代計(jì)算機(jī)硬件和軟件能力的飛速發(fā)展為強(qiáng)化高性能、大規(guī)模數(shù)值模擬研究提供前所未有的條件，數(shù)值模擬的重要性愈加顯著.數(shù)值模擬中建模和模擬（Modeling and Simulation，M&S）本身的可信度評(píng)估是高置信度數(shù)值模擬的核心，直接影響基于數(shù)值模擬和少量試驗(yàn)支撐的復(fù)雜系統(tǒng)的可靠性認(rèn)證.驗(yàn)證和確認(rèn)（Verification and Validation ，V&V）是復(fù)雜工程系統(tǒng)可靠性認(rèn)證中M&S置信度評(píng)估的重要手段.近年來(lái)，隨著數(shù)值模擬系統(tǒng)日益廣泛應(yīng)用，V&V的重要性愈來(lái)愈為數(shù)值模擬系統(tǒng)開(kāi)發(fā)者和使用者所重視，對(duì)V&V概念、理論、標(biāo)準(zhǔn)和相關(guān)方法的研究已成為復(fù)雜工程M&S可信度評(píng)估的重要內(nèi)容.1復(fù)雜工程M&S的V&V現(xiàn)狀

1.1國(guó)外研究現(xiàn)狀和發(fā)展趨勢(shì)

數(shù)值模擬在工業(yè)設(shè)計(jì)、產(chǎn)品性能分析和優(yōu)化設(shè)計(jì)中的地位日顯重要，國(guó)外尤其是美國(guó)非常重視M&S的V&V的概念、術(shù)語(yǔ)、規(guī)范、可信度評(píng)估方法和應(yīng)用等的研究.

1.1.1概念、術(shù)語(yǔ)和規(guī)范

早在20世紀(jì)六七十年代，美國(guó)計(jì)算機(jī)仿真學(xué)會(huì)（Society for Computer Simulation，SCS）成立模型可信性技術(shù)委員會(huì)（Technical Committee on Model Credibility，TCMC），專門(mén)進(jìn)行與M&S置信度評(píng)估相關(guān)的V&V方法的概念、術(shù)語(yǔ)和規(guī)范的研究.在20世紀(jì)90年代確定的V&V哲學(xué)觀點(diǎn)無(wú)法對(duì)工程和技術(shù)領(lǐng)域的仿真結(jié)果進(jìn)行可信性評(píng)估.20世紀(jì)90年代以后，由于M&S置信度評(píng)估在國(guó)家重大工程的研發(fā)和設(shè)計(jì)中的重要性越來(lái)越強(qiáng)，國(guó)外許多政府、民間部門(mén)和學(xué)術(shù)研究機(jī)構(gòu)先后成立相應(yīng)的組織或協(xié)會(huì)，以制定各自的M&S置信度評(píng)估及V&V的概念、術(shù)語(yǔ)和規(guī)范.美國(guó)幾大工程協(xié)會(huì)不斷組織人力、投入資金開(kāi)展M&S置信度評(píng)估概念、術(shù)語(yǔ)和規(guī)范的研究.自1984年美國(guó)電器與電子工程師協(xié)會(huì)（Institute of Electrical and Electronics Engineers，IEEE）出版V&V相關(guān)術(shù)語(yǔ)至今，V&V相關(guān)概念、術(shù)語(yǔ)、規(guī)范一直都在完善.這些術(shù)語(yǔ)隨后被美國(guó)核科學(xué)協(xié)會(huì)（American Nuclear Society，ANS）和國(guó)際標(biāo)準(zhǔn)化組織（International Organization for Standardization，ISO）采用，建立各自領(lǐng)域的標(biāo)準(zhǔn).美國(guó)航空航天學(xué)會(huì)（American Institute of Aeronautics and Astronautics，AIAA）組織各個(gè)不同行業(yè)的代表進(jìn)行研究，于1998 年起草計(jì)算流體動(dòng)力學(xué)驗(yàn)證和確認(rèn)的指南；2010年以來(lái)在此領(lǐng)域一直很活躍的OBERKAMPF等[1]對(duì)此進(jìn)行系統(tǒng)總結(jié)，綜述機(jī)械工程領(lǐng)域現(xiàn)代數(shù)值模擬中M&S的V&V的發(fā)展，詳細(xì)全面論述M&S的V&V的基本概念、原理、步驟和系統(tǒng)的發(fā)展過(guò)程.1996年，美國(guó)國(guó)防部（Department of Defense，DoD）的國(guó)防建模與仿真辦公室（Defense Modeling Simulation Office，DMSO）成立軍用仿真V&V工作技術(shù)支持小組，專門(mén)制定驗(yàn)證、確認(rèn)和認(rèn)證（Verification，Validation and Accreditation，VV&A）技術(shù)發(fā)展的政策與規(guī)范，并逐漸形成系統(tǒng)仿真領(lǐng)域的VV&A體系.[2]1998年，美國(guó)能源部（Department of Energy，DoE）的3大實(shí)驗(yàn)室逐漸將V&V引入武器庫(kù)存管理計(jì)劃，給出M&S中準(zhǔn)確度、誤差、不確定度和確認(rèn)域的概念內(nèi)涵、M&S的V&V涉及的幾個(gè)重要模型（客觀世界、概念模型、物理模型和計(jì)算模型等）以及M&S的V&V活動(dòng)的關(guān)系，其目的是通過(guò)V&V量化物理建模中模型的不確定度和程序研制中數(shù)值算法的誤差，增強(qiáng)高置信度的數(shù)值模擬能力.1998年，美國(guó)機(jī)械工程師協(xié)會(huì)（American Society of Mechanical Engineers，ASME）Journal of Fluids Engineering雜志成立協(xié)調(diào)小組.該小組的工作重點(diǎn)是推動(dòng)對(duì)數(shù)值模擬中誤差估計(jì)，不確定度量化、驗(yàn)證和確認(rèn)以及置信度評(píng)估方法的討論.該小組組織一系列ASME論壇和研討會(huì)討論上述主題，并逐步編寫(xiě)和頒布系列V&V標(biāo)準(zhǔn)：2006 年頒布關(guān)于“計(jì)算固體力學(xué)V&V的指南”，即ASME V&V 102006 Guide for Verification and Validation in Computational Solid Mechanics；2009年頒布“計(jì)算流體力學(xué)和傳熱學(xué)的V&V標(biāo)準(zhǔn)”，即ASME V&V 202009 Standard for Verification and Validation in Computational Fluid Dynamics and Heat Transfer；2012年頒布“計(jì)算固體力學(xué)V&V概念的案例說(shuō)明”，即ASME V&V 10.12012 An Illustration of the Concepts of Verification and Validation in Computational Solid Mechanics.ASME經(jīng)過(guò)二十幾年的發(fā)展，在復(fù)雜工程M&S的V&V的概念和方法上取得顯著成果，但仍將M&S的V&V涉及的概念在不同領(lǐng)域的本地化作為研究核心，至今仍在結(jié)合實(shí)際應(yīng)用研究完善相關(guān)概念、術(shù)語(yǔ)和規(guī)范.

1.1.2M&S置信度評(píng)估方法

迫于核武器禁止試驗(yàn)的壓力，美國(guó)核武器認(rèn)證工作的基礎(chǔ)由以核試驗(yàn)為主轉(zhuǎn)移到以計(jì)算仿真為主，提出核武器儲(chǔ)存管理計(jì)劃（Stockpile Stewardship Program，SSP），并由此產(chǎn)生武器認(rèn)證新方法——裕度和不確定性量化（Quantification of Margins and Uncertainties，QMU）方法.1998年美國(guó)提出的加速戰(zhàn)略計(jì)算創(chuàng)新計(jì)劃（Accelerated Strategic Computing Initiative，ASCI）和隨后提出的先進(jìn)模擬和計(jì)算（Advanced Simulation and Computing，ASC）計(jì)劃一直強(qiáng)調(diào)M&S置信度評(píng)估方法和數(shù)值模擬中誤差估計(jì)，將不確定度量化方法作為成功實(shí)施計(jì)劃的關(guān)鍵之一.對(duì)于數(shù)值模擬中的誤差和不確定度，在1986年，ROACHE等[3]就意識(shí)到數(shù)值計(jì)算中不確定度對(duì)數(shù)值模擬結(jié)果評(píng)估的重要性，要求論文對(duì)計(jì)算結(jié)果的精度必須給出必要的量化信息.雖然該要求順應(yīng)數(shù)值模擬發(fā)展的需求，但在執(zhí)行過(guò)程中仍遇到極大阻力.1993年9月，ASME Journal of Fluids Engineering雜志再次就數(shù)值模擬準(zhǔn)確度的控制明確提出10條要求[4]：（1）必須描述計(jì)算方法的基本特點(diǎn)；（2）計(jì)算方法空間至少為2階精度；（3）必須評(píng)估固有的或顯式的人為黏性，使之最小化；（4）必須有網(wǎng)格獨(dú)立性或收斂性說(shuō)明；（5）必須給出適當(dāng)?shù)牡諗啃孕畔?；?）在瞬態(tài)計(jì)算中必須評(píng)估相對(duì)誤差并使之最小化；（7）必須詳細(xì)說(shuō)明初邊值的數(shù)值實(shí)現(xiàn)和精度；（8）已有程序的引述必須全面；（9）對(duì)特殊問(wèn)題可采用標(biāo)準(zhǔn)算例進(jìn)行確認(rèn)；（10）可采用可靠的試驗(yàn)結(jié)果確認(rèn)數(shù)值解.這些要求被認(rèn)為是數(shù)值計(jì)算類論文發(fā)表廣泛采用的規(guī)則，基本涵蓋驗(yàn)證、確認(rèn)和文檔等方面內(nèi)容.[5]1993年美國(guó)航空航天局戈蘭研究中心負(fù)責(zé)執(zhí)行面向應(yīng)用的計(jì)算流體力學(xué)研究國(guó)家項(xiàng)目（National Project for Application oriented Research in CFD，NPARC），開(kāi)展軍事背景很強(qiáng)的航天和航空領(lǐng)域相關(guān)M&S置信度評(píng)估研究.該項(xiàng)目給出數(shù)值計(jì)算的不確定度采用網(wǎng)格收斂指數(shù)方法，確認(rèn)活動(dòng)采用不同的層級(jí)：?jiǎn)卧獙蛹?jí)（Unit Case）、標(biāo)準(zhǔn)算例層級(jí)（Benchmark Case）、子系統(tǒng)層級(jí)（Subsystem Case）以及全系統(tǒng)層級(jí)（Complete System Case）.20世紀(jì)90年代末，基于M&S的特點(diǎn)、近似（方程、求解和程序等）和效果（誤差、量化和范圍等）等，將V&V引入復(fù)雜工程M&S可信性和數(shù)值模擬預(yù)測(cè)能力評(píng)估中.NPARC每年召開(kāi)為期2天的學(xué)術(shù)研討會(huì)，交流、評(píng)估V&V的最新進(jìn)展，所有信息均在專門(mén)網(wǎng)站公開(kāi)發(fā)布.2000年以來(lái)，美國(guó)3大國(guó)家實(shí)驗(yàn)室在軟件質(zhì)量保證（Software Quality Assurance，SQA）、精確解方法（Exact Solution Methods，ESM）、人工構(gòu)造解（Method of Manufactured Solution，MMS）、程序?qū)Ρ龋–odetoCode Comparisons，CCC）和網(wǎng)格收斂指數(shù)方法（Grid Convergence Index，GCI）等M&S可信性評(píng)估驗(yàn)證技術(shù)方面取得很好的效果.[67]2005年，美國(guó)3大國(guó)家實(shí)驗(yàn)室在M&S置信度評(píng)估的驗(yàn)證技術(shù)方面實(shí)現(xiàn)某些自動(dòng)化，如誤差分析的自動(dòng)化、不對(duì)稱檢測(cè)自動(dòng)化和自適應(yīng)加密網(wǎng)格情形下的分析檢測(cè)自動(dòng)化等.2009年HELTON基于Richardson外推法與GCI方法，采用雙層概率抽樣方法，對(duì)誤差的累積分布函數(shù)（Cumulative Distribution Function，CDF）和互補(bǔ)累積分布函數(shù)（Complementary Cumulative Distribution Function，CCDF）進(jìn)行統(tǒng)計(jì)分析，給出M&S誤差和不確定性敏感度的評(píng)估方法.此方法為獨(dú)立因素或獨(dú)立參數(shù)影響M&S置信度的評(píng)估提供較好的方法.為了解多因素耦合對(duì)M&S置信度的評(píng)估，2006年美國(guó)將多項(xiàng)式混沌（Polynomial Chaos，PC）方法[8]引入M&S不確定度評(píng)估中，發(fā)展多因素耦合影響M&S置信度、數(shù)值模擬中誤差估計(jì)以及不確定度量化和傳播的評(píng)估方法.至今，發(fā)展M&S不確定度量化和多因素敏感性分析方法仍是M&S置信度評(píng)估研究的核心.

1.1.3M&S置信度評(píng)估體系的應(yīng)用

近幾年，美國(guó)核武器3大實(shí)驗(yàn)室針對(duì)一些ASC多物理過(guò)程M&S的應(yīng)用程序，繼續(xù)實(shí)施V&V的過(guò)程，以評(píng)估程序的預(yù)測(cè)能力.如美國(guó)勞倫斯·利弗莫爾國(guó)家實(shí)驗(yàn)室（Lawrence Livermore National Laboratory， LLNL）開(kāi)發(fā)通用有限元軟件ParaDyn；桑迪亞國(guó)家實(shí)驗(yàn)室（Sandia National Laboratories，SNL）研制的氦氣流的時(shí)間過(guò)濾NS閉合方程的簡(jiǎn)單湍流模型計(jì)算軟件SIERRRA/Fuego，首先用氦氣流的試驗(yàn)作為SIERRRA/Fuego確認(rèn)的問(wèn)題，用側(cè)風(fēng)試驗(yàn)裝置（Crosswind Test Facility，CTF）上電偶熱響應(yīng)試驗(yàn)對(duì)預(yù)測(cè)模擬Fuego程序進(jìn)行不確定性量化和確認(rèn)過(guò)程.SNL開(kāi)發(fā)多物理、海量并行計(jì)算環(huán)境中的用于設(shè)計(jì)優(yōu)化、參數(shù)估算、不確定性量化和靈敏度分析的多級(jí)并行目標(biāo)定制工作框架DAKOTA[9]，氣體動(dòng)力學(xué)激波反射問(wèn)題模擬程序ALEGRA和封閉流模型GOMA等，開(kāi)展程序V&V活動(dòng)，取得很好的成果.2006 年LLNL完成第一個(gè)多物理機(jī)理內(nèi)爆反應(yīng)程序的置信度評(píng)估活動(dòng)應(yīng)用程序，其中單物理過(guò)程的測(cè)試算例來(lái)自美國(guó)核武器3大實(shí)驗(yàn)室共同開(kāi)發(fā)的標(biāo)準(zhǔn)算例庫(kù)Benchmark Problems[10]，多物理機(jī)理耦合算例源自于JOWOG 42測(cè)試算例庫(kù).M&S可信度評(píng)估體系的完善和發(fā)展仍然是其應(yīng)用研究的瓶頸，并且在基準(zhǔn)解程序庫(kù)建設(shè)方面提出更多更復(fù)雜的測(cè)試問(wèn)題，希望能提高美國(guó)模擬程序中M&S的質(zhì)量和置信度.

從幾個(gè)公開(kāi)的網(wǎng)站看，針對(duì)NASA湍流模型及CFD在線、流體、湍流和燃燒數(shù)據(jù)庫(kù)，歐洲研究團(tuán)體都在建立公開(kāi)模型測(cè)試庫(kù).

SNL于2006年12月完成核彈頭W76和W80火燒實(shí)驗(yàn)?zāi)Ｐ偷拇_認(rèn)工作，并給出安全裕量和不確定度.項(xiàng)目評(píng)審委員會(huì)認(rèn)為：這是歷史上第一次將QMU分析方法用于核戰(zhàn)斗部的評(píng)估，而早先的評(píng)估主要是基于專家判斷和少量的試驗(yàn)數(shù)據(jù)；可以通過(guò)QMU過(guò)程為武器系統(tǒng)認(rèn)證提供額外的量化證據(jù)，有能力根據(jù)核武器安全要求認(rèn)證不確定度和安全裕量.2006年在SNL召開(kāi)的會(huì)議上提出模型確認(rèn)的3個(gè)挑戰(zhàn)問(wèn)題[11]，包括熱傳導(dǎo)、靜力學(xué)和動(dòng)力學(xué)等，用以集中探討模型確認(rèn)的各種解決方法.

值得關(guān)注的是建立測(cè)試、考核和評(píng)估應(yīng)用程序的標(biāo)準(zhǔn)模型（Benchmark Problems）庫(kù)和開(kāi)展校準(zhǔn)應(yīng)用程序的基準(zhǔn)試驗(yàn)（Benchmark Experiment）研究是未來(lái)實(shí)施M&S的V&V的關(guān)鍵.

1.2國(guó)內(nèi)研究發(fā)展?fàn)顩r

國(guó)內(nèi)在應(yīng)用軟件M&S領(lǐng)域也開(kāi)展大量關(guān)于軟件的VV&A的工作，并取得一系列成果.哈爾濱工業(yè)大學(xué)院士王子才等[12]和楊明等[13]在復(fù)雜仿真系統(tǒng)建模算法評(píng)估方面開(kāi)展大量研究，提出VV&A發(fā)展的關(guān)鍵問(wèn)題.西安空軍工程大學(xué)導(dǎo)彈學(xué)院在軍事仿真系統(tǒng)VV&A的概念、術(shù)語(yǔ)和原則、可信度評(píng)估及模型驗(yàn)證方法等方面取得很好的成果.[1415]這些軟件大多為控制軟件，即在算法和軟件實(shí)現(xiàn)正確的情況下給定輸入就會(huì)產(chǎn)生準(zhǔn)確可知的確定性輸出，而基于微分控制方程組物理建模的科學(xué)和工程數(shù)值計(jì)算，因M&S本身存在不確定性，無(wú)法知道復(fù)雜工程領(lǐng)域的準(zhǔn)確計(jì)算結(jié)果.西安第六三一研究所在航空動(dòng)力學(xué)CFD的驗(yàn)證、確認(rèn)和置信度分析等方面開(kāi)展大量工作，并在外流問(wèn)題數(shù)據(jù)庫(kù)建立方面取得可喜的成果.[1619]中國(guó)空氣動(dòng)力研究與發(fā)展中心對(duì)計(jì)算流體力學(xué)的驗(yàn)證、確認(rèn)和實(shí)踐應(yīng)用軟件的不確定度與真值估算方面進(jìn)行研究.[20]中國(guó)航空工業(yè)航空氣動(dòng)力數(shù)值模擬重點(diǎn)實(shí)驗(yàn)室和中國(guó)航空研究院數(shù)值模擬技術(shù)研究應(yīng)用中心在CFD模擬置信度評(píng)估和V&V涉及的相關(guān)概念、術(shù)語(yǔ)以及V&V在航空氣動(dòng)力數(shù)值模擬置信度評(píng)估方法研究方面開(kāi)展大量工作，包括SQA，MMS，誤差分析和不確定度量化等方法.[2122]中國(guó)船舶科學(xué)研究中心在船舶動(dòng)力學(xué)CFD不確定度分析方法方面展開(kāi)大量工作，并將V&V技術(shù)應(yīng)用到船舶水動(dòng)力學(xué)數(shù)值模擬置信度評(píng)估中，取得較好的結(jié)果.[23]華北電力大學(xué)在CFD誤差分析及網(wǎng)格收斂性方面開(kāi)展研究工作.[24]2005年，中國(guó)工程物理研究院總體工程研究所及北京應(yīng)用物理與計(jì)算數(shù)學(xué)研究所展開(kāi)對(duì)V&V的概念和知識(shí)體系的研究，在V&V基本框架和用于測(cè)試程序的基準(zhǔn)模塊庫(kù)等方面開(kāi)展工作.[25]在一些高校和研究所也有一些零散的工作.[2627]

總體來(lái)說(shuō)，我國(guó)對(duì)M&S置信度評(píng)估及V&V的研究仍處于起步階段，表現(xiàn)為研究工作比較分散、缺乏規(guī)模，大量工作都是結(jié)合調(diào)研開(kāi)展的前期研究，尚未建立關(guān)于M&S置信度評(píng)估及V&V的概念體系，對(duì)可信度評(píng)估理論和方法也沒(méi)有形成統(tǒng)一的標(biāo)準(zhǔn).在M&S的開(kāi)發(fā)過(guò)程中對(duì)置信度評(píng)估及V&V工作的重要性和必要性缺乏認(rèn)識(shí).特別是國(guó)內(nèi)還沒(méi)有類似于美國(guó)TCMC這樣的專門(mén)機(jī)構(gòu)負(fù)責(zé)協(xié)調(diào)，更沒(méi)有組織國(guó)家級(jí)團(tuán)隊(duì)對(duì)M&S置信度評(píng)估及V&V技術(shù)進(jìn)行專門(mén)研究，使得這方面的研究工作進(jìn)展緩慢.我國(guó)至今還沒(méi)有M&S的V&V的標(biāo)準(zhǔn)/規(guī)范，使得M&S的開(kāi)發(fā)者、應(yīng)用者和管理者在進(jìn)行M&S置信度評(píng)估工作過(guò)程中無(wú)章可循、無(wú)法可依，例如對(duì)于M&S的VV&A的中文解釋就有“校核、驗(yàn)證與確認(rèn)”“校核、驗(yàn)證與驗(yàn)收”“驗(yàn)證、證實(shí)和認(rèn)可”“確認(rèn)、驗(yàn)證和認(rèn)可”和“驗(yàn)證、確認(rèn)與認(rèn)證”等多種不同的提法.在復(fù)雜武器系統(tǒng)，國(guó)內(nèi)僅基于過(guò)去的一些做法，嘗試一些置信度評(píng)估方法，真正應(yīng)用于實(shí)際模型V&V的工作研究甚少，M&S置信度評(píng)估體系幾乎是“零狀態(tài)”.

2M&S的驗(yàn)證與確認(rèn)進(jìn)展

2.1M&S可信度評(píng)估與V&V的關(guān)系

復(fù)雜工程數(shù)值模擬涉及兩大重要過(guò)程：一是建模，二是模擬.復(fù)雜工程系統(tǒng)可靠性認(rèn)證中M&S， V&V及評(píng)估和認(rèn)證的過(guò)程見(jiàn)圖1.

2.2.3驗(yàn)證

驗(yàn)證是通過(guò)將數(shù)值解與解析解或高精度解（經(jīng)驗(yàn)解）進(jìn)行比較，對(duì)數(shù)值誤差進(jìn)行量化，以確定計(jì)算軟件是否正確求解方程，是一種數(shù)值分析活動(dòng).驗(yàn)證包括程序驗(yàn)證與解法/方法驗(yàn)證.

程序驗(yàn)證分為SQA和數(shù)值算法驗(yàn)證.解法/方法驗(yàn)證分為GCI驗(yàn)證和計(jì)算敏感性分析.SQA的關(guān)鍵任務(wù)是建立合理的M&S及程序研制的流程、標(biāo)準(zhǔn)/規(guī)范，以控制、監(jiān)督、約束和指導(dǎo)程序的研制過(guò)程，提高程序的質(zhì)量和編碼的正確率；采取若干有效方法，檢測(cè)、辨別和消除程序中的缺陷和錯(cuò)誤，確定程序能按要求正確運(yùn)行，沒(méi)有編碼錯(cuò)誤.在復(fù)雜工程應(yīng)用軟件中，軟件質(zhì)量保證主要關(guān)注作為軟件產(chǎn)品的程序應(yīng)具有計(jì)算機(jī)科學(xué)和軟件工程意義上的可靠性和健壯性，常采用靜態(tài)分析、動(dòng)態(tài)檢驗(yàn)（回歸測(cè)試、黑盒測(cè)試和白盒測(cè)試等）和正式分析等方法對(duì)軟件質(zhì)量進(jìn)行分析和測(cè)試.數(shù)值算法驗(yàn)證是對(duì)實(shí)施算法的流程（偽代碼或顯示求解公式）和基本特性的正確性檢查，主要關(guān)注如何正確地程序化數(shù)值算法以及實(shí)施數(shù)值算法本身能否保持算法基本理論（時(shí)空離散形式、精度、對(duì)稱性、守恒性和收斂性等）的正確性.數(shù)值算法驗(yàn)證的目的主要是提供充足的證據(jù)證明程序化的數(shù)值算法執(zhí)行正確且有預(yù)期的功能，常采用精確解方法、人為解方法[2829]和高精度程序解比較等方法或手段.

解法/方法驗(yàn)證主要是用數(shù)值模擬結(jié)果與精確解、人為構(gòu)造解和高精度數(shù)值解進(jìn)行比較，量化其數(shù)值誤差和不確定度.其核心是進(jìn)行網(wǎng)格收斂指標(biāo)驗(yàn)證以確定實(shí)際的收斂階，通過(guò)分析對(duì)比實(shí)際收斂階與理論收斂階判斷程序是否存在錯(cuò)誤或缺陷.另一方面是對(duì)數(shù)值模擬影響因素進(jìn)行敏感性分析，以辨識(shí)和量化誤差、不確定度和置信度.數(shù)值模擬驗(yàn)證包括方法理論/網(wǎng)格收斂指標(biāo)驗(yàn)證與計(jì)算敏感性分析.基本理論驗(yàn)證技術(shù)主要是分析方法的特性，量化各種誤差和不確定度，常采用GCI方法.GCI主要采用Richardson外推法建立估算網(wǎng)格誤差.常用的做法是針對(duì)計(jì)算問(wèn)題建立多套計(jì)算網(wǎng)格，原則上要求多套網(wǎng)格自相似，即體現(xiàn)Δt和Δx為逐漸縮小的趨勢(shì)，然后通過(guò)計(jì)算L1，L2和L∞范數(shù)進(jìn)行網(wǎng)格收斂性分析以確定實(shí)際的收斂階.該方法需要知道問(wèn)題的精確解或采用固定不變的網(wǎng)格，對(duì)定常問(wèn)題或單獨(dú)考核格式的精度行之有效.計(jì)算敏感性分析利用典型物理問(wèn)題作為分析模型，結(jié)合已有的實(shí)驗(yàn)信息，分析論證數(shù)值模擬計(jì)算結(jié)果中由計(jì)算模型、計(jì)算參數(shù)和數(shù)值方法等引入的不確定度，以及數(shù)值計(jì)算中網(wǎng)格參數(shù)（網(wǎng)格類型、尺寸和規(guī)模等）、計(jì)算格式和參數(shù)（時(shí)間步長(zhǎng)、黏性等）、計(jì)算過(guò)程中的誤差時(shí)空演化特征分析等.一般用概率和非概率方法辨識(shí)與量化誤差、不確定度和置信度.在一般情況下，將計(jì)算敏感性分析和網(wǎng)格收斂指標(biāo)相結(jié)合，采用在計(jì)算條件變化的情形下對(duì)同一被模擬量進(jìn)行多次抽樣即復(fù)現(xiàn)性數(shù)值模擬分析方法辨識(shí)和量化誤差、不確定度和置信度.目前，用CDF方法可以量化數(shù)值計(jì)算的誤差和置信度，該方法的優(yōu)點(diǎn)是既能綜合分析所有誤差源，又能通過(guò)概率分布函數(shù)給出數(shù)值計(jì)算誤差的不確定度.

2.2.4確認(rèn)

確認(rèn)是對(duì)數(shù)值模擬結(jié)果、試驗(yàn)數(shù)據(jù)和真實(shí)行為三者之間進(jìn)行相互比較，進(jìn)而量化物理模型的精度.其計(jì)算結(jié)果用于確定模型與其試驗(yàn)之間是否存在可接受的吻合度.確定可接受吻合度的關(guān)鍵在于試驗(yàn)結(jié)果與模擬結(jié)果的一致程度，即數(shù)值模擬在多大范圍內(nèi)可接受地再現(xiàn)建模人員對(duì)感興趣世界的真實(shí)過(guò)程，其結(jié)果在多大范圍內(nèi)可接受地再現(xiàn)試驗(yàn)結(jié)果.確認(rèn)是將數(shù)值模擬結(jié)果與試驗(yàn)結(jié)果進(jìn)行比較，對(duì)模型的不確定度進(jìn)行量化以確定計(jì)算模型是否能正確描述客觀世界，是一種建?；顒?dòng)（簡(jiǎn)單地說(shuō)就是是否正確求解正確方程）.因其主要采用對(duì)比方式，所以要求對(duì)試驗(yàn)和數(shù)值模擬的結(jié)構(gòu)、條件等輸入/輸出描述清楚，主要包括：（1）針對(duì)具體物理模型，構(gòu)建驗(yàn)證層次圖；（2）確認(rèn)試驗(yàn)（單一試驗(yàn)、基準(zhǔn)試驗(yàn)、子系統(tǒng)試驗(yàn)和全系統(tǒng)試驗(yàn)等）；（3）數(shù)值模擬結(jié)果與試驗(yàn)數(shù)據(jù)對(duì)比，以確定模型的適應(yīng)性.

2.2.5基準(zhǔn)數(shù)據(jù)庫(kù)

在V&V活動(dòng)中產(chǎn)生大量數(shù)據(jù)資源和文檔，包括驗(yàn)證涉及的文檔、需要的基準(zhǔn)模型和確認(rèn)文檔、區(qū)域的基準(zhǔn)問(wèn)題等，如何有效管理和利用這些數(shù)據(jù)資源或文檔是基準(zhǔn)數(shù)據(jù)庫(kù)要解決的主要問(wèn)題.在V&V過(guò)程中要逐漸建立V&V的基準(zhǔn)數(shù)據(jù)庫(kù)，通過(guò)數(shù)據(jù)庫(kù)推斷M&S應(yīng)用軟件的置信度或給出在什么范圍內(nèi)置信度是多少，并作為預(yù)測(cè)分析的依據(jù).

2.3M&S的V&V的知識(shí)指南

V&V貫穿于復(fù)雜工程M&S的整個(gè)過(guò)程，即貫穿于數(shù)值模擬應(yīng)用程序研制的整個(gè)生命周期.M&S的V&V的知識(shí)指南見(jiàn)圖4.復(fù)雜工程可靠性認(rèn)證中M&S的V&V的知識(shí)體系包括4個(gè)方面的內(nèi)容：驗(yàn)證、確認(rèn)、預(yù)測(cè)和決策等.驗(yàn)證需要解決的問(wèn)題是程序是否能正確求解方程，確認(rèn)需要解決的問(wèn)題是程序是否能正確求解出方程，即驗(yàn)證要回答數(shù)值模擬程序是否能正確求解數(shù)學(xué)模型或給出求解模型的誤差、不確定性大小及使用范圍，確認(rèn)要通過(guò)數(shù)值結(jié)果與物理模型試驗(yàn)的對(duì)比回答物理模型是否反映真實(shí)客觀世界或反映真實(shí)客觀世界的程度.預(yù)測(cè)是利用V&V的應(yīng)用程序?qū)ξ粗獑?wèn)題的模擬過(guò)程，包括問(wèn)題、計(jì)算和結(jié)果評(píng)估等.決策是為開(kāi)展可靠性認(rèn)證規(guī)劃、提供資源和利用各種信息對(duì)系統(tǒng)可靠性給出結(jié)論.

3問(wèn)題和建議

通過(guò)闡述應(yīng)用程序M&S的V&V的含義，明確V&V的過(guò)程、步驟及其技術(shù)，初步建立程序模擬誤差、不確定度及置信度評(píng)估方法，給出用于數(shù)值模擬程序M&S結(jié)果的部分驗(yàn)證技術(shù).

復(fù)雜工程M&S的V&V相當(dāng)重要，涉及的核心問(wèn)題較多.

（1）M&S的V&V術(shù)語(yǔ)概念體系和置信度評(píng)價(jià)體系.包括相關(guān)基本概念、術(shù)語(yǔ)和方法的描述，基于數(shù)值模擬和認(rèn)知不確定性的復(fù)雜系統(tǒng)可靠性評(píng)估方法、流程和規(guī)范.目前研究從方法學(xué)向?qū)嵗?本地化和實(shí)用方法轉(zhuǎn)變.

（2）檢驗(yàn)數(shù)值模擬方法求解系統(tǒng)/過(guò)程控制方程（組）正確性的驗(yàn)證和測(cè)試方法研究，包括數(shù)值分析基本理論，網(wǎng)格收斂指標(biāo)驗(yàn)證，偏微分方程精確解析解、半解析基準(zhǔn)解、高精度基準(zhǔn)解、人為構(gòu)造解和不同程序計(jì)算結(jié)果對(duì)比以及軟件質(zhì)量保證等程序正確性驗(yàn)證和測(cè)試方法.目前亟須發(fā)展M&S可信度評(píng)估中誤差和不確定度量化、傳播及多因素敏感性分析方法.

（3）檢驗(yàn)數(shù)值模擬中物理模型準(zhǔn)確性的確認(rèn)考核方法，包括分層實(shí)（試）驗(yàn)設(shè)計(jì)方法、系統(tǒng)試驗(yàn)及其數(shù)據(jù)不確定度分析方法、計(jì)算結(jié)果與試驗(yàn)數(shù)據(jù)對(duì)比的不確定度分析方法以及計(jì)算結(jié)果預(yù)測(cè)的置信度評(píng)估方法研究.重點(diǎn)應(yīng)該發(fā)展確認(rèn)域到應(yīng)用域的預(yù)測(cè)方法.

參考文獻(xiàn)：

[1]OBERKAMPF W L， ROY C J. Verification and validation in scientific computing[M]. New York： Cambridge Univ Pr， 2010.

[2]CARTER A B. DoD Modeling and Simulation （M&S） Verification， Validation， and Accreditation （VV&A）， DoD Instruction 5000.61[R]. Department of Defense Instruction， USA， 1996.

[3]ROACHE P J， GHIA K， WHITE F M. Editorial policy statement on the control of numerical accuracy[J]. ASME J Fluids Eng， 1986， 108（1）： 2.

[4]FREITAS C J. Editorial policy statement on the control of numerical accuracy[J]. ASME J Fluids Eng， 1993， 115（3）： 339340.

[5]ROACHE P J. Quantification of uncertainty in computational fluid dynamics[J]. Annu Rev Fluid Mech， 1997（29）： 123160.

[6]ROY C J. Grid convergence error analysis for mixedorder numerical schemes[J]. AIAA J， 2003， 41（4）： 595604.

[7]ROY C J. Review of code and solution verification procedures for computational simulation[J]. J Comput Phys， 2005， 205（1）： 131156.

[8]KNIO O M， le MARTRE O P. Uncertainty propagation in CFD using polynomial chaos decomposition[J]. Fluid Dynamics Res， 2006， 38（9）：616640.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 張冰， 楊明. 仿真系統(tǒng)的校核、驗(yàn)證與驗(yàn)收（VV&A）：現(xiàn)狀與未來(lái)[J]. 系統(tǒng)仿真學(xué)報(bào)， 1999， 11（5）： 321325.

[13]楊明， 張冰， 馬萍， 等. 仿真系統(tǒng)VV&A發(fā)展的五大關(guān)鍵問(wèn)題[J]. 系統(tǒng)仿真學(xué)報(bào)， 2003， 15（11）： 15061508.

[14]吳曉燕， 趙敏榮， 劉興堂， 等. 仿真系統(tǒng)可信度評(píng)估及模型驗(yàn)證方法研究[J]. 計(jì)算機(jī)仿真， 2002， 19（3）： 2527.

[15]吳曉燕， 許素紅， 劉興堂. 仿真系統(tǒng)VV&A標(biāo)準(zhǔn)/規(guī)范研究的現(xiàn)狀與軍事需求分析[J]. 系統(tǒng)仿真學(xué)報(bào)， 2003， 15（8）： 10811084.

[16]楊振虎， 白文， 高福安. 虛構(gòu)解方法程序驗(yàn)證[J]. 航空計(jì)算技術(shù)， 2005， 35（2）： 1719.

[17]白文. 計(jì)算流體力學(xué)模擬可信度分析的基本術(shù)語(yǔ)[C]// 計(jì)算流體力學(xué)研究進(jìn)展： 第十一屆全國(guó)計(jì)算流體力學(xué)會(huì)議論文集. 洛陽(yáng)， 2002： 410415.

[18]白文. 氣動(dòng)計(jì)算軟件可信度分析解決方案[C]// 計(jì)算流體力學(xué)研究進(jìn)展：第十二屆全國(guó)計(jì)算流體力學(xué)會(huì)議論文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]鄧小剛， 宗文剛， 張來(lái)平， 等. 計(jì)算流體力學(xué)中的驗(yàn)證與確認(rèn)[J]. 力學(xué)進(jìn)展， 2007， 37（2）： 279288.

[21]張涵信， 查俊. 關(guān)于CFD驗(yàn)證確認(rèn)中的不確定度和真值估算[J]. 空氣動(dòng)力學(xué)學(xué)報(bào)， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康順， 石磊， 戴麗萍， 等. CFD模擬的誤差分析及網(wǎng)格收斂性研究[J]. 工程熱物理學(xué)報(bào)， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁國(guó)興. 科學(xué)計(jì)算程序的驗(yàn)證和確認(rèn)（V&V）[J]. 北京理工大學(xué)學(xué)報(bào)， 2010， 30（3）： 353360.

[26]張保強(qiáng)， 陳國(guó)平， 郭勤濤. 結(jié)構(gòu)動(dòng)力學(xué)模型確認(rèn)問(wèn)題的核密度估計(jì)方法[J]. 機(jī)械工程學(xué)報(bào)， 2011， 47（17）： 2936.

[27]曾現(xiàn)洋， 劉睿， 劉希強(qiáng). 人為解與人為解方法[J]. 聊城大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2010， 23（1）： 7174.

[28]王瑞利， 劉全， 劉希強(qiáng)， 等. 人為解方法及其在流體力學(xué)程序驗(yàn)證中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2012， 29（11）： 47.

[29]劉全， 王瑞利， 劉希強(qiáng)， 等. 流體力學(xué)方程組一類人為解構(gòu)造方法[J]. 數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)， 2013， 43（8）： 176182.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 張冰， 楊明. 仿真系統(tǒng)的校核、驗(yàn)證與驗(yàn)收（VV&A）：現(xiàn)狀與未來(lái)[J]. 系統(tǒng)仿真學(xué)報(bào)， 1999， 11（5）： 321325.

[13]楊明， 張冰， 馬萍， 等. 仿真系統(tǒng)VV&A發(fā)展的五大關(guān)鍵問(wèn)題[J]. 系統(tǒng)仿真學(xué)報(bào)， 2003， 15（11）： 15061508.

[14]吳曉燕， 趙敏榮， 劉興堂， 等. 仿真系統(tǒng)可信度評(píng)估及模型驗(yàn)證方法研究[J]. 計(jì)算機(jī)仿真， 2002， 19（3）： 2527.

[15]吳曉燕， 許素紅， 劉興堂. 仿真系統(tǒng)VV&A標(biāo)準(zhǔn)/規(guī)范研究的現(xiàn)狀與軍事需求分析[J]. 系統(tǒng)仿真學(xué)報(bào)， 2003， 15（8）： 10811084.

[16]楊振虎， 白文， 高福安. 虛構(gòu)解方法程序驗(yàn)證[J]. 航空計(jì)算技術(shù)， 2005， 35（2）： 1719.

[17]白文. 計(jì)算流體力學(xué)模擬可信度分析的基本術(shù)語(yǔ)[C]// 計(jì)算流體力學(xué)研究進(jìn)展： 第十一屆全國(guó)計(jì)算流體力學(xué)會(huì)議論文集. 洛陽(yáng)， 2002： 410415.

[18]白文. 氣動(dòng)計(jì)算軟件可信度分析解決方案[C]// 計(jì)算流體力學(xué)研究進(jìn)展：第十二屆全國(guó)計(jì)算流體力學(xué)會(huì)議論文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]鄧小剛， 宗文剛， 張來(lái)平， 等. 計(jì)算流體力學(xué)中的驗(yàn)證與確認(rèn)[J]. 力學(xué)進(jìn)展， 2007， 37（2）： 279288.

[21]張涵信， 查俊. 關(guān)于CFD驗(yàn)證確認(rèn)中的不確定度和真值估算[J]. 空氣動(dòng)力學(xué)學(xué)報(bào)， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康順， 石磊， 戴麗萍， 等. CFD模擬的誤差分析及網(wǎng)格收斂性研究[J]. 工程熱物理學(xué)報(bào)， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁國(guó)興. 科學(xué)計(jì)算程序的驗(yàn)證和確認(rèn)（V&V）[J]. 北京理工大學(xué)學(xué)報(bào)， 2010， 30（3）： 353360.

[26]張保強(qiáng)， 陳國(guó)平， 郭勤濤. 結(jié)構(gòu)動(dòng)力學(xué)模型確認(rèn)問(wèn)題的核密度估計(jì)方法[J]. 機(jī)械工程學(xué)報(bào)， 2011， 47（17）： 2936.

[27]曾現(xiàn)洋， 劉睿， 劉希強(qiáng). 人為解與人為解方法[J]. 聊城大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2010， 23（1）： 7174.

[28]王瑞利， 劉全， 劉希強(qiáng)， 等. 人為解方法及其在流體力學(xué)程序驗(yàn)證中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2012， 29（11）： 47.

[29]劉全， 王瑞利， 劉希強(qiáng)， 等. 流體力學(xué)方程組一類人為解構(gòu)造方法[J]. 數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)， 2013， 43（8）： 176182.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 張冰， 楊明. 仿真系統(tǒng)的校核、驗(yàn)證與驗(yàn)收（VV&A）：現(xiàn)狀與未來(lái)[J]. 系統(tǒng)仿真學(xué)報(bào)， 1999， 11（5）： 321325.

[13]楊明， 張冰， 馬萍， 等. 仿真系統(tǒng)VV&A發(fā)展的五大關(guān)鍵問(wèn)題[J]. 系統(tǒng)仿真學(xué)報(bào)， 2003， 15（11）： 15061508.

[14]吳曉燕， 趙敏榮， 劉興堂， 等. 仿真系統(tǒng)可信度評(píng)估及模型驗(yàn)證方法研究[J]. 計(jì)算機(jī)仿真， 2002， 19（3）： 2527.

[15]吳曉燕， 許素紅， 劉興堂. 仿真系統(tǒng)VV&A標(biāo)準(zhǔn)/規(guī)范研究的現(xiàn)狀與軍事需求分析[J]. 系統(tǒng)仿真學(xué)報(bào)， 2003， 15（8）： 10811084.

[16]楊振虎， 白文， 高福安. 虛構(gòu)解方法程序驗(yàn)證[J]. 航空計(jì)算技術(shù)， 2005， 35（2）： 1719.

[17]白文. 計(jì)算流體力學(xué)模擬可信度分析的基本術(shù)語(yǔ)[C]// 計(jì)算流體力學(xué)研究進(jìn)展： 第十一屆全國(guó)計(jì)算流體力學(xué)會(huì)議論文集. 洛陽(yáng)， 2002： 410415.

[18]白文. 氣動(dòng)計(jì)算軟件可信度分析解決方案[C]// 計(jì)算流體力學(xué)研究進(jìn)展：第十二屆全國(guó)計(jì)算流體力學(xué)會(huì)議論文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]鄧小剛， 宗文剛， 張來(lái)平， 等. 計(jì)算流體力學(xué)中的驗(yàn)證與確認(rèn)[J]. 力學(xué)進(jìn)展， 2007， 37（2）： 279288.

[21]張涵信， 查俊. 關(guān)于CFD驗(yàn)證確認(rèn)中的不確定度和真值估算[J]. 空氣動(dòng)力學(xué)學(xué)報(bào)， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康順， 石磊， 戴麗萍， 等. CFD模擬的誤差分析及網(wǎng)格收斂性研究[J]. 工程熱物理學(xué)報(bào)， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁國(guó)興. 科學(xué)計(jì)算程序的驗(yàn)證和確認(rèn)（V&V）[J]. 北京理工大學(xué)學(xué)報(bào)， 2010， 30（3）： 353360.

[26]張保強(qiáng)， 陳國(guó)平， 郭勤濤. 結(jié)構(gòu)動(dòng)力學(xué)模型確認(rèn)問(wèn)題的核密度估計(jì)方法[J]. 機(jī)械工程學(xué)報(bào)， 2011， 47（17）： 2936.

[27]曾現(xiàn)洋， 劉睿， 劉希強(qiáng). 人為解與人為解方法[J]. 聊城大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2010， 23（1）： 7174.

[28]王瑞利， 劉全， 劉希強(qiáng)， 等. 人為解方法及其在流體力學(xué)程序驗(yàn)證中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2012， 29（11）： 47.

[29]劉全， 王瑞利， 劉希強(qiáng)， 等. 流體力學(xué)方程組一類人為解構(gòu)造方法[J]. 數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)， 2013， 43（8）： 176182.