張來平，鄧小剛，何 磊，李 明，赫 新1，

（1.中國空氣動(dòng)力研究與發(fā)展中心空氣動(dòng)力學(xué)國家重點(diǎn)實(shí)驗(yàn)室，四川綿陽 621000；2.中國空氣動(dòng)力研究與發(fā)展中心計(jì)算空氣動(dòng)力研究所，四川綿陽 621000；3.國防科學(xué)技術(shù)大學(xué)，湖南長(zhǎng)沙 410073）

E級(jí)計(jì)算給CFD帶來的機(jī)遇與挑戰(zhàn)

張來平1，2，＊，鄧小剛1，3，何 磊2，李 明2，赫 新1，2

（1.中國空氣動(dòng)力研究與發(fā)展中心空氣動(dòng)力學(xué)國家重點(diǎn)實(shí)驗(yàn)室，四川綿陽 621000；2.中國空氣動(dòng)力研究與發(fā)展中心計(jì)算空氣動(dòng)力研究所，四川綿陽 621000；3.國防科學(xué)技術(shù)大學(xué)，湖南長(zhǎng)沙 410073）

E級(jí)（Exascale）計(jì)算機(jī)有望在2020年前后投入使用，E級(jí)計(jì)算將給計(jì)算科學(xué)和科學(xué)研究帶來革命性的變化。計(jì)算流體力學(xué)（CFD）作為超大規(guī)模計(jì)算機(jī)應(yīng)用的重要領(lǐng)域之一，將迎來前所未有的發(fā)展機(jī)遇，同時(shí)也將面臨極其嚴(yán)峻的技術(shù)挑戰(zhàn)。本文對(duì)當(dāng)前國內(nèi)外超大規(guī)模CFD計(jì)算的現(xiàn)狀進(jìn)行了概述，探討了未來CFD的發(fā)展趨勢(shì)，并對(duì)E級(jí)計(jì)算給CFD帶來的機(jī)遇與挑戰(zhàn)進(jìn)行了分析，最后提出了適應(yīng)未來E級(jí)計(jì)算的CFD發(fā)展思路與建議。為了實(shí)現(xiàn)E級(jí)計(jì)算的宏偉目標(biāo)，CFD與計(jì)算機(jī)科學(xué)、應(yīng)用數(shù)學(xué)等學(xué)科的“協(xié)同設(shè)計(jì)”勢(shì)在必行。我們期待本文的分析能對(duì)我國的高性能計(jì)算應(yīng)用、CFD發(fā)展有一定的啟示作用。

E級(jí)計(jì)算；高性能并行計(jì)算；計(jì)算流體力學(xué)

0 引言：計(jì)算科學(xué)及CFD的重要性

2005年，美國總統(tǒng)信息技術(shù)咨詢委員會(huì)的報(bào)告《計(jì)算科學(xué)：確保美國競(jìng)爭(zhēng)力》［1］中指出：計(jì)算科學(xué)是提升國家競(jìng)爭(zhēng)力的關(guān)鍵技術(shù)之一；21世紀(jì)最偉大的科學(xué)突破將是大型計(jì)算科學(xué)所獲得的成就；計(jì)算科學(xué)等同于理論、實(shí)驗(yàn)，已成為科學(xué)探索的第三大支柱。

計(jì)算科學(xué)與天體物理、核物理、天氣預(yù)報(bào)、生物醫(yī)藥、海洋工程、石油勘探等領(lǐng)域的結(jié)合，推動(dòng)了這些領(lǐng)域的飛速發(fā)展。流體力學(xué)及空氣動(dòng)力學(xué)與計(jì)算科學(xué)的結(jié)合催生了計(jì)算流體力學(xué)（CFD）的誕生。經(jīng)過半個(gè)多世紀(jì)的發(fā)展，CFD已經(jīng)在以航空航天為代表的諸多工業(yè)領(lǐng)域得到成功的應(yīng)用［2－4］，并在流體力學(xué)和空氣動(dòng)力學(xué)學(xué)科發(fā)展中發(fā)揮著越來越重要的作用。相對(duì)于空氣動(dòng)力學(xué)研究的其它兩種手段（風(fēng)洞試驗(yàn)和模型飛行試驗(yàn)），其突出優(yōu)勢(shì)主要體現(xiàn)為：

1）由CFD軟件和高性能計(jì)算機(jī)相結(jié)合而形成的“數(shù)值風(fēng)洞”能夠快速提供飛行器氣動(dòng)性能分析、結(jié)構(gòu)／飛控設(shè)計(jì)所需要的基礎(chǔ)數(shù)據(jù)，進(jìn)而節(jié)省研究費(fèi)用，縮短設(shè)計(jì)周期；

2）高精度CFD軟件可以提供流場(chǎng)細(xì)節(jié)數(shù)據(jù)，便于流動(dòng)機(jī)理分析，在空氣動(dòng)力學(xué)基礎(chǔ)研究及飛行器關(guān)鍵氣動(dòng)技術(shù)攻關(guān)方面可以發(fā)揮重要作用；

3）精細(xì)的CFD數(shù)值模擬可以為風(fēng)洞試驗(yàn)及風(fēng)洞試驗(yàn)技術(shù)發(fā)展提供支撐，如為天平和支架設(shè)計(jì)提供載荷估計(jì)，研究更加精細(xì)的洞壁和支架干擾修正方法，對(duì)風(fēng)洞試驗(yàn)結(jié)果進(jìn)行天地?fù)Q算等；

4）以CFD為核心的飛行器多學(xué)科多目標(biāo)優(yōu)化設(shè)計(jì)是未來飛行器設(shè)計(jì)的重要發(fā)展方向，其將引發(fā)飛行器設(shè)計(jì)模式的變革，“數(shù)值優(yōu)化設(shè)計(jì)”的實(shí)現(xiàn)將全面提升飛行器綜合設(shè)計(jì)能力和水平；

5）CFD與飛行力學(xué)和飛行控制等學(xué)科的耦合，將可以實(shí)現(xiàn)基于CFD的“虛擬飛行試驗(yàn)”，或又稱為“數(shù)值虛擬飛行”，有利于在設(shè)計(jì)初期即對(duì)控制系統(tǒng)進(jìn)行一體化優(yōu)化設(shè)計(jì)。

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，E級(jí)（Exascale）計(jì)算機(jī)將在2020年前后投入使用，E級(jí)計(jì)算將給以CFD為代表的超大規(guī)模計(jì)算應(yīng)用帶來前所未有的發(fā)展機(jī)遇，同時(shí)也會(huì)帶來極其嚴(yán)峻的技術(shù)挑戰(zhàn)?？梢灶A(yù)期，基于CFD與E級(jí)計(jì)算機(jī)結(jié)合的“數(shù)值風(fēng)洞試驗(yàn)”、“數(shù)值優(yōu)化設(shè)計(jì)”、“數(shù)值虛擬飛行”將給航空航天飛行器設(shè)計(jì)帶來革命性的變化，并將推動(dòng)流體力學(xué)和空氣動(dòng)力學(xué)等學(xué)科的創(chuàng)新發(fā)展。

本文將就E級(jí)計(jì)算給CFD帶來的機(jī)遇與挑戰(zhàn)展開討論。首先，對(duì)當(dāng)前國內(nèi)外超大規(guī)模CFD計(jì)算的現(xiàn)狀進(jìn)行了概述，其次分析了當(dāng)前面臨的一系列挑戰(zhàn)性問題，探討了未來CFD的發(fā)展趨勢(shì)，隨后對(duì)E級(jí)計(jì)算給CFD帶來的機(jī)遇與挑戰(zhàn)進(jìn)行了分析，最后提出了適應(yīng)未來E級(jí)計(jì)算的CFD發(fā)展思路與建議，期待以上分析與建議能對(duì)我國高性能計(jì)算機(jī)的發(fā)展、CFD的研究與應(yīng)用等有一定的啟示作用。

1 CFD對(duì)超級(jí)計(jì)算機(jī)的需求及E級(jí)計(jì)算機(jī)研制現(xiàn)狀

由于CFD所求解的問題越來越復(fù)雜，因此CFD對(duì)于計(jì)算資源的需求可謂“永無止境”。以最具代表性的復(fù)雜外形湍流數(shù)值模擬為例，由于湍流脈動(dòng)從積分尺度到最小耗散尺度所涵蓋的尺度范圍很大，湍流直接數(shù)值模擬（DNS）需要目前最快的計(jì)算機(jī)都難以承受的計(jì)算量。假設(shè)問題的積分尺度為L(zhǎng)，相應(yīng)的雷諾數(shù)為ReL，則DNS要求的空間網(wǎng)格和計(jì)算時(shí)間步數(shù)至少要達(dá)到O（Re9／4L）和O（Re1／2L）［5］。工程實(shí)際中遇到的問題通常ReL＞1.0×106，因此要求的網(wǎng)格點(diǎn)數(shù)應(yīng)滿足Ng＞1.0×1013，而大型飛機(jī)邊界層流動(dòng)的直接數(shù)值模擬要求Ng＞1.0×1015。所以有學(xué)者早在1997年就估算，商業(yè)飛機(jī)巡航狀態(tài)一秒鐘的計(jì)算，用每秒萬億次計(jì)算機(jī)需要數(shù)千年［6］。據(jù)美國Boeing公司Edward N.Tinoco博士2009年的估計(jì)，以當(dāng)時(shí)的高性能計(jì)算機(jī)發(fā)展速度，至2080年才有可能進(jìn)行民航客機(jī)全機(jī)的DNS模擬；即便是進(jìn)行大渦模擬（LES），也要等到2045年［7］。

由于計(jì)算資源的限制，目前對(duì)于復(fù)雜飛行器的湍流數(shù)值模擬，我們?nèi)云毡椴捎美字Z平均Navier－Stokes（RANS）方法，計(jì)算網(wǎng)格規(guī)模也大多限定在千萬量級(jí)。盡管LES較DNS對(duì)計(jì)算機(jī)資源的需求小數(shù)個(gè)量級(jí)，但是即便是在當(dāng)今最快的計(jì)算機(jī)上，進(jìn)行復(fù)雜飛行器的大渦模擬也是不現(xiàn)實(shí)的。所以，近年來，發(fā)展了多種以脫體渦模擬（DES）為代表的RANS／LES混合算法［8］。然而這些方法應(yīng)用于實(shí)際復(fù)雜外形的報(bào)道亦不多見，其主要原因仍是計(jì)算量過于龐大。圖1（取自文獻(xiàn)［9］）給出了從翼型、機(jī)翼到整機(jī)三個(gè)階段氣動(dòng)特性分析與設(shè)計(jì)對(duì)計(jì)算機(jī)速度和內(nèi)存的需求。從圖中可以看出，目前我們已經(jīng)可以對(duì)機(jī)翼進(jìn)行基于壁面模型的LES（WM－LES，Wallmodeled LES）或RANS／LES混合模擬，但是對(duì)于整機(jī)的WM－LES模擬（尤其是以達(dá)到設(shè)計(jì)目標(biāo)的WMLES）卻需要E級(jí)以上的計(jì)算機(jī)。

可喜的是，計(jì)算機(jī)運(yùn)算速度一直在按照Moore定律飛速增長(zhǎng)。據(jù)統(tǒng)計(jì)分析，高性能計(jì)算機(jī)的計(jì)算速度每十年將提高三個(gè)量級(jí)［10］。5年前，P級(jí)計(jì)算機(jī)（1015Flops）已研制成功并投入使用。尤其是2013年6月，我國研制的“天河二號(hào)”排名世界Top500超級(jí)計(jì)算機(jī)第一名，而且三年來穩(wěn)居第一，榮獲Top500“六連冠”。該計(jì)算機(jī)采用CPU／MIC異構(gòu)融合體系架構(gòu)，峰值性能達(dá)到5.49億億次／秒（約55P），持續(xù)性能達(dá)到3.39億億次／秒（約34P）；共有16，000個(gè)運(yùn)算節(jié)點(diǎn)，共約312萬個(gè)計(jì)算核心。“天河”“曙光”“神威”等系列計(jì)算機(jī)的問世，標(biāo)志著我國高性能計(jì)算機(jī)研制能力與水平已躋身國際前列。

圖1 翼型、機(jī)翼和整機(jī)分析與設(shè)計(jì)對(duì)計(jì)算機(jī)速度和內(nèi)存的需求（取自文獻(xiàn)［9］）Fig.1 Computer speed and memory requirements for analysis and design of airfoils，wings，and complete aircraft for three different stages of approximation（From Ref.［9］）

當(dāng)前，世界各國均將E級(jí)計(jì)算作為下一個(gè)努力爭(zhēng)奪的戰(zhàn)略高地［10］。美國對(duì)E級(jí)計(jì)算機(jī)的研制高度重視，總統(tǒng)奧巴馬在“Strategy for American Innovation”計(jì)劃中，將E級(jí)計(jì)算列為21世紀(jì)美國最主要的技術(shù)挑戰(zhàn)。2011年12月美國國會(huì)通過美國能源部科研經(jīng)費(fèi)申請(qǐng)，提供1.26億美元用于E級(jí)計(jì)算研究（不含E級(jí)計(jì)算機(jī)的建設(shè)經(jīng)費(fèi)）。美國國防部高級(jí)研究計(jì)劃署（DARPA）提出：研究新的計(jì)算架構(gòu)和編程模型，計(jì)劃于2018年完成E級(jí)原型系統(tǒng)研制。2014年11月在全球超級(jí)計(jì)算機(jī)Top500榜單發(fā)布前夕，美國能源部發(fā)布了“珊瑚計(jì)劃”，將投資3.25億美元建設(shè)兩臺(tái)100P－150P量級(jí)的超級(jí)計(jì)算機(jī)，另投入1億美元用于應(yīng)用軟件的開發(fā)與升級(jí)。計(jì)算機(jī)強(qiáng)國日本也不甘落后，2011年11月，實(shí)現(xiàn)首臺(tái)萬萬億次（10.51P）計(jì)算機(jī)“京”（K－Computer）。與此同時(shí)，日本政府于2011年投資13億美元用于E級(jí)計(jì)算機(jī)的研究，預(yù)計(jì)于2020年前實(shí)現(xiàn)他們的E級(jí)計(jì)算機(jī)。歐盟集歐洲各國的力量，力爭(zhēng)持續(xù)增強(qiáng)自身的競(jìng)爭(zhēng)力。2010年，歐洲將E級(jí)計(jì)算納入其第七框架計(jì)劃，為泛歐E級(jí)高性能計(jì)算服務(wù)的實(shí)現(xiàn)制定了路線圖并開展研制；歐洲巴塞羅那超算中心計(jì)劃在近期構(gòu)建性能高于200P的計(jì)算機(jī)系統(tǒng)［11］。俄羅斯作為一個(gè)超級(jí)大國，也已實(shí)施“2012－2020俄羅斯E級(jí)技術(shù)發(fā)展”計(jì)劃，計(jì)劃投資15億美元，于2020年前實(shí)現(xiàn)E級(jí)計(jì)算機(jī)［11］。亞洲鄰國印度不甘示弱，計(jì)劃投資20億美元，于2017年建成世界最快的高性能計(jì)算機(jī)。我國政府對(duì)E級(jí)計(jì)算也高度重視，國家科技部等機(jī)構(gòu)對(duì)E級(jí)計(jì)算機(jī)及相關(guān)領(lǐng)域應(yīng)用軟件開發(fā)給予了持續(xù)投入，“天河二號(hào)”有望在近期升級(jí)至100P，而E級(jí)高性能計(jì)算機(jī)的研制亦正在緊鑼密鼓地進(jìn)行。盡管E級(jí)計(jì)算機(jī)研制本身仍存在較多的技術(shù)瓶頸，尤其是能耗問題，預(yù)期研制進(jìn)度（2020年）有可能推遲，但是2025年前投入使用，2030年前提供穩(wěn)定應(yīng)用應(yīng)該沒有問題。

高性能計(jì)算機(jī)的迅猛發(fā)展為計(jì)算科學(xué)和科學(xué)研究提供了前所未有的發(fā)展機(jī)遇。當(dāng)我們?yōu)槲覈诟咝阅苡?jì)算機(jī)領(lǐng)域取得的輝煌成就而歡欣鼓舞時(shí)，我們應(yīng)該清晰地認(rèn)識(shí)到，我國在以CFD為代表的大規(guī)模應(yīng)用軟件的開發(fā)方面，與西方發(fā)達(dá)國家相比仍有很大的差距。這一差距使得我國的高性能計(jì)算機(jī)尚未能充分發(fā)揮應(yīng)有的作用。

2 國內(nèi)外超大規(guī)模CFD計(jì)算現(xiàn)狀與面臨的挑戰(zhàn)

目前，大規(guī)模CFD模擬已在以航空航天為代表的工業(yè)領(lǐng)域得到廣泛應(yīng)用［2－4］。在美歐等航空航天強(qiáng)國，基于大量風(fēng)洞試驗(yàn)的氣動(dòng)設(shè)計(jì)傳統(tǒng)模式，正在向以CFD為核心的多學(xué)科多目標(biāo)優(yōu)化設(shè)計(jì)并經(jīng)風(fēng)洞試驗(yàn)驗(yàn)證的新模式轉(zhuǎn)化。從國內(nèi)外發(fā)展趨勢(shì)來看，CFD在飛行器設(shè)計(jì)中發(fā)揮的作用日益凸顯，據(jù)文獻(xiàn)顯示，在美國航空航天飛行器研制中，CFD占整個(gè)氣動(dòng)研究工作的比重已達(dá)50%左右，而波音公司CFD在氣動(dòng)設(shè)計(jì)工作中的比重更是達(dá)到70%［12］。目前，以二階精度計(jì)算格式為基礎(chǔ)的CFD軟件在模擬能力、數(shù)據(jù)質(zhì)量和生產(chǎn)效率等方面已能基本滿足飛行器常規(guī)狀態(tài)氣動(dòng)特性預(yù)測(cè)的需求。就飛行器常規(guī)狀態(tài)的CFD數(shù)值模擬而言，西方先進(jìn)國家的計(jì)算網(wǎng)格規(guī)模已達(dá)數(shù)千萬，部分達(dá)到數(shù)億量級(jí)（主要用于RANS模擬），少量達(dá)到百億量級(jí)以上（如在第八屆國際計(jì)算流體力學(xué)會(huì)議上，日本學(xué)者Kato教授介紹了他們采用320億網(wǎng)格在“京”超級(jí)計(jì)算機(jī)上進(jìn)行汽車LES的應(yīng)用實(shí)例［13］）；在運(yùn)算處理器（Processing Unit or Computing Core）規(guī)模方面，一般為數(shù)百至數(shù)千核，少量達(dá)到數(shù)萬甚至數(shù)十萬以上；在計(jì)算模型或方法方面，仍普遍采用RANS模型，部分采用URANS、RANS／LES（或DES）等模型，少量采用了LES模型。在基礎(chǔ)研究領(lǐng)域，關(guān)于湍流的直接數(shù)值模擬（DNS），其計(jì)算網(wǎng)格規(guī)模已達(dá)數(shù)十億，甚至上千億，如美國于2013年在激波與各向同性湍流相互干擾的數(shù)值模擬中采用了4.1T（1012）網(wǎng)格、利用了197萬個(gè)核進(jìn)行超大規(guī)模的并行計(jì)算［14－15］。

在國內(nèi)，由于計(jì)算機(jī)資源的限制，對(duì)于中等復(fù)雜程度的飛行器構(gòu)型（如機(jī)動(dòng)導(dǎo)彈），一般采用數(shù)百萬的計(jì)算網(wǎng)格；對(duì)于復(fù)雜的全機(jī)構(gòu)型（如C919民航客機(jī)），網(wǎng)格規(guī)模也已達(dá)到數(shù)千萬；對(duì)于極少數(shù)的極端復(fù)雜外形（如16車編組高速列車），網(wǎng)格規(guī)模達(dá)到6.5億。在運(yùn)算處理器規(guī)模方面，由于條件的限制，一般采用數(shù)十至數(shù)百核進(jìn)行分區(qū)并行計(jì)算；個(gè)別算例進(jìn)行過數(shù)萬至十余萬核的并行測(cè)試。例如，中國空氣動(dòng)力研究與發(fā)展中心計(jì)算空氣動(dòng)力研究所于2014年初曾在廣州超算中心的“天河二號(hào)”上，利用自主開發(fā)的CFD軟件平臺(tái)，進(jìn)行過十三萬純CPU核的并行測(cè)試；中國科學(xué)院軟件研究所于2014年在“天河二號(hào)”上實(shí)現(xiàn)了6144個(gè)異構(gòu)計(jì)算節(jié)點(diǎn)（14.7萬CPU核＋105.1萬MIC核）的區(qū)域歐拉中尺度大氣模擬［16］。

總體而言，經(jīng)過半個(gè)多世紀(jì)的發(fā)展，CFD已在很多領(lǐng)域得到成功應(yīng)用，并呈現(xiàn)蓬勃發(fā)展的強(qiáng)勁勢(shì)頭。但是我們應(yīng)清醒地認(rèn)識(shí)到，CFD在許多方面仍存在極大的挑戰(zhàn)［4，17－18］，比如：1）飛行器全包線的高保真度氣動(dòng)特性模擬，尤其是帶動(dòng)力飛行器在全包線內(nèi)的大渦模擬；2）耦合飛行控制律、飛行力學(xué)、結(jié)構(gòu)動(dòng)力學(xué)的動(dòng)態(tài)數(shù)值模擬，即所謂的“數(shù)值虛擬飛行”；3）動(dòng)力系統(tǒng)（發(fā)動(dòng)機(jī)）的真實(shí)物理／化學(xué)過程的數(shù)值模擬，尤其是渦扇發(fā)動(dòng)機(jī)非設(shè)計(jì)狀態(tài)的瞬態(tài)模擬；4）以CFD為核心的飛行器多學(xué)科多目標(biāo)優(yōu)化設(shè)計(jì)（MDAO）和概率設(shè)計(jì)；5）基于CFD的飛行器氣動(dòng)聲學(xué)特性直接數(shù)值模擬；6）高超聲速飛行器氣動(dòng)熱環(huán)境／熱響應(yīng)／熱應(yīng)力等多物理場(chǎng)的一體化耦合計(jì)算，等等。當(dāng)然，這些僅是部分具有代表性的挑戰(zhàn)性問題，更多挑戰(zhàn)性的問題絕非僅限于此。以下就上述挑戰(zhàn)性問題進(jìn)行簡(jiǎn)要分析。

2.1 飛行器全包線的高保真度氣動(dòng)特性模擬

在最簡(jiǎn)單的應(yīng)用中，通過計(jì)算確定整個(gè)飛行包線相關(guān)參數(shù)點(diǎn)上的氣動(dòng)力和力矩，可以獲得純靜態(tài)的氣動(dòng)數(shù)據(jù)庫。飛行包線參數(shù)空間可以分為流動(dòng)參數(shù)和幾何參數(shù)。例如，流動(dòng)參數(shù)一般包括Mach數(shù)、迎角和側(cè)滑角等；幾何參數(shù)包括各種控制面的偏角，例如副翼、升降舵、方向舵等。如果我們假設(shè)對(duì)于每個(gè)參數(shù)需要5個(gè)狀態(tài)的計(jì)算結(jié)果（往往遠(yuǎn)不止五個(gè)狀態(tài)），需要計(jì)算的參數(shù)矩陣大小將是5p，其中p＝參數(shù)個(gè)數(shù)。如果考慮更多的物理參數(shù)或更復(fù)雜的氣動(dòng)效應(yīng)，如發(fā)動(dòng)機(jī)推力裝置、Re數(shù)效應(yīng)等，需要模擬的狀態(tài)總數(shù)將很容易達(dá)到百萬量級(jí)［4］。因此對(duì)計(jì)算機(jī)在短時(shí)間內(nèi)提供百萬量級(jí)狀態(tài)計(jì)算結(jié)果的“容量計(jì)算”能力提出了很高的要求。

在P級(jí)計(jì)算機(jī)問世前的2004－2005年，美國CFD專家利用他們當(dāng)時(shí)最為成熟的CFD軟件（Cart3D和OVERFLOW），在當(dāng)時(shí)NASA最先進(jìn)的SGI工作站（256CPU，400MHz MIPS4處理器）上，一周的時(shí)間也只能進(jìn)行2863個(gè)無粘流狀態(tài)（140萬Cartesian網(wǎng)格）和211個(gè)定常粘性流狀態(tài)（850萬重疊結(jié)構(gòu)網(wǎng)格）的計(jì)算［4，19］。

因此，對(duì)于上百萬狀態(tài)的氣動(dòng)數(shù)據(jù)庫建設(shè)，即便是在現(xiàn)有的P級(jí)計(jì)算機(jī)上，采用完全的RANS模擬也是非常困難的，更不要說RANS／LES和LES了。鑒于當(dāng)前計(jì)算機(jī)資源的限制，目前常用的做法是利用高效的低保真度計(jì)算方法（如Euler方程流場(chǎng)解算器，甚至面元法等）建立基礎(chǔ)數(shù)據(jù)庫，然后利用高保真度方法（RANS方法等）進(jìn)行典型狀態(tài)的差量計(jì)算（一般取數(shù)千個(gè)狀態(tài)），確定粘性干擾效應(yīng)、真實(shí)氣體效應(yīng)、稀薄氣體效應(yīng)等的影響差量，進(jìn)而修正低保真度計(jì)算結(jié)果。當(dāng)然，利用現(xiàn)代試驗(yàn)設(shè)計(jì)方法，可以大幅減少計(jì)算狀態(tài)，但是高保真度的氣動(dòng)數(shù)據(jù)庫建設(shè)仍需要充分的氣動(dòng)數(shù)據(jù)，因此計(jì)算量無疑是巨大的。

由此可見，E級(jí)計(jì)算機(jī)的問世將為我們提供更加強(qiáng)大的計(jì)算資源，解決眾多狀態(tài)中等規(guī)模（數(shù)千萬網(wǎng)格、數(shù)百至數(shù)千核）并行的“容量”計(jì)算問題。然而典型狀態(tài)的“能力”計(jì)算（如帶動(dòng)力飛機(jī)全機(jī)構(gòu)型的大渦模擬）仍是重大挑戰(zhàn)性問題之一［17］。在這種情況下，CFD的模擬能力集中體現(xiàn)在能否準(zhǔn)確模擬飛行包線關(guān)鍵點(diǎn)處繞復(fù)雜飛機(jī)構(gòu)型的流動(dòng)，如低速起飛和著陸狀態(tài)、跨聲速抖振、大迎角大范圍流動(dòng)分離等。在這些情況下，氣動(dòng)性能高度依賴于湍流現(xiàn)象，如流動(dòng)分離和激波－邊界層干擾的預(yù)測(cè)。顯然，為實(shí)現(xiàn)該目標(biāo)，僅靠高性能計(jì)算的進(jìn)步并不足以解決這一重大挑戰(zhàn)問題，必須在計(jì)算方法、物理模型等方面持續(xù)改進(jìn)，同時(shí)研發(fā)適應(yīng)超大規(guī)模計(jì)算平臺(tái)、經(jīng)過全局優(yōu)化的流場(chǎng)解算器。

2.2 數(shù)值虛擬飛行一體化模擬

更加具有挑戰(zhàn)性的問題是時(shí)間相關(guān)的機(jī)動(dòng)飛行器動(dòng)態(tài)模擬，即所謂的耦合了“氣動(dòng)／運(yùn)動(dòng)／控制／結(jié)構(gòu)／動(dòng)力”等因素的“數(shù)值虛擬飛行”一體化模擬（Virtual Flight Simulation或Digital Flight）［18］。對(duì)比前面討論的靜態(tài)氣動(dòng)數(shù)據(jù)庫方法，這里的全飛行包線氣動(dòng)特性是無法預(yù)先得到的。每次單個(gè)動(dòng)作的機(jī)動(dòng)和軌道運(yùn)動(dòng)將需要一次全新的時(shí)間相關(guān)計(jì)算。該方法的優(yōu)點(diǎn)在于它能精確地計(jì)算在飛行包線內(nèi)目標(biāo)區(qū)域的全動(dòng)態(tài)、非線性和多學(xué)科耦合效應(yīng)，但是這反過來對(duì)單個(gè)解算器的效率和多學(xué)科耦合計(jì)算方法提出了更高的要求，而且動(dòng)態(tài)模擬也極大地增大了計(jì)算量。

據(jù)2006年的文獻(xiàn)介紹［18］，利用當(dāng)時(shí)最新的CFD解算器（TLNS3D）和最先進(jìn)的硬件設(shè)備（NASA的Columbia超級(jí)計(jì)算機(jī)），對(duì)某飛行器60秒飛行時(shí)間的模擬大約需要512個(gè)CPU運(yùn)行1.5天（網(wǎng)格規(guī)模5千萬，時(shí)間分辨率50Hz）。如果增加空間分辨率或提高時(shí)間分辨率，或者延長(zhǎng)模擬的飛行時(shí)間，亦或考慮其他更多的物理效應(yīng)（如結(jié)構(gòu)分析、氣動(dòng)加熱等），計(jì)算時(shí)間很容易就增長(zhǎng)1個(gè)以上的量級(jí)。很顯然，現(xiàn)有計(jì)算機(jī)硬件的計(jì)算能力無法滿足“數(shù)值虛擬飛行”在數(shù)小時(shí)內(nèi)完成模擬任務(wù)的實(shí)際需求。

盡管現(xiàn)有計(jì)算方法的保真度在網(wǎng)格分辨率、模型復(fù)雜度、多學(xué)科耦合等方面還達(dá)不到我們期待的要求，但是最近的研究表明：在現(xiàn)有的P級(jí)計(jì)算機(jī)上進(jìn)行機(jī)動(dòng)飛行器的多學(xué)科耦合動(dòng)態(tài)模擬仍是可能的，而E級(jí)計(jì)算更為數(shù)值虛擬飛行提供了堅(jiān)實(shí)的后盾。自2007年始，美國國防部高性能計(jì)算現(xiàn)代化計(jì)劃（DoD HPCMP）開始實(shí)施總投資達(dá)3.6億美元的雄心勃勃的CREATE項(xiàng)目（Computational Research and Engineering Acquisition Tools and Environment）。該項(xiàng)目旨在研發(fā)關(guān)于艦船、飛機(jī)、雷達(dá)等的設(shè)計(jì)和分析軟件系統(tǒng)［20－21］。其中關(guān)于飛行器的分項(xiàng)名為CREATE－AV，其又包括四個(gè)子項(xiàng)，即：直升機(jī)虛擬模擬工具（Helios）、固定翼飛機(jī)虛擬模擬工具（Kestrel）、機(jī)體／推進(jìn)一體化模擬工具（Firebolt）和概念設(shè)計(jì)工具（DaVinci）。該項(xiàng)目計(jì)劃持續(xù)12年，從2010年開始每個(gè)子系統(tǒng)每年推出一個(gè)升級(jí)版本。與固定翼飛行器虛擬飛行直接相關(guān)的是Kestrel軟件系統(tǒng)，其目的是建立耦合空氣動(dòng)力學(xué)、結(jié)構(gòu)動(dòng)力學(xué)、飛行動(dòng)力學(xué)和運(yùn)動(dòng)學(xué)的一體化模擬平臺(tái)。在研發(fā)過程中，他們利用該軟件對(duì)F16C、F／A－18E、F－22等先進(jìn)戰(zhàn)斗機(jī)進(jìn)行了大量的靜動(dòng)態(tài)氣動(dòng)特性模擬及氣動(dòng)力建模分析，并將CFD計(jì)算結(jié)果與氣動(dòng)力建模結(jié)果、風(fēng)洞試驗(yàn)?zāi)酥溜w行試驗(yàn)結(jié)果等進(jìn)行了比較。雖然氣動(dòng)力系數(shù)存在一定的差異，但是對(duì)于如此復(fù)雜的飛行器，其整體趨勢(shì)和量值已比較令人滿意，而且其計(jì)算效率也令人鼓舞［21］。而國內(nèi)在這方面的研究才剛剛起步，相關(guān)研究工作嚴(yán)重滯后。

2.3 動(dòng)力系統(tǒng)的真實(shí)物理／化學(xué)過程的數(shù)值模擬

利用三維非定常CFD方法模擬完整的發(fā)動(dòng)機(jī)將可以形成虛擬發(fā)動(dòng)機(jī)實(shí)驗(yàn)的能力，這將有助于我們加深對(duì)各部件間相互干擾的理解，進(jìn)而改進(jìn)和優(yōu)化設(shè)計(jì)，提升發(fā)動(dòng)機(jī)整體性能。例如，普惠發(fā)動(dòng)機(jī)公司（Pratt＆Whitney）使用改進(jìn)的CFD方法，直接將昂貴的噴氣發(fā)動(dòng)機(jī)高壓實(shí)驗(yàn)次數(shù)削減了50%［9］。然而，在最近十幾年內(nèi)發(fā)動(dòng)機(jī)實(shí)驗(yàn)次數(shù)僅有10%的減少，其主要原因是用于飛機(jī)推進(jìn)的燃?xì)鉁u輪發(fā)動(dòng)機(jī)的流體力學(xué)問題本身比外流空氣動(dòng)力學(xué)更復(fù)雜；而且發(fā)動(dòng)機(jī)幾何構(gòu)型也更復(fù)雜，其由上千個(gè)貫穿整個(gè)渦輪機(jī)的活動(dòng)部件、燃燒室的多相反應(yīng)流以及渦輪葉片內(nèi)錯(cuò)綜復(fù)雜的冷卻通道組成［9］。

對(duì)于燃燒室內(nèi)復(fù)雜的湍流混合燃燒和多物理／化學(xué)現(xiàn)象（液體燃料分解、高溫氣體混合和化學(xué)反應(yīng)）的模擬，當(dāng)前普遍采用的RANS方法已不適應(yīng)，需要利用高保真度的LES方法。因此，美國在這方面開展了大量的前期研究工作，以發(fā)展復(fù)雜環(huán)境下湍流燃燒模擬的LES方法。1997年，由于當(dāng)時(shí)計(jì)算資源的限制，湍流燃燒的第一次大渦模擬僅限于對(duì)一個(gè)簡(jiǎn)化的同軸腔燃燒室內(nèi)的氣相燃燒的研究［22］；而到2007年，斯坦福大學(xué)和普惠公司合作，已能進(jìn)行一個(gè)真實(shí)的燃燒室（PW6000發(fā)動(dòng)機(jī)燃燒室）20度扇面的LES模擬，并與渦輪機(jī)組的RANS模擬相集成（耦合）［23］（圖2）。該模型中包含了注入的液體燃料如何分解成液滴，以及液滴的拉格朗日跟蹤、蒸發(fā)和燃燒等。

圖2 Stanford大學(xué)領(lǐng)導(dǎo)的DOE ASC項(xiàng)目中高保真度發(fā)動(dòng)機(jī)模擬模型分解圖。壓縮機(jī)和渦輪機(jī)采用RANS模擬，燃燒室采用LES方法模擬（取自文獻(xiàn)［4］）Fig.2 Decomposition of the engine for flow simulations for high fidelity simulations performed at Stanford University under the DOE ASC program.Compressor and turbine simulations are performed with RANS models；Combustor simulation is performed with LES（From Ref.［4］）

2010年前后，科學(xué)家們首次利用P級(jí)計(jì)算機(jī)（阿貢國家實(shí)驗(yàn)室的BlueGene／P）和LES方法模擬了完整的直升機(jī)燃燒室［9］，給出了發(fā)動(dòng)機(jī)內(nèi)的不穩(wěn)定湍流運(yùn)動(dòng)和聲波傳播的清晰描述（圖3）。在此基礎(chǔ)上，工程師們將可以設(shè)計(jì)相應(yīng)的控制方法以防止這種不穩(wěn)定現(xiàn)象的發(fā)生。然而，全發(fā)動(dòng)機(jī)湍流燃燒及整機(jī)進(jìn)排氣耦合模擬，尤其是渦扇發(fā)動(dòng)機(jī)非設(shè)計(jì)狀態(tài)的非定常模擬，仍是一個(gè)巨大的挑戰(zhàn)。對(duì)整臺(tái)發(fā)動(dòng)機(jī)進(jìn)行時(shí)間相關(guān)的模擬，將包括全環(huán)旋轉(zhuǎn)部件、二次流、燃燒化學(xué)和耦合熱傳導(dǎo)等復(fù)雜幾何和復(fù)雜流動(dòng)現(xiàn)象。與前述的第一個(gè)重大挑戰(zhàn)問題類似，為達(dá)到這一目標(biāo)，將需要在分離流的精確預(yù)測(cè)、復(fù)雜幾何外形處理、滑移和自適應(yīng)網(wǎng)格生成以及非線性非定常流CFD技術(shù)方面取得突破性進(jìn)展，并得到精細(xì)實(shí)驗(yàn)的驗(yàn)證與確認(rèn)。此外，在大范圍變時(shí)間尺度的內(nèi)流計(jì)算、燃燒過程和熱混合的預(yù)測(cè)精度方面也需同步發(fā)展。

圖3 直升機(jī)燃燒室噴油嘴附近的瞬時(shí)溫度（左）和壓力（右）分布（取自文獻(xiàn)［9］）Fig.3 Instantaneous temperature（left）and pressure（right）fields on a cylinder view plane passing through the injectors of the helicopter chamber（From Ref.［9］）

2.4 以CFD為核心的飛行器多學(xué)科多目標(biāo)優(yōu)化設(shè)計(jì)和概率設(shè)計(jì)

現(xiàn)代飛行器對(duì)飛行性能和飛行品質(zhì)的要求越來越高。隨著優(yōu)化理論的發(fā)展，優(yōu)化設(shè)計(jì)作為一種強(qiáng)大的設(shè)計(jì)工具已被廣泛地應(yīng)用于飛行器設(shè)計(jì)領(lǐng)域。這種方法可以在確定約束條件后，在計(jì)算機(jī)上自動(dòng)地進(jìn)行最優(yōu)化設(shè)計(jì)，減少對(duì)設(shè)計(jì)師經(jīng)驗(yàn)的依賴，提高設(shè)計(jì)效率，改善設(shè)計(jì)質(zhì)量，節(jié)約設(shè)計(jì)經(jīng)費(fèi)，因而受到世界各國的極大重視。

以CFD為核心的多學(xué)科多目標(biāo)優(yōu)化設(shè)計(jì)不僅涉及空氣動(dòng)力學(xué)，還涉及到結(jié)構(gòu)氣動(dòng)彈性變形、氣動(dòng)噪聲特性、隱身性能、推進(jìn)系統(tǒng)、飛行控制等等；對(duì)于高超聲速飛行器，還需要考慮氣動(dòng)熱環(huán)境與熱防護(hù)、氣動(dòng)物理特性等等。在當(dāng)前的計(jì)算機(jī)資源條件下，多學(xué)科優(yōu)化設(shè)計(jì)只能將現(xiàn)有的各學(xué)科低保真度模型耦合起來進(jìn)行計(jì)算；另一個(gè)采用低保真度模型的因素，是這些模型通常在較寬的范圍內(nèi)比高保真度模型更容易耦合，并且更魯棒。因此，各學(xué)科均采用高保真緊耦合的計(jì)算模型和方法是對(duì)未來E級(jí)計(jì)算的重大挑戰(zhàn)，尤其是需要考慮高保真度的非定常計(jì)算模型時(shí)［4］。

以旋翼的優(yōu)化設(shè)計(jì)為例，在前行的葉片上，會(huì)產(chǎn)生跨聲速效應(yīng)，而后行的葉片則會(huì)發(fā)生邊界層分離。在某些飛行條件下，葉片與前面葉片的尾渦接近和相交時(shí)會(huì)發(fā)生葉片／旋渦相互作用（Blade Vortex Interaction，BVI）。BVI是旋翼飛機(jī)的主要噪聲來源。由于旋翼空氣動(dòng)力學(xué)和結(jié)構(gòu)動(dòng)力學(xué)的強(qiáng)烈耦合，旋翼飛機(jī)設(shè)計(jì)往往需要多學(xué)科分析，這進(jìn)一步增加了復(fù)雜性。例如，邊界層分離引起的非定常氣動(dòng)力會(huì)降低旋翼性能并增強(qiáng)其葉片的疲勞。在極端情形下，由此導(dǎo)致的葉片顫振會(huì)限制直升機(jī)的飛行包線。作為典型的空氣動(dòng)力學(xué)和結(jié)構(gòu)動(dòng)力學(xué)耦合問題，旋翼飛機(jī)設(shè)計(jì)采用多學(xué)科分析已經(jīng)超過三十年，然而，直至今日，多學(xué)科模型仍然是低保真度的［24］。在2006年的綜述論文中，Strawn、Caradonna和Duque等［25］指出，目前在旋翼飛機(jī)設(shè)計(jì)中應(yīng)用CFD方法主要有如下兩個(gè)方面挑戰(zhàn)：一是后行葉片失速；二是旋翼尾跡演化。對(duì)葉片失速來說，困難在于適當(dāng)?shù)霓D(zhuǎn)捩和湍流模擬手段。旋翼尾跡演化的挑戰(zhàn)則在于，在許多個(gè)渦核長(zhǎng)度的距離上，對(duì)渦結(jié)構(gòu)對(duì)流的精確模擬。他們估計(jì)精確的尾跡對(duì)流模擬需要超過10億網(wǎng)格點(diǎn)，除非發(fā)展出動(dòng)態(tài)自適應(yīng)方法或其他渦保持方法。在實(shí)踐中，由于非定常流動(dòng)和葉片運(yùn)動(dòng)的存在，需要發(fā)展非定常問題的優(yōu)化方法。對(duì)于定常優(yōu)化問題，伴隨矩陣方法是一種較好的選擇。而對(duì)非定常問題，需要求解一個(gè)非定常伴隨矩陣，伴隨矩陣與非線性問題本身的時(shí)間推進(jìn)方向相反：從最后的模擬時(shí)間向初始條件推進(jìn)。因此，非定常伴隨矩陣方法的計(jì)算開銷令人生畏。假定流場(chǎng)和伴隨矩陣求解要求大致相等的計(jì)算量，相應(yīng)的優(yōu)化分析的計(jì)算量將是流場(chǎng)計(jì)算的100到200倍。由此估算，非定常旋翼飛機(jī)優(yōu)化設(shè)計(jì)問題，采用1億網(wǎng)格點(diǎn)模擬全360°葉片旋轉(zhuǎn)將需要10000個(gè)核在60個(gè)小時(shí)（墻上時(shí)鐘）內(nèi)完成［4］。其計(jì)算量無疑是驚人的。

概率設(shè)計(jì)方法應(yīng)用于航空航天工業(yè)的結(jié)構(gòu)分析和設(shè)計(jì)已經(jīng)有超過二十年的歷史［26］。例如，NASA已經(jīng)將概率設(shè)計(jì)的方法應(yīng)用于先進(jìn)發(fā)射系統(tǒng)的可靠性評(píng)估［27－28］。此外，NASA開發(fā)了一套概率結(jié)構(gòu)分析軟件（Numerical Evaluation of Stochastic Structures Under Stress，NESSUS），這一軟件已經(jīng)被用于航天飛機(jī)主發(fā)動(dòng)機(jī)關(guān)鍵結(jié)構(gòu)部件的靜、動(dòng)態(tài)分析。同樣，美國空軍采用概率設(shè)計(jì)工具來減小渦輪機(jī)葉輪設(shè)計(jì)中較大的安全因子，并將概率方法應(yīng)用于預(yù)測(cè)關(guān)鍵發(fā)動(dòng)機(jī)部件以及機(jī)身的使用壽命。相對(duì)于結(jié)構(gòu)分析和耐用性分析，關(guān)于氣動(dòng)熱的概率分析和設(shè)計(jì)仍然很少，其挑戰(zhàn)主要來源于物理現(xiàn)象的復(fù)雜性和由此導(dǎo)致的龐大計(jì)算量。

以下以渦輪葉片的壽命預(yù)測(cè)為例說明概率設(shè)計(jì)給高性能計(jì)算帶來的挑戰(zhàn)性問題。渦輪葉片的壽命預(yù)測(cè)是一個(gè)典型的多學(xué)科問題，要求模擬外部空氣動(dòng)力學(xué)（圍繞葉片的氣體通道）問題、冷卻通道流動(dòng)、熱傳導(dǎo)、結(jié)構(gòu)動(dòng)力學(xué)和壽命預(yù)測(cè)。葉片故障通常由局部現(xiàn)象主導(dǎo)，因而高保真度模擬將會(huì)是提高壽命分析可靠性的基本因素，然而遺憾的是，由于計(jì)算資源的限制，實(shí)際的分析中只能采用高低保真度模型混合的方法。葉片壽命對(duì)溫度的極端敏感，每升高20℃，發(fā)動(dòng)機(jī)壽命減少50%，而渦輪發(fā)動(dòng)機(jī)的葉片數(shù)量進(jìn)一步放大了低壽命葉片的影響。如果制造一個(gè)低壽命葉片的概率是p，那么對(duì)一組n個(gè)葉片的葉柵，具有至少一個(gè)低壽命葉片的概率為：1－（1－p）n。如果制造一個(gè)低壽命葉片的概率是1%，那么一組80個(gè)葉片的葉柵，出現(xiàn)至少一個(gè)低壽命葉片的概率大約為55%［29］。因此我們需要對(duì)葉片冷卻裝置的性能、特別是溫度進(jìn)行準(zhǔn)確的預(yù)測(cè)。文獻(xiàn)計(jì)算顯示，采用三維非定常Navier－Stokes方程模擬包含獨(dú)立冷卻孔和簡(jiǎn)化內(nèi)流通道（無渦流發(fā)生條）的一級(jí)渦輪，采用210萬的重疊網(wǎng)格，大約需要500CPU核小時(shí)。Burdet和Abhari估計(jì)，準(zhǔn)確模擬膜冷卻渦輪葉片所需要的網(wǎng)格點(diǎn)數(shù)在5000萬到1億［30］。如果我們假定概率方法作壽命預(yù)測(cè)需要1000次模擬，并且計(jì)算開銷主要來自CFD分析，那么保守估計(jì)概率壽命分析將需要10000個(gè)CPU核運(yùn)行2500個(gè)小時(shí)（墻上時(shí)間）［4］。由此可將，其龐大的計(jì)算量對(duì)現(xiàn)有的計(jì)算機(jī)資源是一種極大的挑戰(zhàn)。

2.5 基于CFD的飛行器氣動(dòng)聲學(xué)特性高精度模擬

噪聲問題是高速飛機(jī)面臨的主要問題，而湍流是飛機(jī)噪聲的主要來源。不幸的是，通過現(xiàn)代光學(xué)診斷技術(shù)，還無法測(cè)量時(shí)空數(shù)據(jù)來揭示氣動(dòng)噪聲的機(jī)理；只有高保真的模擬技術(shù)，如大渦模擬，甚至DNS，才能夠預(yù)測(cè)噪聲及其產(chǎn)生過程中湍流渦旋的具體細(xì)節(jié)。

與傳統(tǒng)的計(jì)算流體動(dòng)力學(xué)相比，氣動(dòng)聲學(xué)有很多獨(dú)特性，主要表現(xiàn)為：1）多尺度特征。聲場(chǎng)信號(hào)引起的物理量變化與流體介質(zhì)運(yùn)動(dòng)所引起的物理量變化相比相差巨大，比如馬赫數(shù)為1.5的噴流出口40倍直徑處的噪聲為124dB，聲波的脈動(dòng)速度與噴流的速度之比是1.5×10－4，壓力脈動(dòng)也具有類似的比值；2）噪聲頻帶很寬；3）衰減速度慢，傳播距離遠(yuǎn)。噪聲傳播距離比流體運(yùn)動(dòng)空間大很多。在近場(chǎng)，流體介質(zhì)的非定常運(yùn)動(dòng)產(chǎn)生聲波；在遠(yuǎn)場(chǎng)，聲波的運(yùn)動(dòng)幾乎是無色散無耗散的等熵運(yùn)動(dòng)；4）非定常特性。氣動(dòng)噪聲是流體介質(zhì)的非定常運(yùn)動(dòng)產(chǎn)生的，定常運(yùn)動(dòng)不會(huì)產(chǎn)生噪聲；5）對(duì)邊界條件敏感、難于處理。由于氣動(dòng)噪聲是一種微弱的信號(hào)，對(duì)邊界條件非常敏感，如果處理不當(dāng)則會(huì)產(chǎn)生很強(qiáng)的反射聲波。

這些特點(diǎn)構(gòu)成了對(duì)CFD的嚴(yán)峻挑戰(zhàn)，并形成了一個(gè)相對(duì)獨(dú)立的學(xué)科——計(jì)算氣動(dòng)聲學(xué)（CAA）。從“純”數(shù)值模擬的角度來看，計(jì)算氣動(dòng)聲學(xué)對(duì)格式的要求非常高，需要數(shù)值格式具有高階精度、高分辨率、低耗散、低色散特性；對(duì)超聲速問題，還需要格式能夠捕捉強(qiáng)激波，目前尚缺乏較為理想的計(jì)算格式。由于必須采用高階精度計(jì)算格式，且需要足夠密的計(jì)算網(wǎng)格，因此其計(jì)算量無疑是驚人的。正是由于當(dāng)前計(jì)算機(jī)條件的限制（當(dāng)然也有計(jì)算方法和模型不夠成熟的原因），目前的工程應(yīng)用中仍普遍采用Lighthill的聲比擬方法等獲取遠(yuǎn)場(chǎng)的聲學(xué)特性，少量的研究工作利用RANS、LES或RANS／LES混合方法進(jìn)行近場(chǎng)聲源的計(jì)算，遠(yuǎn)場(chǎng)傳播采用Euler方程進(jìn)行計(jì)算或直接用更簡(jiǎn)單的工程方法。

E級(jí)計(jì)算將對(duì)噪聲產(chǎn)生的機(jī)理研究帶來變革性的影響，并會(huì)在消減噪聲的方案設(shè)計(jì)中發(fā)揮重要作用。2010年，CFD工作者首次利用大渦模擬方法，對(duì)超聲速射流湍流噪聲進(jìn)行了直接數(shù)值模擬［9］。雖然模擬結(jié)果與實(shí)測(cè)噪聲數(shù)據(jù)基本吻合，但是對(duì)于噴嘴內(nèi)的流動(dòng)還沒有實(shí)現(xiàn)高分辨模擬，原因可能是網(wǎng)格分辨率不足。這種演示性計(jì)算已經(jīng)相當(dāng)費(fèi)力，并且僅限于非常簡(jiǎn)單的外形。隨著E級(jí)計(jì)算的來臨，高可信度工具不僅會(huì)用于了解和預(yù)測(cè)流動(dòng)所產(chǎn)生的噪聲，還能用于流動(dòng)和噪聲控制。

2.6 高超聲速飛行器氣動(dòng)熱環(huán)境／熱響應(yīng)／熱應(yīng)力等多物理場(chǎng)的一體化耦合計(jì)算

無論是傳統(tǒng)的戰(zhàn)略導(dǎo)彈還是新型大推力火箭，無論是載人航天飛行器還是新型臨近空間高超聲速飛行器，其不可避免地會(huì)涉及到氣動(dòng)熱環(huán)境的預(yù)測(cè)、熱傳導(dǎo)問題的分析和熱防護(hù)系統(tǒng)的綜合設(shè)計(jì)。傳統(tǒng)的設(shè)計(jì)模式是先根據(jù)飛行性能指標(biāo)設(shè)計(jì)氣動(dòng)外形，然后進(jìn)行氣動(dòng)熱環(huán)境的預(yù)測(cè)，根據(jù)氣動(dòng)熱環(huán)境選取相應(yīng)的防熱材料，進(jìn)行防熱結(jié)構(gòu)設(shè)計(jì)。如此循環(huán)迭代的周期很長(zhǎng)，而且為了安全起見，防熱系統(tǒng)設(shè)計(jì)往往過于保守，導(dǎo)致結(jié)構(gòu)重量過大、有效載荷減少。新型的設(shè)計(jì)模式應(yīng)該是在氣動(dòng)力、氣動(dòng)熱、熱傳導(dǎo)、熱應(yīng)力等的精確預(yù)測(cè)的基礎(chǔ)上，與飛行彈道和飛行控制耦合進(jìn)行氣動(dòng)／防熱系統(tǒng)的一體化設(shè)計(jì)。然而，遺憾的是，由于計(jì)算機(jī)條件的限制，目前尚無法實(shí)現(xiàn)真正意義上的一體化綜合設(shè)計(jì)。其中的主要挑戰(zhàn)表現(xiàn)為以下幾個(gè)方面：

1）復(fù)雜外形的氣動(dòng)熱環(huán)境精確預(yù)測(cè)。對(duì)于簡(jiǎn)單的高速聲速外形（如球錐等），傳統(tǒng)的工程估算方法亦能得到較好的結(jié)果。但是對(duì)于復(fù)雜外形高超聲速飛行器，由于其存在復(fù)雜的激波干擾、層流至湍流的轉(zhuǎn)捩等現(xiàn)象，表面熱環(huán)境的預(yù)測(cè)必須采用高精度的數(shù)值計(jì)算方法，由于熱流分布與邊界層內(nèi)的溫度梯度相關(guān)，因此對(duì)計(jì)算網(wǎng)格的質(zhì)量和數(shù)量具有更嚴(yán)格的要求，其收斂速度較常規(guī)氣動(dòng)力計(jì)算慢數(shù)倍，相應(yīng)的計(jì)算量是氣動(dòng)力計(jì)算的數(shù)倍甚至數(shù)十倍。另一方面，在高超聲速情況下，往往要考慮高溫?zé)峄瘜W(xué)非平衡效應(yīng)，由此需要考慮復(fù)雜的化學(xué)反應(yīng)動(dòng)力學(xué)模型、壁面燒蝕／催化模型；在更真實(shí)的情況下，還應(yīng)考慮湍流轉(zhuǎn)捩、壁面溫度變化等的影響，其本身就是一個(gè)計(jì)算量巨大的任務(wù)。

2）熱氣動(dòng)彈性耦合計(jì)算。高超聲速飛行器熱氣動(dòng)彈性問題受到越來越廣泛的關(guān)注，其涉及到非定常氣動(dòng)力、氣動(dòng)熱環(huán)境、結(jié)構(gòu)熱傳導(dǎo)和熱應(yīng)力／應(yīng)變等多物理場(chǎng)的耦合。有別于航空領(lǐng)域的氣動(dòng)彈性問題，在高超聲速氣動(dòng)加熱情況下，材料的屬性會(huì)隨著氣動(dòng)加熱、熱傳導(dǎo)的影響而發(fā)生變化，導(dǎo)致材料和結(jié)構(gòu)固有振動(dòng)模態(tài)及振動(dòng)頻率的變化，這反過來會(huì)影響機(jī)體和控制舵面的彈性變形。因此其耦合求解的難度和計(jì)算量都很大，目前尚處于初期研究階段。

3）沿彈道的熱防護(hù)系統(tǒng)性能分析。新型臨近空間飛行器將長(zhǎng)時(shí)間在高空熱環(huán)境中飛行，而飛行性能指標(biāo)又要求保持飛行器氣動(dòng)外形，即防熱材料應(yīng)盡可能不燒蝕或微燒蝕。因此，需對(duì)飛行器沿彈道的熱防護(hù)系統(tǒng)進(jìn)行性能分析。目前的方法只能是依據(jù)工程估算或少數(shù)彈道點(diǎn)的數(shù)值計(jì)算給出的熱環(huán)境，作為輸入邊界條件，在數(shù)量有限的離散彈道點(diǎn)上進(jìn)行熱傳導(dǎo)和熱應(yīng)力的分析，尚無法進(jìn)行非定常的雙向耦合計(jì)算，其主要原因是由于長(zhǎng)時(shí)間飛行導(dǎo)致的計(jì)算量過于龐大，而且耦合計(jì)算的代價(jià)太高。

3 E級(jí)CFD應(yīng)用面臨的挑戰(zhàn)

3.1 CFD大規(guī)模并行計(jì)算的特點(diǎn)及未來發(fā)展趨勢(shì)

根據(jù)現(xiàn)有的計(jì)算機(jī)體系結(jié)構(gòu)，結(jié)合CFD的自身特點(diǎn)，CFD大規(guī)模并行計(jì)算呈現(xiàn)以下主要特點(diǎn)：

隨著國企改革進(jìn)入深水區(qū)，“新電改方案”的通過標(biāo)志著電力市場(chǎng)進(jìn)一步開放，電網(wǎng)企業(yè)面臨著更多的挑戰(zhàn)。從內(nèi)生角度降低管理成本，提質(zhì)增效，以提升企業(yè)市場(chǎng)核心競(jìng)爭(zhēng)力成為在開放競(jìng)爭(zhēng)市場(chǎng)上取得競(jìng)爭(zhēng)優(yōu)勢(shì)的重要手段[1]。集約化能夠通過規(guī)模經(jīng)濟(jì)效益，降低管理成本；也能通過提高規(guī)范化水平，降低企業(yè)財(cái)務(wù)、審計(jì)風(fēng)險(xiǎn)；并且能夠統(tǒng)籌資源調(diào)配，有效配置提升資源利用率。在物資合同結(jié)算管理方面，省級(jí)電網(wǎng)企業(yè)作為集約化管理的重要環(huán)節(jié)，起到了承上啟下的作用。

1）基于網(wǎng)格分區(qū)的并行計(jì)算。隨著所涉及的流動(dòng)問題和物理模型越來越復(fù)雜，CFD工程應(yīng)用中的計(jì)算網(wǎng)格規(guī)模由數(shù)百萬已經(jīng)激增至數(shù)千萬，甚至數(shù)億。對(duì)于湍流的大渦模擬和直接模擬，計(jì)算網(wǎng)格已經(jīng)達(dá)到數(shù)十億，甚至數(shù)千億。對(duì)于如此龐大的網(wǎng)格規(guī)模，必須采用分區(qū)方法才能進(jìn)行并行計(jì)算。

2）普遍采用隱式計(jì)算方法。由于顯式計(jì)算方法穩(wěn)定性條件的限制，為了加速流動(dòng)模擬的收斂歷程，一般采用各種隱式計(jì)算方法，如ADI、LU－SGS、GMRES等等；即便是對(duì)于一些非定常問題，也普遍采用雙時(shí)間步方法，而子迭代中一般采用隱式方法。但是，在分區(qū)并行計(jì)算時(shí)交界面邊界條件的處理難以實(shí)現(xiàn)隱式，因此隱式算法的分區(qū)并行如何保證與串行計(jì)算的一致一直是研究的難點(diǎn)問題。

3）高保真度的物理／化學(xué)模型。CFD所計(jì)算的物理模型已經(jīng)由最初的線化位勢(shì)流方程、過渡到Euler方程和RANS方程、并逐步過渡到全NS方程，未來BGK方程、Boltzmann方程或許也將成為主流流動(dòng)控制方程。對(duì)于高超聲速流動(dòng)，還需要考慮復(fù)雜的化學(xué)反應(yīng)熱力學(xué)模型、材料燒蝕／侵蝕模型；對(duì)于發(fā)動(dòng)機(jī)內(nèi)流的湍流燃燒過程，需要考慮復(fù)雜的燃油霧化、燃油摻混、燃燒反應(yīng)模型等等。只有采用保真度更高的物理／化學(xué)模型才能更真實(shí)地模擬實(shí)際物理／化學(xué)過程。

4）高精度的計(jì)算方法。盡管以二階精度格式為基礎(chǔ)的CFD方法和軟件已經(jīng)在航空航天飛行器設(shè)計(jì)中發(fā)揮了重要的作用，但是由于二階精度格式的耗散和色散較大，因此對(duì)一些非常復(fù)雜的流動(dòng)現(xiàn)象（如旋渦、分離、湍流等），二階精度格式仍難以給出精細(xì)的流場(chǎng)結(jié)構(gòu)，尤其是對(duì)于湍流的大渦模擬、直接模擬，必須采用高階精度格式；在計(jì)算氣動(dòng)聲學(xué)領(lǐng)域，由于聲波具有小擾動(dòng)、寬頻特性和長(zhǎng)距離傳播等特點(diǎn)，二階精度格式無法準(zhǔn)確模擬流場(chǎng)的聲學(xué)特性，必須采用耗散和色散更小的高階精度計(jì)算格式。

5）CFD與其他學(xué)科的耦合并行計(jì)算。多學(xué)科多目標(biāo)優(yōu)化設(shè)計(jì)、數(shù)值虛擬飛行一體化計(jì)算、多介質(zhì)／多相流的數(shù)值模擬、自由界面問題求解、計(jì)算電磁流體力學(xué)、氣動(dòng)光學(xué)、計(jì)算氣動(dòng)聲學(xué)等等，無不涉及到CFD與其他學(xué)科的交叉融合。多物理場(chǎng)的耦合并行計(jì)算策略對(duì)計(jì)算結(jié)果的精度和效率將產(chǎn)生直接的影響。

3.2 E級(jí)計(jì)算的挑戰(zhàn)及需要突破的屏障

2010年4月，IBM公司的《Some Challenges on Road from Petascale to Exascale》報(bào)告［31］指出E級(jí)計(jì)算系統(tǒng)的五大挑戰(zhàn)，即訪存、通訊、可靠性、能耗及應(yīng)用。CFD數(shù)值模擬是高性能計(jì)算的主要應(yīng)用領(lǐng)域之一，其中的計(jì)算方法、物理模型、并行策略、軟件實(shí)現(xiàn)等均是重大挑戰(zhàn)性問題，在前面的論述已經(jīng)進(jìn)行了討論，在后文中還將涉及，因此此處暫且不表。以下就其它四個(gè)問題與CFD的關(guān)系進(jìn)行簡(jiǎn)要論述：

1）訪存墻問題。該問題仍然是提升計(jì)算速度的第一大難題。處理器的運(yùn)算速度和訪存速度之間極不匹配，CPU運(yùn)算速度達(dá)到0.2ns，而存儲(chǔ)器讀寫速度僅10ns；處理器單個(gè)引腳的信號(hào)傳輸速度和引腳數(shù)受限。多核處理器的出現(xiàn)只是提高了計(jì)算速度，不但沒有緩解訪存墻問題，反而使其變得更加嚴(yán)重［10］。而全機(jī)構(gòu)型的湍流模擬需要億量級(jí)（甚至數(shù)千億以上）的計(jì)算網(wǎng)格，因此對(duì)訪存速度提出了更高的要求。

2）通訊墻問題。超級(jí)計(jì)算機(jī)的規(guī)模不斷增加，互連網(wǎng)絡(luò)對(duì)計(jì)算性能的影響越來越大，E級(jí)計(jì)算對(duì)互連網(wǎng)絡(luò)提出了更高的要求，互連網(wǎng)絡(luò)已成為制約超級(jí)計(jì)算機(jī)發(fā)展的核心因素之一。分區(qū)并行計(jì)算必然涉及到分區(qū)間的信息通訊，尤其是在采用高階精度格式和高保真度的物理模型進(jìn)行計(jì)算時(shí)，通訊量更大，通訊速度直接影響并行效率。

4）能耗墻問題。資料顯示目前Titan的系統(tǒng)功耗為8.209MW。如果照此發(fā)展，E級(jí)系統(tǒng)功耗將達(dá)466.7MW，全年用電量40.88億千瓦時(shí)，相當(dāng)于長(zhǎng)沙2012年全市用電量的1／5。過高的功耗產(chǎn)生一系列問題，如穩(wěn)定性、可用性、可靠性將降低，冷卻成本將增加，使用成本將增加［10］。為了降低功耗，目前超級(jí)計(jì)算機(jī)的發(fā)展趨勢(shì)是采用異構(gòu)體系結(jié)構(gòu)，即通用處理器CPU和專用處理器（如GPU等）的混合結(jié)構(gòu)，而且普遍采用“眾核”技術(shù)（如MIC）。對(duì)比傳統(tǒng)的CPU并行計(jì)算，新型異構(gòu)體系結(jié)構(gòu)的并行計(jì)算策略更加復(fù)雜，如何充分發(fā)揮異構(gòu)系統(tǒng)的并行計(jì)算效能，是當(dāng)前急需解決的重大挑戰(zhàn)性問題。

訪存、通信、可靠性、能耗等問題嚴(yán)重制約著并行計(jì)算的可擴(kuò)展性，而可擴(kuò)展性是超大規(guī)模CFD并行計(jì)算需要突破的重要瓶頸問題之一。這些方面無疑涉及到計(jì)算機(jī)科學(xué)本身，同時(shí)亦涉及到CFD應(yīng)用，二者的緊密耦合是問題的關(guān)鍵所在。

4 CFD未來發(fā)展的思考

2014年初，NASA在其《CFD Vision 2030Study：A Path to Revolutionary Computational Aerosciences》的報(bào)告［17］中，列舉了未來需要重點(diǎn)發(fā)展的六大技術(shù)領(lǐng)域，即：1）高性能計(jì)算（HPC）；2）物理建模；3）數(shù)值算法；4）幾何與網(wǎng)格生成；5）知識(shí)提取；6）多學(xué)科分析與優(yōu)化（MDAO）。報(bào)告中結(jié)合E級(jí)計(jì)算的發(fā)展，提出了2030年前后的技術(shù)發(fā)展路線圖（圖4）。該報(bào)告對(duì)于我國CFD的發(fā)展具有很好的借鑒作用。

以上六個(gè)方面無疑是非常重要的研究領(lǐng)域，也是我國CFD界需要長(zhǎng)期努力的發(fā)展方向。但是，我國的CFD在這六大領(lǐng)域的發(fā)展極不平衡。首先在HPC硬件水平上我國已取得重大突破，但是HPC軟件水平仍相對(duì)較弱，尤其是CFD應(yīng)用軟件與HPC硬件的匹配方面仍十分落后；其次，我國CFD學(xué)者在計(jì)算格式的研究方面與國際水平相當(dāng)，部分研究成果躋身世界前列，但是在加速收斂技術(shù)研究方面明顯落后，如隱式計(jì)算方法大多采用傳統(tǒng)方法、Multigrid技術(shù)的應(yīng)用效果較國際先進(jìn)水平有較大差距等等；第三，我國CFD學(xué)者在物理建模方面投入有限，物理建模方面的進(jìn)展明顯落后，絕大多數(shù)CFD研究人員采用的仍是國外學(xué)者建立的各種物理（化學(xué)）模型，如湍流模型、轉(zhuǎn)捩模型、化學(xué)反應(yīng)模型、燃燒模型等；第四，我國CFD界對(duì)網(wǎng)格生成技術(shù)和以流場(chǎng)顯示為核心內(nèi)容的知識(shí)提取的研究關(guān)注不夠，僅有少量人員涉足該領(lǐng)域，目前CFD研究人員大多采用商用網(wǎng)格生成和流場(chǎng)顯示軟件，但是這些軟件對(duì)于超大規(guī)模網(wǎng)格生成、動(dòng)態(tài)網(wǎng)格生成、海量數(shù)據(jù)流場(chǎng)顯示等有較大的限制，而關(guān)于知識(shí)提取中最為重要的氣動(dòng)數(shù)據(jù)庫，國內(nèi)基本分散于各型號(hào)研制單位，尚無統(tǒng)一的綜合氣動(dòng)數(shù)據(jù)庫；第五，關(guān)于多學(xué)科耦合模擬和優(yōu)化，國內(nèi)相關(guān)單位開展了一些研究，初步形成了多學(xué)科多目標(biāo)優(yōu)化設(shè)計(jì)能力，但是對(duì)于全機(jī)構(gòu)型的整體優(yōu)化能力仍很弱，急需提升。

根據(jù)CFD和計(jì)算機(jī)科學(xué)當(dāng)前的發(fā)展趨勢(shì)和面臨的挑戰(zhàn)，結(jié)合我國的具體實(shí)際，作者僅從以下幾個(gè)方面談?wù)勎覀兊恼J(rèn)識(shí)。

4.1 高保真度的計(jì)算模型

隨著計(jì)算機(jī)技術(shù)和CFD本身的發(fā)展，CFD所求解的計(jì)算模型由最初的線化勢(shì)流方程、全速勢(shì)方程，逐步發(fā)展為Euler方程和RANS方程，近十年來進(jìn)一步發(fā)展為脫體渦模擬（DES）以及RANS／LES混合模擬，并向?qū)嶋H構(gòu)型的LES、DNS方向發(fā)展?；赗ANS的湍流模型仍將是用于預(yù)測(cè)復(fù)雜構(gòu)型大范圍流動(dòng)的標(biāo)準(zhǔn)方法。然而，對(duì)于大范圍的分離流動(dòng)，現(xiàn)有湍流模型的預(yù)測(cè)精度有限，仍需繼續(xù)發(fā)展和改進(jìn)湍流模型，尤其是雷諾應(yīng)力輸運(yùn)（RST）模型［17］。在可預(yù)見的2030年前，RANS／LES混合方法或許是能夠捕捉復(fù)雜外形更多流動(dòng)細(xì)節(jié)的最有希望的方法，研制基于RANS／LES方法的生產(chǎn)型軟件是可行的［17］。而實(shí)際構(gòu)型的LES和DNS在E級(jí)計(jì)算機(jī)上的實(shí)現(xiàn)仍非常困難，可行的計(jì)算模型是所謂的壁面模型大渦模擬（WMLES）。對(duì)于實(shí)際的流動(dòng)問題，除了前述的基本方程或模型外，還涉及到其它許多物理（化學(xué)）模型，如高超聲速流動(dòng)中涉及到熱化學(xué)非平衡反應(yīng)模型、壁面催化／燒蝕模型等，發(fā)動(dòng)機(jī)燃燒問題中涉及到湍流燃燒模型、兩相流霧化模型、火焰面模型等等；而對(duì)于稀薄流和過渡流區(qū)的模擬，CFD工作者們正努力求解由分子動(dòng)力學(xué)導(dǎo)出的BGK方程，甚至更高階的Boltzmann方程，期待建立連續(xù)流／過渡流／稀薄流統(tǒng)一計(jì)算模型。因此高保真度的計(jì)算模型是提高計(jì)算結(jié)果精準(zhǔn)度的關(guān)鍵問題之一，應(yīng)予以高度重視。

圖4 NASA的2030年CFD發(fā)展路線圖（取自文獻(xiàn)［17］）Fig.4 Technology development roadmap of NASA CFD through 2030（From Ref.［17］）

4.2 可高度并行化的高精度數(shù)值計(jì)算方法

數(shù)值計(jì)算新算法的發(fā)展將是實(shí)現(xiàn)2030目標(biāo)的關(guān)鍵。對(duì)于前述的重大挑戰(zhàn)性問題，僅靠高性能計(jì)算機(jī)的發(fā)展將不足以實(shí)現(xiàn)這些目標(biāo)，必須尋求新的計(jì)算方法。1）就傳統(tǒng)空間離散格式而言，高階精度格式無疑是重要的研究領(lǐng)域，其包括基于結(jié)構(gòu)網(wǎng)格的高階有限差分方法，基于非結(jié)構(gòu)／混合網(wǎng)格的高階有限體積、有限元方法，以及各種新型的混合方法等［32－34］。雖然高階精度格式提供了更高精度的潛力，但是其仍然存在魯棒性較差和計(jì)算成本過高等方面的問題，如何提高其對(duì)復(fù)雜外形計(jì)算的魯棒性是當(dāng)務(wù)之急。2）一些新穎的非傳統(tǒng)方法，如格子Boltzmann方法（LBM）、浸入邊界法（IBM）、無網(wǎng)格（Meshless）方法等或許能提供全新的解決途徑，因此需要深入研究其特殊應(yīng)用。3）需要特別指出的是，計(jì)算格式必須與計(jì)算網(wǎng)格、邊界條件等相匹配，否則無法實(shí)現(xiàn)全場(chǎng)的一致高精度。4）數(shù)值方法的可并行化是未來E級(jí)計(jì)算的重中之重。超大規(guī)模的并行計(jì)算是必然趨勢(shì)，如果一個(gè)計(jì)算格式在提升計(jì)算精度的同時(shí)，需要增加過多的周邊網(wǎng)格的信息，則這種格式的可并行度就會(huì)受到較大的限制。因此，發(fā)展高度“緊致”的計(jì)算格式是適應(yīng)超大規(guī)模并行化的優(yōu)先選擇。5）流場(chǎng)、結(jié)構(gòu)、飛行、控制、動(dòng)力、傳熱、防熱、聲學(xué)、光學(xué)、電磁等眾多學(xué)科的耦合計(jì)算將是未來的重要發(fā)展趨勢(shì)，發(fā)展多學(xué)科的高效耦合計(jì)算方法是當(dāng)前的研究重點(diǎn)之一。

4.3 高效的超大規(guī)模隱式并行計(jì)算方法

正如前述，為了提高計(jì)算效率，隱式計(jì)算格式是CFD工程應(yīng)用中的常用方法。盡管其已經(jīng)取得長(zhǎng)足發(fā)展，但是近10年度卻少有突破，尤其是在我國CFD界，高效的隱式計(jì)算方法研究仍相對(duì)落后，急需針對(duì)實(shí)際工程問題的計(jì)算開展深入研究。1）在時(shí)間離散格式方面，包括眾所周知的基于矩陣技術(shù)的隱式計(jì)算格式和各種加速收斂技術(shù)，如以GMRES為代表的Krylov方法、針對(duì)網(wǎng)格尺度和格式精度的hp－Multigrid方法等等，或者其他目前尚未可知的全新方法。2）隱式計(jì)算格式和各種加速收斂技術(shù)的可并行化至關(guān)重要，如何保證并行計(jì)算與串行計(jì)算結(jié)果的一致性一直是需要重點(diǎn)關(guān)注的問題。3）最為重要的是，與未來E級(jí)計(jì)算機(jī)異構(gòu)體系結(jié)構(gòu)相適應(yīng)的并行計(jì)算方法。E級(jí)系統(tǒng)將廣泛采用“流處理器”，其并行計(jì)算將是一種多級(jí)多層結(jié)構(gòu)，如MPI＋OpenMP＋CUDA＋……，或許還會(huì)出現(xiàn)更新的并行計(jì)算編程環(huán)境。如何適應(yīng)新型計(jì)算機(jī)體系結(jié)構(gòu)和編程環(huán)境就成為E級(jí)并行計(jì)算的關(guān)鍵所在。

4.4 高度自動(dòng)化的超大規(guī)模并行網(wǎng)格生成及自適應(yīng)技術(shù)

網(wǎng)格生成是數(shù)值模擬的第一步。文獻(xiàn)研究表明，網(wǎng)格生成的時(shí)間約占整個(gè)計(jì)算周期的60%－70%，因此其是制約CFD走向?qū)嶋H工程應(yīng)用的“瓶頸”問題。網(wǎng)格生成技術(shù)研究和網(wǎng)格生成軟件研制在20世紀(jì)90年代得到蓬勃發(fā)展，先后發(fā)展了多塊結(jié)構(gòu)網(wǎng)格、非結(jié)構(gòu)網(wǎng)格和混合網(wǎng)格技術(shù)，而網(wǎng)格生成軟件的市場(chǎng)化更是推動(dòng)了技術(shù)的發(fā)展，大大提升了離散復(fù)雜外形的網(wǎng)格生成能力。然而近年來，網(wǎng)格生成技術(shù)的突破基本處于停滯狀態(tài)，面對(duì)未來的E級(jí)計(jì)算，網(wǎng)格規(guī)模動(dòng)輒達(dá)到數(shù)十億，甚至千億以上，利用人工操作生成如此大規(guī)模的計(jì)算網(wǎng)格顯然是不現(xiàn)實(shí)的。為了將CFD應(yīng)用者從繁重的網(wǎng)格生成工作中解放出來，必須發(fā)展高度自動(dòng)化的網(wǎng)格生成技術(shù)。1）首先要建立CAD數(shù)模到表面網(wǎng)格生成的無縫連接，現(xiàn)有的CAD幾何描述往往存在幾何構(gòu)型不封閉、曲面碎片化等不足，需要發(fā)展自動(dòng)化的幾何數(shù)模修補(bǔ)技術(shù)。2）自動(dòng)化的表面和空間網(wǎng)格生成是提高網(wǎng)格生成效率的關(guān)鍵。然而無論是結(jié)構(gòu)網(wǎng)格還是非結(jié)構(gòu)網(wǎng)格，甚至混合網(wǎng)格，針對(duì)復(fù)雜外形粘性流動(dòng)模擬的計(jì)算網(wǎng)格生成的自動(dòng)化程度仍很低，人機(jī)交互費(fèi)時(shí)費(fèi)力。3）超大規(guī)模的并行網(wǎng)格生成是E級(jí)計(jì)算的基礎(chǔ)，在單臺(tái)微機(jī)和服務(wù)器上生成數(shù)十億以上的網(wǎng)格幾乎不可能，更何況千億量級(jí)的網(wǎng)格。4）網(wǎng)格自適應(yīng)技術(shù)將有效提高網(wǎng)格離散效率，尤其是局部各向異性網(wǎng)格自適應(yīng)技術(shù)。當(dāng)前，并行化的網(wǎng)格自適應(yīng)、與CAD緊耦合的曲面修正、動(dòng)態(tài)網(wǎng)格自適應(yīng)、基于伴隨方程的網(wǎng)格自適應(yīng)等技術(shù)是研究熱點(diǎn)。5）隨著高階精度格式的廣泛應(yīng)用，發(fā)展高階的曲邊界網(wǎng)格生成方法值得重視。6）動(dòng)態(tài)網(wǎng)格技術(shù)的自動(dòng)化、并行化、魯棒性將關(guān)系到未來復(fù)雜飛行器“數(shù)值虛擬飛行”模擬的成敗。

4.5 高度智能化的知識(shí)提取和三維虛擬現(xiàn)實(shí)顯示技術(shù)

P級(jí)和E級(jí)計(jì)算將生成海量的計(jì)算數(shù)據(jù)，為更有效地利用大規(guī)模CFD和MDAO在航空航天工程中的模擬結(jié)果，應(yīng)及早推進(jìn)數(shù)據(jù)知識(shí)提取的研究工作，其中主要包括流場(chǎng)可視化，數(shù)據(jù)庫的建設(shè)、管理和利用等。1）對(duì)于流場(chǎng)可視化，發(fā)展三維、并行、實(shí)時(shí)、虛擬可視化技術(shù)是當(dāng)前及未來的發(fā)展趨勢(shì)，而在生產(chǎn)型CFD軟件中直接引入可視化能力（如所謂的“原位可視化”），為分析者提供對(duì)流場(chǎng)更直觀、自然、方便、智能的顯示界面無疑是必須的。2）數(shù)據(jù)庫是進(jìn)入“大數(shù)據(jù)（Big Data）”時(shí)代的主要標(biāo)志，其中的數(shù)據(jù)是非常寶貴的財(cái)富，因此國際航空航天界對(duì)于氣動(dòng)數(shù)據(jù)庫的建設(shè)非常重視，所有來源于風(fēng)洞試驗(yàn)、數(shù)值模擬和飛行試驗(yàn)的數(shù)據(jù)均得到了很好的保存和利用。但是我國在這方面的投入明顯不足，尚未建成完整的氣動(dòng)數(shù)據(jù)庫，更不用說數(shù)據(jù)的開發(fā)與應(yīng)用了。這在很大程度上造成了數(shù)據(jù)資源的浪費(fèi)?？上驳氖?，我國空氣動(dòng)力學(xué)領(lǐng)域的“數(shù)據(jù)再利用”工程已經(jīng)提上議事日程，風(fēng)洞試驗(yàn)、數(shù)值模擬和飛行試驗(yàn)“三大手段”的數(shù)據(jù)融合、數(shù)據(jù)挖掘技術(shù)將有望發(fā)揮更為強(qiáng)大的作用。3）基于“大數(shù)據(jù)”的“深度學(xué)習(xí)（Deep Learning）”在互聯(lián)網(wǎng)、人工智能等領(lǐng)域研究火熱，將這些領(lǐng)域的研究成果推廣應(yīng)用于海量CFD數(shù)據(jù)的分析，或許能催生創(chuàng)新的研究成果。

4.6 通用的大規(guī)模并行CFD基礎(chǔ)軟件平臺(tái)開發(fā)

無論是計(jì)算模型還是數(shù)值方法，無論是網(wǎng)格技術(shù)還是流場(chǎng)顯示，歸根到底都需要利用計(jì)算機(jī)語言，開發(fā)相應(yīng)的CFD軟件。軟硬件的有機(jī)結(jié)合，才能實(shí)現(xiàn)“數(shù)值風(fēng)洞試驗(yàn)”，開展多學(xué)科多目標(biāo)“數(shù)值優(yōu)化設(shè)計(jì)”，實(shí)現(xiàn)多學(xué)科耦合的“數(shù)值虛擬飛行”。面對(duì)E級(jí)計(jì)算的來臨，傳統(tǒng)的“面向過程”的軟件設(shè)計(jì)思想已遠(yuǎn)不能滿足大型通用CFD軟件平臺(tái)開發(fā)的需求。正如前述，大型通用CFD軟件將涉及各種計(jì)算網(wǎng)格（結(jié)構(gòu)網(wǎng)格、非結(jié)構(gòu)網(wǎng)格、混合網(wǎng)格、動(dòng)態(tài)網(wǎng)格、自適應(yīng)網(wǎng)格、重疊網(wǎng)格、多重網(wǎng)格等等）、物理／化學(xué)模型（完全氣體、化學(xué)非平衡氣體、湍流模型、轉(zhuǎn)捩模型、RANS／LES混合模型、LES亞格子模型等等）、空間離散格式（有限差分、有限體積、有限元、二階和高階等等）、時(shí)間推進(jìn)算法（顯式Runge－Kutta，隱式ADI、LUSGS、GMRES，雙時(shí)間步方法，半隱半顯方法及其他加速收斂策略等等）、并行計(jì)算策略（網(wǎng)格自動(dòng)分區(qū)、MPI、OpenMP、CUDA等等）；對(duì)于多學(xué)科耦合計(jì)算和多學(xué)科多目標(biāo)優(yōu)化設(shè)計(jì)問題，還將涉及到結(jié)構(gòu)動(dòng)力學(xué)、數(shù)值傳熱學(xué)、燃燒動(dòng)力學(xué)、多相流體力學(xué)、電磁流體力學(xué)、飛行力學(xué)、飛行控制、數(shù)值優(yōu)化等等一系列計(jì)算技術(shù)；作為一個(gè)實(shí)用的工具系統(tǒng)，其還將涉及到計(jì)算作業(yè)管理、CAD數(shù)模構(gòu)建和網(wǎng)格自動(dòng)生成、交互式流場(chǎng)可視化、氣動(dòng)數(shù)據(jù)分析與入庫等等。要想在一個(gè)統(tǒng)一的CFD平臺(tái)上集成上述功能模塊，唯有采用“面向?qū)ο蟆钡能浖O(shè)計(jì)技術(shù)，將各功能模塊抽象為合適的“對(duì)象”，即各種“類（Class）”，并通過這些“類”派生出更加豐富的“子類”，對(duì)每個(gè)“類（子類）”進(jìn)行適度的封裝，才能保證軟件系統(tǒng)的通用性、可維護(hù)性和可擴(kuò)展性［35］。這是當(dāng)前和未來大型CFD軟件開發(fā)的必然趨勢(shì)。

為此，當(dāng)前需要開展以下方面的研究：1）通用CFD軟件的體系結(jié)構(gòu)和數(shù)據(jù)結(jié)構(gòu)研究。大型通用軟件的基礎(chǔ)是軟件的體系結(jié)構(gòu)和數(shù)據(jù)結(jié)構(gòu)，體系結(jié)構(gòu)構(gòu)建了整個(gè)軟件的框架結(jié)構(gòu)，而數(shù)據(jù)結(jié)構(gòu)貫穿于軟件體系結(jié)構(gòu)之中。合理的體系結(jié)構(gòu)將保證軟件的可擴(kuò)展性和易維護(hù)性，規(guī)范的數(shù)據(jù)結(jié)構(gòu)將保證數(shù)據(jù)的完整性，提高數(shù)據(jù)的利用效率。2）針對(duì)E級(jí)計(jì)算機(jī)異構(gòu)體系結(jié)構(gòu)的并行支撐庫開發(fā)。新型計(jì)算機(jī)異構(gòu)體系結(jié)構(gòu)導(dǎo)致并行計(jì)算更加復(fù)雜，非計(jì)算機(jī)專業(yè)人員難以全面掌握，因此有必要開發(fā)相應(yīng)的并行支撐庫，使得CFD研究者能更專注于自身領(lǐng)域的研究。3）在E級(jí)計(jì)算機(jī)上，超大規(guī)模的湍流數(shù)值模擬將涉及到百萬量級(jí)以上的計(jì)算單元并行。正如前述，如此規(guī)模的計(jì)算單元協(xié)同運(yùn)行，必然會(huì)出現(xiàn)故障單元，依據(jù)現(xiàn)有的計(jì)算模式，一旦一個(gè)計(jì)算單元出現(xiàn)故障，將導(dǎo)致整個(gè)計(jì)算任務(wù)的失敗。不僅浪費(fèi)資源，更有可能無法得到最終結(jié)果。因此，在軟件設(shè)計(jì)過程中引入“容錯(cuò)”算法是非常必要的。在某些計(jì)算單元出現(xiàn)故障時(shí)自動(dòng)復(fù)制到備份單元繼續(xù)計(jì)算，這樣才能維持整個(gè)作業(yè)的正常運(yùn)行。4）自動(dòng)化的CFD驗(yàn)證與確認(rèn)平臺(tái)研制。驗(yàn)證與確認(rèn)是CFD軟件研制的重要環(huán)節(jié)，而驗(yàn)證與確認(rèn)是一項(xiàng)系統(tǒng)工程，軟件每一處細(xì)小的改動(dòng)，均需要經(jīng)過系列算例的嚴(yán)格對(duì)比計(jì)算，方可在新版本的軟件中得到認(rèn)可。而目前的驗(yàn)證與確認(rèn)工作主要依靠開發(fā)者人工發(fā)送計(jì)算作業(yè)，手動(dòng)收集計(jì)算結(jié)果進(jìn)行對(duì)比分析，這占用了CFD軟件開發(fā)者的大量時(shí)間，嚴(yán)重影響了大型CFD軟件的開發(fā)效率。因此開展自動(dòng)化的測(cè)試及驗(yàn)證與確認(rèn)平臺(tái)的研制非常重要。

5 結(jié)束語

本文對(duì)當(dāng)前國內(nèi)外CFD高性能計(jì)算的現(xiàn)狀進(jìn)行了概述，探討了當(dāng)前CFD的重大挑戰(zhàn)性問題及未來發(fā)展趨勢(shì)，并對(duì)E級(jí)計(jì)算給CFD帶來的機(jī)遇與挑戰(zhàn)進(jìn)行了分析，最后就如何適應(yīng)未來E級(jí)計(jì)算，對(duì)CFD發(fā)展之路進(jìn)行了探討。

顯然，E級(jí)計(jì)算的來臨，將帶給計(jì)算流體力學(xué)革命性發(fā)展，由此將帶來流體力學(xué)、空氣動(dòng)力學(xué)的創(chuàng)新發(fā)展，進(jìn)而推動(dòng)航空航天飛行器設(shè)計(jì)的重大革新。但是，我們也應(yīng)該清晰地認(rèn)識(shí)到，要實(shí)現(xiàn)這一宏偉目標(biāo)仍有很長(zhǎng)的路要走，仍面臨眾多的重大挑戰(zhàn)。而解決這些挑戰(zhàn)性問題，僅靠CFD界的努力是遠(yuǎn)遠(yuǎn)不夠的，必須與計(jì)算機(jī)科學(xué)、計(jì)算和應(yīng)用數(shù)學(xué)、物理化學(xué)等學(xué)科的研究人員開展緊密的“協(xié)同設(shè)計(jì)（Co－design）”。

協(xié)同設(shè)計(jì)是E級(jí)計(jì)劃的關(guān)鍵組成部分。在邁向E級(jí)計(jì)算的征途中，有必要從早期系統(tǒng)設(shè)計(jì)階段就納入?yún)f(xié)同設(shè)計(jì)的理念，無論是計(jì)算機(jī)硬件系統(tǒng)還是計(jì)算機(jī)基礎(chǔ)軟件，無論是CFD應(yīng)用軟件還是相關(guān)領(lǐng)域的工程應(yīng)用，都需要多學(xué)科的協(xié)同設(shè)計(jì)。唯有此，才能保證E級(jí)計(jì)劃的成功。

雖然在邁向E級(jí)計(jì)算的征途中，我們會(huì)遇到前所未有的挑戰(zhàn)，但是我們有理由相信，E級(jí)計(jì)算是勢(shì)不可擋的發(fā)展趨勢(shì)，E級(jí)計(jì)算的實(shí)現(xiàn)必將帶來CFD和航空航天應(yīng)用領(lǐng)域的革命性突破。

［1］Computational Science：Ensuring America’s competitiveness.Report to the President［R］.President’s Information Technology Advisory Committee，June 2005.

［2］Shang J S.Three decades of accomplishments in computational fluid dynamics［J］.Progress in Aerospace Sciences，2004，40：173－197.

［3］Johnson F T，Tinoco E N，Yu N J.Thirty years of the development and application of CFD at Boeing commercial airplanes，Seattle［R］.AIAA 2003－3439.

［4］Mavriplis D J，Darmofal D，Keyes D，et al.Petaflops opportunities for the NASA fundamental aeronautics program［R］.AIAA 2007－4084.

［5］Lesieur M，Metais O，Comte P.Large－eddy simulations of turbulence［M］.Cambridge University Press，2005.

［6］Moin P，Kim J.Tackling turbulence with supercomputers［J］.Scientific American，1997，276（1）：62－68.

［7］Tinoco E N.The impact of high performance computing and computational fluid dynamics on aircraft development［EB／DB］.2009.http：／／www.casc.org／meetings／09sept／Edward＿Tinoco.ppt

［8］Haase W，Braza M，Revell A.DESider－a European effort on hybrid RANS－LES modeling，results of the European－union funded project，2004－2007［R］.Springer－Verlag Berlin Heidelberg，2009.

［9］The ASCAC Subcommittee on Exascale Computing.The opportunities and challenges of exascale computing［EB／DB］.2010.http：／／science.energy.gov／～／media／ascr／ascac／pdf／reports／Exascale＿subcommittee＿report.pdf（又見：田榮，黎雷生，王迎瑞等譯，百億億級(jí)計(jì)算機(jī)遇與挑戰(zhàn)［J］.信息技術(shù)快報(bào)，2012，10（3）：1－49）

［10］楊學(xué)軍.E級(jí)計(jì)算的挑戰(zhàn)與思考［R］.2012全國高性能計(jì)算大會(huì)（HPC China 2012），特邀報(bào)告.湖南張家界：2012，10.

［11］陳皖蘇，李利.歐洲E級(jí)計(jì)算概覽［J］.高性能計(jì)算發(fā)展與應(yīng)用，2012，2：2－5.

［12］Jameson A.The role of CFD in preliminary aerospace design［C］／／Proceedings of FEDSM 03 4th ASME JSME joint fluids engineering conference，F(xiàn)EDSM2003－45812，Hawaii，USA，2003.

［13］Kato C.Engineering applications of fully－resolved LES：present status and future perspectives［C］／／The eighth international conference on computational fluid dynamics，Chengdu，China，July 14－18，2014.

［14］Bermejo－Moreno I，Bodart J，Larsson J，et al.Solving the compressible Navier－Stokes equations on up to 1.97million cores and 4.1trillion grid points［C］／／SC13，November 17－21 2013，Denver，CO，USA.

［15］Larsson J，Bermejo－Moreno I，Lele S K.Reynolds－and Machnumber effects in canonical shock－turbulence interaction［J］.Journal of Fluid Mechanics，2013，717：293－321.

［16］Xue W，Ranjan R，Wang L.Ultra－scalable CPU－MIC acceleration of mesoscale atmosphere modeling on Tianhe－2［J］.IEEE Transaction Computers，2015，64：2382－2393.doi：10.1109／TC.2014.2366754.

［17］Slotnick J，Khodadoust A，Alonso J，et al.CFD vision 2030 study：apath to revolutionary computational aerosciences［R］.NASA／CR－2014－218178，2014.

［18］Salas M D.Digital flight：The last CFD aeronautical grand challenge［J］.Journal of Scientific Computing，2006，28（2／3）：479－505.

［19］Murman S M，Aftosmis M J，Nemec M.Automated parameter studies using a Cartesian method［R］.AIAA Paper 2004－5076，presented at the 22nd AIAA Applied Aerodynamics Conference，Providence，RI，August 2004.

［20］Morton S A，Eymann T A，Lamberson S，et al.Relative motion simulations using an overset multimesh paradigm with Kestrel v3［R］.AIAA 2012－0712.

［21］Dean J P，Clifton J D，Bodkin D J，et al.High resolution CFD simulations of maneuvering aircraft using the CREATE／AVKestrel solver［R］.AIAA 2011－1109.

［22］Pierce C D，Moin P.Large eddy simulation of a confined coaxial jet with swirl and heat release［R］.AIAA 1998－2892.

［23］Moin P，Iaccarino G.Complex effects in large eddy simulations［J］.Lecture Notes in Computational Science and Engineering，2007，56：1－14.

［24］Kunz D L.Comprehensive rotorcraft analysis：past，present，and future［R］.AIAA 2005－2244.

［25］Strawn R C，Caradonna F X，Duque E P N.Thirty years of rotorcraft computational fluid dynamics research and development［J］.Journal of the American Helicopter Society，2006，51（1）：5－21.

［26］Lykins C，Thomson D，Pomfret C.The air Force’s application of probabilistics to gas turbine engines［R］.AIAA 94－1440－CP，1994.

［27］Safie F M.Use of probabilistic design methods for NASA applications［J］.Reliability Technology，1992，28：17－24.

［28］Chamis C C.Probabilistic structural analysis methods for space propulsion system components［J］.Probabilistic Engineering Mechanics，1987，2（2）：100－110.

［29］Sidwell V，Darmofal D.The impact of blade－to－blade variability and assembly on turbine cooling performance［J］.ASME Journal of Turbomachinery，2005，127（4）：763－770.

［30］Burdet A，Abhari R.Three－dimensional flow prediction and improvement of holes arrangement of a film－cooled turbine blade using a feature－based jet model［J］.ASME Journal of Turbomachinery，2007，129（2）：258－268.

［31］Steinmacher－Burow B，Gara A.Some challenges on road from petascale to exascale［EB／DB］.http：／／www.physik.uni－regensburg.de／forschung／wettig／workshops／APO＿April2010／talks／20100404%20IQCD%20RegenburgStainmacher－Burowv07.pdf

［32］Zhang L P，He L X，Liu W，et al.Reviews of high－order methods on unstructured and hybrid grid［J］.Advances in Mechanics，2013，43（2）：202－236.in Chinese）張來平，賀立新，劉偉，等.基于非結(jié)構(gòu)／混合網(wǎng)格的高階精度格式研究進(jìn)展［J］.力學(xué)進(jìn)展，2013，43（2）：202－236.

［33］Ekaterinaris J A.High－order accurate，low numerical diffusion methods for aerodynamics［J］.Progress in Aerospace Sciences，2005，41：192－300.

［34］Wang Z J.High－order methods for the Euler and Navier－Stokes equations on unstructured grids［J］.Progress in Aerospace Sciences，2007，43：1－41.

［35］He X，Zhang L P，Zhao Z，et al.Research of general large scale CFD software architecture and data structure［J］.Acta Aerodynamica Sinica，2012，30（5）：557－565.（in Chinese）赫新，張來平，趙鐘，等.大型通用CFD軟件體系結(jié)構(gòu)與數(shù)據(jù)結(jié)構(gòu)研究［J］.空氣動(dòng)力學(xué)學(xué)報(bào)，2012，30（5）：557－565.

The opportunity and grand challenges in computational fluid dynamics by exascale computing

Zhang Laiping1，2，＊，Deng Xiaogang1，3，He Lei2，Li Ming2，He Xin1，2
（1.State Key Laboratory of Aerodynamics，China Aerodynamics Research and Development Center，Mianyang Sichuan 621000，China；2.Computational Aerodynamics Institute of China Aerodynamics Research and Development Center，Mianyang Sichuan 621000，China；3.National University of Defense Technology，Changsha Hunan 410074，China）

Exascale computer system will come into service in around 2020，and exascale computing will lead to transformational changes in computing scientific and scientific research.In Computational Fluid Dynamics（CFD），one of the main application fields of high performance computing，computing at the exascale promises dramatic advances in our capabilities to model and simulate complex phenomena of flows，at levels of fidelity that have the potential to dramatically change both our understanding and our ability to comprehend.Thus，there are almost certain to be great benefits to going to the exascale.In this paper，the opportunity and grand challenges in CFD were discussed with approaching of exascale computing.Firstly，the current progress of high performance computing in CFD was reviewed briefly.Secondly，the grand challenges and development tendency in CFD itself and applications of exascale computing in CFD were discussed.Finally，the suggestion for the development of future CFD was presented in the authors’opinion.In order to achieve the goal of exascale computing in CFD，the co－design of CFD，applied the applied math，the computer science，and the hardware community（including the hardware vendors）should be closely coupled in the exascale program.

exascale computing；high performance computing；computational fluid dynamics

V211.3

Adoi：10.7638／kqdlxxb－2014.0118

0258－1825（2016）04－0405－13

2015－02－14；

2015－03－23

國家自然科學(xué)基金（11532016，11272339）

張來平＊（1968－），研究員，博士生導(dǎo)師，主要從事非結(jié)構(gòu)／混合網(wǎng)格生成技術(shù)、基于非結(jié)構(gòu)／混合網(wǎng)格的計(jì)算格式、非定常流動(dòng)機(jī)理等方面的研究與應(yīng)用.E－mail：zhanglp＿cardc＠126.com

張來平，鄧小剛，何磊，等.E級(jí)計(jì)算給CFD帶來的機(jī)遇與挑戰(zhàn)［J］.空氣動(dòng)力學(xué)學(xué)報(bào)，2016，34（4）：405－417.

10.7638／kqdlxxb－2014.0118 Zhang L P，Deng X G，He L，et al.The opportunity and grand challenges in computational fluid dynamics by exascale computing［J］.Acta Aerodynamica Sinica，2016，34（4）：405－417.