■ 劉婷 付強(qiáng)/中國航發(fā)研究院

高性能計算是一個國家科技水平發(fā)展的重要標(biāo)志，它很早便應(yīng)用于航空發(fā)動機(jī)的研發(fā)，可以縮短研發(fā)周期和降低研發(fā)成本，是航空發(fā)動機(jī)研發(fā)的關(guān)鍵技術(shù)手段。與此同時，高性能計算在航空發(fā)動機(jī)研發(fā)的應(yīng)用中依然面臨著一些挑戰(zhàn)。

航空發(fā)動機(jī)的研發(fā)正在從傳統(tǒng)的試錯式設(shè)計向預(yù)測設(shè)計轉(zhuǎn)變，建模與仿真技術(shù)是研發(fā)過程中必不可少的環(huán)節(jié)。隨著對發(fā)動機(jī)性能指標(biāo)要求的不斷提升，以及縮短研制周期和降低經(jīng)費(fèi)的需求，未來進(jìn)行航空發(fā)動機(jī)研發(fā)時所使用的仿真技術(shù)將朝著更復(fù)雜的趨勢發(fā)展，即利用高保真建模提升對物理過程的認(rèn)識深度、利用多學(xué)科設(shè)計優(yōu)化產(chǎn)生最佳設(shè)計、利用虛擬樣機(jī)建模降低研制費(fèi)用、風(fēng)險和周期。目前來看，只有高性能計算技術(shù)才能滿足上述需求。

高性能計算概述

高性能計算的內(nèi)涵與特點(diǎn)

美國信息技術(shù)與創(chuàng)新基金會于2016年發(fā)布了一份高性能計算報告，其中提出高性能計算（HPC）是指需要使用“超級計算機(jī)”和大規(guī)模并行處理技術(shù)，通過計算機(jī)建模、仿真和數(shù)據(jù)分析來解決復(fù)雜計算問題的系統(tǒng)。目前通常將使用計算資源超過1T（每秒執(zhí)行1012次算數(shù)浮點(diǎn)運(yùn)算）的計算過程稱為高性能計算。高性能計算將多種技術(shù)結(jié)合在一起，包括計算機(jī)架構(gòu)、程序、算法以及單一系統(tǒng)下的應(yīng)用軟件等，可以快速有效地解決復(fù)雜問題。臺式計算機(jī)或工作站通常只包含單個處理芯片（中央處理單元或CPU），而HPC系統(tǒng)實(shí)質(zhì)上代表CPU組成的網(wǎng)絡(luò)，每個CPU包含多個計算核以及本地內(nèi)存來執(zhí)行各種軟件程序。超級計算機(jī)上運(yùn)行的軟件程序被劃分成許多較小的獨(dú)立計算任務(wù)，可以在這些核上同時執(zhí)行，稱為“線程”?，F(xiàn)代超級計算機(jī)可能包含10萬個計算核甚至更多，為了使超級計算機(jī)有效運(yùn)行，其計算核必須精心設(shè)計，以便有效地傳遞數(shù)據(jù)。

HPC的特點(diǎn)可以歸納為以下幾個方面。

一是提高仿真精度。HPC系統(tǒng)可以在一個問題上部署數(shù)百、數(shù)千甚至數(shù)百萬個處理器，將設(shè)計決策從不確定的近似轉(zhuǎn)變?yōu)榫_的解決方案。

二是縮短計算時間。一個復(fù)雜的問題用臺式機(jī)計算時可能需要運(yùn)行數(shù)天時間，但在HPC系統(tǒng)上可以在數(shù)小時甚至數(shù)分鐘內(nèi)完成相同的工作。

三是耦合解決方案。臺式機(jī)或許能為較大系統(tǒng)的一部分建模，但HPC系統(tǒng)可以同時對系統(tǒng)的多個部件進(jìn)行實(shí)時建模。計算“多物理場”時所有部件并行計算會縮短設(shè)計周期，同時提高設(shè)計質(zhì)量。

四是提升結(jié)果置信度。對設(shè)計產(chǎn)品驗(yàn)證時通常需要大量模擬來縮小結(jié)果的“不確定性范圍”。與臺式機(jī)相比，HPC系統(tǒng)可以執(zhí)行10萬倍以上的模擬，這些高分辨率的計算提供了無與倫比的統(tǒng)計信心。

五是實(shí)現(xiàn)設(shè)計優(yōu)化。只有HPC系統(tǒng)才能讓設(shè)計人員高效、經(jīng)濟(jì)地比較數(shù)百或數(shù)千種設(shè)計，從而在龐大的設(shè)計空間快速鎖定優(yōu)化的設(shè)計方案。

因此，高性能計算特別適用于計算密集型研究領(lǐng)域，尤其是在模擬復(fù)雜、迭代、多變量物理系統(tǒng)的行為方面不可或缺，在航空航天、能源、氣象等領(lǐng)域一直占據(jù)著重要地位。

高性能計算發(fā)展歷程

超級計算機(jī)的運(yùn)行速度在過去20年中呈指數(shù)增長。在1993年時，世界上最快的超級計算機(jī)速度僅達(dá)到59.7千兆次；到了20世紀(jì)90年代末，最快的超級計算機(jī)才打破T級屏障。但到2005年年底，最快的超級計算機(jī)已達(dá)到P級（每秒執(zhí)行1015次浮點(diǎn)運(yùn)算）范圍。當(dāng)前，中國、歐盟、日本和美國都在向E級計算（每秒執(zhí)行1018浮點(diǎn)運(yùn)算）發(fā)展，近期我國的“天河三號”E級原型機(jī)系統(tǒng)已在國家超級計算天津中心完成研制部署（如圖1所示），將逐步進(jìn)入開放應(yīng)用階段，中國的百億億次計算即將來臨。

圖1 “天河三號”高性能計算機(jī)系統(tǒng)

航空發(fā)動機(jī)研發(fā)對高性能計算的需求

在國家層面上，美國已將高保真建模、仿真與高性能計算作為提升其制造業(yè)全球競爭力的關(guān)鍵技術(shù)。2009—2010年，美國成立國家數(shù)字工程與制造聯(lián)盟（NDEMC），由GE公司、波音公司、洛克希德-馬丁公司等制造企業(yè)聯(lián)合相關(guān)高校、研究機(jī)構(gòu)、政府部門等HPC理事會咨詢會員共同組成。NDEMC開展了一系列高性能計算能力發(fā)展策略研究，發(fā)表了5份白皮書，并先后策劃了多個專項計劃，旨在推動國家高性能計算能力在制造企業(yè)中的應(yīng)用。與此同時，包括我國在內(nèi)的許多國家也建立了公私合作關(guān)系，旨在推動本國制造業(yè)廣泛使用HPC。

在企業(yè)層面上，GE公司、羅羅公司和普惠公司等已經(jīng)在高保真建模、仿真和高性能計算等方面獲得了先進(jìn)生產(chǎn)力和競爭優(yōu)勢。正如GE公司的研發(fā)人員提到，公司正在通過對發(fā)動機(jī)的各個部件（壓氣機(jī)、燃燒室、渦輪等）進(jìn)行全面建模來縮短發(fā)動機(jī)的設(shè)計周期，并且通過模擬技術(shù)非常有效地檢測發(fā)動機(jī)的設(shè)計缺陷，使得GE公司的發(fā)動機(jī)壽命增加了兩倍，由此所節(jié)約的成本超過1億美元。但大量的仿真應(yīng)用需要高性能計算技術(shù)的支撐，例如，對發(fā)動機(jī)的壓氣機(jī)進(jìn)行優(yōu)化替代設(shè)計方案的評估需要3.1×1018浮點(diǎn)運(yùn)算，或者在1T的速度下持續(xù)運(yùn)算一個月；而對于整臺發(fā)動機(jī)設(shè)計方案進(jìn)行評估，則需要50T級的持續(xù)計算能力。GE全球研發(fā)中心的技術(shù)總監(jiān)加里·倫納德指出，HPC技術(shù)對于發(fā)動機(jī)渦輪性能的改善使得公司每年在燃油/燃?xì)庀牧可辖档?%～4%，這將為用戶節(jié)省30億～60億美元的費(fèi)用，且超級計算機(jī)已經(jīng)使GE公司的新型發(fā)動機(jī)研發(fā)周期縮短至少半年時間，因此HPC可能已成為GE公司目前最重要的設(shè)計手段。同樣地，羅羅公司從單個部件和子系統(tǒng)的設(shè)計、分析、優(yōu)化到整機(jī)的模擬也都依賴高性能計算，尤其是對于復(fù)雜幾何形狀的高保真建模和多物理、多學(xué)科仿真。在設(shè)計周期內(nèi)，上述建模和分析過程必須在可接受且極具挑戰(zhàn)性的時間尺度和精度內(nèi)完成，且執(zhí)行模擬的平臺必須具有魯棒性、穩(wěn)定性、可擴(kuò)展性和可靠性，羅羅公司認(rèn)為HPC是唯一能滿足如此高要求的計算資源。

在學(xué)科技術(shù)發(fā)展層面，航空航天業(yè)是將計算流體力學(xué)（CFD）應(yīng)用于設(shè)計過程的先驅(qū)之一，其主要動機(jī)一直是減少昂貴的物理試驗(yàn)（如風(fēng)洞試驗(yàn)）和在設(shè)計周期內(nèi)建造原型機(jī)的數(shù)量，目前CFD技術(shù)已經(jīng)朝著高保真的仿真方向發(fā)展，亟須高性能計算能力作為支撐。在20世紀(jì)70年代早期，跨聲速機(jī)翼的計算（使用流動方程的線性無黏假設(shè)）證明了CFD在節(jié)約成本和提升設(shè)計質(zhì)量的潛力。對于基本控制方程的連續(xù)精化近似應(yīng)用于復(fù)雜三維模擬，從非線性非黏性近似開始，并在20世紀(jì)90年代以雷諾平均納維-斯托克斯（RANS）方法達(dá)到頂峰。雖然RANS方法仍然是航空航天應(yīng)用CFD的行業(yè)標(biāo)準(zhǔn)，但因受到湍流模型的不確定性影響，至少對于工程實(shí)踐中使用的當(dāng)前模型而言，僅通過使用試驗(yàn)或直接數(shù)值模擬（DNS）數(shù)據(jù)進(jìn)行校準(zhǔn)，不能使其準(zhǔn)確度進(jìn)一步提升。此外，由于湍流模型精度的限制，即使通過增加計算網(wǎng)格的空間和時間分辨率，也不一定能提高RANS方法的預(yù)測精度。這就引發(fā)了航空航天研究人員對另一種湍流計算方法——大渦模擬技術(shù)（LES）的關(guān)注。LES是通過求解低通濾波的納維-斯托克斯方程和質(zhì)量守恒方程直接計算大尺度場，并結(jié)合唯象模型來解釋小的未解析尺度對大尺度場的影響。但LES在求解平滑壁附近的小渦結(jié)構(gòu)方面存在缺陷，因?yàn)樗枰cDNS相當(dāng)?shù)木薮缶W(wǎng)格分辨率。由于這種限制，業(yè)界又發(fā)展了混合RANS/LES方法。不斷進(jìn)步的CFD能力在20世紀(jì)90年代幫助普惠公司將航空發(fā)動機(jī)驗(yàn)證所需的臺架試驗(yàn)數(shù)量減少了50%。然而在過去的10年內(nèi)，普惠公司在發(fā)動機(jī)研發(fā)過程中所使用的臺架試驗(yàn)次數(shù)僅減少10%，這說明當(dāng)前的行業(yè)標(biāo)準(zhǔn)模擬工具在解決由于航空發(fā)動機(jī)可操作性和性能閾值達(dá)到極限時出現(xiàn)的關(guān)鍵技術(shù)挑戰(zhàn)的能力方面已經(jīng)趨于穩(wěn)定。為了加速航空發(fā)動機(jī)行業(yè)的發(fā)展，新的基于高保真仿真的工程設(shè)計工具，如LES和混合RANS/LES必須成為工程設(shè)計周期的標(biāo)準(zhǔn)組件，而這需要高性能計算水平的支撐。

圖2 CREATE高壓壓氣機(jī)數(shù)值模擬

高性能計算在航空發(fā)動機(jī)中的典型應(yīng)用

壓氣機(jī)

2011年，賽峰集團(tuán)對CREATE高壓壓氣機(jī)在設(shè)計工況下的非穩(wěn)態(tài)流動情況進(jìn)行模擬（如圖2所示）。模擬采用非穩(wěn)態(tài)URANS方法，網(wǎng)格數(shù)量高達(dá)6億，在IBM Blue Gene/P超級計算機(jī)上運(yùn)行125萬個CPU小時，使用2048個計算核，計算時間不到一個月；2014年，賽峰集團(tuán)對CREATE高壓壓氣機(jī)1/8扇區(qū)連同試驗(yàn)裝置進(jìn)行了喘振工況下的數(shù)值模擬，動葉轉(zhuǎn)了118圈后獲得喘振的一個周期，與試驗(yàn)值132圈相差10.6%；計算共耗時100萬CPU小時，約兩個月。

燃燒室

2008年，歐洲科學(xué)計算研究中心（CERFACS）與賽峰集團(tuán)合作，使用由CERFACS和法國石油研究所（IFP）共同開發(fā)的非結(jié)構(gòu)化代碼AVBP，對直升機(jī)發(fā)動機(jī)的全環(huán)燃燒室點(diǎn)火與火焰?zhèn)鞑ミ^程進(jìn)行模擬（如圖3所示）。使用網(wǎng)格數(shù)量為1900萬，計算在Cray XT3超級計算機(jī)上開展，調(diào)用了700個處理器，整個點(diǎn)火序列使用了11.2萬CPU小時，相當(dāng)于160h的實(shí)際運(yùn)行時間。

圖3 不同時間序列下燃燒過程模擬

2014年，GE公司全球研發(fā)中心計算燃燒實(shí)驗(yàn)室的研究人員與康奈爾大學(xué)合作，利用勞倫斯利弗莫爾國家實(shí)驗(yàn)室的Seirra和橡樹嶺國家實(shí)驗(yàn)室（OLCF）的Titan超級計算機(jī)進(jìn)行航空發(fā)動機(jī)燃燒室中燃油噴嘴的設(shè)計（如圖4所示）。圖4（a）中燃油噴霧的數(shù)值模擬在Sierra上進(jìn)行，研究人員使用了50萬～100萬CPU小時的模擬時間；圖4（b）是使用Seirra和Titan對燃油噴嘴內(nèi)部物理過程進(jìn)行數(shù)值模擬，使用的時間和處理能力相當(dāng)于同時運(yùn)行10000臺常規(guī)計算機(jī)超過9個月。這些高保真的計算機(jī)模擬有助于GE公司的設(shè)計人員了解燃料和空氣如何混合和燃燒，從而提高發(fā)動機(jī)的效率，并最終減少試驗(yàn)次數(shù)。

圖4 超級計算在燃油噴嘴設(shè)計中的應(yīng)用

渦輪

2013年，GE公司全球研究中心與橡樹嶺國家實(shí)驗(yàn)室合作，利用后者的Jaguar超級計算機(jī)開展4級低壓渦輪非定常流動仿真（如圖5所示），使用的代碼是GE公司內(nèi)部研發(fā)的葉輪機(jī)設(shè)計專用程序Tacoma。為了在簡化計算量的同時不過于降低保真度，計算時只分析1/14扇區(qū)，總共包含8個葉片排的67個葉片通道，總網(wǎng)格數(shù)約為2億。軟件調(diào)用了Jaguar的大約8000多個處理器，計算時間約為80h，占Jaguar可用處理器的3.5%左右。

多部件應(yīng)用

2010年，CERFACS對燃燒室進(jìn)行了建模仿真，并考慮了與第一級高壓渦輪導(dǎo)葉的相互作用（熵、渦量和噪聲）。計算時僅考慮18個燃燒器中的一個（如圖6所示），使用自研軟件AVBP，網(wǎng)格數(shù)量為590萬；2017年，賽峰集團(tuán)使用Onera的結(jié)構(gòu)化代碼elsA，對風(fēng)扇/短艙進(jìn)行氣動聲學(xué)仿真，研究進(jìn)氣道結(jié)構(gòu)對氣動噪聲的影響，計算時采用的網(wǎng)格數(shù)為7000萬，利用國家高等教育計算中心（GENCI）的超級計算機(jī)，調(diào)用了600個處理器，計算時間持續(xù)200h。

圖5 4級低壓渦輪非定常流動仿真

圖6 燃燒室/渦輪氣動模擬

整機(jī)應(yīng)用

2007年，普惠公司與斯坦福大學(xué)基于美國能源部國家核安全局（NNSA）的ASCI計劃對PW6000整機(jī)進(jìn)行CFD模擬，其中壓氣機(jī)和渦輪使用RANS計算，而燃燒室使用LES方法，兩者基于一個耦合的多代碼、多物理場集成環(huán)境實(shí)現(xiàn)數(shù)據(jù)傳輸。使用勞倫斯利弗莫爾國家實(shí)驗(yàn)室的超算資源，網(wǎng)格數(shù)9400萬，使用300萬CPU小時計算時間。

高性能計算資源的應(yīng)用

GE公司、普惠公司、羅羅公司等先進(jìn)航空發(fā)動機(jī)企業(yè)均購置了自己的高性能計算設(shè)備，如GE公司全球研究中心于2011年購買了一臺Cray XE6m超級計算機(jī)，用于支持其各學(xué)科仿真研究。除此以外，每一個企業(yè)內(nèi)部都擁有一支高性能計算和建模團(tuán)隊，致力于高性能計算硬件、軟件開發(fā)和系統(tǒng)部署，以輔助工程部門更好地模擬發(fā)動機(jī)的物理特性。

即便如此，企業(yè)內(nèi)部的高性能計算資源仍然難以滿足巨大的計算需求，需要來自國家的資助，因此建立了許多國家級的高性能計算中心。發(fā)達(dá)國家通過制定高性能計算資源共享的戰(zhàn)略，資助本國企業(yè)使用HPC資源，如美國政府于2010年制定了“新型計算對理論和試驗(yàn)的影響”（INCITE）計劃，為全球需要大量計算機(jī)時間、支持資源和數(shù)據(jù)存儲的學(xué)術(shù)機(jī)構(gòu)、政府機(jī)構(gòu)和企業(yè)提供獎勵，以實(shí)現(xiàn)科學(xué)和工業(yè)競爭力的轉(zhuǎn)型進(jìn)步。類似的計劃還有橡樹嶺國家實(shí)驗(yàn)室工業(yè)HPC合作伙伴計劃和歐洲高級計算伙伴關(guān)系計劃等。

發(fā)動機(jī)制造公司基于上述計劃，通過與國家實(shí)驗(yàn)室和大學(xué)合作，獲得高性能計算硬件、軟件和技術(shù)資源，如GE公司通過相關(guān)計劃分配獲得了2000萬h的處理時間來預(yù)測低壓渦輪的不穩(wěn)定性。除了GE、普惠等發(fā)動機(jī)制造企業(yè)，美國也十分重視中小企業(yè)的高性能計算能力發(fā)展，為此也制訂了相應(yīng)的計劃，如“藍(lán)領(lǐng)計算”計劃主要幫助民營中小型企業(yè)以可承受的成本獲得HPC技術(shù)和資源。

隨著云計算等新一代信息技術(shù)的發(fā)展，訪問HPC資源的模式也在逐步發(fā)生改變，“云端”HPC資源正成為可能，即企業(yè)不再需要為其分散于世界各地的研發(fā)制造機(jī)構(gòu)重復(fù)購買計算集群并安排專門的維護(hù)人員，只需在企業(yè)部署一套高性能計算資源，利用云服務(wù)（IaaS、PaaS、SaaS）為其提供按需使用的服務(wù)，以及快速擴(kuò)展、收縮或釋放配置資源的能力。當(dāng)然，云計算仍然處于發(fā)展的初期階段，在工程領(lǐng)域尤其是航空發(fā)動機(jī)領(lǐng)域應(yīng)用時，需要重點(diǎn)考慮諸如安全性、知識產(chǎn)權(quán)保護(hù)、可靠性、存儲和許多其他挑戰(zhàn)。

高性能計算面臨的挑戰(zhàn)

高性能計算已經(jīng)廣泛應(yīng)用于航空發(fā)動機(jī)的研制過程中，能夠在較短時間內(nèi)為設(shè)計人員呈現(xiàn)出更高尺度分辨率、高時間保真度的物理現(xiàn)象，但仍然無法完全滿足當(dāng)前及未來發(fā)動機(jī)研制的需求。一方面是物理機(jī)理存在不足，比如非定常流動下對于邊界層分離的精確建模能力尚有欠缺等。另一方面則是HPC技術(shù)應(yīng)用于航空發(fā)動機(jī)設(shè)計時其本身所面臨的挑戰(zhàn)，具體有以下幾點(diǎn)。

一是硬件系統(tǒng)功耗。當(dāng)前最先進(jìn)的計算系統(tǒng)會消耗大量的功率以盡可能地擴(kuò)大規(guī)模，使用了大規(guī)模的結(jié)構(gòu)化組件，且無法提供必要的計算和通信速度水平。因此未來需要開發(fā)先進(jìn)的HPC硬件技術(shù)，特別關(guān)注功耗、錯誤保護(hù)和恢復(fù)。

二是高水平軟件提取能力。下一階段，高性能計算能力將朝著E級計算發(fā)展，系統(tǒng)復(fù)雜性的增加需要更高水平的自動化，使得用戶能夠更簡便地獲取計算資源。目前所開發(fā)的軟件的基礎(chǔ)架構(gòu)無法擴(kuò)展到未來HPC系統(tǒng)的復(fù)雜程度，且其抵御錯誤的能力不足。因此需要持續(xù)開展中間件技術(shù)研究，特別是操作系統(tǒng)、編譯器、通信和I/O庫以及部署和監(jiān)測系統(tǒng)。

三是先進(jìn)的編程環(huán)境。未來HPC生態(tài)系統(tǒng)開發(fā)的另一個關(guān)鍵組成部分是開發(fā)基本的、高度可擴(kuò)展和抵御錯誤的算法，可分解的軟件架構(gòu)和編程環(huán)境，使研究者能夠在合理的抽象層次上表達(dá)算法。

四是軟件代碼可擴(kuò)展性。未來的HPC系統(tǒng)將需要更大規(guī)模的并行化。但即使在當(dāng)前的多核平臺上，也非常缺乏魯棒的、可擴(kuò)展的求解器，尤其是CFD求解器。因此需要開發(fā)能夠平衡負(fù)載和通信的并行軟件代碼，且具有模塊化的特點(diǎn)，能夠允許用戶輕松透明地替換組件。

五是缺乏可擴(kuò)展的前處理和后處理方法。為了簡化和加速整個仿真的工作流程和航空發(fā)動機(jī)的設(shè)計過程，必須解決基本可擴(kuò)展的前處理和后處理方法，包括前段的幾何表示和網(wǎng)格生成，以及后端的大型數(shù)據(jù)集的可視化、數(shù)據(jù)庫生成和一般知識提取。

六是無法訪問HPC資源以進(jìn)行代碼開發(fā)?？煽康卦L問高性能資源對于設(shè)計、測試、展示和應(yīng)用新的仿真技術(shù)至關(guān)重要，因?yàn)樗惴ǖ倪x擇和軟件實(shí)施策略直接受軟件開發(fā)過程中可用硬件類型的影響。目前很少有代碼能夠利用HPC硬件，同時又推動對吞吐量或容量計算的需求，因此需要為高度可擴(kuò)展的軟件開發(fā)程序分配一部分HPC計算資源。

結(jié)束語

高性能計算已成為航空發(fā)動機(jī)研發(fā)所必須的關(guān)鍵技術(shù)，利用HPC進(jìn)行高保真數(shù)值仿真和設(shè)計空間尋優(yōu)，對提升航空發(fā)動機(jī)設(shè)計水平、降低研發(fā)周期和經(jīng)費(fèi)的意義不言而喻。雖然目前高性能計算和航空發(fā)動機(jī)基本理論的發(fā)展均面臨挑戰(zhàn)，導(dǎo)致HPC在航空發(fā)動機(jī)中的應(yīng)用仍受到一定局限。但可以預(yù)見，隨著關(guān)鍵技術(shù)的不斷突破，未來高性能計算在航空發(fā)動機(jī)領(lǐng)域的應(yīng)用前景將更加廣闊。