劉天成 張群 代民果 宋德健

（英特工程仿真技術(shù)有限公司，大連 116000）

主題詞：工業(yè)仿真 有限元 并行計(jì)算 億級(jí)網(wǎng)格 發(fā)動(dòng)機(jī)氣缸 計(jì)算機(jī)集群

1 引言

汽車CAE貫穿于汽車研發(fā)設(shè)計(jì)的整個(gè)流程，CAE復(fù)雜度高、計(jì)算量大，對(duì)并行計(jì)算有很高要求。缸體作為汽車發(fā)動(dòng)機(jī)主體結(jié)構(gòu)，幾何結(jié)構(gòu)越來越復(fù)雜?，F(xiàn)代缸體結(jié)構(gòu)在傳統(tǒng)結(jié)構(gòu)基礎(chǔ)上，大多增加了油泵殼體、水泵殼體和各種回油道結(jié)構(gòu)。其凸臺(tái)根部、孔洞邊緣等倒角、倒圓處會(huì)產(chǎn)生應(yīng)力集中，水套底部拐角等處容易出現(xiàn)結(jié)構(gòu)設(shè)計(jì)上的應(yīng)力集中。對(duì)此有很多基于ANSYS、Altair等CAE仿真工具的相關(guān)研究[1-5]，但普遍存在計(jì)算模型偏小，計(jì)算準(zhǔn)確性仍有不足的問題。從有限元數(shù)學(xué)分析的角度看，在缸體薄壁、孔洞、結(jié)構(gòu)過渡的關(guān)鍵區(qū)域布置充分細(xì)的網(wǎng)格，是缸體全模型精細(xì)化分析的關(guān)鍵，也是確保其結(jié)構(gòu)可靠性耐久性的重要手段。這對(duì)計(jì)算提出了巨大挑戰(zhàn)。隨著計(jì)算技術(shù)的發(fā)展，使得對(duì)缸體全模型進(jìn)行億級(jí)網(wǎng)格建模，利用超級(jí)計(jì)算集群求解數(shù)千萬自由度的力學(xué)模型成為可能。

近年來，英特工程仿真技術(shù)有限公司開發(fā)的INTESIM5.0等國(guó)產(chǎn)CAE軟件在功能、精度以及高性能計(jì)算方面取得長(zhǎng)足進(jìn)步，不僅可以覆蓋ANSYS和Altair等國(guó)外商業(yè)軟件的絕大部分應(yīng)用領(lǐng)域，而且在大規(guī)模并行計(jì)算具有獨(dú)特優(yōu)勢(shì)，比如完全基于分布式內(nèi)存的高速I/O和并行預(yù)處理，有更大的并行計(jì)算規(guī)模等。本文采用國(guó)產(chǎn)工業(yè)仿真軟件INTESIM5.0，對(duì)某缸體分別建立26萬個(gè)網(wǎng)格單元、100個(gè)萬網(wǎng)格單元、1億個(gè)網(wǎng)格單元的3個(gè)CAE模型進(jìn)行靜力學(xué)仿真分析。首先基于26萬個(gè)網(wǎng)格單元模型，比較INTESIM與某商軟計(jì)算結(jié)果，以驗(yàn)證INTESIM計(jì)算結(jié)果的正確性。然后通過INTESIM 3個(gè)CAE模型計(jì)算結(jié)果對(duì)比，驗(yàn)證對(duì)于缸體這樣的重要零部件，進(jìn)行精細(xì)化建模分析的重要性和必要性。

2 缸體有限元模型

缸體基本結(jié)構(gòu)和材料參數(shù)如表1所示。

如表2所示，建立3個(gè)有限元網(wǎng)格模型，網(wǎng)格數(shù)量最多達(dá)到1億7百萬個(gè)。

3 INTESIM計(jì)算精度驗(yàn)證

INTESIM-Structure結(jié)構(gòu)分析模塊是其核心產(chǎn)品之一，是技術(shù)領(lǐng)先的自主研發(fā)結(jié)構(gòu)力學(xué)分析工具，具備強(qiáng)大的分析功能和豐富的模塊配置，能夠模擬復(fù)雜的固體力學(xué)問題，特別是結(jié)構(gòu)高度非線性問題，包括幾何大變形、材料非線性、接觸非線性問題。目前主要支持結(jié)構(gòu)穩(wěn)態(tài)線性和非線性分析、瞬態(tài)分析、模態(tài)分析、轉(zhuǎn)子動(dòng)力學(xué)分析、特征值屈曲分析、諧響應(yīng)分析、響應(yīng)譜分析和隨機(jī)振動(dòng)分析。

對(duì)于模型2，分別使用INTESIM和某商業(yè)軟件在Windows系統(tǒng)上進(jìn)行單機(jī)模擬，均采用直接法求解，計(jì)算所得合位移大小的空間分布分別如圖1所示。

圖1 合位移大小的空間分布

從圖1中對(duì)比結(jié)果可以看到，模型下部位移幅度較小，上部位移幅度較大，受直接支撐部分的位移幅度較小，受側(cè)面支撐部分的位移幅度較大，符合客觀規(guī)律。兩者合位移大小的最值基本相等，空間分布規(guī)律基本一致，相對(duì)殘差均約為10-11。由此INTESIM仿真計(jì)算的正確性得到驗(yàn)證。

4 INTESIM大規(guī)模并行計(jì)算

INTESIM-HPC高性能求解模塊是面向高性能計(jì)算硬件和大型CAE模型仿真需求開發(fā)的高級(jí)功能。采用網(wǎng)格重疊一層的ghost技術(shù)。計(jì)算區(qū)域劃分后相當(dāng)于把總體矩陣按行分配到每個(gè)處理器，每個(gè)子域內(nèi)的單元分析和總體矩陣的形式都是完全并行。在對(duì)整個(gè)結(jié)構(gòu)分區(qū)的過程中，同樣可以對(duì)邊界進(jìn)行分區(qū)施加，因此形成右端向量以及約束處理也可以完全并行實(shí)現(xiàn)。這樣，系數(shù)矩陣和右端項(xiàng)都分布存儲(chǔ)在各個(gè)處理器。這種數(shù)據(jù)的獨(dú)立性，還可通過并行輸入/輸出（I/O）進(jìn)一步提高程序性能。獨(dú)特的分布式并行排序算法，使得多物理場(chǎng)仿真高性能計(jì)算（High Performance Computing，HPC）的數(shù)據(jù)預(yù)處理完全基于分布式內(nèi)存，具有很好的載平衡，因此無需單獨(dú)的胖節(jié)點(diǎn)，直接在計(jì)算節(jié)點(diǎn)即可完成億級(jí)網(wǎng)格規(guī)模的預(yù)處理[6-8]。另一方面，數(shù)據(jù)常駐內(nèi)存，這一階段不存在硬盤I/O，省去數(shù)據(jù)文件的多次讀寫和胖瘦節(jié)點(diǎn)間轉(zhuǎn)移，可以迅速進(jìn)入求解迭代循環(huán)。

對(duì)于模型3，使用INTESIM在神威·太湖之光的商用計(jì)算系統(tǒng)的q_x86_vio_share隊(duì)列，使用25個(gè)計(jì)算節(jié)點(diǎn)（每節(jié)點(diǎn)16核）進(jìn)行了強(qiáng)擴(kuò)展測(cè)試（表3）。圖2展示了加速比S及并行效率E與進(jìn)程數(shù)n的變化關(guān)系。

表3 強(qiáng)擴(kuò)展測(cè)試

圖2 加速比與進(jìn)程數(shù)的變化

計(jì)算系統(tǒng)的CPU為Intel(R)Xeon(R)CPU E5-2630 v3@2.40GHz，求解方法采用共軛梯度法迭代求解。隨著并行規(guī)模增加到400個(gè)進(jìn)程，數(shù)據(jù)粒度不斷減小，通訊時(shí)間消耗不斷增加。如果以25個(gè)進(jìn)程定基，400個(gè)進(jìn)程的并行效率不低于30%，基本滿足大規(guī)模并行計(jì)算要求。

為了適配不同計(jì)算隊(duì)列，在q_x86_cn_sim隊(duì)列上，還進(jìn)行5節(jié)點(diǎn)120核測(cè)試。圖3為120進(jìn)程時(shí)以矩陣表達(dá)的通信結(jié)構(gòu)，共有870個(gè)非零位置，在這些位置上，進(jìn)程將觸發(fā)通信。通信矩陣的特點(diǎn)是主對(duì)角位置均為0，表示進(jìn)程自身與自身不發(fā)生通信。

圖3 120進(jìn)程時(shí)通信結(jié)構(gòu)矩陣

應(yīng)當(dāng)指出，實(shí)際收發(fā)的字節(jié)長(zhǎng)度為每次通信收發(fā)字長(zhǎng)的累加，約等于ghost網(wǎng)格點(diǎn)總數(shù)乘以每個(gè)網(wǎng)格點(diǎn)上所需交換的變量個(gè)數(shù)，以及整型字長(zhǎng)（4字節(jié)）或?qū)嵭妥珠L(zhǎng)（8字節(jié)）。本例中，ghost網(wǎng)格點(diǎn)總數(shù)為2 169 874個(gè)，若交換4個(gè)實(shí)型量，總字節(jié)長(zhǎng)度就超過1億字節(jié)，通信量非常大。如何隱藏通信，提升并行計(jì)算效率，是另一個(gè)需要研究的方向。

圖4是該模型被劃分為120個(gè)分區(qū)的效果圖。

圖4 缸體并行計(jì)算區(qū)域分解

圖5給出了120進(jìn)程計(jì)算得到的合位移大小空間分布。可見，其分布規(guī)律與第3節(jié)中的結(jié)果一致。不同n值對(duì)應(yīng)的結(jié)果相一致，不再詳細(xì)描述。

圖5 合位移大小的空間分布（n=120）

5 不同網(wǎng)格計(jì)算結(jié)果對(duì)比

表4給出了使用INTESIM分別求解模型1～3得到的合位移大小最大值和馮米塞斯（Von Mises）應(yīng)力最大值。

表4 模型1～3的位移和應(yīng)力最大值

由此可見，隨著網(wǎng)格規(guī)模的增大，合位移大小最大值和Von Mises應(yīng)力最大值均增大。這是因?yàn)橛邢拊獢?shù)學(xué)處理是基于空間離散、分片連續(xù)和細(xì)化的網(wǎng)格，提升了計(jì)算求解的逼近程度。從而使得應(yīng)力集中處的計(jì)算結(jié)果更加靈敏、精確，導(dǎo)致測(cè)得的最大值增大，并伴隨最小值減小。如果以模型3計(jì)算結(jié)果為基準(zhǔn)，模型1的位移最大值誤差為20.7%，Von Mises應(yīng)力最大值誤差為5.8%；模型2的位移最大值誤差為9.0%，Von Mises應(yīng)力最大值誤差為2.6%。這些誤差足以對(duì)設(shè)計(jì)優(yōu)化和后續(xù)其它分析產(chǎn)生影響，如高估使用壽命和強(qiáng)度極限。

6 結(jié)論

使用國(guó)產(chǎn)INTESIM5.0軟件的INTESIM-Structure結(jié)構(gòu)分析模塊，對(duì)某缸體小規(guī)模有限元模型、中等規(guī)模有限元模型和超大規(guī)模有限元模型進(jìn)行靜力學(xué)分析。與億級(jí)網(wǎng)格的超大規(guī)模模型計(jì)算結(jié)果相比，小規(guī)模模型和中等規(guī)模模型的位移和Von Mises應(yīng)力存在較大誤差。這個(gè)誤差可能對(duì)缸體設(shè)計(jì)優(yōu)化和后續(xù)的其它分析帶來比較負(fù)面影響。超大規(guī)模并行計(jì)算實(shí)現(xiàn)了以低時(shí)間成本獲得高精度仿真結(jié)果，對(duì)提升發(fā)動(dòng)機(jī)缸體的可靠性、耐久性的結(jié)構(gòu)優(yōu)化設(shè)計(jì)效率作用顯著。汽車其它零部件也應(yīng)盡可能建立精細(xì)有限元模型，借助高性能計(jì)算，分析出更精確的結(jié)果，提出更準(zhǔn)確的設(shè)計(jì)評(píng)估。

后續(xù)還將采取多種措施，稀疏矩陣分塊求解技術(shù)、通信隱藏技術(shù)和細(xì)粒度數(shù)據(jù)的線程加速技術(shù)，進(jìn)一步提高大規(guī)模并行計(jì)算效率。