張 婷，李端陽，孫華文，李健增

(1.國家超級計算天津中心，天津 300457；2.中水北方勘測設計研究有限責任公司，天津 300222)

在設計工程仿真領域，目前高端裝備產品設計復雜度、相關性、制造精度大大提高，國家知識產權保護制度越來越完善，為縮短工程設計周期、提高工程運行安全性、降低企業(yè)仿真計算軟硬件成本、提高行業(yè)內信息共享水平，越來越迫切地需要高性能仿真云平臺的支撐，本平臺基于”天河一號“系統，將高性能計算機與水利工程設計、工程仿真結合應用，對水利工程、水利裝備的設計、建造技術水平帶來了顯著提升。

不比不知道，一比嚇一跳。在茄子移栽后34天，洋豐百倍邦套餐肥展現了強勁效果。觀摩會當天，眾人冒著高溫，在新洋豐工作人員帶領下來到茄子示范田。剛進入茄子地，眾人就被左右兩塊茄子地長勢差距震驚了，示范田茄子植株明顯比對照田要高出一大截。在眾人驚奇之余，盧瓊珍高興地為觀摩人員介紹示范田和對照田的施肥方案。他一共租80畝地，其中一半轉租出去。因盧瓊珍是新洋豐肥料零售商，剩余40畝地在新洋豐技術員指導下，施用了百倍邦套餐肥。

為踐行“水利工程補短板，水利行業(yè)強監(jiān)管”水利改革發(fā)展總基調和“安全、實用”水利網信總要求，落實水利部大力推進智慧水利，針對水利工程仿真云技術從總體架構、物理架構、功能架構、應用架構、應用場景等5個維度進行深入梳理，并在國家超級計算天津中心“天河工程仿真云平臺”的基礎上搭建了“水利工程智能一體化仿真云應用平臺”，提升了水利行業(yè)工程仿真的云計算、云應用、云共享水平。

本平臺由中水北方勘測設計研究有限責任公司(原水利部天津院)與國家超級計算天津中心合作研發(fā)。

1 解決方案概述

1.1 方案概述

本項目是在天河工程仿真云平臺[1]的基礎上，結合實測采集數據與實驗數據，集成應用云計算、大數據與人工智能等信息技術，進一步面向水利行業(yè)的典型應用場景進行定制化開發(fā)，構建水利工程智能一體化仿真云應用平臺，面向水利行業(yè)提供便捷化、智能化的水利工程仿真應用服務。平臺包含1個模塊。

緩存服務器主要用于對用戶當前計算任務信息進行緩存，以提升數據訪問效率。

(1)通過集成已有的水利工程仿真專業(yè)軟件，針對水利工程仿真應用的典型性、復雜性應用場景進行定制化、流程化封裝[2]，形成面向水利工程領域的通用性仿真云平臺，可開展固體結構靜動力分析、復雜流動數值模擬、流固耦合問題分析等的高性能并行計算，極大地降低仿真應用門檻，依托云化的服務模式，極大地降低企業(yè)仿真應用的軟硬件成本。

(2)結合實測采集數據與實驗數據，通過大數據與人工智能等分析手段，建立全國水利工程數字孿生云服務計算模型，開展實時洪水演進數值模擬[3]，集成于全國洪水預報系統提供數據支撐，開展水利工程設施運行階段的結構穩(wěn)定性、可靠性等力學分析，為水利基礎設施安全監(jiān)測提供數據支撐。

雖然中國哲學并沒有明確指出主體性的含義，但是中國哲學中卻滲透著這種思想：格物、致知、誠意、正心、修身、齊家、治國平天下。想要達到完美的境界必須從外界現實中思考然后內化為自己內心的修養(yǎng)繼而將內化的修養(yǎng)發(fā)散出去。這樣一種中國哲學的描述實際上就是對主體性最好的詮釋：自覺考察，自主選擇，自覺涵養(yǎng)，自覺踐履。

用戶交互層重點實現基于瀏覽器的平臺交互前端，使終端用戶不安裝任何軟件及插件即可訪問水利工程智能一體化仿真平臺，同時對不同類型訪問終端進行適配，滿足不同類型用戶及移動辦公的需求。

(4)結合5G技術構建水利工程仿真云應用APP[7]，為水利行業(yè)仿真用戶提供無服務器計算體驗。

1.2 解決的技術難題

(1)解決平臺應用過程中面臨的千萬級復雜工況仿真優(yōu)化、千萬級特征數據存儲等數據規(guī)模龐大、數據格式復雜多樣、數據量動態(tài)增加、數據可靠備份等挑戰(zhàn)，研究實現融合備份的層次式動態(tài)可擴展存儲系統。

病蟲防控在獼猴桃生產中的作用和地位，絕大多數種植者都有認識，而且非常重視，舍得投入，但長期以來依賴化學手段進行的藥劑防治，已經到了藥盡其力而不見其效，越防越多、難以控制的惡性地步。國內外大量植保成功經驗證明，利用化學手段或單純依靠化學手段進行病蟲防治已成為傳統的、落后的，無法達到有效控制目的的短視行為。無論從消費者食品安全角度，還是現有生產種植現實看，全面推進綜合防治措施，大力提高農藝管理水平，增強果樹抗性，加大生物、物理防控力度，實施生態(tài)綠色種植，才是獼猴桃植保工作的出路，也是質量安全的源頭保證。

(2)為滿足水利工程領域對數據傳輸效率和服務安全、穩(wěn)定性要求，解決多行業(yè)應用數據安全防護問題，研發(fā)實現了重安全、強均衡的多層級網絡互聯與交換系統。

(2)研發(fā)了基于統一視圖的高彈性高可用PAAS云平臺，解決了跨平臺的融合設施集成管理、行業(yè)研發(fā)工具的多樣性需求等技術瓶頸，實現了在統一系統平臺下服務水利工程多領域多場景仿真。

1.3 創(chuàng)新點

1.3.1業(yè)務創(chuàng)新

(1)平臺面向水利工程領域提供通用性仿真資源服務，具有云化使用模式與流程化操作，在線付費與按需分配等靈活的資源配置，以及高性能的硬件資源與豐富的軟件資源池，改變以往使用本地服務器的方式，用戶無需事先固定投資，無需投入大量軟硬件資源與運維人員、無需投入專業(yè)性很強的技術人員即可快速完成計算任務。

(2)平臺具有集成開放性以及功能適應性，結合行業(yè)特點，可為水利工程各個專業(yè)領域建立適用性更強的行業(yè)專屬云平臺，提供專業(yè)仿真云服務；集成于全國洪水預報系統開展實時洪水演進數值模擬，為洪水預報提供數據支撐；集成于水利基礎設施安全監(jiān)測系統開展水利工程設施運行階段的結構穩(wěn)定性、可靠性等力學分析，為水利基礎設施安全監(jiān)測提供及時、可靠的數據支撐。

1.3.2流程創(chuàng)新

(1)通過云端封裝與可視化發(fā)布，解決以往應用超級計算機流程繁瑣、技術門檻較高的問題，用戶無需輸入linux命令、無需編輯腳本即可提交作業(yè)，資源使用、任務提交情況一目了然，余額、余時實時查詢。

(2)通過集成一體化分析系統、GPU虛擬化加速處理系統、云平臺門戶系統，構建可視化模型處理、界面化高性能計算等集仿真前端設計、計算、后端處理為一體的全流程仿真，極大地增加平臺的使用體驗。

歷史統計資料顯示,在中國占主導地位的階段,中國甘薯出口的單價與世界甘薯出口交易的平均水平基本相當．但2004年以后中國甘薯貿易的單價逐漸低于世界平均水平,且2010年以前這一差距不斷拉大．不過,隨后幾年我國甘薯貿易均價與國際平均水平之間的差異正在逐漸縮小,2016年以來已經連續(xù)兩年超過世界平均水平．2017年中國甘薯出口平均單價達1 257美元/t,是世界平均水平的1.5倍，如圖4所示．

(3)通過針對特定水利工程場景進行抽象云化，形成自動化計算處理流程，降低仿真工具的應用門檻，同時提供仿真模型的推薦配置參數及固化配置參數，使水利工程專業(yè)人員更多的關注于水利工程問題本身，而不用過多考慮仿真計算工具的使用方式及計算模型本身的參數配置。

1.3.3技術創(chuàng)新

(1)構建了高性能計算、云計算、大數據、人工智能融合支撐環(huán)境，解決了水利工程仿真計算性能要求高、數據規(guī)模大、數據共享困難[6]、安全管理難度大的問題，實現了對敏捷研發(fā)多元信息化需求的基礎支撐。

(3)為解決大規(guī)模多樣性計算任務對底層資源使用需求動態(tài)變化，導致的資源層大規(guī)模計算系統能耗和成本管理問題，研發(fā)多層級高效資源柔性配置技術。

(3)研發(fā)構建了水利工程典型仿真場景的流程化應用環(huán)境，降低平臺以及水利工程軟件的使用門檻。

2 系統架構

2.1 總體架構

總體分為8層，包括用戶交互層、任務管理層、參數配置及數據顯示層、數據采集與軟件部署層、計算應用層、運行環(huán)境層、資源調度層、及基礎環(huán)境層。平臺總體架構如圖1所示。

文書的背面文字為：“中統鈔當月支工錢肆……”。[注]前引李逸友編著《黑城出土文書(漢文文書卷)》，第189頁；杜建錄《中國藏黑水城漢文文獻整理研究》，第69～70頁。

(3)建立水利工程仿真軟件的研發(fā)平臺，提供開放、規(guī)范的接口服務，上層可快速集成SAAS應用[4]，支持軟件部署、測試以及快速云化應用，推動自主水利工程模擬軟件的研發(fā)進程與產業(yè)化應用。

大伙兒閑談，自然就談到了梨友。那鐵匠說：“我是大義府人。我記得清清楚楚，臘月三十那天，大義府被梨友破了。大義府在北疆，臘月已特別冷了，在外頭感覺耳朵癢，不能搓，一搓，耳朵就掉了。

任務管理層主要對基于超級計算機的水利工程仿真任務管理進行封裝，開發(fā)對應任務管理接口提供給平臺前端調用，以此實現基于平臺的水利工程仿真計算任務配置、提交、查看以及取消。

算例配置及數據顯示層重點對用戶從前端提交的水利工程仿真算例配置及數據顯示配置進行解析，通過參數轉換服務將配置轉換成所需的文件格式供水利工程仿真應用及數據可視化應用讀取，利用數據可視化服務響應用戶數據結果圖形交互操作發(fā)送指令至數據可視化應用實現對網格模型及計算結果的可視化操作。

數據采集與軟件部署層，數據采集主要對應洪水演進實時數據以及水利基礎設施運行階段的實時數據進行采集，并將數據輸入到水利工程一體化仿真云平臺中，開展洪水演進實時數值模擬以及水利工程實時動態(tài)安全監(jiān)測；軟件部署主要針對用戶開發(fā)的軟件，支持在線的部署，并發(fā)布到水利工程一體化仿真云平臺上，滿足用戶個性需求以及軟件的開發(fā)測試。

聯盟共舉辦兩屆“基于HIM的廣義BIM矩陣(GIM)論壇”、兩屆“中國BIM經理高峰論壇”，第一屆全國建筑業(yè)“互聯網+”技術展示會，2016建筑施工BIM應用項目觀摩會，參展“第十三屆國際綠色建筑與建筑節(jié)能大會暨新技術與產品博覽會”，協辦“buildingSMART 2017年香港國際BIM大賽暨高峰論壇”，協辦第四屆BIM國際技術交流會等，通過論壇展覽展示活動不斷擴大聯盟影響力。

計算應用層由通用水利仿真計算應用、洪水演進模擬應用、數據可視化應用組成，通用水利仿真計算應用可部署商業(yè)有限元軟件ABAQUS、ANSYS、LS-DYNA，商業(yè)計算流體力學軟件FLUENT，CFX和STAR-CCM+，開源程序有TRUBAL、DDA2D、NMM2D、Y2D/3D、SPHYSICS、openLBMflow、Palabos、OpenFVM、OpenFOAM、MFIX等；洪水演進模擬應用部署自主二維水流模型TWOM；數據可視化應用主要采用基于天河可視化平臺的后端數據可視化服務。

“我們喝的，是黃粱酒，還是黃梁酒？我們來到的這個小山村，是黃梁村，還是黃粱村？好妮妮你快給我講講！”上官星雨的聲音好聽，脆生生的，勝業(yè)坊里富人家小姐們的腔調，就像二月渭河柳樹下正在消融的春冰。她長得也好看，將臉上的灰泥洗去，還算是一個嬌俏伶俐的丫頭。

運行環(huán)境層根據不同類型的水利工程仿真應用需求實現自定義的動態(tài)運行環(huán)境配置，包括操作系統類型、程序編譯環(huán)境、應用并行計算環(huán)境等，從而解決應用間的運行環(huán)境沖突問題。

資源調度層通過對計算及存儲資源的動態(tài)調度來實現異構計算資源的管理，包括CPU計算節(jié)點、GPU計算節(jié)點、存儲節(jié)點及云計算節(jié)點等資源，以滿足水利工程仿真計算任務需求。

基礎環(huán)境層由“天河融合環(huán)境”的超級計算與云計算、大數據存儲所構成的基礎設施組成，平臺層面的基礎服務通過“天河”PAAS平臺進行定制化開發(fā)。

2.2 物理架構

基于“天河融合環(huán)境”所提供超級計算機與云平臺、大數據存儲互聯環(huán)境構建，主要由負載均衡服務器、WEB服務器、認證服務器、渲染服務器、消息隊列服務器、緩存服務器、數據庫服務器、文件服務器、Samba服務器及超級計算機(包括登錄節(jié)點、計算節(jié)點、存儲節(jié)點和高速互聯網絡等)組成。平臺物理架構如圖2所示。

圖2 平臺物理架構

水利工程一體化仿真計算平臺應用架構如圖4所示。

WEB服務器根據作用不同分為前端服務器和后端服務器，其中前端服務器主要用于部署水利工程仿真計算平臺用戶交互前端頁面服務；后端服務器主要用于部署水利工程仿真計算平臺任務管理接口服務以及配置參數轉換和計算數據可視化服務。

認證服務器主要用于對平臺訪問用戶的身份及權限進行驗證。

渲染服務器主要用于部署渲染應用服務，通過接收計算數據可視化服務發(fā)送的指令執(zhí)行渲染操作。

消息隊列服務器主要建立WEB后端服務器與超級計算機登錄節(jié)點間的消息通信及遠程對象調用機制，實現WEB服務對超級計算機計算作業(yè)的管理。

通過固定架,將焊接的電路板與8 cm扁錐腔體相連,組裝成實驗測試裝置,且保證實驗裝置的腔內氣體與外界氣體無交換。首先對CO2氣體傳感器的測試裝置進行標定。

(4)企業(yè)規(guī)模。企業(yè)規(guī)模對于重污染企業(yè)環(huán)境行為的影響也可以分為內外兩點。從企業(yè)內部來看，大規(guī)模重污染企業(yè)相較于小規(guī)模企業(yè)更為注重品牌效應，大規(guī)模重污染企業(yè)往往期望營造出良好的品牌形象，以品牌贏得公眾消費者的青睞，這也就是大型重污染企業(yè)對于良好的環(huán)境行為更加重視的原因。

數據庫服務器為水利工程仿真計算平臺提供數據庫服務，主要用于存儲用戶信息、計算任務信息以及計算應用相關的集成信息等持久化信息。

文件服務器用于存儲平臺上非水利工程仿真應用計算所需的文件，如用戶頭像、身份證等。

Samba服務器主要用于實現WEB服務器對超級計算機Luster存儲的訪問管理，用戶通過平臺配置的算例參數轉化成的應用輸入文件以及計算的結果文件都將存儲在超級計算機的Luster存儲上，采用Samba服務可以有效保證WEB后端服務器對這些數據的訪問。

2.3 功能架構

水利工程一體化仿真計算平臺功能架構如圖3所示，主要由用戶交互前端、應用集成后臺和數據管理后臺組成。

圖3 平臺功能架構

以嵌入工作開展監(jiān)督。工作初期，參加各單位相關會議，盡管做了準備，但業(yè)務和人員情況掌握仍然不夠深入，不充分掌握情況，監(jiān)督工作就浮在面上，精準監(jiān)督就是一句空話。之后我們加強各單位業(yè)務工作研究學習，利用與各單位工作互動，掌握工作實際運行情況，增進人員情況了解，逐步發(fā)揮駐的優(yōu)勢，做監(jiān)督單位的“知情人”“有心人”，以嵌入“風險點”、嵌入“關鍵點”開展工作。

應用集成后臺主要提供給平臺水利工程仿真應用研發(fā)及管理人員使用，通過可視化配置的方式將水利工程仿真應用集成至平臺后端的”天河融合環(huán)境“上，主要包括應用輸入配置參數的集成、數值計算應用的集成、應用運行環(huán)境的集成以及計算資源調度的集成。

用戶交互前端針對水利工程仿真計算需求提供給用戶可視化的計算任務管理模塊實現任務狀態(tài)的查看；計算應用管理模塊對可使用的計算應用進行管理、算例配置管理模塊進行算例設置以及計算結果管理模塊瀏覽及可視化結果文件；數據采集管理模塊主要用于數據的實時采集；軟件部署模塊用于用戶軟件的自定義安裝與發(fā)布。

從造紙術發(fā)明到無紙化時代，科技正在深入醫(yī)院的每一個褶皺。新上系統 10多個，系統改造 100多項，流程再造 20 多個。他們敲響“紙的盛世”喪鐘！

數據管理后臺重點實現了平臺數據庫數據及文件數據的在線管理，平臺管理員可通過登錄數據管理后臺對平臺用戶數據、應用數據、任務數據及結果數據進行維護與管理。

2.4 應用架構

負載均衡服務器主要用于將用戶訪問請求均衡地分布到各個WEB服務器上，來減輕單個WEB服務器上的負擔，從而消除WEB服務器之間的負載不平衡，提高整個平臺的響應速度與總體性能。

圖4 平臺應用架構

管理員用戶通過登錄應用集成后臺對水利工程仿真計算應用的參數配置、計算應用、運行環(huán)境以及資源調度需求進行配置，實現水利工程仿真計算應用的平臺集成。

結腸癌SW620細胞株購自American Type Culture Collection公司（編號：CLL-227），凍存于成都中醫(yī)藥大學附屬醫(yī)院中心實驗室。細胞以37℃溫水復蘇后，用含有10%胎牛血清、1%青-鏈霉素的DMEM培養(yǎng)基在37℃、5%CO2培養(yǎng)箱中長期培養(yǎng)。

普通用戶登錄用戶交互前端平臺進行算例配置，通過互聯網將配置參數提交至平臺后端服務驅動“自動化業(yè)務流”的執(zhí)行，最終實現水利工程仿真算例提交計算。這樣通過利用平臺后端對超級計算機的使用過程進行封裝，實現終端用戶對超級計算機的無感知使用，用戶只需了解平臺的使用方法及水利工程仿真計算配置即可實現超級計算環(huán)境下水利工程仿真計算及應用，可使非計算機專業(yè)的工程人員充分利用超級計算機實現水利工程仿真的計算并行和任務并行，極大提升水利工程仿真應用效率。

在此基礎上，通過實時數據采集，可以實現實時狀態(tài)的仿真模擬，針對洪水演進、水利工程運行階段安全監(jiān)測兩種典型應用場景開展應用，實現水利工程的數字孿生[5]；通過用戶研發(fā)軟件的部署發(fā)布，實現用戶軟件的在線測試與研發(fā)，助力自主水利工程仿真軟件的發(fā)展。

2.5 應用場景

包括三種應用場景，通用水利工程仿真計算、水利工程數字孿生平臺應用、水利工程仿真軟件開發(fā)(基于BIM+GIS平臺)。應用場景如圖5所示。

圖5 平臺應用場景圖

通用水利工程仿真計算可開展固體結構靜動力分析、復雜流動數值模擬、流固耦合問題分析：水工結構地震動力響應分析、高邊坡穩(wěn)定計算、灌區(qū)渠道凍脹破壞分析、土與結構動力相互作用分析、移動荷載作用下結構動力響應、飽和與非飽和地基動力響應分析、潰壩、洪水演進、通風與對流換熱、多相流、壩與庫水動力相互作用以及大型渡槽流固耦合振動問題、水利工程機械性能優(yōu)化設計、施工過程仿真等；水利工程數字孿生平臺基于實測數據，可開展實時洪水演進數值模擬，重大工程運行階段的結構強度、剛度、穩(wěn)定性、疲勞等分析；水利工程仿真軟件研發(fā)平臺可快速部署、發(fā)布、測試水工結構力學、流體力學、多物理場巖土力學等領域的模擬軟件。

3 關鍵技術的來源、原理、特點

(1)依托已經具備的云平臺、超級計算平臺和海量數據存儲的基礎，構建了具有獨立知識產權的超級計算、云計算與大數據存儲相融合的支撐服務環(huán)境，利用超級計算資源提供計算服務，云計算資源提供WEB應用部署及應用程序服務，大數據存儲提供多源異構數據的存儲服務。如圖6所示。

圖6 融合平臺網絡拓撲示意圖

(2)構建基于統一視圖的高彈性高可用PAAS平臺，通過服務支撐和服務接口API等方式提供信息化基礎設施服務和開放PAAS服務，涵蓋高性能計算、云主機、大數據分析等基礎服務，統一認證、資源調用、計費支付等開發(fā)支持服務。如圖7所示。

圖7 天河PAAS平臺功能組成

(3)構建水利工程典型應用場景的仿真流程化應用環(huán)境，將不同類型的應用服務分別部署到對應的資源池，使用戶業(yè)務根據需要分配在不同的環(huán)境資源上，通過統一任務管理實現服務的調度。利用超級計算機實現水利工程仿真計算，通過云計算實現水利工程仿真算例配置與結果查看的前端服務，超級計算機連接全局文件存儲系統、云計算連接云存儲。

4 應用項目名稱及應用情況

天津市天發(fā)重型水電設備制造有限公司：基于水利工程一體化仿真平臺構建水輪發(fā)電機葉輪優(yōu)化設計平臺，覆蓋水輪機葉片制造企業(yè)的設計過程，大幅度提高水輪機葉片制造業(yè)的設計服務能力。應用于涔天河電站水輪機三維CFD計算，整個機組的水力性能完全能夠滿足業(yè)主的要求，采用云的方式使設計周期縮短了30%，相關水輪機項目收入6900萬元，利潤率10.62%。2019年，合作完成了巴基斯坦數個不同規(guī)模水電站項目水輪發(fā)電機組的有限元設計及結構安全性復核。

5 結語

“水利工程智能一體化仿真云應用平臺”提升了水利工程仿真計算水平、降低了企業(yè)仿真計算軟硬件成本、提高了企業(yè)效益，構建了超級計算、云計算與大數據存儲相融合的支撐服務環(huán)境，提供了WEB應用部署及應用程序服務、大數據存儲提供多源異構數據的存儲服務，構建了基于統一視圖的高彈性高可用PAAS平臺和水利工程典型應用場景的仿真流程化應用環(huán)境，實現了基于超級計算機和云計算的水利工程仿真算例配置與結果查看的前端服務，創(chuàng)建了3種應用場景包括通用水利工程仿真計算、水利工程數字孿生平臺應用、水利工程仿真軟件開發(fā)(基于BIM+GIS平臺)。

隨著水利工程仿真模型、水利工程數字孿生模型體系的不斷完善和水利工程仿真軟件的深入應用，“水利工程智能一體化仿真云應用平臺”在水旱災害防御、水資源管理、河湖管理、工程管理、水土保持等水利業(yè)務應用中，結合實時感知數據，依托超算中心強大的計算資源，為水環(huán)境、水生態(tài)、水安全、水工程提供更有效、更及時甚至實時的仿真模擬分析結果，為水利行業(yè)強監(jiān)管提供分析、預警、決策的可靠科學依據。