白漢利, 陳曉夢,2, 蒲 巧,*

(1.中國空氣動力研究與發(fā)展中心, 綿陽 621000; 2.西南科技大學 計算機科學與技術(shù)學院, 綿陽 621000)

0 引 言

當前，我國經(jīng)濟發(fā)展已經(jīng)由高速增長階段進入了高質(zhì)量發(fā)展階段，國家的發(fā)展更加依賴自主創(chuàng)新，尤其是科學技術(shù)自主創(chuàng)新。在這種宏觀環(huán)境下，我國航空、航天、兵器、地面交通、能源、環(huán)保、制造等空氣動力學相關(guān)專業(yè)的資助研發(fā)投入大幅增長，各類型號、新產(chǎn)品、新技術(shù)、新概念不斷涌現(xiàn)，面臨一系列復(fù)雜的空氣動力學問題，迫切需要自主研發(fā)以CFD(Computational Fluid Dynamics)為核心的多學科耦合的大型軟件系統(tǒng)，并配套建設(shè)高性能計算機系統(tǒng)，構(gòu)建空氣動力數(shù)值模擬平臺，形成數(shù)值模擬、數(shù)值試驗、數(shù)值飛行、多學科融合和協(xié)同優(yōu)化等能力，支撐相關(guān)產(chǎn)業(yè)轉(zhuǎn)型升級，這也是國家數(shù)值風洞項目(National Numerical Windtunnel，NNW)致力于解決的問題[1-2]。

隨著高性能計算硬件由P級計算(PFLOPS,運算速度每秒千萬億次)向E級計算(EFLOPS,運算速度每秒百億億次)發(fā)展[3-4]以及CFD軟件的拓展，其應(yīng)用需求逐漸從單一功能向多學科耦合模擬、大規(guī)模并行計算、高精度和高分辨率以及充分利用計算資源等方面轉(zhuǎn)變。對此，國內(nèi)外在提高硬件計算能力的同時，也對相關(guān)的CFD軟件和數(shù)值模擬平臺不斷進行更換，使其具備面向E級計算機高性能計算的能力。如國外的DLR項目Digital-X，集成了流體力學模擬、結(jié)構(gòu)力學模擬、多學科優(yōu)化等7大領(lǐng)域的軟件包，借助合適的高保真、多學科仿真方法，通過數(shù)值計算，確定飛機的飛行特性，實現(xiàn)飛機在虛擬計算機環(huán)境中的首次飛行，降低了實際研發(fā)成本[5]；典型的數(shù)值模擬軟件如ANSYS Workbench、ABAQUS、Nastran等通過對高性能計算環(huán)境中間件的建立[6-7]，集成了網(wǎng)格劃分、CFD模擬、后處理技術(shù)，實現(xiàn)了對流體力學、結(jié)構(gòu)動力學、結(jié)構(gòu)熱等應(yīng)用場景的分析模擬；國外開發(fā)的科學計算工作流系統(tǒng)如Kepler[8]、Trident[9]、Pegasus[10]、Taverna[11]、Vistrails[12]等，支持科研過程中的復(fù)雜步驟按照邏輯關(guān)系順序進行自動執(zhí)行計算與模擬分析，現(xiàn)已在天文、氣象、材料、物理、生物等多個領(lǐng)域應(yīng)用。

此外，國內(nèi)陳飆松教授團隊一直致力于計算力學的科學研究和工程應(yīng)用的SiPESC平臺[13-14]，實現(xiàn)了求解器集成、有限元求解器研發(fā)、性能優(yōu)化等模塊，并完成了大量計算分析軟件集成案例；安世亞太研發(fā)的多學科異構(gòu)集成平臺軟件SimCube[15]，支持自主及商業(yè)計算分析軟件的聯(lián)合仿真、性能優(yōu)化、界面集成、結(jié)果可視化等功能；還有一些公司基于開源CFD 模擬仿真軟件和商業(yè)軟件進行二次開發(fā)，對原有軟件進行擴展和定制，如藍威技術(shù)有限公司開發(fā)的EasyCAE集成平臺。但是，目前國內(nèi)自主研發(fā)的這些軟件或平臺，或是注重功能實現(xiàn)而未對擴展性和通用性進入深入統(tǒng)籌，或是擴展性和通用性較差，軟件架構(gòu)需要升級更新。

因此，為了加快空氣動力數(shù)值模擬平臺的構(gòu)建、提高研究人員的工作效率、軟件的開發(fā)效率和實用性、軟件之間的通信效率以及計算資源的利用率，作為NNW項目中數(shù)值模擬軟件平臺的重要組成部分，NNW集成框架系統(tǒng)在研究軟件系統(tǒng)體系結(jié)構(gòu)、集成方法、工作流管理、數(shù)據(jù)交換標準的基礎(chǔ)上，以中間件為框架核心，為軟件系統(tǒng)提供了一個面向分布式的科學計算環(huán)境，實現(xiàn)了各學科求解器、前置處理軟件、后置處理軟件的集成，有效地為用戶提供計算流程配置、計算工程監(jiān)控管理、數(shù)據(jù)管理功能。

本文第一部分介紹高性能計算環(huán)境下數(shù)值模擬軟件集成的相關(guān)工作，第二部分介紹NNW集成框架系統(tǒng)的設(shè)計過程，第三部分介紹NNW集成框架系統(tǒng)在實際計算環(huán)境下的應(yīng)用，第四部分總結(jié)并展望未來工作。

1 相關(guān)工作

在科學計算領(lǐng)域，由于用戶對不同軟件操作的熟練度有所差異，以及不同的計算機可能存在操作系統(tǒng)不同、應(yīng)用軟件版本不同、軟件之間的數(shù)據(jù)交換格式不統(tǒng)一等情況，因此為用戶提供統(tǒng)一的、易于操作和理解的使用方式，是構(gòu)建面向科學計算領(lǐng)域用戶的集成框架的基本要求。另外，提高高性能計算能力的同時并高效利用高性能計算資源、合理調(diào)度和管理作業(yè)及數(shù)據(jù)，是科學計算領(lǐng)域需要考慮的重點問題。

1.1 基于Web Portal的高性能計算應(yīng)用集成

20世紀90年代末，隨著UNICORE項目的實現(xiàn)[16]和WebSubmit[17]的首次公開發(fā)行，拉開了基于Web Portal的高性能計算應(yīng)用集成的帷幕。由于高性能計算應(yīng)用具有復(fù)雜多變的特點，用戶通過多個應(yīng)用軟件交互來獲取數(shù)據(jù)文件或通過命令行來對作業(yè)進行管理時，需要熟悉并掌握相關(guān)的軟件操作或具備豐富的調(diào)試經(jīng)驗，這不僅對于用戶極不友好，也不利于科學計算研究工作的進一步開展?？紤]到基于Web的圖形化交互界面無需用戶安裝軟件或編寫腳本，在瀏覽器中即可訪問應(yīng)用數(shù)據(jù)或資源，因此，繼UNICORE和WebSubmit之后，針對不同領(lǐng)域的基于Web服務(wù)的高性能計算研究工作逐漸增多，如美國國防部高性能計算現(xiàn)代化項目HPCMP中提出的基于Web的安全訪問以實現(xiàn)高效的超級計算[18]，俄羅斯科學院信息傳輸問題研究所提出的基于Web的計算應(yīng)用程序發(fā)布和分布式執(zhí)行平臺[19]，韓國科學技術(shù)研究院提出的用于大規(guī)?？茖W計算軟件的基于Web的HPC仿真執(zhí)行框架[20]，中國科學院計算機網(wǎng)絡(luò)信息中心提出的基于Portlet的高性能計算應(yīng)用集成組件[21]等。

1.2 基于中間件的異構(gòu)資源訪問與數(shù)據(jù)集成

高性能計算環(huán)境下的設(shè)備、軟件、應(yīng)用和通信技術(shù)等往往具有動態(tài)性和異構(gòu)性，其中，解決數(shù)據(jù)的不完整性和多源異構(gòu)性是相關(guān)研究人員關(guān)心的兩大重點問題，因此，整合多源數(shù)據(jù)和訪問異構(gòu)資源并進行集成成為了關(guān)鍵需求，而中間件在屏蔽底層硬件差異、計算資源的使用差異、集成異構(gòu)數(shù)據(jù)、增加軟件重用性等方面發(fā)揮著重要的作用。為了充分利用高性能計算資源，降低用戶使用難度，業(yè)界學者致力于研究不同平臺和不同領(lǐng)域的中間件研發(fā)，如中國科學院計算機網(wǎng)絡(luò)信息中心設(shè)計實現(xiàn)了面向科學計算領(lǐng)域的網(wǎng)格中間件SCE，和優(yōu)化后承載E級計算的高性能計算環(huán)境中間件[22-23]，有效地屏蔽了高性能計算資源在使用和信息方面的異構(gòu)，提高了系統(tǒng)的性能，增強了系統(tǒng)的可擴展性和穩(wěn)定性。Wan[24]等人通過開發(fā)RFID中間件，將獨立的功能模塊和分布式數(shù)據(jù)資源集成為可以有序運行的系統(tǒng)，并在過程集成中對數(shù)據(jù)對象標準化，保證設(shè)計過程中數(shù)據(jù)的一致性，實現(xiàn)數(shù)據(jù)集成，解決數(shù)據(jù)管理和信息傳輸?shù)膯栴}，實現(xiàn)了用于空氣動力學建模仿真的集成設(shè)計系統(tǒng)。

此外，國外Judy Qiu[25]等人實現(xiàn)了用于數(shù)據(jù)密集型科學計算與分析的中間件MIDAS，其提供底層資源管理和異構(gòu)基礎(chǔ)設(shè)施訪問層，支持并行數(shù)據(jù)分析庫在不同資源下跨應(yīng)用程序高效工作。Maddineni[26]等人利用基于SAGA的分布式應(yīng)用運行環(huán)境的中間件框架DARE集成了分布式和高性能基礎(chǔ)設(shè)施，其支持動態(tài)分配計算資源，具有可擴展性、互操作性、動態(tài)執(zhí)行的特點，現(xiàn)已被應(yīng)用到多個完全不同領(lǐng)域的科學應(yīng)用中，促進科學邏輯與高性能和分布式計算基礎(chǔ)資源的快速集成。

1.3 科學計算工作流

科學計算工作流的實現(xiàn)對于科學計算具有重要的意義，目前Kepler[8]、Trident[9]、Pegasus[10]、Taverna[11]、Vistrails[12]等典型的科學工作流管理系統(tǒng)已被廣泛地應(yīng)用到天文學、物理學、生物信息學、地球科學等領(lǐng)域，它們提供了流程定義與控制、任務(wù)管理、作業(yè)調(diào)度與執(zhí)行、容錯處理等功能，屏蔽底層資源，實現(xiàn)流程化集成，有效地幫助科學研究人員減少對流程的部署操作等時間花費，專注于具體科學問題的研究，提高求解問題的效率。

科學計算工作流雖然起源于以流程驅(qū)動為主的事務(wù)型工作流，但事務(wù)型工作流和現(xiàn)有的商業(yè)型工作流主要面向流程控制、任務(wù)管理及文檔處理等方面，可重復(fù)性高，而科學計算工作流主要面向數(shù)據(jù)密集型的科學計算，以數(shù)據(jù)驅(qū)動為主，更關(guān)注復(fù)雜的數(shù)據(jù)處理和計算分析，可重復(fù)性低。由于科學計算工作流能夠通過定義各個活動調(diào)用資源或軟件的方式，有效地建立任務(wù)之間的邏輯關(guān)系和數(shù)據(jù)依賴關(guān)系，快速實現(xiàn)特定問題的科學計算，因此，科學工作流與高性能計算結(jié)合的相關(guān)研究不斷增多。汪春杰和曹健[27]認為Kepler等典型科學工作流系統(tǒng)雖然提供了常見的應(yīng)用活動表示，但是用戶在具體問題的流程建模過程中需要花費大量的時間去熟悉各類活動節(jié)點的含義及使用方式，對此，其提出了可擴展性較高的ESW應(yīng)用集成統(tǒng)一框架，提高了建模工具的易用性。趙勇[28]等人提出將科學工作流系統(tǒng)與高性能計算平臺相結(jié)合實現(xiàn)高性能計算平臺上的大規(guī)模并行計算，并通過Swift工作流系統(tǒng)和Windows HPC Server集成，用NASA MODIS圖片處理工作流分析并驗證了該集成方案的可行性。Li和Song[29]提出了一個靈活且可擴展的軟件框架，將模擬仿真應(yīng)用和其他分析應(yīng)用程序集成，共享組件資源，使端到端延遲最小化，并在復(fù)雜的工作流程中提供實時插入分析和可視化功能，將其應(yīng)用在湍流的異常檢測中。

1.4 其他集成方法

中國工程物理研究院針對多領(lǐng)域數(shù)值模擬軟件的封裝、計算任務(wù)的集成、異構(gòu)資源屏蔽、圖形化交互等問題設(shè)計了適用于高性能計算環(huán)境的數(shù)值模擬工作流管理平臺HSWAP[30]，并將其應(yīng)用在材料、光學、力學等領(lǐng)域，然而其主要針對文件兼任務(wù)的松耦合，對于其他數(shù)據(jù)耦合方式還沒有分析總結(jié)。而NNW集成框架系統(tǒng)主要是面向計算流體力學耦合計算和氣動相關(guān)問題的模擬，整合相關(guān)數(shù)據(jù)和資源，在工作流的求解器解算過程中調(diào)用耦合通信框架，提供完整的計算工具鏈。同時，集成的網(wǎng)格生成軟件提供網(wǎng)格數(shù)據(jù)前置處理，使其可被正確加載到客戶端頁面進行數(shù)據(jù)可視化。

此外，基于STEP的集成方法[31]和基于Agent架構(gòu)的集成方法[32]也被應(yīng)用于異構(gòu)環(huán)境下的軟件集成和數(shù)據(jù)交換等問題的解決，但其在擴展性方面還有所欠缺。

2 NNW集成框架系統(tǒng)設(shè)計

針對氣動數(shù)值模擬工程對科學計算和仿真與設(shè)計集成的需求，本文結(jié)合上述三種方法設(shè)計了面向計算流體力學耦合計算和氣動相關(guān)問題模擬的NNW集成框架系統(tǒng)，在研究軟件系統(tǒng)體系結(jié)構(gòu)、集成方法、工作流管理、數(shù)據(jù)交換標準以及容錯機制的基礎(chǔ)上，以中間件為框架核心，集成各學科求解器、前置處理和后置處理軟件，整合工作流功能模塊，并提供B/S和C/S兩種交互方式，提高系統(tǒng)的可用性。

集成框架系統(tǒng)主要分為表現(xiàn)層、業(yè)務(wù)層、資源層，表現(xiàn)層為業(yè)務(wù)操作的入口，用戶可以通過C/S或B/S的模式與整個平臺進行交互。表現(xiàn)層為用戶提供了工作流建模、建模引擎管理、計算任務(wù)管理、計算引擎管理、統(tǒng)計查詢功能。業(yè)務(wù)層作為整個分布式交互軟件的橋梁和神經(jīng)系統(tǒng)，整合資源層提供各項服務(wù)，處理表現(xiàn)層的服務(wù)請求，提供輔助功能；業(yè)務(wù)層的核心為中間件，集成了各款軟件，并整合了工作流引擎、作業(yè)調(diào)度、負載均衡、組件管理等核心功能。資源層為所有的計算任務(wù)提供計算平臺，對于計算過程中產(chǎn)生的中間文檔和整個計算過程進行統(tǒng)一的管理。整個系統(tǒng)的體系結(jié)構(gòu)如圖1所示。資源層和業(yè)務(wù)層及表現(xiàn)層之間的請求服務(wù)過程如圖2所示，主要以客戶端和服務(wù)端交互的形式表現(xiàn)出來。

圖1 集成框架系統(tǒng)體系結(jié)構(gòu)

圖2 請求服務(wù)過程

2.1 組件化集成

由于各種數(shù)值模擬軟件存在串行和并行計算方式的差異、周期長短的計算差異、輸入/輸出格式差異、單一運行進程和多學科耦合計算的差異以及不同運行環(huán)境的差異，同時為了便于工作流引擎對各軟件進行流程化管理，通過統(tǒng)一封裝和制定接口規(guī)范將各計算軟件、參數(shù)文件、材料庫以組件化形式進行封裝集成，并通過環(huán)境適配實現(xiàn)各種組件對不同計算機軟硬件環(huán)境的兼容性。

軟件組件化集成的一般過程如圖3 所示。主要分為封裝信息抽取過程和組件封裝過程兩個步驟，其中抽取過程是提取計算軟件差異化信息的過程，封裝過程是平臺根據(jù)抽取的軟件差異化信息，利用各種軟硬件適配器完成軟件組件化封裝的過程。

圖3 組件化封裝基本流程

2.2 工作流引擎及執(zhí)行過程解析

在NNW集成框架系統(tǒng)中，設(shè)計了工作流計算引擎對用戶提交的工作流計算任務(wù)進行管理，并對工作流計算任務(wù)要占用的計算資源、條件限制、計算時間等進行分析，通過過程集成的方式實現(xiàn)計算集成、分析集成、數(shù)據(jù)集成。工作流計算引擎主要分為四個子模塊，分別是工作流計算任務(wù)管理器、容錯管理器、工作流計算任務(wù)調(diào)度器、高性能計算系統(tǒng)接口，其架構(gòu)如圖4所示。

圖4 工作流引擎架構(gòu)

在用戶創(chuàng)建工作流模型后，將其提交到中間件工作流引擎中的工作流計算任務(wù)管理器中，由于高性能計算系統(tǒng)不能直接識別工作流模型，需要將其解析成具體的工作流計算任務(wù)并決定計算任務(wù)的執(zhí)行順序，再將其提交到高性能計算平臺，由Slurm等作業(yè)調(diào)度系統(tǒng)調(diào)度具體物理資源并執(zhí)行計算。

在工作流計算任務(wù)被提交后，工作流計算任務(wù)調(diào)度器根據(jù)動態(tài)集成的不同超算系統(tǒng)的作業(yè)調(diào)度方法，調(diào)整作業(yè)執(zhí)行順序，并實時監(jiān)控任務(wù)隊列、計算資源狀態(tài)、統(tǒng)計數(shù)據(jù)文件，持續(xù)調(diào)整和優(yōu)化各個計算任務(wù)的執(zhí)行順序。當任務(wù)執(zhí)行失敗時，及時對失敗任務(wù)進行恢復(fù)計算，檢測其出現(xiàn)的異常類型，將發(fā)生的異常記錄到日志信息中進行輸出，并通知給任務(wù)提交者，具體的工作流實例執(zhí)行過程如圖5所示。

圖5 工作流執(zhí)行邏輯流程圖

2.3 數(shù)據(jù)交換

在計算求解程序前，往往需要對配套的網(wǎng)格參數(shù)文件進行前處理并將其可視化。NNW集成框架系統(tǒng)通過調(diào)用網(wǎng)格處理軟件的接口，將網(wǎng)格文件進行前處理。而可視化部分，考慮到大多數(shù)結(jié)構(gòu)網(wǎng)格和非結(jié)構(gòu)網(wǎng)格文件較大，直接進行文件傳輸將其顯示到頁面上容易使I/O消耗大，交換時間長，造成系統(tǒng)的可讀性下降。因此，在實現(xiàn)過程中采用了基于內(nèi)存拷貝的方式來加載數(shù)據(jù)文件，并將常見的數(shù)據(jù)交換方式寫至接口中并隔離到數(shù)據(jù)底層，讀寫數(shù)據(jù)時使用統(tǒng)一的數(shù)據(jù)接口，以此來減少消耗時間，增強系統(tǒng)的可讀性和可擴展性。

2.4 集成框架系統(tǒng)調(diào)度策略

集成框架中調(diào)度類型分為任務(wù)調(diào)度和作業(yè)調(diào)度，任務(wù)調(diào)度是針對工作流層次而言，作業(yè)調(diào)度則用于表示工作流中的計算任務(wù)。每個工作流模型被解析為一個任務(wù)圖，如圖6所示，圖中的每一個節(jié)點對應(yīng)為一個計算模型，圖中的邊則表示為任務(wù)之間的依賴關(guān)系，即計算任務(wù)A執(zhí)行結(jié)束后才能執(zhí)行計算任務(wù)B，若要執(zhí)行計算任務(wù)D，則需要計算任務(wù)B、C、G均執(zhí)行結(jié)束才能開始。

圖6 有向無環(huán)圖(DAG)

在集成框架中，每位用戶所提交的工作流計算任務(wù)都會被解析為圖6所示的DAG圖，并通過任務(wù)調(diào)度模塊將其提交給高性能計算平臺。當只有一個工作流計算任務(wù)在執(zhí)行時，調(diào)度較為簡單，按計算任務(wù)間依賴關(guān)系調(diào)度即可。而當平臺中同時有多個工作流計算任務(wù)在執(zhí)行時，即同時處理多個DAG，調(diào)度模塊則需要根據(jù)計算資源的占用情況以及平臺中全局的計算任務(wù)隊列情況，按既定優(yōu)化目標以及調(diào)度策略進行計算，例如，優(yōu)先保證先提交的工作流計算任務(wù)完成、優(yōu)先保證高性能計算資源的整體利用率等，以此來確定工作流和計算任務(wù)的調(diào)度序列。

工作流任務(wù)調(diào)度問題是典型的NP-hard問題，從算法效率和效果兩方面綜合考慮，采用列表啟發(fā)式算法應(yīng)用于該集成框架下的項目場景。列表啟發(fā)式算法主要由任務(wù)優(yōu)先級排序和計算資源的選擇這兩步組成，兩個步驟中采取不同的策略，形成不同的調(diào)度算法。根據(jù)任務(wù)優(yōu)先級對任務(wù)進行排序時，需要先通過任務(wù)的相關(guān)屬性來確定任務(wù)的優(yōu)先級，如表1所示。

表1 計算任務(wù)優(yōu)先級排序的屬性

pred(ti)={tj∈T，eji∈E}

(4)

succ(ti)={tj∈T，eij∈E}

(5)

而C表示通信開銷集合，可描述為C={ci,j}，則任務(wù)ti的上行權(quán)重可以表示為：

(6)

代表著該任務(wù)到終點任務(wù)的關(guān)鍵路徑長度。下行權(quán)重表示為：

(7)

上行權(quán)重值越大任務(wù)優(yōu)先級越高，因此，可根據(jù)上行權(quán)重值對要執(zhí)行的計算任務(wù)排序，優(yōu)先執(zhí)行級別高的任務(wù)。計算資源的選擇采用基于插入策略的最早完成時間優(yōu)先原則，在空閑的時間段上插入滿足調(diào)度條件的任務(wù)，有效利用計算資源。

3 NNW集成框架系統(tǒng)的應(yīng)用

由于CFD相關(guān)問題的求解常常涉及多個參數(shù)且求解過程復(fù)雜，使用命令行的方式去執(zhí)行任務(wù)計算對于用戶而言并不友好，而基于Web的方式在圖形化界面上設(shè)置任務(wù)計算需要的參數(shù)雖然可行，但當多個任務(wù)執(zhí)行計算并進行調(diào)度時，網(wǎng)格文件、包含邊界條件的文件和其他控制參數(shù)被加載，調(diào)度資源將在Web頁面頻繁的換入換出，容易導(dǎo)致程序的性能表現(xiàn)變差，因此，對于驅(qū)動整個流程的執(zhí)行并不適用。

故通過實現(xiàn)客戶端應(yīng)用程序，在客戶端的圖形化交互界面上拖拽圖形組件生成工作流流程圖，雙擊組件即可進入新的界面來設(shè)置求解器相關(guān)參數(shù)，以耦合計算為例，具體的執(zhí)行流程如圖7所示。

圖7 基于工作流模型的驅(qū)動流程

其中，具體的作業(yè)提交及作業(yè)信息入庫過程如圖8所示。在客戶端發(fā)起啟動解算器的操作后，由工作流計算引擎向集群提交作業(yè)，并獲取作業(yè)信息，為每個作業(yè)生成一個對應(yīng)的hvJobInfo對象用于記錄作業(yè)的狀態(tài)信息。之后，工作流計算引擎將作業(yè)信息對象提交數(shù)據(jù)管理模塊，由其將作業(yè)信息寫入數(shù)據(jù)庫。

圖8 作業(yè)處理流程

實際的客戶端操作界面如圖9所示。在驗證工作流模型的完整性和邏輯正確性以及接口一致性之后，客戶端為其生成xml格式的工作流描述文件，通過面向服務(wù)的中間件連接客戶端，解析xml文件中的節(jié)點信息、節(jié)點間連線信息、參數(shù)設(shè)置信息等，加載需要的網(wǎng)格文件，將其提交到高性能計算平臺執(zhí)行任務(wù)計算，并將獲取的作業(yè)信息寫入到數(shù)據(jù)庫中，反饋給客戶端來監(jiān)控任務(wù)的執(zhí)行狀態(tài)和執(zhí)行時間等信息。

圖9 工作流模型在客戶端的界面實現(xiàn)

圖10 計算結(jié)果示例

此外，對于無依賴關(guān)系的單個可執(zhí)行程序類的計算作業(yè)，用戶使用相關(guān)命令提交到高性能計算平臺執(zhí)行計算后，無需實時關(guān)注作業(yè)在計算平臺的執(zhí)行情況。中間件通過與資源層的交互實時查詢已提交的作業(yè)信息狀態(tài)，并將獲取的結(jié)果顯示在Web界面上便于用戶查詢，如圖11所示。

圖11 Web端查詢作業(yè)隊列信息

為了評估該系統(tǒng)流程集成的有效性，我們分別對短作業(yè)任務(wù)與長作業(yè)任務(wù)進行手動執(zhí)行計算和工作流驅(qū)動執(zhí)行計算，并對其耗費的時間進行了對比，如圖12和圖13所示。

圖12 短作業(yè)任務(wù)的兩種執(zhí)行方式耗時對比

圖13 長作業(yè)任務(wù)的兩種執(zhí)行方式耗時對比

在該評估試驗中，task分為作業(yè)級任務(wù)和工作流級任務(wù)，我們定義執(zhí)行時間小于120 min的task為短作業(yè)任務(wù)，大于120 min為長作業(yè)任務(wù)。首先對8個執(zhí)行不同CFD計算的短作業(yè)任務(wù)的兩種執(zhí)行方式進行分析，在圖12中，task1和task5是作業(yè)級任務(wù)，其余task均為工作流級任務(wù)。從圖中可以看出，task1、task3和task5的兩種執(zhí)行方式耗費的時間較為接近，其余task的所有短作業(yè)依次執(zhí)行的時間總和都要大于工作流驅(qū)動作業(yè)執(zhí)行的時間。

在圖13中，我們對4個包含多個長作業(yè)且執(zhí)行并行計算的工作流級任務(wù)進行了兩種執(zhí)行方式的耗時對比，從數(shù)據(jù)結(jié)果中可以看出，以工作流驅(qū)動作業(yè)執(zhí)行的任務(wù)耗時明顯比依次執(zhí)行任務(wù)中的作業(yè)的總耗時要少。從圖中的實驗數(shù)據(jù)和實際的操作過程來看，手動實現(xiàn)任務(wù)的多個作業(yè)執(zhí)行操作較為繁復(fù)，操作者需要間隔地查看任務(wù)是否計算完成以及當前計算資源是否充足以支持計算，且不同操作者操作的熟練程度不同，容易導(dǎo)致操作時間存在一定的差異。而以工作流的方式驅(qū)動作業(yè)執(zhí)行能夠?qū)崿F(xiàn)流程的自動化執(zhí)行，保證了流程集成的有效性，減少了某些人工操作的耗時，使操作人員更專注于問題的解決而不是流程的執(zhí)行過程。

4 結(jié) 論

為了提高研究人員的工作效率和軟件的實用性，為氣動相關(guān)問題的求解計算程序提供配套的前后處理平臺，將前處理軟件、求解計算程序、后處理軟件集成于統(tǒng)一的集成環(huán)境，提供便于科學問題求解的科學計算環(huán)境，設(shè)計并實現(xiàn)了面向計算流體力學耦合計算和氣動相關(guān)問題數(shù)值模擬的NNW集成框架系統(tǒng)，提供了基于工作流及數(shù)據(jù)交換中間件的科學計算流程組裝及流轉(zhuǎn)控制功能、在高性能計算平臺上自動化部署及任務(wù)調(diào)度的功能、數(shù)據(jù)文件管理和圖形化交互等功能，目前已將其應(yīng)用在CFD流場計算、熱計算、力學計算等問題上。但對于工作流層次的調(diào)度方法，暫時還沒有對其進行深入研究。后續(xù)工作將在該系統(tǒng)的基礎(chǔ)上，研究如何最大化發(fā)揮高性能計算平臺并行計算的能力。