陳呈，趙丹，王岳青，鄧亮，楊超，蘇鋮宇，王昉,*

1. 中國(guó)空氣動(dòng)力研究與發(fā)展中心 空氣動(dòng)力學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，綿陽(yáng) 621000

2. 中國(guó)空氣動(dòng)力研究與發(fā)展中心 計(jì)算空氣動(dòng)力研究所，綿陽(yáng) 621000

3. 西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，綿陽(yáng) 621000

計(jì)算流體力學(xué)(CFD)應(yīng)用日益廣泛[1-3]。借助高性能計(jì)算機(jī)系統(tǒng)，可以計(jì)算、存儲(chǔ)規(guī)模具大復(fù)雜度高的CFD流場(chǎng)數(shù)據(jù)，但如何對(duì)數(shù)據(jù)進(jìn)行準(zhǔn)確的表達(dá)，一直是業(yè)界的難題之一[4]。流場(chǎng)可視化應(yīng)用計(jì)算圖形學(xué)相關(guān)方法和圖形處理與顯示技術(shù)，將數(shù)值模擬仿真獲得的大量離散數(shù)據(jù)轉(zhuǎn)換為圖形圖像或動(dòng)畫的形式，形象地將CFD仿真結(jié)果顯示出來(lái)，從而能夠直觀、準(zhǔn)確地展示數(shù)據(jù)內(nèi)部的特性與本質(zhì)，幫助科研人員分析其中的規(guī)律[5]。然而，隨著CFD數(shù)值模擬技術(shù)的不斷發(fā)展，求解問(wèn)題的規(guī)模與復(fù)雜度不斷提高，數(shù)據(jù)產(chǎn)出類型復(fù)雜、規(guī)模巨大[6]，因此需要提供與CFD數(shù)據(jù)產(chǎn)出相適應(yīng)的可視分析工具。而高效可視分析工具要求數(shù)據(jù)可視化的周期短，數(shù)據(jù)分析的精準(zhǔn)程度高，同時(shí)要求交互體驗(yàn)好，交互手段多樣化。已有的可視化和可視分析工具難以同時(shí)滿足以上需求，主要體現(xiàn)在以下幾個(gè)方面：① 由于功耗的限制，微處理器性能的提高主要來(lái)自于片上處理器核數(shù)量的增加，計(jì)算機(jī)性能的發(fā)揮將依賴于多核并行軟件的發(fā)展，然而并行可視化計(jì)算軟件發(fā)展緩慢，與多核處理器的發(fā)展不匹配；② 流場(chǎng)數(shù)據(jù)中往往含有多種典型復(fù)雜物理特征，這些特征在洞察數(shù)據(jù)背后的科學(xué)規(guī)律方面發(fā)揮著至關(guān)重要的作用，已有的可視分析工具采用傳統(tǒng)算法從海量數(shù)據(jù)中提取可視特征，提取時(shí)間長(zhǎng)且精度低；③ 可視化軟件交互性強(qiáng)，領(lǐng)域?qū)＜彝枰獙?duì)流場(chǎng)進(jìn)行交互式探索才能發(fā)掘關(guān)鍵信息，已有的流場(chǎng)可視化顯示和交互方式單一，無(wú)法提供更加便捷的交互方式和體驗(yàn)；④ 尚沒(méi)有自主可控、功能完備的可視化軟件。

針對(duì)以上問(wèn)題，中國(guó)空氣動(dòng)力研究與發(fā)展中心在國(guó)家數(shù)值風(fēng)洞(NNW)工程支持下,研制了1套CFD流場(chǎng)可視分析系統(tǒng)NNW-TopViz(簡(jiǎn)稱TopViz)，主要具備以下幾個(gè)特點(diǎn)：

1)根據(jù)流場(chǎng)數(shù)據(jù)結(jié)構(gòu)和可視化算法特點(diǎn)，實(shí)現(xiàn)了線程級(jí)并行優(yōu)化，在Windows桌面環(huán)境下，Intel i5 處理器4核運(yùn)行加速比達(dá)到2.4。

2)實(shí)現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的流場(chǎng)旋渦特征提取方法；測(cè)試表明，與現(xiàn)有算法相比，大幅提升了特征提取準(zhǔn)確率和效率。

3)支持沉浸式三維虛擬顯示和多通道交互，基于頭戴式顯示設(shè)備和體感控制器構(gòu)建了沉浸式虛擬顯示與交互平臺(tái)，實(shí)現(xiàn)了手勢(shì)和眼球凝視2種交互方法。

4)采用層次式軟件架構(gòu)設(shè)計(jì)并開發(fā)了具有對(duì)流場(chǎng)進(jìn)行數(shù)據(jù)預(yù)處理、特征提取、流線繪制、體繪制、幾何圖形繪制、紋理繪制等可視化與交互功能的軟件系統(tǒng)。

論文結(jié)構(gòu)介紹：第1節(jié)對(duì)國(guó)內(nèi)外相關(guān)工作進(jìn)行綜述，第2節(jié)分析了軟件的技術(shù)細(xì)節(jié)，第3節(jié)給出了軟件實(shí)現(xiàn)方法，第4節(jié)為性能測(cè)試，第5節(jié)為總結(jié)。

1 國(guó)內(nèi)外相關(guān)工作

應(yīng)對(duì)海量復(fù)雜流場(chǎng)數(shù)據(jù)帶來(lái)的可視化挑戰(zhàn)，歐美、日本等數(shù)值模擬技術(shù)領(lǐng)先的國(guó)家率先開展了高效可視化技術(shù)的研究。美國(guó)以三大實(shí)驗(yàn)室為代表的研究機(jī)構(gòu)和公司開展了大規(guī)?？梢暬夹g(shù)研究和軟件研制工作，相繼推出VisIt[7]、ParaView[8]、EnSight?、Tecplot?等多款軟件。日本專門成立了高度計(jì)算表現(xiàn)方法研究小組，研究能夠容易理解并能表現(xiàn)精密計(jì)算的可視化方法和能夠有效處理大規(guī)模數(shù)據(jù)的可視化系統(tǒng)[9]。在中國(guó)，北京應(yīng)用物理與計(jì)算數(shù)學(xué)研究所面向?qū)嶋H應(yīng)用中的大規(guī)模復(fù)雜數(shù)值模擬，成功推出并行可視分析軟件平臺(tái)[10]。具體到本文開展的各項(xiàng)研究?jī)?nèi)容，國(guó)內(nèi)外的現(xiàn)狀如下所述。

1.1 并行可視技術(shù)

隨著模擬精度的不斷增長(zhǎng)，計(jì)算網(wǎng)格規(guī)模不斷擴(kuò)大，CFD后處理采用并行技術(shù)是海量流場(chǎng)數(shù)據(jù)實(shí)時(shí)處理的必然需求。實(shí)現(xiàn)流場(chǎng)數(shù)據(jù)的高效可視化并行計(jì)算，需要從可視化算法的特性出發(fā)，結(jié)合體系結(jié)構(gòu)的發(fā)展，開發(fā)可視化算法的并行度和可擴(kuò)展性[11]。Chen和Fujishiro通過(guò)對(duì)流場(chǎng)特征的分析，提出了一種最優(yōu)化的動(dòng)態(tài)數(shù)據(jù)劃分策略[12]，減少并行流線計(jì)算過(guò)程中數(shù)據(jù)塊間的通信與同步開銷。Maximo等設(shè)計(jì)實(shí)現(xiàn)了基于GPU加速的VF-Ray體繪制算法[13]，該算法具有內(nèi)存使用率高的特點(diǎn)，能將內(nèi)存的占用情況降低為原來(lái)算法的1/3～1/10，為海量數(shù)據(jù)可視化處理提供了潛在發(fā)展空間。Camp等主要研究了在混合并行體系結(jié)構(gòu)下流線的計(jì)算效率與可擴(kuò)展性，分析了傳統(tǒng)基于進(jìn)程并行方法的不足，提出在多核處理器體系結(jié)構(gòu)下采用分布與共享式內(nèi)存的混合編程方法[14]。隨著多核桌面系統(tǒng)的不斷普及，為充分挖掘可視化計(jì)算在多核系統(tǒng)的計(jì)算性能，需要開發(fā)不同層次細(xì)粒度并行性，通過(guò)多核并行優(yōu)化來(lái)加速CFD數(shù)據(jù)可視化，提高計(jì)算效率。

1.2 智能特征提取

特征可視化可以提取用戶感興趣的特征，能用較少的信息表示流場(chǎng)中的重要數(shù)據(jù)，因此得到了廣泛的關(guān)注和應(yīng)用。然而由于很多流場(chǎng)特征沒(méi)有準(zhǔn)確的定義，現(xiàn)有的特征提取算法準(zhǔn)確率較低、適應(yīng)性較差。隨著深度學(xué)習(xí)等機(jī)器學(xué)習(xí)理論和實(shí)驗(yàn)技術(shù)的突破，人工智能已發(fā)展成為特別適合進(jìn)行特征復(fù)雜、規(guī)模龐大的信息理解的有效工具。Girshick等提出了目標(biāo)檢測(cè)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)[15]，使用yolo網(wǎng)絡(luò)結(jié)構(gòu)將目標(biāo)檢測(cè)與渦旋識(shí)別和提取相結(jié)合的方法。Str?fer等利用循環(huán)神經(jīng)網(wǎng)絡(luò)識(shí)別翼體連接處三維流動(dòng)中的馬蹄渦，將深度神經(jīng)網(wǎng)絡(luò)使用在三維流場(chǎng)中[16]，該方法相較于傳統(tǒng)的流體力學(xué)數(shù)值計(jì)算更加準(zhǔn)確快捷。Franz等將卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)與已有圖像處理工具特征跟蹤器相結(jié)合, 提出了一個(gè)基于深度學(xué)習(xí)的渦檢測(cè)和跟蹤框架[17]?？偟膩?lái)說(shuō)，上述方法都是利用已有的特征提取方法獲得訓(xùn)練集，訓(xùn)練集本身并不完全準(zhǔn)確；評(píng)價(jià)準(zhǔn)確率時(shí)，也是和得到訓(xùn)練集的特征提取方法相比，準(zhǔn)確率評(píng)價(jià)不夠嚴(yán)謹(jǐn)。

1.3 沉浸式三維虛擬顯示和多通道交互

與傳統(tǒng)顯示方式下的流場(chǎng)可視化相比，沉浸式分析以虛擬現(xiàn)實(shí)為交互平臺(tái)，在空間沉浸感、用戶參與度、多維感知等方面具有分析優(yōu)勢(shì)。隨著沉浸式虛擬現(xiàn)實(shí)、人機(jī)交互技術(shù)的發(fā)展，在虛擬現(xiàn)實(shí)環(huán)境下對(duì)流場(chǎng)數(shù)據(jù)進(jìn)行可視化并實(shí)現(xiàn)多通道交互的方法被廣泛運(yùn)用。Holden和Keane采用散點(diǎn)圖矩陣、平行坐標(biāo)、拓?fù)溆成涞冉稻S方式展現(xiàn)高維飛行器設(shè)計(jì)空間和拓?fù)浣Y(jié)構(gòu)[18]。Brandon等在帶渦襟翼的F-106B飛行報(bào)告中引入表面和空間流場(chǎng)可視化技術(shù)展示了三維渦流和不同攻擊角情況的流場(chǎng)結(jié)果[19]。Klein等在虛擬現(xiàn)實(shí)環(huán)境中采用直接接觸式交互技術(shù)，通過(guò)非重疊的交互姿勢(shì)支持多種交互操作提高了流場(chǎng)分析效率[20]。Tong等將直接交互技術(shù)引入到流線可視化變形與探索中[21]。Gu和Wang針對(duì)時(shí)變數(shù)據(jù)集構(gòu)建狀態(tài)層次結(jié)構(gòu)，實(shí)現(xiàn)一種無(wú)遮擋、可控和自適應(yīng)的分析手段[22]，能夠有效觀察和跟蹤時(shí)變數(shù)據(jù)的演化過(guò)程的可視映射方式。然而，已有工作在虛擬顯示過(guò)程中沒(méi)有結(jié)合多視圖、多角度信息，使用戶觀察的結(jié)果出現(xiàn)偏差。此外，已有的交互手段仍然是單一交互，沒(méi)有充分利用多通道信息，因此用戶的交互體驗(yàn)仍不夠好。

2 NNW-TopViz技術(shù)特點(diǎn)

針對(duì)CFD對(duì)流場(chǎng)數(shù)據(jù)高效可視化的迫切需求和挑戰(zhàn)，NNW工程在可視化技術(shù)方面通過(guò)關(guān)鍵技術(shù)攻關(guān)解決軟件研發(fā)中的高效可視化技術(shù)問(wèn)題，并基于關(guān)鍵技術(shù)研究成果開發(fā)了1套低耦合高內(nèi)聚的軟件模塊庫(kù)，最后形成可視化軟件系統(tǒng)。TopViz具備并行可視化、可視特征智能提取和沉浸式三維虛擬可視化與交互分析能力。

2.1 并行可視化技術(shù)

并行技術(shù)能夠有效利用當(dāng)前主流的并行計(jì)算機(jī)系統(tǒng)解決大規(guī)模數(shù)據(jù)的高效可視化問(wèn)題。本節(jié)基于對(duì)流場(chǎng)網(wǎng)格數(shù)據(jù)的組成分析，根據(jù)CFD模擬產(chǎn)生的流場(chǎng)數(shù)據(jù)組織方式，采用對(duì)流場(chǎng)數(shù)據(jù)中的不同網(wǎng)格區(qū)域(Block)進(jìn)行并行計(jì)算的方式，實(shí)現(xiàn)了線程并行。

2.1.1 流場(chǎng)數(shù)據(jù)可視化計(jì)算并行性分析

現(xiàn)有CFD軟件基本上都是基于區(qū)域分解，即將整個(gè)計(jì)算域的網(wǎng)格劃分為不同的網(wǎng)格子塊， 在每個(gè)網(wǎng)格子塊上執(zhí)行相應(yīng)的計(jì)算，并適當(dāng)處理各個(gè)網(wǎng)格子塊間的數(shù)據(jù)依賴[23]。處理過(guò)程是首先將復(fù)雜流場(chǎng)或復(fù)雜外形分解成多個(gè)形狀簡(jiǎn)單的區(qū)塊(Block)，然后繼續(xù)分解為多個(gè)更小的網(wǎng)格單元(Cell)。如圖1所示，某飛行器主要部件包括融合體機(jī)身、機(jī)翼、垂尾、邊條翼、進(jìn)氣口匝道等部件，物面網(wǎng)格計(jì)算區(qū)域包含6個(gè)Blocks；而且在計(jì)算過(guò)程中，空間流場(chǎng)也會(huì)根據(jù)其物理特性進(jìn)行不同程度的劃分。

圖1 網(wǎng)格區(qū)域劃分樣例Fig.1 An example of grid area division

在流場(chǎng)可視化后處理過(guò)程中，可以充分利用流場(chǎng)數(shù)據(jù)多塊網(wǎng)格的組織方式，對(duì)各個(gè)分區(qū)之間使用數(shù)據(jù)并行策略進(jìn)行并發(fā)計(jì)算，尤其是對(duì)于等值面計(jì)算、等值線計(jì)算、特征提取、鏡像等標(biāo)量可視化算法，在計(jì)算過(guò)程中各個(gè)區(qū)域之間沒(méi)有數(shù)據(jù)依賴，能夠充分挖掘計(jì)算任務(wù)中的并行性。

2.1.2 并行可視化設(shè)計(jì)與實(shí)現(xiàn)

在可視化計(jì)算中，計(jì)算流程如圖2(a)所示，首先，數(shù)據(jù)輸入模塊將流場(chǎng)數(shù)據(jù)從磁盤讀入內(nèi)存；然后，在可視化計(jì)算過(guò)程中如等值面計(jì)算等算法，對(duì)原始數(shù)據(jù)應(yīng)用過(guò)濾器，形成新的計(jì)算結(jié)果；最后，將過(guò)濾器的計(jì)算結(jié)果繪制為圖像進(jìn)行顯示。在串行執(zhí)行狀態(tài)下，過(guò)濾器計(jì)算時(shí)需要依次遍歷當(dāng)前所有的Block，此時(shí)所有Block共享同一個(gè)過(guò)濾器。根據(jù)2.1.1節(jié)并行性分析，可以將計(jì)算流程進(jìn)行并行優(yōu)化，得到如圖2(b)所示新的執(zhí)行流程，此時(shí)為每個(gè)Block創(chuàng)建一個(gè)過(guò)慮器，程序在遍歷網(wǎng)格塊編號(hào)前使用OpenMP的Fork機(jī)制創(chuàng)建一個(gè)以自己為主線程的線程組，每個(gè)線程動(dòng)態(tài)分配計(jì)算任務(wù)，當(dāng)網(wǎng)格塊循環(huán)遍歷完畢后，通過(guò)Join機(jī)制，完成線程間同步操作后主線程繼續(xù)執(zhí)行而其他線程掛起。計(jì)算完成后，主線程對(duì)多塊數(shù)據(jù)執(zhí)行圖像繪制等其他操作。

圖2 并行運(yùn)行機(jī)制Fig.2 Parallel execution design

2.2 智能特征提取技術(shù)

針對(duì)現(xiàn)有機(jī)器學(xué)習(xí)方法在旋渦提取中存在的訓(xùn)練集本身并不完全準(zhǔn)確和準(zhǔn)確率評(píng)價(jià)不夠嚴(yán)謹(jǐn)?shù)膯?wèn)題，提出基于全卷積分割網(wǎng)絡(luò)的旋渦提取方法[24-27]，用于檢測(cè)流場(chǎng)數(shù)據(jù)中的旋渦結(jié)構(gòu)。

CFD數(shù)值模擬能夠產(chǎn)生海量數(shù)據(jù)，但其中包含旋渦結(jié)構(gòu)的數(shù)據(jù)較少，為得到足夠多的訓(xùn)練數(shù)據(jù)，本方法首先運(yùn)行大量CFD模擬程序，并使用傳統(tǒng)的全局方法(IVD)對(duì)所有流場(chǎng)數(shù)據(jù)進(jìn)行檢測(cè)，得到包含旋渦結(jié)構(gòu)的流場(chǎng)數(shù)據(jù)。在此基礎(chǔ)上，請(qǐng)領(lǐng)域?qū)＜疫M(jìn)一步判斷和甄別，剔除一些假旋渦和噪聲，最終得到干凈的訓(xùn)練數(shù)據(jù)。

由于CFD計(jì)算與網(wǎng)格規(guī)模緊密相關(guān)，網(wǎng)格的大小一般不一樣，如果直接將整個(gè)流場(chǎng)數(shù)據(jù)作為輸入，則方法無(wú)法適配不同規(guī)模的網(wǎng)格。為解決該問(wèn)題，本方法使用了分塊策略，對(duì)任意大小的流場(chǎng)，均將其拆分為多個(gè)固定大小的小塊，并以小塊作為模型輸入，對(duì)小塊中所有網(wǎng)格點(diǎn)進(jìn)行計(jì)算，計(jì)算完成后將小塊拼接為原始流場(chǎng)大小，得到整個(gè)流場(chǎng)的旋渦結(jié)構(gòu)。

如圖3所示，基于全卷積分割網(wǎng)絡(luò)的流場(chǎng)旋渦提取方法主要包含前處理、分割網(wǎng)絡(luò)和后處理3個(gè)部分。前處理部分主要是向網(wǎng)絡(luò)提供輸入，包括網(wǎng)格轉(zhuǎn)換和隨機(jī)采樣2部分。網(wǎng)格轉(zhuǎn)換通過(guò)將包含速度大小(u、v、w分別表示速度在空間中3個(gè)方向的分量)的物理網(wǎng)格拉伸到笛卡兒坐標(biāo)系，實(shí)現(xiàn)了從物理網(wǎng)格到計(jì)算網(wǎng)格的轉(zhuǎn)換；隨機(jī)采樣得到流場(chǎng)內(nèi)的隨機(jī)小塊用于訓(xùn)練。后處理將所有局部標(biāo)記塊進(jìn)行合并，從而獲得整個(gè)流場(chǎng)中的旋渦結(jié)構(gòu)預(yù)測(cè)結(jié)果。如圖4所示，旋渦分割網(wǎng)絡(luò)包括卷積層、特征拼接層、降采樣層、反向卷積層。

圖3 基于全卷積分割網(wǎng)絡(luò)的流場(chǎng)旋渦提取方法架構(gòu)Fig.3 Vortex extraction architecture of flow field based on full convolution segmentation network

該網(wǎng)絡(luò)通過(guò)全卷積網(wǎng)絡(luò)及層間跳連拋棄了完全連接的層，并采用完全卷積的網(wǎng)絡(luò)來(lái)減少參數(shù)的數(shù)量并提升了網(wǎng)絡(luò)精度，通過(guò)輸入訓(xùn)練得到一個(gè)分割卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型。

2.3 沉浸式三維虛擬顯示和多通道交互技術(shù)

隨著流場(chǎng)數(shù)據(jù)的屬性特征和空間結(jié)構(gòu)復(fù)雜度不斷增加，數(shù)據(jù)屬性之間的關(guān)聯(lián)關(guān)系和時(shí)空變化造成探究和分析其內(nèi)在特征困難。為提供多視圖、多角度流場(chǎng)探測(cè)方式，并提高交互體驗(yàn)，開展了沉浸式三維虛擬顯示技術(shù)和多通道交互技術(shù)研究。

2.3.1 沉浸式三維虛擬顯示

沉浸式三維虛擬顯示技術(shù)方面，以多變量模擬時(shí)變數(shù)據(jù)作為分析對(duì)象，實(shí)現(xiàn)了流場(chǎng)數(shù)據(jù)在沉浸式三維環(huán)境下的虛擬顯示方法，設(shè)計(jì)流場(chǎng)特征分析的可視化方案?？傮w方案設(shè)計(jì)如圖5所示，其中可視化管線用以解決沉浸式三維虛擬環(huán)境下的數(shù)據(jù)讀取、分塊與映射問(wèn)題，實(shí)現(xiàn)了流場(chǎng)原始數(shù)據(jù)的分塊映射顯示；渲染引擎實(shí)現(xiàn)了對(duì)流場(chǎng)數(shù)據(jù)標(biāo)量和矢量的渲染；交互界面設(shè)計(jì)提供了沉浸式環(huán)境下用戶操作與系統(tǒng)響應(yīng)的接口。

圖5 沉浸式三維虛擬顯示總體框架設(shè)計(jì)Fig.5 Overall framework of immersive 3D virtual display

采用開源工具包VTK和OpenVR構(gòu)建三維虛擬顯示系統(tǒng)的可視化管線，流場(chǎng)數(shù)據(jù)通過(guò)VTK管線流的處理，生成可繪制幾何體。針對(duì)流場(chǎng)原始數(shù)據(jù)類型讀取問(wèn)題，通過(guò)繼承重寫多塊數(shù)據(jù)類以及TopViz數(shù)據(jù)讀取類，實(shí)現(xiàn)對(duì)流場(chǎng)原始數(shù)據(jù)的讀取。針對(duì)流場(chǎng)原始數(shù)據(jù)按塊存儲(chǔ)、數(shù)據(jù)讀取顯示問(wèn)題，采用多個(gè)對(duì)象存儲(chǔ)，創(chuàng)建不同種類的過(guò)濾器分塊過(guò)濾原始數(shù)據(jù)，最后通過(guò)映射器實(shí)現(xiàn)對(duì)流場(chǎng)原始數(shù)據(jù)的分塊映射顯示。針對(duì)流場(chǎng)數(shù)據(jù)類型問(wèn)題，采用不同的拾取子類接收對(duì)應(yīng)類型的流場(chǎng)數(shù)據(jù)，實(shí)現(xiàn)對(duì)流場(chǎng)數(shù)據(jù)標(biāo)量和矢量的渲染。針對(duì)沉浸式流場(chǎng)數(shù)據(jù)渲染問(wèn)題，采用VTK在沉浸式環(huán)境下的渲染方式，將用于VTK桌面渲染引擎替換為對(duì)應(yīng)沉浸式環(huán)境下的渲染引擎，實(shí)現(xiàn)在沉浸式環(huán)境下流場(chǎng)數(shù)據(jù)的渲染。

2.3.2 沉浸式多通道交互

在多通道交互方面，基于頭戴式顯示設(shè)備和手勢(shì)傳感器構(gòu)建了沉浸式虛擬顯示與交互平臺(tái)，實(shí)現(xiàn)了手勢(shì)交互和眼球凝視2種交互方法，并構(gòu)建了沉浸式環(huán)境下的交互界面，用戶在界面上可以有效運(yùn)用多通道交互技術(shù)實(shí)現(xiàn)對(duì)可視化圖形的參數(shù)配置。

手勢(shì)交互是通過(guò)人體信息的自然輸入實(shí)現(xiàn)的人機(jī)交互方式，具有自然、直觀、靈活的特點(diǎn)，借助針對(duì)手勢(shì)的體感設(shè)備，用戶可以在沉浸式環(huán)境中直接通過(guò)雙手操作虛擬空間中的三維圖像，降低了交互的復(fù)雜度和學(xué)習(xí)門檻。如圖6所示，手勢(shì)交互的實(shí)現(xiàn)主要包括手勢(shì)建模、手勢(shì)定義、手勢(shì)識(shí)別、交互事件4個(gè)部分。根據(jù)可視化圖形場(chǎng)景和用戶需求預(yù)定義手勢(shì)姿態(tài)及含義，根據(jù)預(yù)定義手勢(shì)姿態(tài)所對(duì)應(yīng)的手勢(shì)狀態(tài)特征制定識(shí)別算法；根據(jù)用戶交互需求定義交互事件，把交互事件與交互手勢(shì)進(jìn)行合理的綁定；通過(guò)Leap Motion傳感器獲取實(shí)時(shí)手勢(shì)狀態(tài)信息，通過(guò)手勢(shì)識(shí)別算法完成手勢(shì)識(shí)別，識(shí)別特定的交互手勢(shì)觸發(fā)相應(yīng)的交互事件。

圖6 手勢(shì)交互流程Fig.6 Process of gesture interaction

凝視作為一種表示用戶注意力的自然交互技術(shù)，其主要優(yōu)點(diǎn)是不依賴用戶手勢(shì)等肢體動(dòng)作，提供的參考方向準(zhǔn)確性高穩(wěn)定性好，交互手段便捷，能夠解放用戶的雙手去完成其他交互任務(wù),同時(shí)，凝視交互配合手勢(shì)交互可以完成系統(tǒng)交互輸入。

由于主相機(jī)是虛擬現(xiàn)實(shí)頭盔在沉浸式環(huán)境中的虛擬載體，因此以主相機(jī)的視角方向移動(dòng)作為界面選擇移動(dòng)的依據(jù)。在實(shí)現(xiàn)時(shí)，把主相機(jī)所在位置作為起點(diǎn)，將主相機(jī)位置朝向視點(diǎn)位置的向量作為凝視交互方向，發(fā)出射線與交互界面進(jìn)行交互。

2.3.3 交互界面

流場(chǎng)數(shù)據(jù)可視化結(jié)果類型復(fù)雜、涉及物理量種類多樣并且數(shù)據(jù)規(guī)模巨大，需要通過(guò)交互界面進(jìn)行各種復(fù)雜參數(shù)的修改配置從而便于用戶進(jìn)行數(shù)據(jù)觀察分析。沉浸式環(huán)境下的交互界面在設(shè)計(jì)上除了要完成參數(shù)配置功能，還需要適應(yīng)沉浸式環(huán)境的特點(diǎn)，符合沉浸式環(huán)境下的交互體驗(yàn)，與多通道交互技術(shù)要相互適應(yīng)。

根據(jù)用戶的交互需求通過(guò)應(yīng)用程序開發(fā)框架(Qt)構(gòu)建初始交互界面，將初始交互界面轉(zhuǎn)換保存為圖像數(shù)據(jù)。在沉浸式環(huán)境中初始化生成一塊有限大小平面，將該圖像數(shù)據(jù)作為平面的紋理貼圖，實(shí)現(xiàn)交互界面在沉浸式環(huán)境下的顯示。根據(jù)沉浸式環(huán)境的特點(diǎn)，為了避免其他物體的遮擋，交互界面的顯示優(yōu)先級(jí)設(shè)置為最高；顯示方位要保持始終朝向用戶。采用視線交互作為選擇交互工具，計(jì)算視線方向射線與交互平面的交點(diǎn)坐標(biāo)，通過(guò)轉(zhuǎn)換公式轉(zhuǎn)換為Qt界面坐標(biāo)從而完成選擇交互。采用手勢(shì)交互作為點(diǎn)擊交互工具，做出預(yù)定義的點(diǎn)擊手勢(shì)完成點(diǎn)擊交互。

3 NNW-TopViz系統(tǒng)設(shè)計(jì)與開發(fā)

為滿足CFD領(lǐng)域?qū)＜覍?duì)流場(chǎng)數(shù)據(jù)的探索式交互需求，需要集成眾多可視化技術(shù)，形成一個(gè)功能完備的軟件系統(tǒng)。因此，TopViz采用了層次式軟件架構(gòu)，以保持系統(tǒng)的可擴(kuò)展性。本節(jié)介紹了TopViz的軟件整體架構(gòu)和系統(tǒng)詳細(xì)設(shè)計(jì)，闡述了系統(tǒng)模型和系統(tǒng)功能。

3.1 系統(tǒng)整體架構(gòu)

TopViz系統(tǒng)的層次化總體功能結(jié)構(gòu)如圖7所示，自底而上分為4層。

圖7 TopViz軟件架構(gòu)Fig.7 Architecture of TopViz software

1) 基礎(chǔ)庫(kù)層，主要是第三方基礎(chǔ)庫(kù)，包括可視化基礎(chǔ)庫(kù)VTK、cgns和tecplot數(shù)據(jù)格式基礎(chǔ)庫(kù)以及Qt庫(kù)等。

2) 業(yè)務(wù)模塊層，軟件系統(tǒng)的功能模塊，包括數(shù)據(jù)I/O、等值面等可視功能。

3) 連接層，作為業(yè)務(wù)模塊層和表現(xiàn)層的中間連接，包括軟件對(duì)話框、子窗口以及交互Widget管理，包含對(duì)業(yè)務(wù)模塊層的任務(wù)模塊調(diào)度等功能。

4) 表現(xiàn)層，分為TopViz-PC版和TopViz-VR版2個(gè)版本實(shí)現(xiàn)，包括顯示模式控制視圖顯示方式和交互控制，以及軟件工具菜單等工具，部件窗口用于展示原始流程文件組織方式以及可視計(jì)算結(jié)果顯示控制等。

3.2 系統(tǒng)詳細(xì)設(shè)計(jì)與開發(fā)

3.2.1 系統(tǒng)模型

采用以數(shù)據(jù)為中心的數(shù)據(jù)流模型,其流程如圖8所示。數(shù)據(jù)輸入指系統(tǒng)能導(dǎo)入多種格式的數(shù)據(jù)文件并實(shí)現(xiàn)它們之間的相互轉(zhuǎn)化。數(shù)據(jù)過(guò)濾包括等值面提取、智能特征提取等可視化功能?？梢暬成涫菢?gòu)造數(shù)據(jù)的幾何表示,即如何用顏色、光亮、形狀以及其他屬性來(lái)突出表示出人們對(duì)數(shù)據(jù)中感興趣的性質(zhì)和特征。圖像繪制是將數(shù)據(jù)的幾何圖元和屬性轉(zhuǎn)換為可被顯示的特定的圖像信息，包括在VR(Virtual Reality)環(huán)境中的顯示。圖形顯示是將圖像動(dòng)態(tài)輸出，包括屏幕顯示、VR環(huán)境顯示、視頻/圖像輸出等。

圖8 TopViz系統(tǒng)模型Fig.8 System model of TopViz

3.2.2 系統(tǒng)功能

數(shù)據(jù)I/O和管理：實(shí)現(xiàn)對(duì)tecplot、cgns、PLOT3D等主流格式的流場(chǎng)數(shù)據(jù)的數(shù)據(jù)讀取功能，并提供對(duì)這些數(shù)據(jù)的高效組織和管理方法。

流場(chǎng)顯示：將可視化繪制的圖片在繪制窗口中顯示，顯示方式包括面、點(diǎn)、網(wǎng)格3種方式，支持對(duì)顯示的三維圖形進(jìn)行旋轉(zhuǎn)、縮放等操作。

幾何可視化：根據(jù)客戶端提供的參數(shù)完成等值線、等值面、流線、剪切、云圖等幾何可視化計(jì)算。

特征可視化：根據(jù)客戶端提供的參數(shù)完成渦特征的智能可視計(jì)算。

體可視化：根據(jù)客戶端提供的參數(shù)完成體可視化計(jì)算。

紋理可視化：根據(jù)客戶端提供的參數(shù)完成紋理可視化計(jì)算。

人機(jī)界面：向用戶提供進(jìn)行人機(jī)交互的界面，主要由菜單和工具欄、部件和信息窗口、繪圖窗口等幾個(gè)模塊構(gòu)成。用戶通過(guò)界面可以選擇所要使用的可視化功能，查詢數(shù)據(jù)信息，觀察所繪制圖片并進(jìn)行相關(guān)的交互操作。

顯示控制：獲取用戶對(duì)繪制的參數(shù)調(diào)整并傳遞給同步模塊，包括控制數(shù)據(jù)的顯示和隱藏、對(duì)數(shù)據(jù)進(jìn)行著色和透明度調(diào)整、在當(dāng)前繪圖窗口中拾取所需數(shù)據(jù)等。

4 NNW-Topviz測(cè)試與分析

本節(jié)介紹了TopViz系統(tǒng)PC版和VR版軟件交互界面和系統(tǒng)性能，并對(duì)線程并行效率與擴(kuò)展性、智能特征提取進(jìn)行測(cè)試分析。

4.1 系統(tǒng)簡(jiǎn)介

TopViz-PC版主界面如圖9所示，主要分為5個(gè)部分：工具菜單欄、狀態(tài)欄、部件選擇子窗口、信息顯示子窗口、繪制子窗口。工具菜單欄包含數(shù)據(jù)I/O、可視化功能、顯示方式、Widget顯示隱藏等工具；部件子窗口顯示當(dāng)前流場(chǎng)數(shù)據(jù)的Zone分區(qū)數(shù)據(jù)以及通過(guò)可視化功能生成的數(shù)據(jù)，信息窗口顯示在部件中選中的數(shù)據(jù)的網(wǎng)格量、數(shù)據(jù)大小等基礎(chǔ)信息；繪制子窗口為網(wǎng)格顯示以及交互控制區(qū)域。

圖9 TopViz-PC版軟件主界面Fig.9 Main interface of TopViz-PC version

TopViz-VR版交互界面如圖10所示，該版本功能與PC版一致，通過(guò)硬件環(huán)境HTC VIVE PRO頭盔、定位器系統(tǒng)和Leap Motion傳感器，以及軟件環(huán)境VTK8.0+SteamVR1.7.15+OpenVR+Leap Motion3.2.1，實(shí)現(xiàn)了沉浸式環(huán)境下的顯示與多通道交互。與PC版不同的是，在完成原始數(shù)據(jù)的讀取顯示后，VR版顯示管線樹界面會(huì)生成一個(gè)以當(dāng)前數(shù)據(jù)為根節(jié)點(diǎn)的樹。以計(jì)算流線為例，在添加流線后，該流場(chǎng)部件顯示為子節(jié)點(diǎn)并進(jìn)入流線顯示功能，完成流線參數(shù)和種子點(diǎn)生成區(qū)域的配置，所有參數(shù)及種子點(diǎn)生成區(qū)域配置完成后，進(jìn)行流線顯示繪制，顯示結(jié)果如圖11所示。

圖10 TopViz-VR版軟件交互界面Fig.10 Interactive interface of TopViz-VR version

圖11 TopViz-VR版流線繪制結(jié)果Fig.11 Streamline results of TopViz-VR version

4.2 并行擴(kuò)展性測(cè)試

基于VS2015+Qt5+VTK 8.0開發(fā)環(huán)境，在配置為Intel(R)Core(TM)i5-7400 @3.0 GHz處理器(16 GB)內(nèi)存和NVIDA Geforce GTX1050顯卡(4 G 顯存)的計(jì)算機(jī)上測(cè)試實(shí)現(xiàn)TopViz業(yè)務(wù)模塊并行擴(kuò)展性。為驗(yàn)證本系統(tǒng)的實(shí)驗(yàn)效果，采用多類數(shù)據(jù)集測(cè)試系統(tǒng)。具體測(cè)試數(shù)據(jù)集如表1 所示，數(shù)據(jù)涵蓋了多種數(shù)據(jù)格式、數(shù)據(jù)類型和數(shù)據(jù)大小的測(cè)試集。測(cè)試過(guò)程分為2步，第1步測(cè)試串行實(shí)現(xiàn)的軟件功能的運(yùn)行實(shí)現(xiàn)，作為并行優(yōu)化的基準(zhǔn)測(cè)試，第2步測(cè)試優(yōu)化后的功能在多線程環(huán)境下的運(yùn)行時(shí)間，由于常用桌面系統(tǒng)(配置i5/i7處理器)硬件核心為4核，本實(shí)驗(yàn)分別測(cè)試了2個(gè)線程和4個(gè)線程的運(yùn)行性能。

表1 并行效率測(cè)試數(shù)據(jù)集Table 1 Test datasets of parallel efficiency

圖12給出了TopViz軟件功能在不同數(shù)據(jù)集上的并行加速比統(tǒng)計(jì)結(jié)果。從圖中可以發(fā)現(xiàn)：首先，軟件各個(gè)功能在多線程運(yùn)行時(shí)能夠獲得明顯的性能加速，驗(yàn)證了線程并行的有效性；其次，對(duì)比加速比隨OpenMP線程數(shù)增加的情況，對(duì)于D1和D2這2個(gè)數(shù)據(jù)集，軟件的加速器隨著線程數(shù)據(jù)增加而增大，而對(duì)于D3和D4這2個(gè)數(shù)據(jù)集，線程數(shù)從2增加到4，加速比基本不變；最后，運(yùn)行4個(gè)線程時(shí)，能夠獲得的最大加速比為2.4(D1數(shù)據(jù)等值線計(jì)算)。

圖12 TopViz 并行性能加速效果Fig.12 Parallel performance speedup effect of TopViz

TopViz根據(jù)CFD流場(chǎng)文件多塊數(shù)據(jù)(Multi block)的組織方式，將多塊數(shù)據(jù)的計(jì)算分配給多線程并行執(zhí)行，因此能夠獲得的加速效果依賴于流場(chǎng)數(shù)據(jù)的具體組織方式。對(duì)于D3和D4這2個(gè)數(shù)據(jù)集，空間流場(chǎng)數(shù)據(jù)由2個(gè)Block組成，共占用數(shù)據(jù)約95%的網(wǎng)格單元數(shù)和點(diǎn)數(shù)，因此從串行執(zhí)行到2個(gè)線程并行執(zhí)行時(shí)能獲得明顯的加速，而繼續(xù)擴(kuò)大線程數(shù)，性能不再提升，可視計(jì)算耗時(shí)由負(fù)責(zé)單元數(shù)最大的線程確定，此時(shí)受限于線程間負(fù)載不均衡。同時(shí)，對(duì)于D1和D2基本獲得了線性的并行可擴(kuò)展性，這是由于這2個(gè)數(shù)據(jù)集的網(wǎng)格分塊相對(duì)均勻；但是由于各個(gè)數(shù)據(jù)塊間網(wǎng)格不是完全相等，存在線程間負(fù)載不均衡的情況，并行效率難以達(dá)到理論效果。

下一步，TopViz將繼續(xù)發(fā)掘蘊(yùn)含在網(wǎng)格塊中的細(xì)粒度并行性,采用基于Cell的并行策略，以進(jìn)一步提升軟件的可視計(jì)算效率?？偟膩?lái)說(shuō)，經(jīng)過(guò)多線程并行優(yōu)化，極大地提高了TopViz可視計(jì)算效率，能夠有效滿足用戶的實(shí)時(shí)交互需求。

4.3 智能特征提取測(cè)試

在多個(gè)二維和三維流動(dòng)情況下,對(duì)TopViz業(yè)務(wù)模塊中的基于全卷積分割的旋渦識(shí)別方法進(jìn)行了測(cè)試評(píng)價(jià)。所有的數(shù)據(jù)集都是對(duì)不同流場(chǎng)的時(shí)變模擬的結(jié)果，而時(shí)變模擬將產(chǎn)生許多反映旋渦隨時(shí)間變化的時(shí)變數(shù)據(jù)集。由于該方法及其比較算法只適用于單個(gè)時(shí)間步長(zhǎng)數(shù)據(jù)集，所以選擇每個(gè)數(shù)據(jù)集中最具代表性的時(shí)間步長(zhǎng)進(jìn)行旋渦流提取和可視化。訓(xùn)練和測(cè)試算例具體情況如表2所示。

利用6個(gè)二維流場(chǎng)對(duì)分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，分別為：網(wǎng)格尺寸為101×761和101×381圓柱流場(chǎng)的第5 000個(gè)時(shí)間步模擬數(shù)據(jù)，網(wǎng)格尺寸為101×381 圓柱流場(chǎng)的第50 000個(gè)時(shí)間步模擬數(shù)據(jù)，網(wǎng)格尺寸為101×761和101×381的平板流場(chǎng)的第5 000個(gè)時(shí)間步模擬數(shù)據(jù)，網(wǎng)格尺寸為101×381平板流場(chǎng)的第50 000個(gè)時(shí)間步模擬數(shù)據(jù)。在這6個(gè)流場(chǎng)上隨機(jī)抽取貼片，得到2.0×105個(gè)標(biāo)簽塊。然后，丟棄那些不包含渦的標(biāo)簽塊，使用剩余的標(biāo)簽塊來(lái)訓(xùn)練分割網(wǎng)絡(luò)。對(duì)于三維數(shù)據(jù)集，在網(wǎng)格尺寸為81×81×81的SV-81-1000的第1 000個(gè)時(shí)間步數(shù)據(jù)上隨機(jī)抽取3.0×105個(gè)標(biāo)簽塊，用于訓(xùn)練分割網(wǎng)絡(luò)。

在三角形、正方形和翼型等3種二維不同外形上的測(cè)試結(jié)果如表3和表4(表中α為攻角)所示。結(jié)果顯示提出的方法與閾值無(wú)關(guān)，與現(xiàn)有的方法相比，基于本文提出的旋渦分割網(wǎng)絡(luò)特征提取方法可以達(dá)到更高的精度和召回率，并且耗時(shí)少。表3顯示了所有方法的性能，將該方法與其他方法進(jìn)行了比較，分割網(wǎng)絡(luò)比其他方法更準(zhǔn)確和有效。表4顯示了在二維測(cè)試下，分割網(wǎng)絡(luò)平均只需1 s就可以識(shí)別出所有渦結(jié)構(gòu)，且平均分類準(zhǔn)確率為96.4%，召回率為84.9%。相比之下，IVD方法平均需要240.2 s。

表3 不同方法在二維三角形和方形數(shù)據(jù)中的測(cè)試結(jié)果

表4 不同方法在機(jī)翼流場(chǎng)不同攻角情況下測(cè)試結(jié)果

圖13顯示了SV-161上所有方法在壓力(p)著色時(shí)的結(jié)果。激波和旋渦是空氣動(dòng)力學(xué)中的2種基本結(jié)構(gòu)，它們之間的相互干擾是超聲速剪切層、超聲速射流和燃燒中常見的現(xiàn)象。從圖13可以發(fā)現(xiàn)，所有方法都可以識(shí)別激波后的渦環(huán)，大多數(shù)方法都可以識(shí)別渦破裂尾部的四股螺旋結(jié)構(gòu)，同時(shí)，分割網(wǎng)絡(luò)的可視化結(jié)果更接近真實(shí)情況。

圖13 161×81×81正方形激波/旋渦干擾流場(chǎng)不同方法的可視化結(jié)果Fig.13 Visual results for different methods in 161×81×81 square shockwave vortex interaction flow field

圖14顯示了在雙三角翼上壓力(p)著色時(shí)所有方法的可視化結(jié)果。在雙三角翼情況下，有2種主要的旋渦，即邊條旋渦和機(jī)翼旋渦。雖然在旋渦破裂區(qū)，各種方法都會(huì)產(chǎn)生不同程度的誤檢和漏檢，但是與其他方法相比，基于分割網(wǎng)絡(luò)方法得到的結(jié)果更可靠。

圖14 301×101×201雙三角翼不同方法的可視化結(jié)果Fig.14 Visual results for different methods in 301×101×201 double delta wing

實(shí)測(cè)表明，基于全卷積分割網(wǎng)絡(luò)的流場(chǎng)旋渦提取方法與其他相關(guān)工作相比，計(jì)算速度更快，檢測(cè)精度更高，可以適配不同尺度的流場(chǎng)作為輸入。

5 總 結(jié)

本文基于CFD流場(chǎng)數(shù)據(jù)可視分析需求，開發(fā)了可視分析系統(tǒng)TopViz，為CFD后置處理提供特征結(jié)構(gòu)、流動(dòng)機(jī)理的精確提取方法和可視表達(dá)工具，以適應(yīng)數(shù)值仿真系統(tǒng)數(shù)據(jù)產(chǎn)出的持續(xù)發(fā)展趨勢(shì)，滿足武器裝備和國(guó)民經(jīng)濟(jì)領(lǐng)域的數(shù)字化發(fā)展和數(shù)據(jù)可視分析需求。該系統(tǒng)具有以下特點(diǎn)：計(jì)算效率高，支持線程并行；智能化程度高，實(shí)現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的旋渦特征提取方法；用戶體驗(yàn)好，提供了PC和VR這2個(gè)軟件版本，具備Windows桌面環(huán)境和沉浸式三維虛擬可視化與多通道交互分析的能力，提供多視圖、多角度流場(chǎng)探測(cè)方式；可視化功能齊全，具備特征提取、體繪制、等值面提取、流線繪制等基礎(chǔ)功能，并基于層次式和模塊化開發(fā)方法，實(shí)現(xiàn)了可擴(kuò)展軟件架構(gòu)，可以有效地展現(xiàn)流場(chǎng)數(shù)據(jù)中的特征信息，幫助用戶理解分析復(fù)雜流場(chǎng)物理現(xiàn)象。

下一步，將針對(duì)更大規(guī)模的海量流場(chǎng)數(shù)據(jù)，開發(fā)高性能計(jì)算機(jī)分布式環(huán)境下的并行流場(chǎng)系統(tǒng)，實(shí)現(xiàn)處理器級(jí)并行；同時(shí)為滿足數(shù)值模擬與可視化處理緊密結(jié)合、協(xié)同工作的需求，開發(fā)原位可視功能，實(shí)現(xiàn)對(duì)計(jì)算結(jié)果數(shù)據(jù)在原位直接進(jìn)行可視化處理。