金曉威 賴馬樹金 , 李 惠 ,**

* (哈爾濱工業(yè)大學土木工程智能防災減災工業(yè)與信息化部重點實驗室,哈爾濱 150090)

? (哈爾濱工業(yè)大學結構工程災變與控制教育部重點實驗室,哈爾濱 150090)

** (哈爾濱工業(yè)大學(深圳)粵港澳數(shù)據(jù)驅動下的流體力學與工程應用聯(lián)合實驗室,廣東深圳 518055)

引言

流體運動廣泛存在于工程應用中,例如航空航天工程、海洋工程、土木工程等領域.理論上,流體運動可用納維-斯托克斯(Navier-Stokes,N-S)方程描述.但對流項的存在使得該方程具有高度非線性、多尺度特性,給方程求解帶來巨大困難,方程僅在少數(shù)情況可求得解析解或近似解.復雜流動問題的研究通常借助計算流體力學與實驗流體力學.當采用數(shù)值方法模擬流場時,由于多尺度特性帶來的巨大計算量使得高精度的直接數(shù)值模擬(direct numerical simulation,DNS)技術難以實現(xiàn);雷諾平均(Reynolds averaged N-S simulation,RANS)方法與大渦模擬(large eddy simulation,LES)方法仍是求解工程流動問題的主要手段.但是由于依賴經(jīng)驗,傳統(tǒng)雷諾應力或亞格子應力閉合模型無法精準模擬復雜流動.由于實驗環(huán)境、實驗設備限制,實驗流體力學獲得流場豐富時空細節(jié)依然存在困難.

近年來,機器學習和深度學習技術飛速發(fā)展.依賴于靈活的網(wǎng)絡架構、強大的非線性逼近能力與高效的優(yōu)化算法,深度學習在以數(shù)據(jù)為基礎解決圖像識別[1],自然語言處理[2],無人駕駛[3]等問題時獲得了巨大成功.在過去的幾十年里,高性能計算機和先進流體實驗設備的應用使得湍流等流動研究領域積累了大量數(shù)據(jù).深度學習可高效挖掘這些大規(guī)模高維數(shù)據(jù)中蘊含的豐富流動物理特征,為研究流體力學建模方法與高效模擬方法帶來新機遇[4-5],并且已經(jīng)在湍流閉合模型領域取得重要進展.例如,Edeling等[6-7]基于實驗數(shù)據(jù)采用高斯過程回歸對k-ε兩方程的多個系數(shù)進行校準,提升了雷諾應力預測精度;Ling 等[8]采用全連接神經(jīng)網(wǎng)絡建立了Pope[9]提出的不變量到雷諾應力非線性基函數(shù)系數(shù)的預測模型,模型自動滿足伽利略不變性,在二次流、周期丘陵等流動問題模擬中顯著提升了雷諾應力預測精度;Zhu 等[10]采用徑向基神經(jīng)網(wǎng)絡建立了流場平均量到渦黏系數(shù)的代數(shù)模型,在機翼繞流場求解中與Spallart-Allmaras 模型渦黏系數(shù)偏微分方程求解方法相比,求解精度保持不變的條件下求解效率得到了顯著提升;Jiang 等[11]基于殘差神經(jīng)網(wǎng)絡建立了雷諾應力各向異性張量預測模型,并通過引入新的混合時間尺度作為輸入成功解決了多值映射問題;Xie 等[12]采用神經(jīng)網(wǎng)絡成功建立了非線性亞格子應力代數(shù)模型,有效提升了LES 模擬精度.Duraisamy等[13]和謝晨月等[14]對人工智能在湍流閉合模型領域(包括雷諾應力模型和亞格子應力模型)的成功應用進行了系統(tǒng)綜述.

不同于圖像識別、自然語言處理、無人駕駛等典型人工智能任務,深度學習模型預測的流場需滿足流體物理規(guī)律,如N-S 方程、典型能譜等.當僅基于流場數(shù)值模擬或實驗測量數(shù)據(jù)建立流場深度學習模型時,流體物理規(guī)律并未直接嵌入模型.但在網(wǎng)絡訓練過程中,待學習參數(shù)的調整使得網(wǎng)絡逐漸逼近所模化流場的流體物理規(guī)律;訓練完成的網(wǎng)絡若在測試集上具有良好的泛化能力,則認為網(wǎng)絡成功捕捉了流場預測所需流體物理規(guī)律.另一方面,流體物理規(guī)律可嵌入深度學習模型,在網(wǎng)絡輸入特征選取、架構設計、損失函數(shù)設計時對其充分考慮,提升深度學習模型預測精度、泛化能力,此類方法稱為物理增強的深度學習方法[15].具體地,根據(jù)流體物理規(guī)律選取網(wǎng)絡輸入特征或設計網(wǎng)絡架構的方法稱為物理啟發(fā)的深度學習方法;直接將流體物理規(guī)律顯式融入網(wǎng)絡損失函數(shù)或網(wǎng)絡架構的方法稱為物理融合的深度學習方法.本文首先介紹深度學習靈活的網(wǎng)絡架構、強大的非線性逼近能力與高效的優(yōu)化算法,進一步闡述基于深度學習上述優(yōu)良特性發(fā)展的物理增強深度學習方法在流場降階模型與流動控制方程求解領域的研究進展.

1 深度神經(jīng)網(wǎng)絡

作為深度學習發(fā)展的開端,Hinton 等[16]利用貪婪逐層訓練算法完成了深度置信網(wǎng)絡與全連接神經(jīng)網(wǎng)絡[17]的訓練.自此,深度學習等數(shù)據(jù)驅動技術利用靈活網(wǎng)絡結構,借助高效優(yōu)化算法,獲得了對高維、非線性問題的強大逼近能力,在圖像識別、自然語言處理等數(shù)據(jù)建模領域飛速發(fā)展.

1.1 神經(jīng)網(wǎng)絡模型

多層感知機(multi-layer perceptron,MLP)或深度神經(jīng)網(wǎng)絡(deep neural networks,DNN)為深度學習最基本模型.以x∈Rd為輸入,隱藏層層數(shù)為L的DNN 可表示為

式中fθ:Rd→Rc為DNN 含可訓練參數(shù) θ 對應映射.fl為各隱藏層對應映射為

式中,xl-1為第l個隱藏層的輸入(x0=x),Wl和bl分別為可訓練權重矩陣與偏置向量(并共同構成可訓練參數(shù) θ ),σ (·) 為非線性激活函數(shù).

卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)[18]是針對二維圖像等具有網(wǎng)格狀拓撲結構數(shù)據(jù)開發(fā)的神經(jīng)網(wǎng)絡架構,被廣泛用于圖像識別[1,19]、圖像去噪[20]、圖像修復[21]等領域.CNN 主要包含卷積層、池化層和全連接層等隱藏層,典型的CNN 模塊為:特征圖通過卷積層提取特征,非線性激活函數(shù)作用于卷積層后提升網(wǎng)絡非線性逼近能力,進一步通過池化層完成降采樣.Goodfellow 等[22]指出,由于卷積層在輸出特征圖的同一通道引入了卷積核參數(shù)共享,可以提取輸入特征圖中對平移保持等變的特征;池化層(尤其是用于降采樣的最大池化層)可有效提取輸入特征圖中對少量平移保持不變的特征.卷積層中的卷積運算為

式中,h為卷積層輸入特征圖(L×L維度矩陣),q為N×N維卷積核(設N為奇數(shù)),? 為卷積算子,式(3)右端即為卷積層輸出特征圖在(r1,r2) 位置取值;進一步可以引入卷積核的矩函數(shù)其中

對卷積運算在(x,y)位置泰勒級數(shù)展開,可得[23]

顯然,當mi,j取一定值時含可訓練參數(shù)的卷積運算可等價于各階偏微分項的高精度差分格式[24-25].另一方面,有限差分方法是傳統(tǒng)數(shù)值模擬方法計算流場時空數(shù)據(jù)時的重要技術,因此含可訓練參數(shù)的卷積運算在提取流場時空數(shù)據(jù)時具有巨大潛力.

循環(huán)神經(jīng)網(wǎng)絡(recurrent neural networks,RNN)[26]是針對時程和自然語言等具有序列結構的數(shù)據(jù)開發(fā)的神經(jīng)網(wǎng)絡架構.RNN 相比傳統(tǒng)DNN(式(1))在序列演化方向加入了遞歸連接

式中,x(t) 為序列在t時刻輸入特征,h(t) 為序列在t時刻輸出特征.RNN 在自然語言處理[2]等任務中得到了重要應用.雙向RNN[27]可以使模型既能納入過去時段序列模型對當前時刻影響,又能考慮未來時刻影響.但傳統(tǒng)RNN 訓練過程中在序列方向極易出現(xiàn)梯度消失與爆炸,長短期記憶網(wǎng)絡(long shortterm memory networks,LSTM)[28]和門控循環(huán)單元網(wǎng)絡(gated recurrent unit,GRU)[2]等門控RNN 通過引入門控單元成功解決了梯度消失與爆炸問題.

生成對抗網(wǎng)絡(generative adversarial networks,GAN)[29-30]是一種有效的概率生成模型,GAN 可有效捕捉高維觀測數(shù)據(jù)內部統(tǒng)計規(guī)律(即聯(lián)合概率分布)生成概率分布模型;基于所得概率模型,在GAN的輸入中進行抽樣可獲得與觀測數(shù)據(jù)不同、甚至在現(xiàn)實世界中不存在、但與高維觀測數(shù)據(jù)服從同一聯(lián)合概率分布的數(shù)據(jù).當深度學習與強化學習結合時,拓展了強化學習尋找最優(yōu)行動選擇策略能力,甚至在圍棋等任務上達到或超越了人類水平[31-32].

1.2 神經(jīng)網(wǎng)絡逼近能力

Cybenko[33]等提出的通用近似定理(universal approximation theory,UAT)指出:非線性激活函數(shù)為Sigmoid 形且網(wǎng)絡神經(jīng)元數(shù)(網(wǎng)絡寬度)足夠大時,單隱藏層神經(jīng)網(wǎng)絡即具有對任意連續(xù)函數(shù)達到任意精度的逼近能力.對于淺層神經(jīng)網(wǎng)絡,逼近任意連續(xù)函數(shù)時的誤差界為[34]

式中,f為待逼近函數(shù),為淺層神經(jīng)網(wǎng)絡的最優(yōu)函數(shù)估計(需滿足一定正則化條件),n為神經(jīng)網(wǎng)絡寬度,N為訓練樣本數(shù),d為神經(jīng)網(wǎng)絡輸入維度,系數(shù)(為函數(shù)f的傅里葉變換).

Hornik[35]指出,激活函數(shù)只需取非常數(shù)函數(shù)且網(wǎng)絡足夠寬時,淺層神經(jīng)網(wǎng)絡即具有對任意連續(xù)函數(shù)達到任意精度的逼近能力.當神經(jīng)網(wǎng)絡的層數(shù)加深時,Delalleau 和Bengio[36]指出淺層和積網(wǎng)絡(和積網(wǎng)絡的隱藏層單元通過前一層單元的乘積的加權之和獲得)逼近特定函數(shù)時,精度提升過程神經(jīng)元數(shù)需以指數(shù)增長;而提升相同精度時,深層網(wǎng)絡神經(jīng)元數(shù)僅需以線性增長,表明在逼近函數(shù)時深層網(wǎng)絡比淺層網(wǎng)絡能節(jié)省可訓練參數(shù).Eldan 和Shamir[37]指出在相同逼近精度下,淺層神經(jīng)網(wǎng)絡需要數(shù)量級神經(jīng)元數(shù)逼近 Rd空間的簡單徑向函數(shù),而深層網(wǎng)絡僅需要d的多項式數(shù)量級寬度,同樣表明逼近函數(shù)時若精度相同,深層網(wǎng)絡比淺層網(wǎng)絡能節(jié)省可訓練參數(shù).當全連接神經(jīng)網(wǎng)絡的激活函數(shù)為ReLU 且網(wǎng)絡寬度為大于輸入數(shù)據(jù)維度的有限值時,增大深度可以使其具有對任意連續(xù)函數(shù)達到任意精度的逼近能力.

綜上所述,深度學習為近似任意函數(shù)提供了一個特定的函數(shù)空間,且該函數(shù)空間復雜非線性逼近能力強.而在特定任務中采用深度學習算法時,需利用優(yōu)化算法在特定函數(shù)空間中優(yōu)化可訓練參數(shù),例如優(yōu)化式(6)中的參數(shù) θ .

1.3 基于梯度下降的優(yōu)化算法

深度學習通常由梯度下降算法更新網(wǎng)絡可訓練參數(shù)

式中,θ 的上角標為訓練步數(shù),η 為學習率,?θL 為損失函數(shù) L 對可訓練參數(shù)的梯度(通常由反向傳播算法計算[26]).常用的梯度下降法包括隨機梯度下降法[38],基于動量的隨機梯度下降法,自適應學習率算法(如文獻[39]等).深度神經(jīng)網(wǎng)絡可訓練參數(shù)優(yōu)化問題非凸,但梯度下降算法用于深層網(wǎng)絡的非凸優(yōu)化問題時仍可搜索到全局最優(yōu)點:對于過參數(shù)化的全連接深度神經(jīng)網(wǎng)絡,Du 等[40]的研究指出當訓練集大小為n,深層網(wǎng)絡隱藏層層數(shù)為H,每層神經(jīng)元數(shù)為m時,若

則梯度下降算法能以線性速率搜索到訓練誤差全局最優(yōu)點.式中,poly(n)為關于n的多項式,O和Ω分別為Big-O和Big-Ω.

由于深度學習具有上述優(yōu)良性能,近年來,研究者開始利用其挖掘大規(guī)模高維數(shù)據(jù)中蘊含的豐富流動物理特征,流體力學建模方法與高效模擬方法迎來新機遇.

2 物理啟發(fā)的流場深度學習降階模型

深度學習可借助靈活的神經(jīng)網(wǎng)絡架構、強非線性逼近能力和優(yōu)良優(yōu)化算法高效挖掘大規(guī)模高維流場數(shù)據(jù)中蘊含的豐富流動物理特征.然而,當深度學習用于流體力學建模時仍需基于流體物理設計3 部分核心內容:深度神經(jīng)網(wǎng)絡的輸入特征、網(wǎng)絡架構、損失函數(shù).根據(jù)流體物理規(guī)律選取網(wǎng)絡輸入特征或設計網(wǎng)絡架構的方法稱為物理啟發(fā)的深度學習方法,以下介紹物理啟發(fā)的流場深度學習降階模型.

2.1 本征正交分解輔助的深度學習降階模型

本征正交分解(proper orthogonal decomposition,POD)常用于提取流場緊湊空間表征降低自由度[41]

結合平均流場(x,t) 可得POD 重構流場為

當POD 用于輔助深度學習建立流場降階模型時,首先用POD 提取流場緊湊空間表征,然后利用深度學習序列建模方法建立POD 模態(tài)系數(shù)時程預測模型.

2.1.1 基于POD 與深度學習的流動降階模型

風洞實驗是傳統(tǒng)測量流場的常用方法.風洞實驗一般采用粒子圖像測速技術(particle image velocimetry,PIV)測量流場,然而由于相機分辨率和存儲空間的限制,PIV 測量流場的時間和空間分辨率是矛盾的.基于POD 的超時空分辨率方法在解決這一問題時具有廣泛應用[42-44].當已知流場中部分測點高時間分辨率速度測量值與給定的POD 伽遼金模型時,Gerhard 等[45]用動態(tài)估計器估計了整個高時間分辨率流場.Druault 等[46]基于樣條插值獲取了POD 模態(tài)的高時間分辨率系數(shù),從而重構了高時間分辨率流場.Borée[47]在分析湍流相關性時引入了擴展POD (extended POD) 方法.Hosseini 等[48]將速度信號在時間維度的延遲看成一組虛擬速度探針測量,基于此并利用擴展POD 方法估計了角錐的尾流.Discetti 等[49]隨后提出了擴展POD 方法中的時間相關系數(shù)截斷準則,從而移除了點測量與整場測量不相關成分,并用于高時間分辨率槽道流和管道流重構[50].

近年來,充分利用深度神經(jīng)網(wǎng)絡的靈活網(wǎng)絡架構、強非線性逼近能力與POD 的流場緊湊空間提取能力,發(fā)展出了POD 輔助的深度學習流場降階模型.Deng 等[51]在風洞試驗中用PIV 系統(tǒng)以采樣頻率2000 Hz 測量了旗幟尾流,并采用如圖1 所示基于LSTM 的POD 模型建立了流場離散測點速度時程(5 個離散測點時程取自PIV 測量結果) 到流場POD 模態(tài)系數(shù)時程間的映射:首先將PIV 及相應離散點測量結果降采樣為5 Hz,然后以離散點5 Hz 速度時程為輸入、以相應時刻流場POD 模態(tài)系數(shù)為輸出訓練LSTM 模型,最后以離散點5 Hz 速度時程為輸入在2000 Hz 測量結果上做預測即可獲得流場2000 Hz 的POD 模態(tài)系數(shù),從而可利用式(12)重構高時間分辨率流場;Cai 等[52]進一步利用此方法成功重構了采樣頻率為千赫茲級的二維表面溫度場.Wu 等[53]基于時間卷積神經(jīng)網(wǎng)絡(temporal convolutional neural networks,TCN)建立了圓柱繞流場過去時刻POD 模態(tài)系數(shù)時程與未來時刻POD 模態(tài)系數(shù)時程間的映射關系,從而得到了圓柱繞流場降階模型;訓練完成的TCN 模型相比傳統(tǒng)數(shù)值模擬方法計算效率提升了數(shù)百至數(shù)千倍.

圖1 基于LSTM 的POD 模型[51]Fig.1 Architecture of LSTM-based POD model[51]

然而,需要指出的是,上述基于POD 與深度學習的流動降階模型所依賴的POD 模態(tài)來自對相同模型、相同流動參數(shù)(如馬赫數(shù)、雷諾數(shù)、攻角等)流場的POD 分析.當模型或流動參數(shù)改變時,流場POD 模態(tài)亦發(fā)生變化,此時上述基于POD 與深度學習的流動降階模型并無泛化能力.近來,Zhao等[54]基于POD 與壓縮感知精確重構了相同機翼模型不同流動參數(shù)或相同流動參數(shù)不同機翼模型的表面壓力分布,其提取的POD 模態(tài)來自相同模型不同流動參數(shù)或相同流動參數(shù)不同模型的表面壓力分布,使得POD 模態(tài)適用于不同流動狀態(tài),有效提升了POD 降階模型在不同流態(tài)的泛化能力.另一方面,上述模型采用“端到端”方式建立流場輸入特征與輸出特征關系,模型是否能精確建立并無物理解釋.Jin 等[55]基于泰勒凍結假設啟發(fā)引入了繞流場流速時空關聯(lián)非線性函數(shù),理論推導了流場POD 系數(shù)與繞流場離散測點速度時間歷程的關系,并利用雙向RNN 將其定量化,對POD 輔助的深度學習流場降階模型進行了物理啟發(fā)的深度網(wǎng)絡設計.

2.1.2 物理啟發(fā)的深度網(wǎng)絡設計

將N-S 方程中的動量方程投影到第i階POD模態(tài),并結合邊界條件可得t時刻的第i階POD 模態(tài)系數(shù)為[55]

式中,t0為積分起始時刻,G (·) 和 H (·) 為關于速度的未知函數(shù)緊湊表示.在流場下游布置nvp個高時間分辨率速度探針,受泰勒凍結假設啟發(fā)可將式(13)進一步寫為[55]

由式(14)可知,t時刻的第i階POD 模態(tài)系數(shù)與t時刻之前與之后的離散點速度時程均相關;因此,設計了如圖2 所示“多對一”的雙向G R U RNN 將包含未知函數(shù)的式(14)定量化.上述研究理論推導得到流場POD 模態(tài)系數(shù)與繞流場離散測點速度時間歷程之間的定性關系,圖2 中的神經(jīng)網(wǎng)絡輸入特征和架構基于上述分析設計并將定性關系定量化,因此稱為物理啟發(fā)的深度學習方法.

圖2 流場重構神經(jīng)網(wǎng)絡架構:多對一雙向循環(huán)神經(jīng)網(wǎng)絡[55]Fig.2 Architecture of many-to-one bidirectional RNN to reconstruct the flow field[55]

在風洞實驗中對雷諾數(shù)為Re=2.4 × 104的圓柱繞流場進行了高時間分辨率重構測試:PIV 采樣頻率為5 Hz,在圓柱中心線下游4.5 倍直徑處布置1 個采樣頻率為5000 Hz 的Cobra 傳感器,采用雙向GRU RNN 對流場前3 階POD 模態(tài)進行建模,與擴展POD 方法的瞬態(tài)流場重構對比如圖3 所示.由圖可知,雙向GRU RNN 與POD 結合的方法重構的流場與真實流場相吻合,但擴展POD 方法的重構結果與真實流場存在明顯差異.由此可見POD 輔助的流場深度學習建模方法比傳統(tǒng)擴展POD 方法具有明顯優(yōu)勢.然而,以上模型仍依賴于確定雷諾數(shù)下的POD 模態(tài),當雷諾數(shù)發(fā)生變化時POD 模態(tài)發(fā)生變化,以上流場建模方法將不再適用.

圖3 Re=2.4 × 104 時的瞬時尾流場[55]Fig.3 Instantaneous wake-flow field[55] for Re=2:4 × 104

2.2 基于深度學習的流場直接預測模型

當基于深度學習直接建立端到端預測模型時,可有效避免POD 模態(tài)對雷諾數(shù)的依賴.例如,惠心雨等[56]基于GAN 建立了非定常二維圓柱繞流場的預測模型,與傳統(tǒng)CFD 方法相比,計算效率得到明顯提升.Sekar 等[57]基于深度學習建立了不同氣動外形下的二維機翼繞流場快速預測模型:該模型以CNN 提取的機翼形狀壓縮表征、攻角、雷諾數(shù)以及流場位置坐標為DNN 的輸入,壓力場和速度場為DNN 的輸出.Fukami 等[58]借鑒U-Net[59]中的多尺度特征融合思想設計了混合降采樣和跳躍連接的多尺度深度神經(jīng)網(wǎng)絡模型,以低分辨流場為輸入、高分辨流場為輸出成功完成了二維圓柱繞流、二維各向同性湍流等流場超分辨;Deng 等[60]則引入對抗損失函數(shù),采用超分辨率GAN[61]和增強的超分辨率GAN[30]完成了流場的超分辨率重構,相比Fukami 等[58]的結果,精度得到明顯提升.

Jin 等[62]受鈍體尾流中的雷諾應力、旋渦形成長度、基底壓力強相關的流體流體物理基本理論[63]啟發(fā),采用深度卷積神經(jīng)網(wǎng)絡建立了鈍體繞流問題表面壓力Cp與流場流速u間的關系模型,可在僅測量鈍體表面壓力的情況下快速預測尾流場

Jin 等[62]建立了如圖4 所示以圓柱表面壓力為輸入,由含有池化層路徑和不含池化層路徑共同構成的融合卷積神經(jīng)網(wǎng)絡建立了壓力-速度場模型,卷積層可提取輸入特征圖中對平移保持等變的特征,池化層可有效提取輸入特征圖中對少量平移保持不變的特征.

圖4 用于建立壓力-速度場模型的卷積神經(jīng)網(wǎng)絡架構.“conv”表示卷積層,“ReLU”是非線性激活函數(shù),“pooling”表示最大池化層,“FC”表示全連接層,“concat”表示不同路徑融合[62]Fig.4 The architecture of the fusion CNN to establish the pressure-velocity model.“conv”denotes convolutional layer;“ReLU”denotes nonlinear rectified linear unit;“pooling” denotes max pooling layer;“FC” denotes fully-connected layer;“concat” denotes the concatenating of different paths[62]

Jin 等[62]建立的訓練集雷諾數(shù)范圍為70～ 900,測試數(shù)據(jù)集雷諾數(shù)范圍為60～ 1100.圖5 給出了4 個具有代表性雷諾數(shù)上的流場預測結果.由圖可知,在研究所考慮的亞臨界雷諾數(shù)范圍內精確預測了圓柱繞流速度場;該壓力-速度場模型不僅可以精確預測包含在訓練集雷諾數(shù)范圍內的圓柱繞流速度場,而且能預測訓練集雷諾數(shù)范圍外的部分工況.同時,該壓力-速度場模型對旋渦形成長度、速度幅值等的雷諾數(shù)效應以及流場時空演化特性做出了精確預測;以上結果表明,Jin 等[62]建立的壓力-速度場模型成功捕捉了圓柱繞流的內在流動本質,并具有一定的雷諾數(shù)外延預測能力.為改善此類數(shù)據(jù)模型在不同流動參數(shù)條件下的泛化能力,Zhu 等[64]在建立湍流黏性系數(shù)深度學習模型時,利用驗證集進行輸入特征選取,從備選輸入特征中剔除在流動狀態(tài)上外插過大的特征,大幅提升了模型在機翼繞流場雷諾數(shù)、馬赫數(shù)、攻角等流動參數(shù)上的外延預測能力.

圖5 不同雷諾數(shù)下模型預測流場與CFD 計算結果對比[62].CFD 計算結果:(a) Re=65,(c) Re=170,(e) Re=500,(g) Re=1000;模型預測結果:(b) Re=65,(d) Re=170,(f) Re=500,(h) Re=1000Fig.5 Comparisons of instantaneous flow fields between the model predictions and CFD results for various Reynolds numbers[62].CFD results for (a) Re=65,(c) Re=170,(e) Re=500,and (g) Re=1000;model predictions for (b) Re=65,(d) Re=170,(f) Re=500,and (h) Re=1000

3 物理融合的流動控制方程深度學習求解

以上物理啟發(fā)的流場深度學習降階模型雖在網(wǎng)絡架構設計、網(wǎng)絡輸入特征與輸出量選取時充分考慮了流體物理機理,但一方面以上模型仍依賴于完整流場數(shù)據(jù),然而在PIV 獲取流場時由于壁面反光和遮擋等,近壁面流場無法解析,難以獲得完整流場數(shù)據(jù);另一方面,流體物理機理并未顯式嵌入深度學習模型.

3.1 基于通用近似定理的神經(jīng)網(wǎng)絡直接求解方法

不同與傳統(tǒng)人工智能任務,深度學習模型輸出或預測的流場需滿足流動控制方程.因此,可將網(wǎng)絡輸出流場需滿足的流動控制方程以殘差項的均方誤差形式嵌入網(wǎng)絡損失函數(shù).特別地,基于UAT 可用以時空坐標為輸入以流場為輸出的DNN 逼近流場時空演化函數(shù),此DNN 稱為物理融合的神經(jīng)網(wǎng)絡(physics-informed neural networks,PINNs)[65].

3.1.1 物理融合的神經(jīng)網(wǎng)絡架構

Jin 等[66]基于PINNs 引入了求解不可壓縮N-S方程的NSFnets (N-S flow nets) 求解速度-壓力(velocity-pressure,VP)形和渦量-速度(vorticityvelocity,VV)形控制方程,如圖6 所示.NSFnets 的損失函數(shù)包含在初始條件對應時空域采Ni個點計算的均方損失函數(shù) Li、在邊界條件對應時空域采Nb個點計算的均方損失函數(shù) Lb和在計算域采Ne個點計算的方程殘差對應的均方損失函數(shù) Le(圖6 中eVPi和eVVi),總損失函數(shù) L 為

圖6 NSFnets 網(wǎng)絡架構[66]Fig.6 A schematic of NSFnets[66]

式中,α和β為平衡損失函數(shù)下降過程中不同項梯度以加速收斂的權重系數(shù).方程殘差中的偏導借助自動微分技術[67]計算.當損失函數(shù)收斂到較小值時即獲得 Le中所包含控制方程的解.

采用梯度下降算法訓練NSFnets 時,參數(shù)更新過程可表示為

式中,θ 為可訓練參數(shù),上角標k為訓練步數(shù),η 為學習率.α和β可看作超參數(shù)人工調整或用動態(tài)權重(dynamic weights,DW)策略調整[66,68].在計算域采點時可采用隨機策略或與自適應網(wǎng)格方法類似的自適應殘差點細化(residual-based adaptive refinement,RAR)方法[69].對NSFnets 模擬結果定義如下L2相對誤差

式中,V表示參考速度分量u,v,w或壓力p,表示由NSFnets 計算的速度或壓力值.

采用PINNs 中的方程殘差均方損失函數(shù)求解流動控制方程時獲得的解為方程的經(jīng)典解.E 等[70]利用殘差網(wǎng)絡,Zang 等[71]利用生成對抗網(wǎng)絡搜索了變分形式下控制方程殘差最小值點,獲得了方程的弱解.

3.1.2 正問題求解

Jin 等[66]在采用NSFnets 求解Kovasznay 流動時發(fā)現(xiàn),RAR 方法能增加較少的殘差點獲得較大的精度提升,如表1 所示.表中VP-NSFnet 在采用隨機采樣測量時采用了635 個殘差點,采用RAR 時增加了10 個殘差點;VV-NSFnet 在采用隨機采樣測量時采用了629 個殘差點,采用RAR 時僅增加了4 個殘差點.采用RAR 后,兩種形式NSFnets 求解精度均有約50%提升.

表1 采用RAR 增加殘差點時NSFnets 求解的速度和壓力L2 相對誤差[66]Table 1 Relative L2 errors of velocity and pressure solutions for NSFnets with residual points added via RAR[66]

圖7 給出了NSFnets 求解雷諾數(shù)為100 的圓柱繞流時速度u,v和壓力p誤差隨時間演化曲線,此時VV-NSFnet 和VV-NSFnet 的隱藏層層數(shù)均為10,每層節(jié)點數(shù)均為100.由圖可知,兩種形式的神經(jīng)網(wǎng)絡都達到了較高的求解精度,VV-NSFnet 比VPNSFnet 具有更高的求解精度;而且動態(tài)權重系數(shù)策略有效提升了NSFnets 的求解精度.此外,Jin 等[66]首次采用物理融合的神經(jīng)網(wǎng)絡模擬了槽道湍流,并發(fā)現(xiàn)隨著求解區(qū)域和求解時間間隔的增大,結果并未發(fā)散.

圖7 圓柱繞流求解誤差[66]:(a) 流向速度,(b) 橫向速度和 (c) 壓力的L2 相對誤差Fig.7 Flow past a circular cylinder[66]:relative L2 errors of NSFnets simulations for (a) the streamwise velocity,(b) the crossflow velocity and (c) pressure

Mao 等[72]通過在高速流動解空間梯度劇烈變化區(qū)域增加殘差點采用PINNs 有效求解了高速可壓流動.Mao 等[72]進一步將存在激波等梯度劇烈變化的解空間中分割為若干子區(qū)域,各子區(qū)域采用不同深度網(wǎng)絡求解,流場求解精度得到地顯著提升.基于此,Jagtap 等[73]發(fā)展了將求解域劃分為不同子區(qū)域求解的守恒PINNs:每個子區(qū)域采用不同深度網(wǎng)絡,PINNs 的總損失函數(shù)加入表征子區(qū)域界面通量連續(xù)的損失函數(shù)和區(qū)域界面解的平均值一致的損失函數(shù),求解了可壓縮歐拉方程、方腔流等.

為了加快N-S 方程求解過程,Wei 等[74]提出了基于深度強化學習(deep reinforcement learning,DRL)的流體力學微分方程統(tǒng)一求解框架(見圖8),求解了流體力學中的Burgers 方程,穩(wěn)態(tài)N-S 方程等.在求解Burgers 方程時,發(fā)現(xiàn)該方法比傳統(tǒng)的有限元方法更能有效地捕捉激波;在方程求解過程中發(fā)現(xiàn),隨著求解步數(shù)的增大,求解速度提升,具有遷移學習的特性;研究了從求解低雷諾數(shù)遷移到高雷諾數(shù)時網(wǎng)絡參數(shù)的訓練策略[15],提高了計算效率.此外,Meng 等[75]提出了時域上并行的PINNs:首先將較長的時域分成N段子時域,用一個粗尺度網(wǎng)絡對應完整時域和N個細尺度網(wǎng)絡對應N段子時域;交替訓練兩類網(wǎng)絡最終獲得方程的解;該方法提升了PINNs 求解時域較長問題的計算效率.

圖8 基于深度強化學習的微分方程求解框架[74]Fig.8 DRL framework for equation solution[74]

3.1.3 反問題求解

Jin 等[66]采用NSFnets 求解了邊界條件(狄利克雷邊界條件)不完備或邊界條件含噪聲的Kovasznay 流動,發(fā)現(xiàn)NSFnets 在此時仍可獲得較高精度的解,且其計算代價與求解正問題相當,表明NSFnets處理含噪聲數(shù)據(jù)同化問題時具有廣闊前景.Raissi等[76]采用PINNs 求解了雷諾數(shù)為100 的圓柱渦激振動數(shù)據(jù)同化問題:首先當已測得含噪聲的圓柱位移和部分測點速度時,反演了求解域內完整的流場,計算了氣動力;其次當在流場中布置了被動輸運顆粒并已知顆粒擴散方程時,同樣反演了求解域內完整的流場,計算了氣動力時程.Raissi 等[77]進一步僅基于被動輸運顆粒流動顯示數(shù)據(jù),采用PINNs 成功求解了圓柱繞流、動脈瘤等問題,獲得了高精度的流場和壓力場數(shù)據(jù).根據(jù)圓柱流場先驗信息,求解此類反問題時需在圓柱附近的上游流場和近尾流場中隨機布置觀測點[76-77].Cai 等[78]基于多平面溫度梯度測量視頻,利用物理融合的神經(jīng)網(wǎng)絡求解了咖啡杯上方流場細節(jié),并與獨立PIV 測量結果相吻合.但在求解此類反問題時,尚無法預先估計已測數(shù)據(jù)量、數(shù)據(jù)空間分布對求解精度的影響.Mao 等[72]在已知高速可壓縮流動密度場梯度和部分離散測點壓力值時,采用PINNs 反演了流場信息.Yang 等[79]進一步發(fā)展了使用貝葉斯神經(jīng)網(wǎng)絡代替PINNs 中深度網(wǎng)絡的貝葉斯PINNs,有效緩解了求解反問題時含噪聲數(shù)據(jù)帶來的過擬合問題.

3.2 深度學習輔助的數(shù)值模擬方法

上述基于通用近似定理的神經(jīng)網(wǎng)絡直接求解方法在處理流動控制方程相關問題時并未依賴傳統(tǒng)數(shù)值模擬方法.但除利用神經(jīng)網(wǎng)絡直接求解方程,還可利用深度學習輔助構建更快速、更精確的數(shù)值算法.此時,流體物理直接以離散控制方程形式反映在數(shù)值算法中.

3.2.1 深度學習輔助的求解效率提升

Raissi 等[65]利用網(wǎng)絡經(jīng)典解方法,將用龍格-庫塔方法構造的求解變量用神經(jīng)網(wǎng)絡近似,結合控制方程、邊界條件等形成損失函數(shù),成功實現(xiàn)了由于計算量過大傳統(tǒng)數(shù)值格式難以完成的100 階隱式龍格-庫塔方法.

Bar-Sinai 等[80]基于有限差分法,首先利用細尺度網(wǎng)格解或解析解訓練粗尺度網(wǎng)格解到細尺度網(wǎng)格有限差分算子系數(shù)的深度網(wǎng)絡,然后在粗尺度上利用此深度網(wǎng)絡預測高精度有限差分算子系數(shù),在保持較高求解精度的前提下大幅提升了有限差分方法的求解效率.隨后,Kochkov 等[81]和Zhuang 等[82]利用此方法求解了二維湍流,在相同求解精度下求解效率相比傳統(tǒng)數(shù)值方法提升了40～ 80 倍.

3.2.2 深度學習輔助的求解精度提升

Wang 等[83]將WENO 格式中的數(shù)值通量計算格式用強化學習選擇,以長期計算精度構造強化學習的獎勵函數(shù)訓練網(wǎng)絡,獲得了精度更高的RLWENO 格式(基于強化學習的WENO 格式).Greenfeld 等[84]利用深度神經(jīng)網(wǎng)絡構造了多重網(wǎng)格法中的誤差傳遞矩陣,并以誤差傳遞矩陣譜半徑期望為損失函數(shù),訓練網(wǎng)絡將損失函數(shù)最小化可獲得最優(yōu)誤差傳遞矩陣,有效提高了多重網(wǎng)格法的計算精度.Li 等[85]通過在經(jīng)典LSTM 神經(jīng)網(wǎng)絡中引入Newmark-β數(shù)值方法,利用網(wǎng)絡中上一時間步輸出氣動力計算得到動力系統(tǒng)位移和速度響應并作為下一時間步網(wǎng)絡輸入,構成閉環(huán)序列結構,抑制了由于測量和模型參數(shù)識別誤差導致的長期預測中出現(xiàn)的誤差放大現(xiàn)象,顯著提高了模型長時間預測精度與魯棒性.

4 結論與展望

有別于傳統(tǒng)圖像識別、自然語言處理等典型人工智能任務,深度學習模型預測的流場需滿足流體物理規(guī)律,如N-S 方程、典型能譜等.本文闡述了物理增強的深度學習方法(包括物理啟發(fā)與物理融合的深度學習方法)在流體力學降階模型、流動控制方程求解領域的研究進展,結論和展望如下.

(1)在系統(tǒng)研究流體物理的基礎上,可通過設計深度網(wǎng)絡輸入特征和深度網(wǎng)絡架構建立物理啟發(fā)流場深度學習降階模型,完成流場高效、高精度預測或重構.本征值正交分解輔助的深度學習降階模型相比傳統(tǒng)降階模型,精度得到有效提升.

(2)物理融合的神經(jīng)網(wǎng)絡求解可方便地用于流場反演問題,且其計算代價與求解正問題相當.

(3)物理啟發(fā)的流場深度學習降階模型雖在輸入特征選取與網(wǎng)絡架構設計時充分考慮了流體物理規(guī)律,物理融合的流動控制方程深度學習求解方法雖在損失函數(shù)中顯式嵌入了表征物理規(guī)律的方程殘差項,但以上約束均為“軟約束”,即由于損失函數(shù)不能嚴格下降至零等原因無法保證深度網(wǎng)絡所逼近的流場嚴格滿足物理規(guī)律.近來,Chen 等[86]結合離散的控制方程通過對網(wǎng)絡輸出的流場做進一步投影,使網(wǎng)絡輸出流場嚴格滿足離散的控制方程,對網(wǎng)絡施加了“硬約束”.如何進一步設計深度網(wǎng)絡組件,如連接方式、激活函數(shù)等,使其逼近的流場自然滿足流體物理規(guī)律尚需得到關注.

(4)物理融合的神經(jīng)網(wǎng)絡求解正問題時效率依然較低.一方面可以通過設計并行計算框架加速模擬,如NVIDIA 開發(fā)的并行計算程序SimNet[87]極大提升了計算效率.另一方面,Dong 和Li[88]結合極限學習機、區(qū)域分解和局部神經(jīng)網(wǎng)絡思想,引入更多先驗函數(shù),提出了局部極限學習機,有效提升了網(wǎng)絡求解效率.

(5)物理融合的神經(jīng)網(wǎng)絡求解正問題時無法解析地給出類似有限元或有限差分法的收斂性分析.近期,Shin 等[89]首次在利用網(wǎng)絡求解線性橢圓型和拋物型偏微分方程時分析了其收斂性,但對高度非線性方程尚待進一步研究.