查文舒 李道倫 沈路航 張 雯 劉旭亮

(合肥工業(yè)大學(xué)數(shù)學(xué)學(xué)院,合肥 230009)

引言

人工智能引發(fā)多領(lǐng)域技術(shù)變革,廣泛應(yīng)用于計(jì)算機(jī)視覺,生物醫(yī)學(xué),油氣工程開發(fā)等領(lǐng)域.深度學(xué)習(xí)(deep learning)在工程技術(shù),流體力學(xué),計(jì)算力學(xué)等領(lǐng)域的研究具有重要的理論指導(dǎo)意義與工程應(yīng)用價(jià)值.近年來,基于油藏動(dòng)、靜態(tài)數(shù)據(jù),人工智能有望實(shí)現(xiàn)油藏精細(xì)描述與精準(zhǔn)開發(fā),提高采收率.將測(cè)井、壓裂施工、生產(chǎn)數(shù)據(jù)等進(jìn)行智能融合,大幅提升壓裂改造效果,降低開發(fā)成本.大數(shù)據(jù)與智能優(yōu)化方法相結(jié)合,將變革油田數(shù)據(jù)分析方法、油田開發(fā)控制與優(yōu)化方法[1].非常規(guī)油氣開發(fā)難題與人工智能相結(jié)合,有望解決非常規(guī)復(fù)雜油氣物理規(guī)律建立、偏微分方程求解等難題.人工智能與大數(shù)據(jù)將“實(shí)現(xiàn)石油勘探開發(fā)主體技術(shù)更新?lián)Q代的宏偉目標(biāo),從技術(shù)層面上促進(jìn)石油勘探開發(fā)行業(yè)整體轉(zhuǎn)型升級(jí)”[2].

人工智能方法因其處理高度復(fù)雜問題的突出能力,已引起油田領(lǐng)域的特別關(guān)注[3-6].傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)已在石油工程領(lǐng)域得到廣泛應(yīng)用,例如預(yù)測(cè)未知年份的測(cè)井?dāng)?shù)據(jù)[3]、預(yù)測(cè)油品壓力-體積-溫度屬性[4]、預(yù)測(cè)注產(chǎn)剖面[5]、估算孔隙度[6]、井底流動(dòng)壓力[7]、選擇頁巖氣藏完井方法[8]、試井解釋[9-13]等.

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)新領(lǐng)域.深度學(xué)習(xí)的本質(zhì)是構(gòu)建含有多個(gè)隱藏層的網(wǎng)絡(luò)模型,通過學(xué)習(xí)大規(guī)模的數(shù)據(jù),獲得更具代表性的特征,從而提高預(yù)測(cè)和分類的精度.Tian和Horne[14]利用遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)永久井下壓力計(jì)(PDG)數(shù)據(jù),用于識(shí)別油藏模型及生產(chǎn)預(yù)測(cè).Sudakov 等[15]將深度學(xué)習(xí)用于滲透率預(yù)測(cè).Mosser 等[16]利用深度學(xué)習(xí)進(jìn)行三維多孔介質(zhì)重構(gòu).張東曉等[17]利用循環(huán)神經(jīng)網(wǎng)絡(luò)研究測(cè)井曲線的生成與修補(bǔ).近兩年,深度學(xué)習(xí)在試井參數(shù)自動(dòng)反演得到了很好的應(yīng)用[18-20].

同時(shí),在解決參數(shù)反演、數(shù)字巖心、測(cè)井曲線、試井解釋等問題上,深度學(xué)習(xí)作為人工智能發(fā)展引擎有著優(yōu)秀的表現(xiàn)[21-25].以深度學(xué)習(xí)為核心的人工智能正在油氣開發(fā)領(lǐng)域掀起新的研究熱潮,其中最具前瞻性、顛覆性的研究當(dāng)屬基于深度學(xué)習(xí)的偏微分方程求解.該方法一旦突破,物理規(guī)律建立、參數(shù)反演和數(shù)值模擬方法都將發(fā)生變革,我國也將在以偏微分方程(偏微分方程)求解為核心的工業(yè)計(jì)算軟件中迎來巨大機(jī)遇.自2017 年來,深度學(xué)習(xí)在物理規(guī)律發(fā)現(xiàn)、油藏參數(shù)反演和偏微分方程求解中發(fā)揮了令人驚訝的作用[26-30].

在實(shí)際開發(fā)現(xiàn)場(chǎng)或其他應(yīng)用場(chǎng)景中,只能獲取相關(guān)測(cè)量數(shù)據(jù),而數(shù)據(jù)背后所潛在的物理規(guī)律需要進(jìn)一步分析得到,偏微分方程模型是刻畫其特性的重要工具.目前,解決基于大量數(shù)據(jù)尋找物理規(guī)律的主要思路有:在有一定的先驗(yàn)知識(shí)下,列出偏微分方程所描述的物理過程的備選項(xiàng),利用稀疏回歸技術(shù)或其他方法進(jìn)行特征選擇和參數(shù)估計(jì)[31-35];其二用神經(jīng)網(wǎng)絡(luò)作為逼近器的功能,使用不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)表征偏微分方程系統(tǒng),通過學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)達(dá)到發(fā)現(xiàn)物理規(guī)律的目的[1,36].

現(xiàn)有的偏微分方程求解方法要進(jìn)行網(wǎng)格劃分、非線性方程組求解,計(jì)算成本高,技術(shù)突破難度大.基于深度學(xué)習(xí)的偏微分方程求解方法不僅能快速正演、快速反演[37-38],而且能很好解決非線性問題[39-42],能對(duì)更復(fù)雜、更高維的偏微分方程[27,30,43]進(jìn)行求解,有望顛覆傳統(tǒng)偏微分方程數(shù)值求解技術(shù),引發(fā)數(shù)值模擬技術(shù)的巨大變革.

雖然技術(shù)路線存在差異,但深度學(xué)習(xí)在物理模型建立、偏微分方程求解和參數(shù)反演中的應(yīng)用,其核心仍是如何用深度學(xué)習(xí)表征偏微分方程.當(dāng)前的研究多集中在無源匯的偏微分方程,多是數(shù)據(jù)驅(qū)動(dòng)(data driven)、物理約束(physics informed),少量為物理驅(qū)動(dòng)(physical based,physical constraint,theory based or without labeled data).由于當(dāng)前處于研究初始階段,很多學(xué)者都提出了自己的術(shù)語,導(dǎo)致當(dāng)前術(shù)語復(fù)雜,然而不同術(shù)語往往表示同一含義.為此,本文約定:數(shù)據(jù)驅(qū)動(dòng)(data driven)為僅用標(biāo)簽數(shù)據(jù)約束的方法,物理驅(qū)動(dòng)(physics driven)為不含任何標(biāo)簽數(shù)據(jù)約束的方法.物理約束(physics informed)介于二者之間,即標(biāo)簽數(shù)據(jù)約束、偏微分方程約束共存的方法.因而,若僅用偏微分方程約束,物理約束方法就是物理驅(qū)動(dòng)方法.另外,遵循于傳統(tǒng)偏微分方程解析解、偏微分方程數(shù)值解術(shù)語,這里稱用深度學(xué)習(xí)進(jìn)行偏微分方程求解的方法為偏微分方程智能求解方法或偏微分方程神經(jīng)網(wǎng)絡(luò)求解方法.

本文將深度學(xué)習(xí)表征偏微分方程分為兩個(gè)場(chǎng)景:構(gòu)建未知偏微分方程與求解已知偏微分方程.對(duì)于構(gòu)建未知偏微分方程,本文簡(jiǎn)要介紹了網(wǎng)絡(luò)結(jié)構(gòu)與偏微分方程、微分算子或演化算子等的內(nèi)在聯(lián)系,概述神經(jīng)網(wǎng)絡(luò)逼近未知偏微分方程的表示方法,并給出其中有待解決的問題與難點(diǎn).對(duì)于求解已知偏微分方程,本文從數(shù)據(jù)驅(qū)動(dòng)、物理約束和物理驅(qū)動(dòng)3 個(gè)角度介紹神經(jīng)網(wǎng)絡(luò)求解已知偏微分方程方法,主要包括神經(jīng)網(wǎng)絡(luò)求解偏微分方程原理,網(wǎng)絡(luò)框架構(gòu)建,損失函數(shù)構(gòu)造等,結(jié)合國內(nèi)外研究現(xiàn)狀,系統(tǒng)梳理該領(lǐng)域的研究脈絡(luò),分析神經(jīng)網(wǎng)絡(luò)求解偏微分方程中存在的關(guān)鍵問題和解決方案,并對(duì)可行的未來研究方向和內(nèi)容進(jìn)行討論和展望.此外,雖然深度學(xué)習(xí)在近年來得到了迅猛發(fā)展,但其在求解偏微分方程等力學(xué)問題上的研究仍然有限,在實(shí)際應(yīng)用中的表現(xiàn)仍有待考驗(yàn).因此,本文主要側(cè)重研究方法上的進(jìn)展.

1 基于神經(jīng)網(wǎng)絡(luò)的偏微分方程求解方法探索研究

1943 年McCulloch和Pitts[44]建立了神經(jīng)網(wǎng)絡(luò)及其數(shù)學(xué)模型,開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的新時(shí)代.20 世紀(jì)80 年代中期,首次提出的反向傳播算法算法及其發(fā)展[45]引起了人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域研究的第二次熱潮.

一直以來,人們希望找到無須網(wǎng)格劃分、無須非線性方程求解的偏微分方程數(shù)值求解新方法.其探索之一就是基于人工神經(jīng)網(wǎng)絡(luò)的求解方法.自動(dòng)微分(automatic differentiation) 能使用鏈?zhǔn)椒▌t精確計(jì)算導(dǎo)數(shù)[46-48],可以根據(jù)神經(jīng)網(wǎng)絡(luò)的輸入坐標(biāo)和網(wǎng)絡(luò)參數(shù)對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行微分,從而代替偏微分方程中復(fù)雜的梯度計(jì)算,為基于人工神經(jīng)網(wǎng)絡(luò)的偏微分方程求解奠定了基礎(chǔ).

在20 世紀(jì)90 年代,便有學(xué)者開始研究使用神經(jīng)網(wǎng)絡(luò)求解微分方程的數(shù)學(xué)基礎(chǔ)與方法.1990 年Wornik 等[49]證明了多層神經(jīng)網(wǎng)絡(luò)能夠逼近任意函數(shù)及其導(dǎo)數(shù).這為微分方程的神經(jīng)網(wǎng)絡(luò)求解奠定了理論基礎(chǔ).隨后,Li[50]證明了一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)可逼近多元多項(xiàng)式函數(shù)及其導(dǎo)數(shù).Lagaris 等[51]將微分方程中的初值與邊界條件獨(dú)立表征,提出頗為新穎的偏微分方程求解方法.隨后,不少學(xué)者進(jìn)行了探索研究,例如,Aarts和Van[52]將表征不同階微分算子的單隱層前饋網(wǎng)絡(luò)聯(lián)合起來,共同訓(xùn)練來求解偏微分方程;又如,Ramuhalli 等[53]將有限元模型嵌入到神經(jīng)網(wǎng)絡(luò)中,提出了有限元神經(jīng)網(wǎng)絡(luò).由于早期多層前饋神經(jīng)網(wǎng)絡(luò)模型的局限性,早期方法只能求解簡(jiǎn)單的偏微分方程,基于神經(jīng)網(wǎng)絡(luò)的偏微分方程求解方法沒引起足夠的重視.

早期方法主要基于數(shù)據(jù)驅(qū)動(dòng),即事先獲得偏微分方程的輸入及精確解(常稱為“標(biāo)簽數(shù)據(jù)”),然后用神經(jīng)網(wǎng)絡(luò)逼近標(biāo)簽數(shù)據(jù),從而獲得能夠表征偏微分方程的神經(jīng)網(wǎng)絡(luò)模型,如圖1(a)所示.網(wǎng)絡(luò)的輸入可以是參數(shù)或空間、時(shí)間等,可根據(jù)需要選擇.

圖1 基于PDE 智能求解方法的兩種技術(shù)路線Fig.1 Two technical routes based on PDE intelligent solution method

隨著深度學(xué)習(xí)算法在多個(gè)領(lǐng)域的成功應(yīng)用[54-55],國內(nèi)外學(xué)者重新開啟了基于神經(jīng)網(wǎng)絡(luò)的偏微分方程求解方法研究,取得了系列突破,提出了新方法,如純物理驅(qū)動(dòng)的偏微分方程求解方法.該方法用控制方程進(jìn)行約束,無需標(biāo)簽數(shù)據(jù),如圖1(b)所示.

根據(jù)不同的應(yīng)用場(chǎng)景,本文將從深度學(xué)習(xí)反演構(gòu)建未知偏微分方程和求解已知偏微分方程兩個(gè)方面展開介紹.下節(jié)主要介紹如何通過神經(jīng)網(wǎng)絡(luò)逼近線性或非線性算子,從數(shù)據(jù)中找出隱藏的偏微分方程模型.

2 基于深度學(xué)習(xí)反演未知偏微分方程

利用深度學(xué)習(xí)方法從數(shù)據(jù)中反演未知的偏微分方程是當(dāng)前的研究熱點(diǎn)之一.對(duì)于未知的偏微分方程,主要的研究目標(biāo)是通過深度學(xué)習(xí)找出數(shù)據(jù)背后蘊(yùn)藏的偏微分方程模型,從數(shù)據(jù)中反演未知的偏微分方程(例如方程的右端項(xiàng)、方程的積分形式或方程的演化算子等),進(jìn)一步構(gòu)建模型用于求解.

恢復(fù)方程的傳統(tǒng)思路是構(gòu)建簡(jiǎn)單函數(shù)和偏導(dǎo)數(shù)的備選字典.這些函數(shù)和偏導(dǎo)數(shù)很可能出現(xiàn)在未知的控制方程中.根據(jù)已知偏微分方程的非線性響應(yīng)的形式構(gòu)建模型,然后利用稀疏回歸類方法來學(xué)習(xí)這些未知參數(shù),選擇最準(zhǔn)確代表數(shù)據(jù)的項(xiàng).這種傳統(tǒng)的恢復(fù)方式要求假設(shè)非線性響應(yīng)形式已知或確定微分算子的有限差分逼近的方法,而深度學(xué)習(xí)大大降低了對(duì)偏微分方程先驗(yàn)知識(shí)的要求,只需要簡(jiǎn)單的先驗(yàn)知識(shí),如方程最大可能的階.此外稀疏回歸方法需要事先確定字典中空間差分的數(shù)值近似,限制了字典的表達(dá)能力和預(yù)測(cè)能力且需要建立一個(gè)足夠大的字典,這可能會(huì)導(dǎo)致高的內(nèi)存負(fù)載和計(jì)算成本,特別是當(dāng)模型變量的數(shù)量很大的時(shí)候.深度學(xué)習(xí)方法采用可學(xué)習(xí)的卷積近似微分算子或近似演化算子,從根本上提高從噪聲數(shù)據(jù)中識(shí)別動(dòng)力學(xué)的能力,從而使模型具有更強(qiáng)的表達(dá)能力和和預(yù)測(cè)準(zhǔn)確性.如果沒有足夠的數(shù)據(jù)知識(shí),也有可能通過調(diào)整多項(xiàng)式的微分來獲得更好的表征效果,神經(jīng)網(wǎng)絡(luò)在偏微分方程求解和恢復(fù)問題中都大有可為.

近幾年,國內(nèi)外學(xué)者致力于探究網(wǎng)絡(luò)結(jié)構(gòu)與偏微分方程、各項(xiàng)微分算子或方程的演化算子等的內(nèi)在聯(lián)系,從理論上支撐用深度學(xué)習(xí)來表征偏微分方程.2018 年Long 等[56-57]提出一種基于數(shù)據(jù)驅(qū)動(dòng)的前饋神經(jīng)網(wǎng)絡(luò)(PDE-Net),其核心思想是:時(shí)間導(dǎo)數(shù)項(xiàng)做歐拉離散,受約束卷積核近似微分算子,進(jìn)而使用神經(jīng)網(wǎng)絡(luò)或其他機(jī)器學(xué)習(xí)方法近似方程右端項(xiàng),構(gòu)建網(wǎng)絡(luò)來逼近偏微分方程系統(tǒng),并對(duì)其解進(jìn)行長(zhǎng)期預(yù)測(cè).此外結(jié)合Symnet (symbolic neural network)[58-59],使用可學(xué)習(xí)濾波器PDE-Net2.0[56-57]更加靈活,能夠在少量先驗(yàn)知識(shí)的情況下揭示方程的解析形式,尤其對(duì)于非線性問題有更好的結(jié)果,并能夠更強(qiáng)大地逼近未知?jiǎng)討B(tài)和更長(zhǎng)的時(shí)間預(yù)測(cè).

變分和偏微分方程框架下卷積與微分之間存在內(nèi)在關(guān)聯(lián)[60-61].據(jù)此關(guān)聯(lián),Long 等[56]提出受約束的卷積核,即在數(shù)學(xué)上能證明該卷積能表征微分算子,因而卷積核是受限的.深度學(xué)習(xí)在受限的基礎(chǔ)上學(xué)習(xí)卷積核,從而有更好的偏微分算子表征能力.例如,對(duì)于卷積核,將該卷積核作用在二維空間變量u上,得到

類似于小波理論中的消失矩的階,對(duì)于卷積核q,定義q的消失矩的階 α=(α1,α2)∈滿足

其中β=(β1,β2)∈,對(duì)于滿足|β|＜|α| 或|β|=|α|,但β≠α的所有β都有式(1) 成立.滿足以上條件的α=(α1,α2)稱為q的消失矩的階.卷積核q有α ∈階消失矩,其作用于一個(gè)連續(xù)函數(shù)F(x)∈R2有,應(yīng)用泰勒展開進(jìn)行推導(dǎo)得

最終可通過式(2)構(gòu)造卷積核來近似微分算子,詳見文獻(xiàn)[56].基于受約束的卷積核,構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)來逼近偏微分方程,并使用神經(jīng)網(wǎng)絡(luò)或其他機(jī)器學(xué)習(xí)方法確定非線性響應(yīng)項(xiàng).當(dāng)偏微分方程對(duì)應(yīng)以下格式時(shí)

對(duì)時(shí)間導(dǎo)數(shù)項(xiàng)做歐拉離散,空間類導(dǎo)數(shù)項(xiàng)做約束卷積近似,方程(3)可表示為

其中D0和Di j表示卷積核,cij是二維矩陣,相當(dāng)于偏導(dǎo)項(xiàng)的系數(shù),可以插值得到,也可以直接在訓(xùn)練過程中學(xué)習(xí)得到,再根據(jù)矩陣是否為零來判斷對(duì)應(yīng)的項(xiàng)是否存在,從而反演出未知偏微分方程.

González-García 等[62]基于人工神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)提出物理模型建立方法,其本質(zhì)是在一定的先驗(yàn)知識(shí)下,列出描述物理過程的偏微分方程所有的備選項(xiàng),利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行自動(dòng)選擇和參數(shù)估計(jì),從而發(fā)現(xiàn)數(shù)據(jù)后隱藏的物理規(guī)律.

Wu 等[63-64]首次基于殘差網(wǎng)絡(luò)(ResNet)構(gòu)建了從數(shù)據(jù)中學(xué)習(xí)未知微分方程的新框架.該框架以微分方程內(nèi)在的積分形式為基礎(chǔ),以逼近方程的流譜(flow map,針對(duì)常微分方程)和演化算子(evolution operator,針對(duì)偏微分方程)為目標(biāo),從根本上避免了傳統(tǒng)框架(以逼近方程的右端項(xiàng)為目標(biāo))所依賴的數(shù)值微分.文獻(xiàn)[63-64]提出了兩種多步的ResNet 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),從精確演化算子的角度,首次在理論上建立了ResNet 與精確演化算子的內(nèi)在數(shù)學(xué)關(guān)系、由此給出了該深度學(xué)習(xí)方法的數(shù)學(xué)解釋.不同于Wu和Xiu[64]在模態(tài)/傅里葉空間學(xué)習(xí)方程,Chen 等[65]在物理空間進(jìn)行學(xué)習(xí)和建模,利用DNN學(xué)習(xí)測(cè)量數(shù)據(jù),從而學(xué)習(xí)未知偏微分方程.Chen 等[66]提出一種無梯度的符號(hào)遺傳算法(SGA-PDE),使用符號(hào)數(shù)學(xué)靈活表示任意給定偏微分方程,優(yōu)化其表示形式,從數(shù)據(jù)中發(fā)現(xiàn)開放形式的偏微分方程.Xu和Zhang[67]在PINN 的基礎(chǔ)上提出一種更具魯棒性的深度學(xué)習(xí)遺傳算法(R-DLGA),將深度學(xué)習(xí)-遺傳算法提供的潛在項(xiàng)的初步結(jié)果作為物理約束加入損失函數(shù),提升了在高階導(dǎo)數(shù)等影響下導(dǎo)數(shù)的計(jì)算精度,從而在高噪聲稀疏數(shù)據(jù)中獲得偏微分方程.

迄今為止,該領(lǐng)域提出的許多方法都存在一些局限性.特別是,目前的方法通常研究ut=N(u,x,t)形式的方程,但許多物理方程不在此類.此外,如果測(cè)量一個(gè)具有參數(shù)依賴性的系統(tǒng),如何消除演化動(dòng)力學(xué)及其參數(shù)依賴性之間的歧義是有待解決的問題.盡管神經(jīng)網(wǎng)絡(luò)表現(xiàn)出強(qiáng)大的數(shù)據(jù)學(xué)習(xí)能力,但對(duì)于有噪聲數(shù)據(jù)的學(xué)習(xí),尤其在非線性、多耦合的復(fù)雜物理系統(tǒng)中,網(wǎng)絡(luò)模型的精確性以及穩(wěn)定性有待提升.

而對(duì)于已知的給定的偏微分方程,神經(jīng)網(wǎng)絡(luò)可用于逼近偏微分方程的解或表征方程,本文下節(jié)將從數(shù)據(jù)驅(qū)動(dòng)、物理約束和物理驅(qū)動(dòng)3 個(gè)方面對(duì)神經(jīng)網(wǎng)絡(luò)求解偏微分方程展開介紹,并簡(jiǎn)述所用的神經(jīng)網(wǎng)絡(luò),如全連接神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)(CNN)、殘差網(wǎng)絡(luò)(ResNet)、DenseNet、自編碼網(wǎng)絡(luò)(autoencoder)、長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)等,總結(jié)現(xiàn)有研究的重要進(jìn)展,并探討下一步的發(fā)展趨勢(shì),對(duì)未來偏微分方程智能求解的研究提出建議.

3 基于深度學(xué)習(xí)的偏微分方程求解方法

3.1 偏微分方程神經(jīng)網(wǎng)絡(luò)求解方法概述

深度神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是前饋全連接深度神經(jīng)網(wǎng)絡(luò)[68],以此為例介紹已知偏微分方程的神經(jīng)網(wǎng)絡(luò)求解方法.以d維行向量x∈Rd為網(wǎng)絡(luò)輸入,一個(gè)單隱層神經(jīng)網(wǎng)絡(luò)的k維輸出形式為

式中,W1和W2分別為d×q和q×k的權(quán)重矩陣,b1和b2分別為 1×q和1×k的偏置向量;σ(·) 是一個(gè)非線性模型,稱為激活函數(shù).

對(duì)于多層神經(jīng)網(wǎng)絡(luò),模型參數(shù)可以表示為

式中,θ 表示網(wǎng)絡(luò)參數(shù){W,b} 的集合.參數(shù)的優(yōu)化采用隨機(jī)梯度下降(SGD) 或其變體方法[69-71].以SGD 為例,第i次迭代過程如下

式中,η為第i次迭代的步長(zhǎng).損失函數(shù)相對(duì)于模型參數(shù)的梯度 ?θJ通常使用反向傳播[72]計(jì)算,這是反向模式自動(dòng)微分[48]技術(shù)的特殊情況.關(guān)于神經(jīng)網(wǎng)絡(luò)的優(yōu)化過程不再詳細(xì)描述,具體可參考文獻(xiàn)[48,68,72].

對(duì)于給定的一般偏微分方程,在初始條件I(·)(IC)以及邊界條件 B(·) (BC)的約束下可表述為[73]

式中,u(t,x;θ) 是方程的近似解,θ 是近似解在方程中對(duì)應(yīng)的參數(shù);N(·) 是一個(gè)微分算子包含時(shí)間微分,空間微分等組成的線性或非線性項(xiàng);x為定義在有界連續(xù)空間域 D?RD中的位置向量,?D 為邊界.

一般來說,根據(jù)訓(xùn)練方法的不同,基于深度學(xué)習(xí)的偏微分方程求解方法可以分為數(shù)據(jù)驅(qū)動(dòng)和物理驅(qū)動(dòng)兩種方法.數(shù)據(jù)驅(qū)動(dòng)方法所需的標(biāo)簽數(shù)據(jù)形如u(t,x),通過尋找一組最優(yōu)的網(wǎng)絡(luò)參數(shù) (W,b),以局部最小化訓(xùn)練數(shù)據(jù)u(t,x)和神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)(t,x;W,b)之間的差.也就是說,可以將數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化問題表示為

式中,W*和b*為神經(jīng)網(wǎng)絡(luò)的優(yōu)化目標(biāo).

對(duì)于物理驅(qū)動(dòng)方法,通常使用控制方程和IC,BC 構(gòu)造殘差,然后將殘差添加到損失函數(shù)中,從而優(yōu)化網(wǎng)絡(luò)參數(shù).其中,網(wǎng)絡(luò)的輸出(t,x;W,b) 被代入控制方程構(gòu)造殘差,再通過最小化殘差來優(yōu)化參數(shù).基于物理約束的優(yōu)化問題如下所示

3.2 數(shù)據(jù)驅(qū)動(dòng)下的偏微分方程神經(jīng)網(wǎng)絡(luò)求解方法

偏微分方程已知情況下,基于數(shù)據(jù)驅(qū)動(dòng)求解偏微分方程,其核心問題是探究方程及其中各項(xiàng)微分算子的表征方法,進(jìn)而得到方程的解.

3.2.1 基于CNN 的求解方法

由于受約束的卷積核數(shù)學(xué)上具有偏微分算子特征,用其來表征與求解偏微分方程會(huì)具有很好的效果.為此,基于受限卷積核來表征微分算子的思想[57],Zha 等[73]將二維受限卷積核推廣到三維受限卷積核,構(gòu)建新的三維偏微分方程智能求解方法.

對(duì)卷積核q,其矩矩陣M(q)=(mi,j,t)N×N×N,i,j,t=0,1,···,N-1.當(dāng)三維微分算子最大可能的階為1 時(shí),在卷積核表征微分算子過程中,約束q最大階i+j+t=1 時(shí),mi,j,t≠0.例如,對(duì) 23受限卷積核近似微分算子有

顯然,可以用約束下的卷積核近似對(duì)應(yīng)階數(shù)的微分算子,對(duì)偏微分方程N(yùn)(t,x,y,z;u):=ut-F(x,y,z,ux,uy,uz,uxx,...)進(jìn)行卷積近似時(shí),有

在此基礎(chǔ)上,引入分層自適應(yīng)激活函數(shù)構(gòu)建3D-PDE-Net,如圖2 所示,其中激活函數(shù)可以表示為σ(naiDijtu),n≥1 為預(yù)定義的比例因子,參數(shù)ai是激活函數(shù)的斜率,可學(xué)習(xí)參數(shù),σ 采用Tanh激活函數(shù).

數(shù)值實(shí)驗(yàn)表明,3D-PDE-Net 求解精度L∞誤差比求解比數(shù)值格式Douglas-Gunn ADI 降低20倍[73];所加入分層的自適應(yīng)激活函數(shù)可10 倍提高訓(xùn)練速度,且局部誤差得到改善.但此時(shí)3D-PDE-Net不是顯式可解釋的.

圖23 D-PDE-Net 網(wǎng)絡(luò)結(jié)構(gòu)示意圖[73]Fig.2 The schematic diagram of a δt-block[73]

3.2.2 基于其他網(wǎng)絡(luò)的偏微分方程求解方法

Liu 等[26]探討了全連接神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用,并提出了一個(gè)通用的基礎(chǔ)微分方程求解器,主要利用自動(dòng)微分對(duì)方程的初值問題和邊值問題進(jìn)行求解.E 等[30]與Han 等[27]用深度學(xué)習(xí)逼近梯度算子,基于偏微分方程的離散格式,對(duì)高維偏微分方程給出深度學(xué)習(xí)求解新方法.對(duì)有H個(gè)隱藏層、N個(gè)時(shí)間間隔的半線性拋物型偏微分方程的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示,整個(gè)網(wǎng)絡(luò)共有 (H+1)(N-1) 層,通過損失函數(shù)共同優(yōu)化所有的網(wǎng)絡(luò)參數(shù).t=t1,t2,···,tN-1中的每一列對(duì)應(yīng)一個(gè)t時(shí)間步的子網(wǎng)絡(luò),是每一個(gè)子網(wǎng)絡(luò)中的中間神經(jīng)元.基于標(biāo)簽數(shù)據(jù),用多層前饋神經(jīng)網(wǎng)絡(luò)逼近梯度算子,從而可得到高于100 維的偏微分方程解,并給出了多種類型高維偏微分方程方程的求解結(jié)果.

圖3 有H 個(gè)隱藏層、N 個(gè)時(shí)間間隔的半線性拋物型偏微分方程的網(wǎng)絡(luò)結(jié)構(gòu)(修改自文獻(xiàn)[30])Fig.3 Illustration of the network architecture for solving semilinear parabolic PDEs with H hidden layers for each sub-network and N time intervals (modified from Ref.[30])

3.3 物理約束下的偏微分方程神經(jīng)網(wǎng)絡(luò)求解方法

由于數(shù)據(jù)驅(qū)動(dòng)存在泛化能力弱等缺點(diǎn),物理驅(qū)動(dòng)可提高泛化能力,減少標(biāo)簽數(shù)據(jù).物理驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)相融合,即物理約束的方法,受到廣泛的關(guān)注.

在近幾年的研究中[74-76],已經(jīng)看到利用結(jié)構(gòu)化先驗(yàn)信息構(gòu)建基于數(shù)據(jù)和物理信息的機(jī)器學(xué)習(xí)算法的研究前景.Sirignano 等[77]給出了類似于LSTM 人工神經(jīng)網(wǎng)絡(luò)的deep Galerkin method (DGM)網(wǎng)絡(luò),提出了基于Galerkin 方法的二階微分算子計(jì)算方法,同時(shí)給出了物理約束下的神經(jīng)網(wǎng)絡(luò)逼近定理.

3.3.1 PINN

Raissi 等[39-40]利用偏微分方程的控制方程以及邊界條件等恒等式構(gòu)造殘差,利用各項(xiàng)殘差之和構(gòu)造損失函數(shù),并將此方法拓展到解決非線性問題,提出了物理約束下的神經(jīng)網(wǎng)絡(luò)(physics informed neural network,PINN).PINN 將數(shù)據(jù)驅(qū)動(dòng)與物理約束相結(jié)合,從而提出了偏微分方程建立與求解的新思路,即,對(duì)偏微分方程

PINN 中的損失函數(shù)主要由3 部分組成,分別為偏微分方程的控制方程,網(wǎng)絡(luò)輸出與初始條件、邊界條件的標(biāo)簽數(shù)據(jù)的殘差.

同時(shí),Raissi 等[41]還研究了連續(xù)時(shí)間模型與離散時(shí)間模型在方程求解和方程恢復(fù)兩種場(chǎng)景下的應(yīng)用,以及標(biāo)簽數(shù)據(jù)噪音對(duì)求解精度的影響及誤差傳播.

以求解Dirichlet 邊界下的Burgers 方程為例,其方程為

則有函數(shù)D(u) 為

可定義損失函數(shù)為

通過最小化損失函數(shù)優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù),使得網(wǎng)絡(luò)輸出逼近Burgers 方程的解.

3.3.2 基于PINN 的改進(jìn)方法

基于PINN 算法,Toshiyuki 等[78]使用由3 個(gè)DNNs 組成的PINN 框架對(duì)Richardson-Richards 方程進(jìn)行參數(shù)反演,并估算保水曲線和水力傳導(dǎo)函數(shù).Han 等[79]介紹了一種基于深度學(xué)習(xí)的一般高維拋物型偏微分方程的求解方法.先對(duì)偏微分方程進(jìn)行重新構(gòu)造,再利用神經(jīng)網(wǎng)絡(luò)逼近未知解的梯度,在非線性方程計(jì)算中得到了滿意的數(shù)值結(jié)果.Meng 等[80]提出了一種改進(jìn)的PINN 方法,稱為PPINN,將一個(gè)長(zhǎng)時(shí)間的問題分解為多個(gè)獨(dú)立的短時(shí)間問題,以加速偏微分方程的求解.Michoski 等[81]研究了激波偏微分方程神經(jīng)網(wǎng)絡(luò)求解方法,神經(jīng)網(wǎng)絡(luò)方法與傳統(tǒng)方法結(jié)果對(duì)比表明,基于神經(jīng)網(wǎng)絡(luò)的求解方法有優(yōu)勢(shì),標(biāo)簽數(shù)據(jù)可有效提升求解精度.Kani和Elsheikh[82]將物理約束求解偏微分方程方法與正交分解(POD)和離散經(jīng)驗(yàn)插值方法(DEIM)相結(jié)合,提供了一個(gè)高精度的非線性動(dòng)力系統(tǒng)降階模型,降低了高保真數(shù)值模擬的計(jì)算復(fù)雜度.

Jagtap 等[83-84]提出自適應(yīng)激活函數(shù),有效地提高了PINN 逼近非線性函數(shù)和偏微分方程的效率、魯棒性和準(zhǔn)確性,自適應(yīng)激活函數(shù)如下,圖4 為各自適應(yīng)激活函數(shù)的圖像

圖4 Sigmoid,tanh,ReLU和leaky-ReLU 的對(duì)應(yīng)變量 a 的激活函數(shù)[83]Fig.4 Sigmoid,tanh,ReLU and leaky-ReLU activation functions for various values of a [83]

然而,含標(biāo)簽數(shù)據(jù)的偏微分方程神經(jīng)網(wǎng)絡(luò)求解方法,存在很大的局限性.對(duì)很多問題,其精確解是未知的.若需要偏微分方程的精確解才能構(gòu)造損失函數(shù),這大大限制了其應(yīng)用范圍.例如,在油田開發(fā)過程中,儀器只能測(cè)量井底的壓力、井口的產(chǎn)量,而不能獲得其他地區(qū)的壓力.這意味著基于標(biāo)簽數(shù)據(jù)的偏微分方程求解方法無效.從而,基于純物理約束(即物理驅(qū)動(dòng))的求解方法具有更廣闊的應(yīng)用前景,有著與傳統(tǒng)求解方法一樣的便利性(無須任何標(biāo)簽數(shù)據(jù)).這一旦突破,將引發(fā)偏微分方程求解技術(shù)的真正變革.

3.3.3 可測(cè)量標(biāo)簽數(shù)據(jù)下的偏微分方程神經(jīng)網(wǎng)絡(luò)求解方法

上述數(shù)據(jù)驅(qū)動(dòng)下的偏微分方程求解方法往往需要未知量的分布數(shù)據(jù),例如需要知道壓力空間分布數(shù)據(jù).這往往在實(shí)驗(yàn)條件下才能獲得.例如,可在實(shí)驗(yàn)中布置多個(gè)壓力傳感器,才能獲得壓力的空間時(shí)變數(shù)據(jù).但對(duì)實(shí)際工程問題,這部分?jǐn)?shù)據(jù)是不可測(cè)量的.例如,在油藏開發(fā)中,只能測(cè)量井中的壓力,其他的壓力數(shù)據(jù)無法獲知.因而,上述數(shù)據(jù)驅(qū)動(dòng)下的偏微分方程智能求解方法難以有真正應(yīng)用.

實(shí)際工程中,存在一部分可測(cè)量的數(shù)據(jù),若能使用少量的可測(cè)量數(shù)據(jù)作為標(biāo)簽,就能對(duì)偏微分方程進(jìn)行求解,將具有重要的理論意義與應(yīng)用價(jià)值.部分學(xué)者對(duì)此進(jìn)行了積極的探索研究.

Wang 等[85-86]將實(shí)際工程中的專家經(jīng)驗(yàn)、物理規(guī)律和稀疏觀測(cè)數(shù)據(jù)等整合為理論指導(dǎo)神經(jīng)網(wǎng)絡(luò)(theory-guided neural network,TgNN),如圖5 所示,利用TgNN 解決地下流動(dòng)建模,不確定性量化等問題.

圖5 TgNN 模型的網(wǎng)絡(luò)結(jié)構(gòu)[85]Fig.5 Structure of the TgNN model[85]

Li 等[87]使用深度神經(jīng)網(wǎng)絡(luò)解決單相滲流問題,加入部分可測(cè)量的井底流壓數(shù)據(jù)作為標(biāo)簽,有效提高非穩(wěn)態(tài)、具有源匯的偏微分方程問題的求解精度.該方法的最大特點(diǎn)是,除將可觀測(cè)的井底壓力數(shù)據(jù)作為標(biāo)簽外,不再需要任何其他的標(biāo)簽數(shù)據(jù),而是用偏微分方程約束代替壓力分布的標(biāo)簽數(shù)據(jù),從而大大提高該方法實(shí)際應(yīng)用可行性.此外,利用源匯項(xiàng)引起的梯度特征構(gòu)造梯度模型,作為“路標(biāo)”加入神經(jīng)網(wǎng)絡(luò),通過添加固定神經(jīng)元的方式幫助網(wǎng)絡(luò)提高優(yōu)化能力,同時(shí)提出了預(yù)訓(xùn)練獲得“路標(biāo)”的解決思路.圖6 為智能求解所獲得的壓力分布、井底壓力(BHP)圖.

圖6 智能求解得到的壓力分布和井底壓力圖[87]Fig.6 Pressure distribution and BHP obtained by intelligent solution [87]

Chen 等[88]提出一種基于協(xié)方差矩陣優(yōu)化的無梯度神經(jīng)網(wǎng)絡(luò),有效提升學(xué)習(xí)小數(shù)據(jù)樣本的魯棒性,適合實(shí)際工程應(yīng)用.在后續(xù)研究中,Chen 等[89]提出一種硬約束投影(hard constraint projection,HCP)的方法提升機(jī)器學(xué)習(xí)方法對(duì)小樣本數(shù)據(jù)的學(xué)習(xí)能力.

3.4 物理驅(qū)動(dòng)下的偏微分方程神經(jīng)網(wǎng)絡(luò)求解方法

相較于傳統(tǒng)數(shù)值求解,偏微分方程智能求解仍受標(biāo)簽數(shù)據(jù)的約束,在實(shí)際應(yīng)用中,往往會(huì)面臨數(shù)據(jù)獲取困難的情況.對(duì)此,無需標(biāo)簽數(shù)據(jù)的物理驅(qū)動(dòng)方法成為重要的研究方向,是最終的解決方案.

3.4.1 全連接神經(jīng)網(wǎng)絡(luò)(FC-NN)求解偏微分方程

Nabian 等[90]使用無監(jiān)督的前饋深度殘差神經(jīng)網(wǎng)絡(luò)近似高維偏微分方程,利用隨機(jī)梯度下降(SGD)算法優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù).Cai 等[91]研究了基于無監(jiān)督深度學(xué)習(xí)的一維二階橢圓偏微分方程數(shù)值求解方法,并利用一階系統(tǒng)最小二乘(FOSLS)作為損失函數(shù)來優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù).Sun 等[92]提出了基于“硬邊界約束”的神經(jīng)網(wǎng)絡(luò)求解方法,將偏微分方程的控制方程和邊界條件作為損失函數(shù)來約束神經(jīng)網(wǎng)絡(luò),通過構(gòu)造“硬編碼”的結(jié)構(gòu)化深度神經(jīng)網(wǎng)絡(luò)來加強(qiáng)初始條件和Dirichlet 邊界條件,有效增強(qiáng)物理約束下的偏微分方程智能求解,如圖7 所示.對(duì)于下述不可壓縮Navier-Stokes 方程[92]

圖7 基于“硬邊界約束”的FC-NN 框架(修改自文獻(xiàn)[92])Fig.7 Schematic diagram of FC-NN framework based on“hard boundary constraint”(modified from Ref.[92])

其中t和x分別代表時(shí)間和空間,θ是d維向量,包括流體性質(zhì)、域的幾何形狀等參數(shù);速度u(t,x,θ)和壓力p(t,x,θ) 都是時(shí)間、空間和可變參數(shù)的函數(shù);ρ和ν分別表示流體的密度和黏度;bf是身體力參數(shù);Ωf?R3為流體域.

對(duì)初始條件和Dirichlet 邊界條件的“硬編碼”過程如下所示

其中,uparticular,pparticular是滿足初始和邊界條件的特解,D(t,x,θ) 是定義的從內(nèi)部點(diǎn)到“邊界”的平滑函數(shù).即,D在邊界 ?Ωf×[0,T]和Ωf×0 處為零且在遠(yuǎn)離邊界處增大.對(duì)于IC/BC和簡(jiǎn)單幾何域 Ωf,t的問題,可以用解析的方法寫出函數(shù)D和特解.

然而,對(duì)于具有Neumann 邊界條件的偏微分方程問題,仍將Neumann 邊界條件以懲罰項(xiàng)的形式加入損失函數(shù),在求解精度上仍有所欠缺.綜上所述,Sun 等[92]為一部分具有Dirichlet 邊界的穩(wěn)態(tài)問題的物理約束求解提供了很好的解決方法,但由于需要解析解構(gòu)造邊界平滑函數(shù),對(duì)非穩(wěn)態(tài),具有Neumann邊界的問題存在一定的局限性.

3.4.2 CNN 求解偏微分方程

在人臉識(shí)別、AlphaGo 等大顯身手的CNN 在偏微分方程求解中也受到廣泛關(guān)注.偏微分方程的屬性空間(如滲流方程中的滲透率)與解空間的對(duì)應(yīng)關(guān)系,非常適合用卷積算子進(jìn)行表征.基于這一特性,卷積神經(jīng)網(wǎng)絡(luò)求解偏微分方程會(huì)有很大的優(yōu)勢(shì).然而,多數(shù)偏微分方程求解網(wǎng)絡(luò)都基于FC-NN 的“點(diǎn)態(tài)”(基于時(shí)空域中離散的分布點(diǎn))方式進(jìn)行訓(xùn)練,這意味著FC-NN 訓(xùn)練樣本分布自由度很大.而CNN則需要輸入相對(duì)完整的樣本分布,是以“點(diǎn)陣”圖像的形式進(jìn)行訓(xùn)練.這就帶來了諸多新挑戰(zhàn),如不規(guī)則域、卷積網(wǎng)絡(luò)損失函數(shù)構(gòu)造等.對(duì)于不規(guī)則域,Gao等[93]通過對(duì)CNN 網(wǎng)絡(luò)輸入的物理量約束,得到偏微分方程求解神經(jīng)網(wǎng)絡(luò)模型,再通過保形變換,實(shí)現(xiàn)對(duì)不規(guī)則區(qū)域下的偏微分方程求解.

對(duì)于卷積網(wǎng)絡(luò)的損失函數(shù),Zhu和Zabaras[94]提出了貝葉斯損失函數(shù)約束下的新偏微分方程求解網(wǎng)絡(luò).該網(wǎng)絡(luò)模型將CNN 與編解碼器網(wǎng)絡(luò)相融合,吸取了DenseNet 特征重用的優(yōu)點(diǎn),使得在參數(shù)和計(jì)算成本更少的情形下實(shí)現(xiàn)比ResNet 更優(yōu)的性能[95].如圖8 所示.

圖8 貝葉斯損失函數(shù)約束下的DenseED-c16 網(wǎng)絡(luò)(修改自文獻(xiàn)[94])Fig.8 DenseED-c16 network with Bayesian loss function constraints(modified from Ref.[94])

隨后,Zhu 等[96]研究了數(shù)據(jù)驅(qū)動(dòng)、物理驅(qū)動(dòng)等損失約束下的偏微分方程求解方法,并提出物理約束的稠密卷積編解碼器網(wǎng)絡(luò)(如圖9 所示),提高求解精度以及泛化能力,并使用Sobel 算子計(jì)算CNN框架下的導(dǎo)數(shù).與FC-NN 不同,CNN 以卷積的形式提取圖像特征,其本質(zhì)就是對(duì)圖像的像素求導(dǎo)數(shù),Sobel 算子是以濾波算子的形式計(jì)算一階導(dǎo)數(shù),從而可利用卷積函數(shù)快速計(jì)算.

圖9 物理約束下的稠密卷積編解碼器網(wǎng)絡(luò)(修改自文獻(xiàn)[96])Fig.9 Dense convolutional encoder-decoder network as the deterministic surrogate (modified from Ref.[96])

然而,目前研究的物理驅(qū)動(dòng)方法(無標(biāo)簽數(shù)據(jù))尚不能有效解決非穩(wěn)態(tài)與源匯的問題.物理驅(qū)動(dòng)的研究仍在起步階段,離實(shí)際需求還很遠(yuǎn).

總體上,基于深度學(xué)習(xí)的偏微分方程建立、求解與參數(shù)反演研究還處于初始階段,主要存在以下問題:(1)很多方法只能應(yīng)用于簡(jiǎn)單的偏微分方程,例如,偏微分方程中沒有時(shí)間導(dǎo)數(shù)項(xiàng),或沒有源匯項(xiàng).這說明求解方法還有待深入研究.(2)多數(shù)方法都是基于數(shù)據(jù)驅(qū)動(dòng)的:數(shù)據(jù)驅(qū)動(dòng)下,神經(jīng)網(wǎng)絡(luò)受到了強(qiáng)有力的約束,從而更容易收斂,但其場(chǎng)景有限.(3)物理驅(qū)動(dòng)方法亟待突破:一旦物理驅(qū)動(dòng)下的偏微分方程求解方法獲得突破,偏微分方程求解方法將獲得顛覆性的變革,基于深度學(xué)習(xí)的偏微分方程重建、參數(shù)反演方法都將隨之變革.然而,少了標(biāo)簽數(shù)據(jù)的約束,深度學(xué)習(xí)收斂將十分困難,大量的科學(xué)技術(shù)問題亟待解決.

4 研究前景與展望

國內(nèi)外研究進(jìn)展表明,當(dāng)前的應(yīng)用場(chǎng)景主要有3 種.

(1)基于神經(jīng)網(wǎng)絡(luò)的偏微分方程建立:在大量實(shí)測(cè)數(shù)據(jù)的基礎(chǔ)上,可以利用深度學(xué)習(xí)網(wǎng)絡(luò)在大量備選的偏微分算子中,尋找合適的算子來“擬合”實(shí)測(cè)數(shù)據(jù),從而“人工智能”地建立偏微分方程.相關(guān)研究很多,Raissi和Karniadakis[42]認(rèn)為,深度學(xué)習(xí)有能力在少量的數(shù)據(jù)中就可發(fā)現(xiàn)其背后的物理規(guī)律;對(duì)高噪聲稀疏數(shù)據(jù),Xu和Zhang[67]將深度學(xué)習(xí)和遺傳算法相融合來提算法高魯棒性.

(2)參數(shù)反演:參數(shù)反演是眾多工程問題的難點(diǎn)之一.利用神經(jīng)網(wǎng)絡(luò)的逼近能力,可以進(jìn)行快速反演.該方法一般是基于標(biāo)簽數(shù)據(jù)的.數(shù)據(jù)驅(qū)動(dòng)下的參數(shù)反演可無須考慮物理過程,例如試井參數(shù)自動(dòng)反演就可從數(shù)據(jù)到數(shù)據(jù)[18-19].然而,將數(shù)據(jù)驅(qū)動(dòng)與物理信息相結(jié)合,可能會(huì)有更好的反演效果[86,97].從另一個(gè)角度,將物理信息(如控制方程)加入預(yù)測(cè)模型,能夠根據(jù)容易獲得的數(shù)據(jù)預(yù)測(cè)更難獲得的數(shù)據(jù)[89,98-99].為此,將物理驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)相結(jié)合,將大幅降低標(biāo)簽數(shù)據(jù)的數(shù)據(jù)量,相關(guān)研究將給工業(yè)應(yīng)用帶來很大的便利.

(3) 偏微分方程智能求解:基于深度網(wǎng)絡(luò)的偏微分方程求解,無須網(wǎng)格劃分、線性方程組求解、沒有維度災(zāi)難.然而,由于約束少,純物理約束下的求解方法挑戰(zhàn)仍很大.這也是偏微分方程深度學(xué)習(xí)求解必須攻克的難題.

另一求解偏微分方程的思路是利用神經(jīng)網(wǎng)絡(luò)對(duì)非線性方程組的逼近能力,進(jìn)行偏微分方程求解.神經(jīng)網(wǎng)絡(luò)的權(quán)值修正方法可以用來逼近與求解非線性方程組,且能證明,通過對(duì)權(quán)值的限制,該方法一定是收斂的[100].由于偏微分方程方程離散后仍是非線性的,從而可用此方法進(jìn)行求解.按此思路,Ebadi等[101]用自適應(yīng)神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的牛頓迭代法,提出了一種技術(shù)路線與上完全不同的偏微分方程求解方法,并利用該方法對(duì)一維的單項(xiàng)與兩相流動(dòng)進(jìn)行了求解.

另一研究思路是,將偏微分方程與深度學(xué)習(xí)混合使用,相互學(xué)習(xí)、相互支撐.存在這樣的情形,數(shù)據(jù)中隱藏的物理規(guī)律部分已知,部分未知.未知部分用深度學(xué)習(xí)表征,已知部分用偏微分方程表征,從而整個(gè)損失函數(shù)將包含這兩部分內(nèi)容.這樣,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí),二者能相互約束、相互修正,既能防止過擬合,也能彌補(bǔ)數(shù)據(jù)丟失等引起的誤差[102],使精度更高,效果更好.

除傳統(tǒng)數(shù)值計(jì)算具備的應(yīng)用前景外,基于深度網(wǎng)絡(luò)的偏微分方程求解還將大幅提升強(qiáng)非線性偏微分方程求解能力,借助深度學(xué)習(xí)的并行能力,提升數(shù)值模擬速度.再借助物理約束與深度學(xué)習(xí)本身認(rèn)知能力,在歷史擬合中,有望自我完善偏微分方程,從而極大豐富與增強(qiáng)建模途徑與能力,流動(dòng)模型建立與數(shù)值模擬能力都將發(fā)生巨大變化.

5 結(jié)語

從反演未知偏微分方程與求解已知偏微分方程兩個(gè)角度,本文總結(jié)了偏微分方程智能求解方法的發(fā)展歷程,從數(shù)據(jù)驅(qū)動(dòng)、物理約束和物理驅(qū)動(dòng)3 個(gè)方面,重點(diǎn)介紹了已知偏微分方程的智能求解方法,簡(jiǎn)要介紹了應(yīng)用場(chǎng)景和未來研究方向.數(shù)學(xué)界更注重一般偏微分方程方程智能求解方法研究,結(jié)合具體領(lǐng)域的應(yīng)用研究研究正受到重視.若能突破物理驅(qū)動(dòng)求解方法瓶頸,有望顛覆傳統(tǒng)偏微分方程數(shù)值求解技術(shù),引發(fā)數(shù)值模擬技術(shù)的巨大變革.

偏微分方程深度學(xué)習(xí)求解具有深厚的科學(xué)內(nèi)涵,需要將深度學(xué)習(xí)理論、數(shù)值模擬技術(shù)、偏微分方程數(shù)學(xué)本質(zhì)、偏微分方程物理意義和工程背景等有機(jī)融合,深度交叉,方能得到物理意義明確、數(shù)學(xué)基礎(chǔ)堅(jiān)實(shí)、能解決工程問題的偏微分方程求解新方法,將推動(dòng)數(shù)學(xué)、力學(xué)、人工智能和油藏工程等學(xué)科融合與學(xué)科發(fā)展.