辛夢(mèng)琦,畢春加,楊 旻

(煙臺(tái)大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院,山東 煙臺(tái) 264005)

帶偏微分方程(PDE)約束最優(yōu)控制問(wèn)題[1]主要研究目標(biāo)泛函受偏微分方程約束的最優(yōu)化求解,屬于數(shù)學(xué)和工程領(lǐng)域一個(gè)重要且有意義的研究方向,在醫(yī)學(xué)、物理學(xué)、金融學(xué)等領(lǐng)域有著非常重要的應(yīng)用。傳統(tǒng)求解帶PDE約束最優(yōu)控制問(wèn)題的方法一般包含兩個(gè)步驟:離散處理和優(yōu)化算法設(shè)計(jì)。例如,高新[2]研究了交替方向乘子法、慣性交替方向乘子法和對(duì)稱交替方向乘子法,這三種方法都是采用先離散后優(yōu)化的思想。張倩[3]采用了浸入有限元和變分離散相結(jié)合的方法來(lái)離散模型。但是,采用傳統(tǒng)計(jì)算方法往往面臨收斂速度慢、難以處理復(fù)雜高維問(wèn)題的困難。

近年來(lái),深度神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域受到廣泛應(yīng)用,其強(qiáng)大的非線性擬合能力使其能夠解決極為復(fù)雜的實(shí)際問(wèn)題。最近將深度神經(jīng)網(wǎng)絡(luò)用于求解微分方程(組)成為一大研究熱點(diǎn)。例如,RAISSI等[4]提出了基于物理信息的神經(jīng)網(wǎng)絡(luò)(PINNs),將微分方程殘差作為正則化項(xiàng)整合到損失函數(shù)中來(lái)求解PDE正反問(wèn)題。該方法又進(jìn)一步被應(yīng)用于求解復(fù)雜的分?jǐn)?shù)偏微分方程[5]以及幾何偏微分方程[6]。

基于上述研究工作,本文擬將PINNs應(yīng)用于求解受PDE約束的最優(yōu)控制問(wèn)題:

s.t.e(u,f)=0,

f∈Fab?F。

(1)

與普通的偏微分方程相比,由于最優(yōu)控制問(wèn)題(1)中既有PDE又有目標(biāo)泛函,因此需要建立一個(gè)統(tǒng)一的優(yōu)化目標(biāo)以供神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。其次,針對(duì)控制變量和狀態(tài)變量同時(shí)存在的情形,需要設(shè)計(jì)恰當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)以協(xié)調(diào)兩者之間的內(nèi)在聯(lián)系。

與傳統(tǒng)的數(shù)值方法相比,基于深度學(xué)習(xí)的方法具有很好的泛化性,所建立的模型能用于一類相似的最優(yōu)控制問(wèn)題求解,并且由于方法本身基于物理模型,無(wú)需考慮網(wǎng)格離散的問(wèn)題,因此易于推廣到復(fù)雜區(qū)域和高維情形。

1 深度計(jì)算方法

1.1 神經(jīng)網(wǎng)絡(luò)

(2)

… …

… …

(3)

當(dāng)使用深度神經(jīng)網(wǎng)絡(luò)求解PDE問(wèn)題時(shí),神經(jīng)網(wǎng)絡(luò)的輸入為區(qū)域中任意樣本點(diǎn)的坐標(biāo)信息,而神經(jīng)網(wǎng)絡(luò)的輸出則為對(duì)應(yīng)解的近似估計(jì),即整個(gè)神經(jīng)網(wǎng)絡(luò)相當(dāng)于解的一個(gè)非線性擬合函數(shù)。針對(duì)不同的問(wèn)題,人們往往需要建立恰當(dāng)?shù)膬?yōu)化目標(biāo),從而讓神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中確定最優(yōu)的網(wǎng)絡(luò)權(quán)重和偏置系數(shù)。不同的網(wǎng)絡(luò)結(jié)構(gòu)以及不同的訓(xùn)練方法,往往會(huì)對(duì)求解效率和精度產(chǎn)生較大的影響。

1.2 橢圓方程約束最優(yōu)控制及深度求解

考慮如下穩(wěn)態(tài)橢圓方程約束最優(yōu)控制問(wèn)題:

(4)

其中,ud,f0為已知量,r為常數(shù),A,b,c為關(guān)于x的函數(shù)。為了能夠使用神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算,將針對(duì)式(4)構(gòu)建恰當(dāng)?shù)膬?yōu)化目標(biāo)。

本文將考慮二維的情形,因此,在給定采樣點(diǎn)后,原優(yōu)化目標(biāo)可近似為

其中n為樣本數(shù)。進(jìn)一步地,把橢圓方程中的邊界和控制變量約束作為“軟”懲罰整合后可得如下統(tǒng)一的優(yōu)化目標(biāo):

(5)

注意到式(5)中的第四項(xiàng),我們給出了一個(gè)特殊的平方損失函數(shù),從而巧妙地把控制變量約束轉(zhuǎn)化成目標(biāo)函數(shù)的一部分。當(dāng)控制變量f不受約束時(shí),可令β=0,當(dāng)控制變量f帶約束時(shí),β≠0。

2 數(shù)值實(shí)驗(yàn)

實(shí)驗(yàn)的運(yùn)行環(huán)境為:Windows 10系統(tǒng),CPU i7-8700,Tensorflow 2.2,實(shí)驗(yàn)中神經(jīng)網(wǎng)絡(luò)的激活函數(shù)是雙曲正切函數(shù)(Tanh)。另外,神經(jīng)網(wǎng)絡(luò)使用L-BFGS-B(擬牛頓算法)[9]來(lái)迭代求解損失函數(shù)。

考慮兩種情況:一是控制變量無(wú)約束,即Fab=F;二是控制變量帶約束,即Fab={f∈F|fa≤f≤fb,x∈D}。其中D=[0,1]×[0,1]?R2,r=1,A=1,b=0,c=0,真解均取為ud=sin(πx1)sin(πx2),f0=2π2sin(πx1)sin(πx2)。

訓(xùn)練學(xué)習(xí)過(guò)程中,在區(qū)域D和邊界?D上隨機(jī)采樣n個(gè)點(diǎn),默認(rèn)n=100×100,默認(rèn)神經(jīng)網(wǎng)絡(luò)包含3個(gè)隱藏層,其神經(jīng)元個(gè)數(shù)為[32,16,32]。而測(cè)試階段,在計(jì)算區(qū)域另外均勻采樣40 000個(gè)點(diǎn),在這些點(diǎn)上與真解進(jìn)行比較以檢驗(yàn)方法的精度。

2.1 控制變量無(wú)約束

首先考慮控制變量無(wú)約束的情況,此時(shí)式(5)的超參數(shù)β=0,相應(yīng)損失函數(shù)為

(6)

2.1.1 不同超參數(shù)下誤差分析 由于超參數(shù)α是人為設(shè)定的,不同的α?xí)?duì)實(shí)驗(yàn)結(jié)果有一定的影響。為此本文首先進(jìn)行四組實(shí)驗(yàn),分別取α=1,2,3,4,相應(yīng)的誤差熱力分布圖如圖2,3所示。

圖2 函數(shù)u的預(yù)測(cè)精度Fig.2 The prediction accuracy of u

圖3 函數(shù)f的預(yù)測(cè)精度Fig.3 The prediction accuracy of f

從熱力分布圖2,3可以看出,在控制變量f不帶約束時(shí),本文給出的深度學(xué)習(xí)方法能夠很好地計(jì)算出原問(wèn)題的近似解。不同的超參數(shù)α的取值對(duì)計(jì)算結(jié)果具有一定的影響,當(dāng)α=2時(shí),精度表現(xiàn)是最好的。

為了進(jìn)一步測(cè)試超參數(shù)α對(duì)實(shí)驗(yàn)結(jié)果的影響,同時(shí)檢測(cè)超參數(shù)α的選取是否會(huì)隨網(wǎng)絡(luò)結(jié)構(gòu)的變化有所不同,本文又進(jìn)行了多組實(shí)驗(yàn),表1顯示了在不同網(wǎng)絡(luò)結(jié)構(gòu)以及超參數(shù)α下,解的均方誤差情況。從表1中可以看到,盡管改變了網(wǎng)絡(luò)結(jié)構(gòu)以及超參數(shù)α,本文使用的方法依然有效,同時(shí)也可以看到,在不同的網(wǎng)絡(luò)結(jié)構(gòu)下,超參數(shù)選定為2時(shí),均有較好的表現(xiàn)。

表1 函數(shù)u和f的均方誤差Tab.1 The mean square error of u and f

2.1.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的影響 通常來(lái)說(shuō),神經(jīng)網(wǎng)絡(luò)的深度和寬度對(duì)學(xué)習(xí)效果會(huì)有很大的影響,隨著網(wǎng)絡(luò)深度和寬度的增加,人工神經(jīng)網(wǎng)絡(luò)的非線性擬合能力會(huì)有很大的提高。本小節(jié)考查網(wǎng)絡(luò)的深度對(duì)橢圓方程約束的最優(yōu)控制問(wèn)題預(yù)測(cè)精度的影響。

實(shí)驗(yàn)中固定超參數(shù)α=2,改變隱藏層的網(wǎng)絡(luò)結(jié)構(gòu)H,其他保持不變。表2顯示了在不同神經(jīng)網(wǎng)絡(luò)的深度下,整個(gè)域中解的均方誤差的情況。由表2可以觀察到,通過(guò)增加網(wǎng)絡(luò)的深度,該方法在求解橢圓方程約束的最優(yōu)控制問(wèn)題上的預(yù)測(cè)精度有了不同程度的提高。

表2 不同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下函數(shù)u和f的均方誤差Tab.2 The mean square error of u and f with different neural networks' structure

2.1.3 樣本數(shù)的影響 在本節(jié)中,我們考察采樣點(diǎn)數(shù)量對(duì)解的影響。仍然固定α=2,表3顯示了在不同采樣點(diǎn)數(shù)量的情況下,解的均方誤差。從表3中可以看到,隨著采樣點(diǎn)數(shù)量的增加,預(yù)測(cè)精度有了明顯的提高。

表3 不同樣本數(shù)下函數(shù)u和f的均方誤差Tab.3 The mean square error of u and f with different number of samples

2.1.4 不同訓(xùn)練方法的影響 不同的訓(xùn)練方法往往會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生較大的影響,因此,本節(jié)將把L-BFGS-B與常見(jiàn)的SLSQP(最小二乘法)[10]進(jìn)行比較,同樣的,我們進(jìn)行了多組實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表4所示?？梢钥吹?使用不同的訓(xùn)練方法,對(duì)實(shí)驗(yàn)結(jié)果的精度會(huì)有一定的影響,并且對(duì)于以上兩種方法而言,使用L-BFGS-B更有效。

表4 不同訓(xùn)練方法下函數(shù)u和f的均方誤差Tab.4 The mean square error of u and f with different training methods

2.2 控制變量帶約束

接下來(lái)考慮控制變量帶約束的情況,設(shè)f的下界fa=0,上界fb=20。此時(shí)式(5)中β≠0,神經(jīng)網(wǎng)絡(luò)的損失函數(shù)就是式(5)本身。同超參數(shù)α一樣,β的選擇對(duì)實(shí)驗(yàn)結(jié)果也有一定的影響。為了探究此方法在控制變量帶約束時(shí)的預(yù)測(cè)準(zhǔn)確性以及研究超參數(shù)β對(duì)預(yù)測(cè)精度的影響,我們依然進(jìn)行了四組實(shí)驗(yàn),這里保持α=2,分別取β=0.1,0.5,1,2,實(shí)驗(yàn)結(jié)果如圖4,5所示。

從圖4和圖5的熱力分布圖中可以觀察到,對(duì)于控制變量f帶約束的情況下,采用深度學(xué)習(xí)方法依然有效。同時(shí),對(duì)于不同的超參數(shù)β誤差會(huì)有所不同,但總體表現(xiàn)是比較穩(wěn)定的。

圖4 函數(shù)u的預(yù)測(cè)精度Fig.4 The prediction accuracy of u

圖5 函數(shù)f的預(yù)測(cè)精度Fig.5 The prediction accuracy of f

3 結(jié) 論

本文提出了一種基于深度學(xué)習(xí)求解橢圓方程約束最優(yōu)控制問(wèn)題的方法,實(shí)驗(yàn)結(jié)果表明所提出的深度計(jì)算方法無(wú)論是精度還是魯棒性都有很好的表現(xiàn)。對(duì)于非穩(wěn)態(tài)PDE約束以及邊界帶控制變量的最優(yōu)控制問(wèn)題將是下一步研究的方向。