李碩 劉天源 黃鋒 解鑫 張金義

(百度在線網(wǎng)絡技術(shù)有限公司，北京 100086)

0 引言

隨著近十年工業(yè)互聯(lián)網(wǎng)技術(shù)的快速發(fā)展、分布式傳感器和高性能計算設備的逐漸進步以及仿真建模算法的更新迭代，學術(shù)界和工業(yè)界積累了海量的多層級數(shù)據(jù)，從不同角度反映了工業(yè)生產(chǎn)過程中的內(nèi)在物理信息[1]，這為大數(shù)據(jù)的發(fā)展提供了良好的土壤，形成了數(shù)據(jù)驅(qū)動的新型范式，學者們[2]將之稱為“第四范式”——數(shù)據(jù)密集型科學發(fā)現(xiàn)，以區(qū)別于實驗歸納范式、模型推演范式和仿真模擬范式3種傳統(tǒng)研究范式，強調(diào)直接從大量已知數(shù)據(jù)中自行歸納、推導和預測，獲得未知且可信的結(jié)論。

近5年來，以深度學習[3]為代表的數(shù)據(jù)驅(qū)動方法不僅在視覺、自然語言處理以及博弈類場景應用中超越了人類，更在蛋白質(zhì)結(jié)構(gòu)預測[4]、三體問題[5]、氣象預報[6]、核聚變控制[7]等一系列基礎科學以及工業(yè)界難題中取得了重大突破?？梢詳嘌?，人類社會正處于由仿真模擬范式向數(shù)據(jù)密集型科學范式的過渡發(fā)展階段。

在工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)和深度學習算法的雙重驅(qū)動下，“數(shù)字孿生系統(tǒng)”(Digital Twin)[8]在這個時代被賦予了更強大的生命力，這種技術(shù)體系可以有效結(jié)合目前過渡階段的仿真模擬和數(shù)據(jù)驅(qū)動方法，充分挖掘服役歷史、實時傳感數(shù)據(jù)以及物理知識，用數(shù)字虛擬模型表征物理實體狀態(tài)，實現(xiàn)對物理系統(tǒng)的理解、學習、推理和預測。經(jīng)過近十年的技術(shù)儲備和發(fā)展，數(shù)字孿生系統(tǒng)已經(jīng)被認為是工業(yè)互聯(lián)網(wǎng)中的戰(zhàn)略性技術(shù)之一，是解決新時代工業(yè)產(chǎn)品全生命周期中設計、制造、服役和運維問題的有效方法。

構(gòu)建數(shù)字虛擬模型是數(shù)字孿生系統(tǒng)技術(shù)的重中之重。與傳統(tǒng)基于物理機理的模型不同，數(shù)字孿生系統(tǒng)更強調(diào)仿真的快速實時(快速反映物理世界的變化、計算響應速度快)和反饋學習(利用物理實體反饋的數(shù)據(jù)進行自我學習和完善)，并且要求建模和仿真可以和更多的工業(yè)真實場景實現(xiàn)頻繁的信息交互，以便實現(xiàn)模型的自動更新迭代；而機理仿真受制于求解速度，對計算機資源消耗巨大，難以布置到工業(yè)現(xiàn)場的邊緣設備中，且無法對物理世界反饋的數(shù)據(jù)和經(jīng)驗進行再學習，必須借助人類對數(shù)據(jù)的理解進行調(diào)整；純粹的數(shù)據(jù)驅(qū)動模型難以嵌入物理規(guī)律以及領域知識，而現(xiàn)階段傳感器測量仍然存在固有缺陷，這導致構(gòu)建的模型缺乏可解釋性，尤其是在處理非線性、多學科和多尺度的物理系統(tǒng)時，模型的精度低、穩(wěn)定性差且泛化能力嚴重不足。

總之，就目前發(fā)展而言，無論是機理仿真還是數(shù)據(jù)驅(qū)動均難以滿足未來工業(yè)互聯(lián)網(wǎng)的發(fā)展需求。

1 基本架構(gòu)

一般的物理系統(tǒng)均遵循如下方程。

N[y](x;θ)=0

(1)

其中，x表示對物理系統(tǒng)模型的輸入變量(時間、空間坐標等)；y表示需要獲得的輸出變量(物理場、信號等超高維變量)；N[y]表示輸出y對輸入x的各階微分、差分、積分或非線性算子構(gòu)成的映射，這個方程由物理第一性原理在具體場景中給出，例如描述航天飛行器運動中的萬有引力和牛頓力學定律、流體力學中的N-S方程(N-S：Navier-Stokes)、電磁場的麥克斯韋(Maxwell)方程、統(tǒng)計力學中的玻爾茲曼(Boltzmann)方程、量子力學中的薛定諤(Schr?dinger)方程等；θ表示系統(tǒng)參數(shù)，用來表征系統(tǒng)的拓撲、幾何以及物理特性。

一般而言，為了獲得y和x的映射關系，需要求解上述方程組。例如，連續(xù)介質(zhì)力學中在空間域上采用有限元方法、有限體積方法離散，時間域利用Runge-Kutta法離散，當然更加靈活的無網(wǎng)格離散方法近年來也是研究熱點之一。雖然在過去半個世紀得益于計算硬件以及算法的進步，基于機理的建模-仿真-求解方法獲得了長足的發(fā)展，被廣泛應用于工業(yè)領域，大幅減少了不必要的試驗、加快了設計研發(fā)周期并節(jié)省了實際運維成本；但目前仍然面臨諸多挑戰(zhàn)：前處理以及后處理過程極度繁瑣、計算時間過長或計算資源消耗過大、難以適應靈活的任務需求(如信息缺失時的反向問題)；甚至在近十年基于傳統(tǒng)機理方法的發(fā)展已經(jīng)裹足不前[9]。

數(shù)據(jù)驅(qū)動的方法避免了求解上述復雜的數(shù)學物理方程，通過將關注的物理場或信號y簡化為低維信息，然后采用一個近似模型逼近上述方程的解，例如設計優(yōu)化中常用的經(jīng)驗公式、代理模型以及對物理減縮模型，從而采用機器學習模型構(gòu)造輸入和輸出之間的映射關系，通過最小化模型預測和標記數(shù)據(jù)之間的差異確定模型中的待定參數(shù)，具體如公式(2)所示。

(2)

雖然工業(yè)物聯(lián)網(wǎng)目前可以為數(shù)據(jù)驅(qū)動方法提供大量的訓練數(shù)據(jù)，但這些數(shù)據(jù)存在分散性、有限性、高噪聲以及潛在同質(zhì)化的缺陷(例如在故障檢測中，大量故障工況運行數(shù)據(jù)是無法采集的，而且傳感器的可測量位置極為有限且噪聲成分極大)；同時，目前這種完全數(shù)據(jù)驅(qū)動的方法缺乏對物理系統(tǒng)的建模，使得專業(yè)人員無法解釋這些數(shù)據(jù)，更不能高效地利用這些數(shù)據(jù)，而獲得模型的精度和可靠性也存疑。

機理+數(shù)據(jù)融合模型通過將物理機理嵌入數(shù)據(jù)驅(qū)動模型[10]中，可充分發(fā)揮機理模型可解釋性和泛化能力強、數(shù)據(jù)驅(qū)動模型靈活和可學習的優(yōu)勢。從機器學習的視角來看，需要根據(jù)實際物理問題滿足的對稱性以及工業(yè)場景選擇合適的機器學習模型，此外還需引入如下物理機理以及工業(yè)過程任務需求的損失函數(shù)。

(3)

圖1 數(shù)字孿生系統(tǒng)中3種建模方法之間的聯(lián)系以及區(qū)別

數(shù)字孿生系統(tǒng)中3種建模方法的關系如圖1所示，機理+數(shù)據(jù)融合模型整合了兩種傳統(tǒng)建模方式，具體而言，相比于公式(2)，公式(3)修正了所有輸出的損失函數(shù)為稀疏布置傳感器的可測量輸出損失，還引入了物理機理約束的正則項以及任務需求的目標，以確保學習獲得的模型可以滿足物理方程和任務需求的約束。

事實上，機理+數(shù)據(jù)融合建模方法的思想可以追溯到更早的物理學建模方法[11]，例如傳熱學中的試驗關聯(lián)式和部件剩余壽命預測的經(jīng)驗公式都是基于這類思想——將復雜的物理系統(tǒng)通過經(jīng)驗知識簡化為低自由度的系統(tǒng)，并抽象出簡化過程中待定的參數(shù)，由于模型中包含了對物理系統(tǒng)的經(jīng)驗性反應，增強了模型的可解釋性且減少了模型中的待定參數(shù)，推而廣之，理論物理的重整化思想(如Boltzmann方程向N-S方程簡化)，工程的模型降維(如管道中忽略三維流動效應只研究沿管道流動方向的一維流動)本質(zhì)都屬于此類建模方法。相關抽象目前是由人工經(jīng)驗或領域知識給出的，而在機理+數(shù)據(jù)融合模型中，有望通過模型選擇、物理約束以及任務需求將這個抽象過程通過機器學習或數(shù)據(jù)驅(qū)動方法表征出來，接下來本文主要從這3個方面討論機理+數(shù)據(jù)融合建模方法的最新研究進展。

2 研究進展

2.1 模型選擇

傳統(tǒng)的代理模型(Surrogate Model)(如多項式、支持向量機、徑向基模型、基于樹的模型、高斯過程等方法)通過直接構(gòu)造輸入?yún)?shù)和輸出的映射關系形成代理模型，由于模型簡單且無需人工干預，被廣泛應用于計算成本較高的黑箱函數(shù)的優(yōu)化和控制任務中[12]，但難以處理物理建模中所關注的物理場信息(一般可表示為在空間域和時間域上分布的高維張量)。過分簡化的建模方式缺乏對物理系統(tǒng)本身的關注，依賴繁瑣的特征工程以及大量數(shù)據(jù)采樣，因此難以適用于精細化的物理系統(tǒng)建模。

減縮模型(Reduced Order Model)是通過數(shù)據(jù)驅(qū)動的方法或者經(jīng)驗分解的方法對原始的物理系統(tǒng)進行降階或減縮，減少對高維信息描述的復雜度，繼而加快對物理場或信號的求解和預測，常用的方法有本征正交分解和動態(tài)模態(tài)分解等方法。這些方法不僅展現(xiàn)出了良好的效果，同時也具備一定的可解釋性；但也存在明顯的缺陷，如處理復雜非線性問題依賴于核函數(shù)、基函數(shù)的選擇，與問題不匹配時可能會導致模型表達能力不足或者訓練收斂困難；此外，在將整個物理場或信號展開成一維向量時，未對定義在求解域的時空關聯(lián)性以及物理量間的關聯(lián)性建模，無法捕捉時間上的瞬態(tài)突變、空間上多尺度的信息，不具備物理約束中要求的空間平移、旋轉(zhuǎn)不變性，限制了本身的應用范圍[13]。

利用神經(jīng)網(wǎng)絡(Neural Network)作為近似映射對物理系統(tǒng)建模、求解可以追溯到20世紀90年代的若干工作[14-15]中，但受制于硬件效率以及算法的靈活性，一直以來沒有被關注。

自2012年以來，深度神經(jīng)網(wǎng)絡的發(fā)展將機器學習方法帶入了深度學習(Deep Learning)時代，相比于傳統(tǒng)機器學習，深度學習具備更強的表達能力、更廣泛的適應性、更顯著的靈活性。

從計算機視覺和時序信號處理中發(fā)展出的各種神經(jīng)網(wǎng)絡算子，如卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)、關注時序信號的循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network，RNN)以及近年發(fā)展迅速的Transformer結(jié)構(gòu)、圖神經(jīng)網(wǎng)絡(Graph Neural Network，GNN)結(jié)構(gòu)以及處理離散點云數(shù)據(jù)的點云網(wǎng)絡等結(jié)構(gòu)，可以靈活地處理工業(yè)互聯(lián)網(wǎng)或機理仿真獲得的超高維數(shù)據(jù)。例如，CNN可以有效地分析結(jié)構(gòu)化數(shù)據(jù)[16]；RNN適合對時間關聯(lián)信息建模[17]；圖神經(jīng)網(wǎng)絡可以適應非結(jié)構(gòu)化網(wǎng)格數(shù)據(jù)[18]；點云網(wǎng)絡可以用于處理無網(wǎng)格的物理場[19]；注意力機制可以處理多尺度物理信息[20]；利用傅里葉算子分解[21]可以捕捉物理場的低頻成分，提升模型對物理系統(tǒng)的表征性能。同時，這些方法保留了物理場在空間域、時間域以及拓撲內(nèi)的不變性，通過這些物理對稱性的約束可以顯著減少模型的冗余度并增強可解釋性，使得模型可以更加有效地處理超高維的物理系統(tǒng)。

2.2 物理約束

在損失函數(shù)中引入物理系統(tǒng)方程的正則項約束，典型工作是物理信息神經(jīng)網(wǎng)絡(Physics-Informed Neural Network，PINN)[22]，這種方法通過自動微分機制將物理系統(tǒng)遵循的動力學方程的微分形式納入模型的損失函數(shù)中，使模型具備更強的物理解釋性和對參數(shù)θ的泛化能力。PINN方法由于采用深度神經(jīng)網(wǎng)絡，充分利用深度學習中的自動微分機制，將物理約束通過損失函數(shù)引入神經(jīng)網(wǎng)絡，形成了端到端的微分方程求解器[23]，補充了必要的邊界條件或初始條件等，即可應用于各種偏微分方程和常微分方程的求解，如流體力學N-S方程[24]、彈塑性問題的靜力學方程[25]、量子力學中的薛定諤方程[26]、分數(shù)階微分方程[27]、氣象問題的洛倫茲方程[28]、新冠病毒傳播的動力學模型[29]。

PINN方法是目前機理+數(shù)據(jù)融合建模方法中發(fā)展的較為成熟的方向，在學術(shù)界引起了廣泛的關注，且許多研究機構(gòu)基于主流深度學習框架開發(fā)了相應的架構(gòu)(見表1)，目前除了美國以外，我國的國防科技創(chuàng)新研究院和百度公司也率先開發(fā)了相應的架構(gòu)，尤其是百度公司目前基于國產(chǎn)化的深度學習框架PaddlePaddle開發(fā)的Paddle Science。

當然除了上述的自動微分方法引入物理約束，還有一些結(jié)合傳統(tǒng)機理仿真模型的引入方式，例如利用有限差分、有限體積和有限元[39]格式構(gòu)造。廣義而言，譜方法、無網(wǎng)格方法也可以看作其中的一種，只是這兩種方法選擇了另外的可學習模型構(gòu)造函數(shù)逼近器，再用加權(quán)余量法等數(shù)值求解方法計算損失函數(shù)。當然，從物理本質(zhì)上講選擇合適的網(wǎng)絡模型與物理規(guī)律的約束實際上是密不可分的，事實上近兩年來PINN的重要發(fā)展方向正在朝統(tǒng)一兩種方式到一個架構(gòu)[10]中走，例如采用不同形式的網(wǎng)絡模型[40]、與算子驅(qū)動方法結(jié)合[41]、與仿真模擬結(jié)合[39]、模型遷移[42]、更加高效的計算方式[43]、更加穩(wěn)定的訓練過程[44]、更加靈活的任務構(gòu)造[45]。

表1 物理信息神經(jīng)網(wǎng)絡相關架構(gòu)

2.3 任務需求

機理+數(shù)據(jù)融合建模方法的最大優(yōu)勢是可以將虛擬模型本身與數(shù)字孿生系統(tǒng)中的設計、制造、控制、運維等任務需求靈活對接，并充分發(fā)掘海量傳感器獲得的數(shù)據(jù)，這是機理模型方法所不具備的?？紤]公式(1)中更一般的問題，即方程中描述物理系統(tǒng)的部分參數(shù)θ需要被識別、控制或優(yōu)化，在求解方程時是未知的，這導致方程一般是不適定的，在傳統(tǒng)機理方法中需要大量的數(shù)值仿真對參數(shù)進行搜索，甚至結(jié)合數(shù)據(jù)驅(qū)動方法對參數(shù)進行尋優(yōu)。而在機理+數(shù)據(jù)融合模型中，可以將該部分未知參數(shù)納入模型中，即令θ∈Θ顯然此時原始方程增加了未知數(shù)，因此需要利用具體任務的約束將待求解問題封閉，從而轉(zhuǎn)化為在機器學習方法中的可優(yōu)化問題。實際工業(yè)場景中的任務可大致構(gòu)造成如下3類方式。

(1)在物理場重構(gòu)或系統(tǒng)的參數(shù)辨識問題中，由于缺失了部分邊界條件、初始條件、幾何信息、物理性質(zhì)參數(shù)，必須引入必要的可測點使方程封閉，因此需在測點中補充更多的傳感器測量，即

(4)

(2)在設計優(yōu)化任務中，需要對部件的幾何信息或工況參數(shù)進行優(yōu)化，因此需要補充待優(yōu)化目標，使得被設計對象獲得更好的設計性能，即

(5)

(3)在控制問題中，需要保證系統(tǒng)的某個輸出參數(shù)接近需要達到的控制目標，因此需要補充待控制目標，補充待控制目標和實際目標之間的差異，即

(6)

鑒于各種任務的一致性，在機理+數(shù)據(jù)融合模型中可以將這幾種任務統(tǒng)一在一起[46]，從而更加凸顯機理+數(shù)據(jù)融合建模方法的靈活性和通用性，事實上實際工業(yè)場景中往往也需要同時兼顧上述3種任務。

近兩年來，這種機理+數(shù)據(jù)融合建模方法已經(jīng)被用于不同的物理場重構(gòu)任務，如散熱結(jié)構(gòu)的設計[47]、基于核磁共振圖像及少數(shù)測點的血管狀態(tài)重構(gòu)[48]；系統(tǒng)參數(shù)辨識任務，如材料的幾何缺陷檢測[49]、汽車扭振阻尼結(jié)構(gòu)的參數(shù)識別及校正[50]；優(yōu)化任務，如機翼形狀優(yōu)化[18]、電力系統(tǒng)優(yōu)化[51]；控制任務，如流動控制[45]、四容水箱液位控制[52]。另外，這種方法也能勝任一些復雜系統(tǒng)的物理場以及關注的性能參數(shù)預測，如熱化學反應過程中的溫度場預測[42]、氣動軸承的氣膜厚度以及力學特性預測[53]。

此外，雖然本文是以監(jiān)督學習形式給出的物理機理嵌入方式，實際上該方法還可以與無監(jiān)督學習方法以及強化學習方法結(jié)合，以進一步擴展該建模方式的應用場景，如進行物理系統(tǒng)的動力學方程的發(fā)現(xiàn)[54]、形狀設計優(yōu)化[55]、復雜的湍流控制[56]和電網(wǎng)系統(tǒng)控制[57]。

3 應用場景

機理+數(shù)據(jù)融合模型由于其靈活性以及通用性，也獲得了工業(yè)界的廣泛關注。世界范圍內(nèi)的大型重工業(yè)企業(yè)開始陸續(xù)布局該模型，將這種方法應用于工業(yè)領域的設計優(yōu)化—生產(chǎn)制造—運行維護環(huán)節(jié)，從而實現(xiàn)工業(yè)互聯(lián)網(wǎng)中的數(shù)據(jù)閉環(huán)。例如美國通用電氣公司和安斯科技(ANSYS)公司、英國羅爾斯·羅伊斯(Rolls-Royce)公司、法國達索(Dassault)公司，德國西門子(Siemens)公司、我國百度公司等相繼推出了利用機理+數(shù)據(jù)融合方法構(gòu)建數(shù)字孿生系統(tǒng)的戰(zhàn)略規(guī)劃，并在實際工業(yè)場景中實現(xiàn)了落地應用。

在設計優(yōu)化方面：美國通用電氣公司[58]基于工業(yè)互聯(lián)網(wǎng)技術(shù)與安斯科技公司合作打造了基于數(shù)值仿真的數(shù)字孿生系統(tǒng)，結(jié)合結(jié)構(gòu)、熱學、電磁、流體以及控制等多物理場耦合分析技術(shù)，構(gòu)建了更加精確快速的綜合仿真模型來分析、預測航空發(fā)動機的性能，通用電氣公司于2018年宣稱已經(jīng)擁有120萬個數(shù)字孿生系統(tǒng)；英偉達(Nvidia)公司開發(fā)了Modulus[34]用于融合物理知識與數(shù)據(jù)以快速響應設計需求，為芯片散熱的流場模擬提供了新的解決方案，使計算流體動力學等模擬的速度比傳統(tǒng)工程模擬和設計優(yōu)化工作流程方法加快1萬倍。

在生產(chǎn)制造方面：Fero Labs公司利用機器學習分析傳感器數(shù)據(jù)，預防機器故障并減少資源浪費，每年為鋼鐵生產(chǎn)企業(yè)節(jié)省數(shù)百萬美元的成本；安斯科技公司在材料分析中結(jié)合專家經(jīng)驗與機器學習方法，取得了比反復試驗效果更好、改進更快、成本更低的結(jié)果；西門子利用深度學習使用天氣和部件振動數(shù)據(jù)來不斷微調(diào)風機，使轉(zhuǎn)子葉片等設備能根據(jù)天氣調(diào)整到最佳位置，從而提高了發(fā)電效率、增加了發(fā)電量。

在運行維護方面：英國羅爾斯·羅伊斯公司在最新的UltraFan航空發(fā)動機[59]的驗證機中對每塊風扇葉片都安裝了傳感器，并構(gòu)造了數(shù)據(jù)孿生體，輔助葉片運行的健康管理；西門子利用數(shù)字孿生的混合建模模型[60]輔助電廠運維，使得燃氣輪機的性能增加3.5 Mw，氮氧化物(NOx)排放量下降10%；法國電力集團利用融合建模方法的數(shù)字孿生系統(tǒng)進行設備故障診斷以及健康管理，故障檢測準確率達到87%；百度公司[61]將機理模型、機器學習與環(huán)保水務業(yè)務深度融合，幫助水務公司實現(xiàn)節(jié)能降耗5%～15%，停機時間減少50%，總成本降低5%～10%，設備利用率提升5%～15%。

2021年8月，美國國防部[62]發(fā)布關于開展燃氣輪機的大規(guī)模集成模擬和綜合仿真的研究項目，相關研究人員認為：近期流體力學和人工智能方法的融合出現(xiàn)了巨大突破，有助于提升下一代燃氣渦輪發(fā)動機的效率和安全性。同時，俄羅斯土星公司也報道了對船用重型燃氣輪機的數(shù)字孿生項目，并聲稱目前已完成了第一階段關于變速箱的融合建模，表示該方法將有助于減少下一代船用燃氣輪機的設計時間和成本、縮短試驗測試過程，提升產(chǎn)品生命周期的管理質(zhì)量。由此可見，無論是在民用還是國防工業(yè)，機理+數(shù)據(jù)融合模型已經(jīng)逐漸融入了新一代工業(yè)互聯(lián)網(wǎng)的數(shù)字孿生系統(tǒng)。

4 結(jié)束語

綜上所述，“第四范式”下的機理+數(shù)據(jù)融合建模方法是實現(xiàn)數(shù)字孿生系統(tǒng)中實時或準實時仿真、模型—數(shù)據(jù)雙向反饋的理想工具，可以在統(tǒng)一的架構(gòu)下靈活地處理工業(yè)領域不同的任務需求，這種方法正在重塑著傳統(tǒng)工業(yè)領域，引領著新一輪工業(yè)互聯(lián)網(wǎng)技術(shù)的發(fā)展，也必將在未來扮演關鍵角色。但仍然需要承認的是：如何將工業(yè)中有限容量的數(shù)據(jù)和物理機理更加高效的結(jié)合，無論是將物理知識和經(jīng)驗嵌入機器學習模型，還是改造機理仿真方法以自適應數(shù)據(jù)，相關探索均缺乏理論支撐，也面臨著新的挑戰(zhàn)。首先，融合模型的精度、收斂性、可解釋性和魯棒性問題無論是在理論上還是應用中都是亟需解決的問題；其次，構(gòu)建可驗證的標準數(shù)據(jù)集以及相關開源社區(qū)，在傳統(tǒng)工業(yè)領域仍然是極為困難的；最后，將仿真模擬、實驗室中獲得的融合模型向真實工業(yè)場景推廣，確保模型的可遷移性和泛化能力也是一大挑戰(zhàn)。