Dana Mackenzie

Senior Technology Writer

將卵石投入流動的水流，可能不會大幅度改變流型。但是若將卵石扔到其他位置，則可能會發(fā)生很大變化。誰能進行預測呢？

答案：神經(jīng)網(wǎng)絡可以。美國帕薩迪納加利福尼亞理工學院（California Institute of Technology, Caltech）的計算機科學家和數(shù)學家，通過展示神經(jīng)網(wǎng)絡可自學如何比以往任何一種計算機程序更快、更準確解決一大類流體流動問題，而為人工智能（AI）開辟了新的舞臺[1]。

加利福尼亞理工學院的計算與數(shù)學科學教授、科學人工智能（AI4Science）聯(lián)合負責人Animashree Anandkumar表示：“當我們的小組兩年前聚在一起時，我們討論了人工智顛覆哪些科學領(lǐng)域的時機已經(jīng)成熟。我們認為，如果能找出一個強大的框架來解算偏微分方程，那么我們就能產(chǎn)生廣泛的影響?！彼麄兊氖讉€目標是二維納維-斯托克斯方程（Navier-Stokes equation），該方程描述了無限薄的一層水的運動情況（圖1）。他們的神經(jīng)網(wǎng)絡（他們稱之為“傅里葉神經(jīng)算子”）在解決這類問題時，其性能（速度提高了400倍，精度提高了30%）大大優(yōu)于以前的任何微分方程解算器。

偏微分方程（PDE）是牛頓運動定律自然而然產(chǎn)生的一類方程。為此，偏微分方程是科學的基礎(chǔ)，解算這些方程取得的任何重大進展都會產(chǎn)生廣泛影響。Anandkumar表示：“我們正與各行業(yè)以及學術(shù)界和國家實驗室的眾多團隊進行討論。我們已在進行三維流體流動實驗?！盇nandkumar表示，一個很好的應用案例是核聚變建模方程式。她補充道：“另一個應用案例是材料設(shè)計，尤其是塑性與彈性材料設(shè)計。在此領(lǐng)域中，團隊成員，即力學與材料科學教授Kaushik Bhattacharya具有豐富的經(jīng)驗?！?/p>

圖1. 水在噴泉上方以薄片狀形式流動。據(jù)加利福尼亞理工學院科學人工智能團隊報道，與使用標準方法解算微分方程的計算機程序相比，神經(jīng)網(wǎng)絡可更快、更準確地預測這種二維流體流動[1]。他們繼續(xù)進行三維流體流動實驗，通過改進的自然現(xiàn)象（如核聚變）建模而可能對推動科學發(fā)展產(chǎn)生廣泛影響。圖片來源：Pixabay (public domain)。

在第二次世界大戰(zhàn)期間，計算機應運而生的部分原因是使用微分方程來預測炮彈運動[2]。從那時起，計算機一直用于解算微分方程，具有一定的準確性和成功率。但是以往的方法，無論涉及傳統(tǒng)計算機編程或人工智能，始終是一次只能處理一個方程。例如，計算機可弄清楚扔到一個位置的一顆卵石如何影響水流動。然后，計算機就可學習扔到其他位置的卵石如何改變水流動。但計算機并不會進一步理解扔到任何位置的卵石如何改變水流動。這是加利福尼亞理工學院傅里葉神經(jīng)算子背后的宏偉目標。

當然，以往的方法之所以無法實現(xiàn)一次處理多個方程是有原因的。神經(jīng)網(wǎng)絡擅長學習數(shù)學家所稱的有限維空間之間的關(guān)聯(lián)。例如，擊敗人類最強圍棋選手的谷歌公司的人工智能程序AlphaGo，學習了圍棋位置（盡管為天文數(shù)字，但是數(shù)量有限）與圍棋落棋之間的函數(shù)關(guān)系[3]。相比之下，傅里葉神經(jīng)算子將流體的初始速度場作為輸入，并在一定時間后產(chǎn)生速度場輸出。這兩個速度場都存在于無限維空間中，這只是一種數(shù)學表達方式，即存在無限多種方式將一顆卵石扔到水流中。

加利福尼亞理工學院的團隊通過用傳統(tǒng)方法解算的數(shù)千個納維-斯托克斯方程實例來訓練傅里葉神經(jīng)算子[1]。然后，通過“代價函數(shù)”（cost function）對該網(wǎng)絡進行評估，衡量了預測距正確解算有多遠，并且以逐漸改進其預測的方式發(fā)展。由于該網(wǎng)絡始于一組精選的輸入與輸出，因此其被稱為“監(jiān)督學習”（supervised learning）。谷歌公司的AlphaGo原始版本結(jié)合了“監(jiān)督學習”和“無監(jiān)督學習”（盡管后來的版本僅采用“無監(jiān)督學習”）[3]。用于圖像處理的其他神經(jīng)網(wǎng)絡程序通常采用“監(jiān)督學習”[4]。

但無論你擁有多少訓練數(shù)據(jù)，你都可能無法探索無限維空間中最微小的部分。你無法嘗試將卵石放入水流中的所有位置。此外，若無任何事先假設(shè)，則不能保證你的網(wǎng)絡能正確預測將卵石扔到新位置時會發(fā)生什么事情。

為此以及出于其他原因，另一名科學人工智能團隊成員及計算與數(shù)學科學教授Andrew Stuart表示：“我們想采用神經(jīng)網(wǎng)絡的相關(guān)部分，并將其與對數(shù)學方面特定領(lǐng)域的理解相結(jié)合?！?/p>

特別是，Stuart知道線性偏微分方程（最簡單的偏微分方程類型）可以通過著名的格林函數(shù)方法來解算，這是用于解算這些常見問題和偏微分方程的一種策略，而其他方法可能無法解決這些問題[5]。基本上，它為方程的適當解提供了一個模板。該模板可在有限維空間中進行近似求解，因此，可將問題從無限維減少到有限維。

納維-斯托克斯方程為非線性方程，因此，其尚無此類模板。但是，若納維-斯托克斯方程存在類似于格林函數(shù)的東西，即非線性方程（不過其仍存在有限維模板），那么神經(jīng)網(wǎng)絡應該能夠?qū)ζ溥M行學習。雖然無法保證這樣做會奏效，但Stuart稱其為“見多識廣的冒險”。他表示，經(jīng)驗一次又一次地表明，神經(jīng)網(wǎng)絡非常適合學習有限維空間中的非線性映射。

美國加利福尼亞大學圣克魯茲分校的應用數(shù)學系助理教授Daniele Venturi表示，學習無限維空間之間的非線性算子是計算科學領(lǐng)域的“圣杯”（holy grail）。Venturi的研究涉及微分方程和無限維函數(shù)空間，他表示不相信加利福尼亞理工學院團隊已經(jīng)做到了這一點。他說：“通常，在有限數(shù)量的輸入-輸出對基礎(chǔ)上學習無限維空間之間的非線性映射是不可能的，但能夠?qū)ζ溥M行近似求解。實際上，主要問題在于這種近似求解的計算成本及其準確性和效率。他們展示的結(jié)果確實令人印象深刻?！?/p>

除前所未有的速度和準確性外，加利福尼亞理工學院的方法還具有其他顯著特性[1]。通過設(shè)計，該方法甚至可在沒有初始數(shù)據(jù)的位置上預測流體流動，并預測之前未見過的擾動結(jié)果。該程序還確認了納維-斯托克斯方程的解的突現(xiàn)行為：隨著時間推移，它們將長波長能量重新分配給短波長。這種現(xiàn)象稱為“能量級聯(lián)”（energy cascade），其由Andrei Kolmogorov在20世紀40年代提出，用于解釋流體的湍流現(xiàn)象[6]。

傅里葉神經(jīng)算子的未來研究前沿是三維流體流動，其中湍流和混沌為主要障礙。神經(jīng)網(wǎng)絡能馴服混沌嗎？Anandkumar表示：“我們知道，混沌意味著無法精確預測長時間內(nèi)的流體運動。但我們也從理論中知道存在統(tǒng)計不變量，如不變測度和穩(wěn)定吸引子?！比羯窠?jīng)網(wǎng)絡能夠了解吸引子的位置，則即使不可能進行精確的確定性預測，也有可能做出更好的概率預測。Anandkumar指出，神經(jīng)網(wǎng)絡可控制混沌系統(tǒng)，因此，不會朝著不受歡迎的吸引狀態(tài)發(fā)展。她表示：“例如，在核聚變中，控制破壞（如等離子體失穩(wěn)）的能力變得非常重要?！?/p>