劉 徹 楊愷喬 鮑江涵 俞文明 游檢衛(wèi) 李廉林 崔鐵軍*
①(東南大學(xué)電磁空間科學(xué)與技術(shù)研究院 南京 211189)
②(東南大學(xué)毫米波全國(guó)重點(diǎn)實(shí)驗(yàn)室 南京 210096)
③(北京大學(xué)電子學(xué)院 北京 100871)
20世紀(jì)60年代之前,受限于當(dāng)時(shí)計(jì)算機(jī)非常有限的計(jì)算能力,早期對(duì)麥克斯韋方程組的求解大都采用解析法和高頻方法,無(wú)法仿真具有復(fù)雜結(jié)構(gòu)的目標(biāo)。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展,以時(shí)域有限差分(Finite-Difference Time-Domain,FDTD)法、時(shí)域有限積分法(Finite Integration Technique,FIT)、有限元法(Finite Element Method,FEM)和矩量法(Method of Moments,MoM)為代表的全波數(shù)值方法全面興起[1],成為現(xiàn)今工業(yè)電磁仿真軟件(例如CST,Ansys HFSS等)的算法基石。近十年以來(lái),傳統(tǒng)計(jì)算電磁學(xué)已進(jìn)入相對(duì)平穩(wěn)的階段,另一門學(xué)科--人工智能(Artificial Intelligence,AI)進(jìn)入了蓬勃發(fā)展期。2016年,谷歌DeepMind推出的AI圍棋程序AlphaGo[2]以4:1的絕對(duì)優(yōu)勢(shì)戰(zhàn)勝當(dāng)時(shí)頂尖圍棋選手李世石,此事件將AI浪潮推向了新的高度,基于AI的創(chuàng)新性應(yīng)用也如雨后春筍般在各行各業(yè)不斷涌現(xiàn),其中包括我們熟知的圖像識(shí)別、語(yǔ)音識(shí)別、文本翻譯等,并在最近發(fā)展出了已實(shí)現(xiàn)大規(guī)模商業(yè)化的自然語(yǔ)言大模型ChatGPT,預(yù)示著AI將越來(lái)越多地改變?nèi)祟惖纳a(chǎn)和生活方式。在科學(xué)界,AI與各學(xué)科的結(jié)合也衍生出了“AI for Science”這一特殊研究領(lǐng)域,對(duì)自然科學(xué)產(chǎn)生了巨大影響,其中以谷歌發(fā)布的可預(yù)測(cè)蛋白質(zhì)折疊結(jié)構(gòu)的Alpha-Fold[3]為代表。最近,華為云盤(pán)古大模型研發(fā)團(tuán)隊(duì)[4]發(fā)布的精準(zhǔn)中期全球天氣預(yù)報(bào)AI模型和清華大學(xué)[5]發(fā)布的極端降水臨近預(yù)報(bào)AI模型幾乎同期登上了《Nature》雜志,預(yù)示著“AI for Science”的巨大潛力。在基礎(chǔ)算法領(lǐng)域,谷歌DeepMind[6]于2022年又推出AlphaTensor,基于強(qiáng)化學(xué)習(xí)技術(shù)成功發(fā)現(xiàn)了人類已知最快的矩陣相乘計(jì)算算法,在現(xiàn)有硬件條件下實(shí)現(xiàn)了計(jì)算效率10%~20%的提升,開(kāi)創(chuàng)了AI尋找快速算法的先河。
仿真和計(jì)算作為科學(xué)研究的基礎(chǔ),其與AI的結(jié)合也越來(lái)越受到關(guān)注,并催生出“AI for Science”領(lǐng)域下一個(gè)更為細(xì)分的門類--智能計(jì)算(Intelligent Computing)。2023年初,杭州之江實(shí)驗(yàn)室[7]發(fā)布了其對(duì)“智能計(jì)算”的定義:“智能計(jì)算是支持萬(wàn)物互聯(lián)的數(shù)字文明時(shí)代新的計(jì)算理論方法、架構(gòu)體系和技術(shù)能力的總稱。智能計(jì)算根據(jù)具體的實(shí)際需求,以最小的代價(jià)完成計(jì)算任務(wù),匹配足夠的計(jì)算能力,調(diào)用最好的算法,獲得最優(yōu)的結(jié)果?!彪姶欧抡婧陀?jì)算作為工業(yè)仿真和科學(xué)計(jì)算體系的重要組成部分,自然也受到智能計(jì)算新體制的影響,衍生出了“智能電磁計(jì)算”這一新興研究方向,正深刻改變著計(jì)算電磁學(xué)這已發(fā)展百年的傳統(tǒng)領(lǐng)域。本文借鑒“智能計(jì)算”的概念,將“智能電磁計(jì)算”定義為“以在電磁仿真計(jì)算的數(shù)字空間和電磁調(diào)控感知的物理空間引入人工智能技術(shù)為手段進(jìn)行電磁建模、推理和決策,以減少資源消耗、降低人工干預(yù)、提升運(yùn)行效率并尋求最優(yōu)結(jié)果為目的的電磁學(xué)計(jì)算理論方法、架構(gòu)體系和技術(shù)能力的總稱”。
長(zhǎng)久以來(lái),對(duì)電磁仿真任務(wù)的求解依賴計(jì)算電磁專家從麥克斯韋方程出發(fā),結(jié)合具體應(yīng)用場(chǎng)景對(duì)精度和效率的需求,尋求綜合性能最優(yōu)的電磁方程求解方法,而智能電磁計(jì)算的出現(xiàn)有望在特定應(yīng)用場(chǎng)景下改變這一模式。我們以某個(gè)天線優(yōu)化設(shè)計(jì)場(chǎng)景為例,在實(shí)際應(yīng)用時(shí),假設(shè)用戶僅關(guān)心天線的反射相位曲線,這時(shí)電磁仿真獲得的眾多中間參數(shù),例如表面電流分布等,就存在一定程度上的信息冗余。在用戶對(duì)天線的不斷優(yōu)化迭代過(guò)程中,積累了大量的仿真數(shù)據(jù),這些仿真數(shù)據(jù)中已經(jīng)暗含了天線結(jié)構(gòu)參數(shù)和對(duì)應(yīng)反射相位曲線的映射規(guī)律,但傳統(tǒng)電磁仿真卻無(wú)法有效利用這些歷史數(shù)據(jù)來(lái)加速自身仿真過(guò)程。已經(jīng)通過(guò)理論證明,帶有非線性激活函數(shù)的深度學(xué)習(xí)網(wǎng)絡(luò)能以任意精度逼近任意的可測(cè)量函數(shù)[8],因此只要積累一定數(shù)量的仿真數(shù)據(jù),就能夠通過(guò)學(xué)習(xí)訓(xùn)練建立從天線結(jié)構(gòu)參數(shù)來(lái)預(yù)測(cè)其反射相位曲線的深度學(xué)習(xí)網(wǎng)絡(luò),替代電磁仿真過(guò)程,一般來(lái)說(shuō)可將后續(xù)的天線優(yōu)化設(shè)計(jì)過(guò)程加速3~4個(gè)數(shù)量級(jí)[9]。
本文旨在引導(dǎo)讀者了解并入門智能電磁計(jì)算這一新興領(lǐng)域,結(jié)合作者自身的研究范疇,首先從算法層面分別介紹了智能電磁計(jì)算在正向電磁仿真和逆向電磁成像上的最新研究成果,隨后從軟硬件或數(shù)字物理相結(jié)合的系統(tǒng)層面介紹了基于信息超材料的智能計(jì)算新體制和相關(guān)應(yīng)用,最后對(duì)全文進(jìn)行了總結(jié)并預(yù)測(cè)智能電磁計(jì)算的發(fā)展方向。需要說(shuō)明的是,本綜述局限于作者所了解到的工作,因此對(duì)智能電磁計(jì)算的介紹并不全面,勢(shì)必會(huì)遺漏一些非常優(yōu)秀的研究成果。希望本綜述可以起到拋磚引玉的作用,吸引更多的優(yōu)秀科研工作者,為智能電磁計(jì)算的發(fā)展添磚加瓦。
基于Maxwell方程組的正向電磁仿真技術(shù)為電磁兼容分析、電子器件設(shè)計(jì)、信號(hào)處理、通信網(wǎng)絡(luò)設(shè)計(jì)和電子對(duì)抗等領(lǐng)域提供了重要參考,在信息化時(shí)代生產(chǎn)制造中發(fā)揮了舉足輕重的作用。是否掌握自主可控的精準(zhǔn)快速的正向電磁仿真技術(shù),也是衡量一個(gè)國(guó)家科學(xué)技術(shù)水準(zhǔn)以及工業(yè)制造能力的重要指標(biāo),對(duì)我國(guó)具有重大戰(zhàn)略意義。目前,主流正向電磁仿真算法主要包括以有限差分法[10]、有限元法[11]、矩量法[12]等為代表的全波仿真方法,和以彈跳射線法[13]等為代表的高頻漸近方法。雖然經(jīng)過(guò)前人不斷的努力,大量改進(jìn)后的快速算法已經(jīng)問(wèn)世,但與實(shí)時(shí)化、多尺度要求仍然相距甚遠(yuǎn)。因此,需要提出一種全新的計(jì)算范式來(lái)解決傳統(tǒng)方法面臨的計(jì)算效率難題。
近年來(lái),隨著神經(jīng)網(wǎng)絡(luò)理論以及計(jì)算機(jī)硬件的快速發(fā)展,人工智能技術(shù)在解決計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等諸多領(lǐng)域的數(shù)據(jù)處理問(wèn)題方面展現(xiàn)出了顯著的效率優(yōu)勢(shì),這給傳統(tǒng)物理仿真帶來(lái)極大啟發(fā)。綜合目前已有的研究成果可以大致看出,智能計(jì)算實(shí)現(xiàn)正向仿真效率提升,本質(zhì)上是通過(guò)學(xué)習(xí)輸入到輸出的映射關(guān)系,提取有效物理信息,從而構(gòu)建等效神經(jīng)網(wǎng)絡(luò)模型代替?zhèn)鹘y(tǒng)數(shù)值算子,在保證計(jì)算精度基本不變前提下實(shí)現(xiàn)計(jì)算復(fù)雜度的降階。需要指出,人工智能并不是傳統(tǒng)方法的替代品,因?yàn)榛谏窠?jīng)網(wǎng)絡(luò)構(gòu)建的等效求解器不具備普適性求解能力,其最為顯著的優(yōu)勢(shì)在于特定場(chǎng)景下的精準(zhǔn)快速(甚至達(dá)到實(shí)時(shí)化程度)計(jì)算,尤其適合器件優(yōu)化設(shè)計(jì)等小尺度多輪迭代計(jì)算應(yīng)用,以及無(wú)線環(huán)境仿真等大范圍粗顆粒度仿真應(yīng)用。由此不難判斷,正向智能計(jì)算將在未來(lái)的通信、感知、制造等領(lǐng)域展現(xiàn)出巨大的應(yīng)用價(jià)值。目前,正向智能計(jì)算技術(shù)逐漸成為學(xué)術(shù)界、產(chǎn)業(yè)界關(guān)注的熱點(diǎn)研究領(lǐng)域,并且在多個(gè)物理學(xué)科[14-16]的仿真計(jì)算方面都取得了非常積極的研究成果。鑒于上述進(jìn)展,智能化也被視為計(jì)算電磁領(lǐng)域未來(lái)最為重要的發(fā)展方向之一。
本節(jié)主要對(duì)正向智能電磁計(jì)算近年來(lái)的研究情況進(jìn)行介紹。按照實(shí)現(xiàn)思路上的劃分,正向智能電磁計(jì)算技術(shù)主要可以分為兩類,即數(shù)據(jù)驅(qū)動(dòng)的電磁計(jì)算以及物理驅(qū)動(dòng)的電磁計(jì)算。數(shù)據(jù)驅(qū)動(dòng)的電磁計(jì)算內(nèi)容豐富,而其中的算子學(xué)習(xí)技術(shù)因其獨(dú)特的設(shè)計(jì)理念以及優(yōu)異的性能,受到了學(xué)術(shù)界廣泛關(guān)注。因此,本節(jié)接下來(lái)將主要從數(shù)據(jù)驅(qū)動(dòng)、物理驅(qū)動(dòng)以及算子學(xué)習(xí)3個(gè)角度展開(kāi)敘述,并簡(jiǎn)單介紹一些可微分正向仿真的研究成果。
數(shù)據(jù)驅(qū)動(dòng)方法是目前智能電磁計(jì)算領(lǐng)域的研究主流。數(shù)據(jù)驅(qū)動(dòng)的電磁計(jì)算可以理解為,給定大量仿真或?qū)崪y(cè)數(shù)據(jù),通過(guò)神經(jīng)網(wǎng)絡(luò)有監(jiān)督地學(xué)習(xí)Maxwell方程組在不同電磁參數(shù)、激勵(lì)以及邊界條件下的解,從而建立輸入到輸出的直接映射。如圖1所示,根據(jù)智能模塊在整個(gè)仿真計(jì)算過(guò)程中的使用方式,數(shù)據(jù)驅(qū)動(dòng)的電磁計(jì)算大致分為兩類:一種可概括為結(jié)果學(xué)習(xí),即直接學(xué)習(xí)從電磁參數(shù)到期望計(jì)算結(jié)果的映射,包括場(chǎng)值和電流等;一種可概括為過(guò)程學(xué)習(xí),即用神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)仿真方法中的某一個(gè)中間環(huán)節(jié),實(shí)現(xiàn)計(jì)算效率提升。
圖1 數(shù)據(jù)驅(qū)動(dòng)的正向電磁計(jì)算分類Fig.1 The classification of data-driven forward electromagnetic computing
結(jié)果學(xué)習(xí)是一種最直接的策略。文獻(xiàn)[17]根據(jù)地質(zhì)雷達(dá)工作原理,構(gòu)造神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從給定環(huán)境、電磁參數(shù)到電磁波形的快速預(yù)測(cè)。文獻(xiàn)[18]給出了神經(jīng)網(wǎng)絡(luò)求解二維波動(dòng)方程的技術(shù)方案,以循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)代替顯差分格式迭代求解不同時(shí)刻的電場(chǎng)。一些研究人員注意到電磁計(jì)算與計(jì)算機(jī)視覺(jué)的相似性,提出可以通過(guò)CNN代替頻域有限差分法(FDFD)求解Helmholtz方程[19](如圖2(a)所示)以及Poisson方程[20],其中文獻(xiàn)[19]報(bào)道的真空中紫外波段CNN等效求解器在計(jì)算全局相對(duì)誤差不超過(guò)2%的前提下實(shí)現(xiàn)了接近200倍的計(jì)算提速,而文獻(xiàn)[20]報(bào)道的3.3 GHz二維、三維CNN等效求解器也實(shí)現(xiàn)了低全局相對(duì)誤差(小于-30 dB)條件下1到2個(gè)數(shù)量級(jí)的計(jì)算提速。此外,美國(guó)伊利諾伊大學(xué)香檳分校的研究人員[21]基于自編碼器加RNN架構(gòu),提出了一種針對(duì)二維散射問(wèn)題的時(shí)域求解器。除了微分方程,基于積分方程思想(特別是矩量法)的研究也大量出現(xiàn)。文獻(xiàn)[22]提出在求解二維介質(zhì)散射問(wèn)題時(shí),可以先通過(guò)對(duì)抗生成神經(jīng)網(wǎng)絡(luò)(Generative Adversarial Network,GAN)[23]學(xué)習(xí)等效電流分布,之后間接計(jì)算出散射場(chǎng)分布。文獻(xiàn)[24,25]針對(duì)二維完美電導(dǎo)體(Perfect Electric Conductors,PEC)散射問(wèn)題提出了與入射波無(wú)關(guān)的“固有特征參數(shù)”,并通過(guò)學(xué)習(xí)這一參數(shù)間接計(jì)算遠(yuǎn)場(chǎng)雷達(dá)散射截面(Radar Cross-Section,RCS)(如圖2(b)所示)。文獻(xiàn)[25]基于注意力機(jī)制設(shè)計(jì)的等效求解器表現(xiàn)優(yōu)異,在其所給測(cè)試數(shù)據(jù)集上RCS預(yù)測(cè)正確率超過(guò)98%,且相比于矩量法獲得接近100倍的計(jì)算加速比。文獻(xiàn)[26]研究了三維介質(zhì)散射問(wèn)題,參考迭代思想設(shè)計(jì)了級(jí)聯(lián)網(wǎng)絡(luò)來(lái)學(xué)習(xí)電通密度,不同于簡(jiǎn)單的黑盒網(wǎng)絡(luò)僅輸入入射場(chǎng)以及介電常數(shù),該網(wǎng)絡(luò)再引入電場(chǎng)的Born級(jí)數(shù)展開(kāi)1階項(xiàng)作為輸入,改善了預(yù)測(cè)散射場(chǎng)相對(duì)誤差,并且對(duì)比數(shù)值方法實(shí)現(xiàn)了計(jì)算效率接近80倍的提升。
圖2 部分?jǐn)?shù)據(jù)驅(qū)動(dòng)正向電磁計(jì)算研究成果Fig.2 Several research results of data-driven forward electromagnetic computing
結(jié)果學(xué)習(xí)策略直觀、高效,但問(wèn)題同樣非常明顯:由于缺乏物理規(guī)律指導(dǎo),結(jié)果學(xué)習(xí)策略的求解精度和泛化能力往往不盡如人意。近年來(lái),以傳統(tǒng)方法為主體,以智能手段加速中間環(huán)節(jié)的過(guò)程學(xué)習(xí)策略同樣受到了關(guān)注。例如,一些早期研究試圖將智能模塊整合進(jìn)FDTD計(jì)算過(guò)程。文獻(xiàn)[27,28]提出了“智能吸收邊界”方案,分別采用RNN以及長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short Term Memory,LSTM)代替理想匹配層吸收邊界條件(Perfectly Matched Layer,PML),能夠在單層智能邊界的條件下達(dá)到多層PML的吸收效果,其中RNN方案更快,能夠?qū)崿F(xiàn)約2倍的計(jì)算提速,但吸收效果不及LSTM方案。文獻(xiàn)[29]注意到了波動(dòng)方程迭代差分格式與RNN在結(jié)構(gòu)上的相似性,重新設(shè)計(jì)了RNN模型,實(shí)現(xiàn)了時(shí)域標(biāo)量波函數(shù)模擬。文獻(xiàn)[30]引入了深度可微森林模型(Deep differentiable Forest,DFF)來(lái)取代傳統(tǒng)的多層PML,減少了計(jì)算區(qū)域的大小和復(fù)雜度,并保持了良好的精度。除FDTD之外,更多的電磁算法也被納入了智能化研究范疇。文獻(xiàn)[31]提出使用人工神經(jīng)網(wǎng)絡(luò)替代轉(zhuǎn)移函數(shù),從而加速多層快速多極子計(jì)算過(guò)程。文獻(xiàn)[32]將智能技術(shù)引入格林函數(shù)方法,利用人工神經(jīng)網(wǎng)絡(luò)模擬復(fù)雜區(qū)域內(nèi)的格林函數(shù),相較于數(shù)值格林函數(shù)方法,同時(shí)降低了運(yùn)算內(nèi)存和時(shí)間開(kāi)銷,在基本保證求解精度的前提下計(jì)算效率提升接近2倍。針對(duì)矩量法,文獻(xiàn)[33,34]基于共軛梯度方法(Conjugate Gradient,CG)思想,設(shè)計(jì)了一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的線性方程組求解器(如圖2(c)所示),可在輸入散射體的相對(duì)介電常數(shù)分布和入射場(chǎng)信息后快速計(jì)算獲得總場(chǎng)。然而這種方案加速效果較為有限,實(shí)驗(yàn)觀測(cè)到相較于CG方法僅能夠在3~4 GHz頻點(diǎn)處獲取大約1.2倍的計(jì)算效率提升。文獻(xiàn)[35]在此基礎(chǔ)上進(jìn)行了擴(kuò)展,基于復(fù)數(shù)批量歸一化技術(shù),改進(jìn)了基于CG方法和廣義最小殘差方法的等效級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò),并且通過(guò)數(shù)值實(shí)驗(yàn)證實(shí)了所提方案在計(jì)算效率上的改善。不難發(fā)現(xiàn),過(guò)程學(xué)習(xí)方案相比結(jié)果學(xué)習(xí)雖然引入了更多物理信息,整體泛化能力得到了改善,但計(jì)算效率增益通常會(huì)大打折扣,很少能夠觀測(cè)到出現(xiàn)超過(guò)1個(gè)數(shù)量級(jí)的提升。如何進(jìn)一步降低過(guò)程學(xué)習(xí)方案計(jì)算復(fù)雜度,也是需要在未來(lái)深入研究的問(wèn)題。
近年來(lái),數(shù)據(jù)驅(qū)動(dòng)的正向電磁計(jì)算發(fā)展大致呈現(xiàn)出以下趨勢(shì):模型逼近能力持續(xù)增強(qiáng),問(wèn)題求解規(guī)模不斷增長(zhǎng),物理機(jī)制關(guān)聯(lián)度日漸緊密,求解器結(jié)構(gòu)更加自由,求解結(jié)果更加穩(wěn)定可靠等。雖然發(fā)展現(xiàn)狀仍有不足,但數(shù)據(jù)驅(qū)動(dòng)方法在加速仿真過(guò)程方面仍然表現(xiàn)出了相當(dāng)?shù)臐摿εc價(jià)值。
物理驅(qū)動(dòng)的正向電磁計(jì)算是一種近年來(lái)同樣備受關(guān)注的計(jì)算范式。這類方法將物理方程以及邊界條件用作神經(jīng)網(wǎng)絡(luò)的損失函數(shù),通過(guò)無(wú)監(jiān)督或部分有監(jiān)督的方式完成網(wǎng)絡(luò)訓(xùn)練。相較于數(shù)據(jù)驅(qū)動(dòng)方法,如圖3(a)所示,以物理驅(qū)動(dòng)的深度神經(jīng)網(wǎng)絡(luò)(Physics-Informed Neural Network,PINN)[36]為代表,該方法在提升網(wǎng)絡(luò)逼近能力的同時(shí)減少了數(shù)據(jù)依賴,特別適用于解決小樣本學(xué)習(xí)問(wèn)題。受到PINN啟發(fā),近年來(lái)物理驅(qū)動(dòng)電磁計(jì)算獲得了快速的發(fā)展。文獻(xiàn)[37]在U-Net架構(gòu)基礎(chǔ)上引入頻域電場(chǎng)方程作為損失函數(shù),提出了求解自由空間散射光場(chǎng)的MaxwellNet,如圖3(b)所示,這一成果被應(yīng)用于指導(dǎo)光學(xué)透鏡設(shè)計(jì)[38]。文獻(xiàn)[39]則基于PINN模型,提出了一種針對(duì)多層涂敷腔體的無(wú)網(wǎng)格電磁場(chǎng)分析算法,分析了腔體結(jié)構(gòu)以及涂敷材料對(duì)耦合阻抗的影響。文獻(xiàn)[40]同樣基于U-Net結(jié)構(gòu),通過(guò)結(jié)合數(shù)據(jù)以及物理驅(qū)動(dòng)方法,提出了WaveY-Net,可以實(shí)現(xiàn)對(duì)一維周期結(jié)構(gòu)電磁特性的精準(zhǔn)快速仿真,相比串行FDFD算法在計(jì)算效率上提升了近700倍。
圖3 部分物理驅(qū)動(dòng)以及算子學(xué)習(xí)正向計(jì)算研究成果Fig.3 Several research results of PINN based and operator-learning based forward computing
然而,針對(duì)物理驅(qū)動(dòng)方法的研究仍然處于早期階段。盡管表現(xiàn)出巨大潛力,與數(shù)據(jù)驅(qū)動(dòng)方法類似,這種方法仍然存在許多未解決的問(wèn)題,例如神經(jīng)網(wǎng)絡(luò)受到參數(shù)、邊界條件限制,導(dǎo)致泛化能力同樣不足,無(wú)法求解未知的微分方程等。
算子學(xué)習(xí)[41-43]是近年來(lái)智能微分方程研究領(lǐng)域的重大理論與方法突破。無(wú)論數(shù)據(jù)驅(qū)動(dòng)還是物理或方程驅(qū)動(dòng)方法,都沒(méi)有很好地解決泛化性問(wèn)題,無(wú)法實(shí)現(xiàn)對(duì)一類微分方程的求解。算子學(xué)習(xí)方法立足于算子通用逼近原理[41],通過(guò)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)微分算子,找到方程的一般性解,從而解除參數(shù)、邊界條件等因素的束縛。算子學(xué)習(xí)本質(zhì)上仍然屬于數(shù)據(jù)驅(qū)動(dòng)方法,但網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與簡(jiǎn)單數(shù)據(jù)驅(qū)動(dòng)方法已出現(xiàn)明顯的不同。2021年,由麻省理工學(xué)院、布朗大學(xué)等機(jī)構(gòu)學(xué)者[41]聯(lián)合提出了最早的神經(jīng)算子模型--DeepONet,用于解決一類微分算子的學(xué)習(xí)難題?;谒阕油ㄓ帽平硭枷耄撃P桶胺种А币约啊爸鞲伞眱煞N全連接神經(jīng)網(wǎng)絡(luò),分別用于抽取源函數(shù)以及位置坐標(biāo)有效信息(中間輸出向量),并最終通過(guò)點(diǎn)乘操作獲取解在期望位置解的取值[41]。如圖3(c)所示的另一種神經(jīng)算子模型--神經(jīng)傅里葉算子(Fourier Neural Operator,FNO)[44]是算子學(xué)習(xí)領(lǐng)域的最新研究成果。不同于DeepONet,FNO的級(jí)聯(lián)結(jié)構(gòu)設(shè)計(jì)思想來(lái)源于格林函數(shù)法,其物理含義更加簡(jiǎn)明直觀(雖然FNO目前并沒(méi)有展現(xiàn)出在計(jì)算效率和泛化能力方面對(duì)DeepONet的絕對(duì)優(yōu)勢(shì),不過(guò)二者都被視為極具潛力的神經(jīng)算子模型)?;诳焖俑道锶~變換操作,F(xiàn)NO保證了對(duì)全局信息的學(xué)習(xí),并且變卷積為乘法,極大地降低了方程求解計(jì)算量[44]。FNO在解決流體問(wèn)題上的成功也帶給了電磁計(jì)算啟發(fā)。文獻(xiàn)[45]提出用于求解頻域自由空間散射問(wèn)題的改進(jìn)FNO,相較簡(jiǎn)單的U-Net等效求解器,不論是計(jì)算精度,還是訓(xùn)練以及推理速度都出現(xiàn)了顯著提升。文獻(xiàn)[46]提出求解頻域Maxwell方程組的擴(kuò)展FNO,相較于FDFD獲得了超過(guò)100倍的加速比。
由于設(shè)計(jì)思想的特殊性,算子學(xué)習(xí)方法在效率、精度以及泛化能力方面獲得了較大提升,展現(xiàn)出了巨大發(fā)展?jié)摿εc應(yīng)用價(jià)值,目前已被成功應(yīng)用于地球大氣活動(dòng)預(yù)測(cè)[47],同時(shí)也給計(jì)算機(jī)視覺(jué)[48]等其他領(lǐng)域研究帶來(lái)重要啟發(fā)。未來(lái),算子學(xué)習(xí)方法的進(jìn)一步發(fā)展也將帶給智能電磁計(jì)算更多可能。
受到可微分渲染技術(shù)[49]的影響,可微分正向電磁計(jì)算最近也開(kāi)始受到關(guān)注。所謂“可微分”,就是能夠求出正向仿真過(guò)程的導(dǎo)數(shù)(廣義上的可微分技術(shù)包括神經(jīng)網(wǎng)絡(luò)等效求解器,這里主要指非神經(jīng)網(wǎng)絡(luò)求解技術(shù))。未來(lái),可微分正向電磁計(jì)算有兩個(gè)可能的應(yīng)用方向:首先,可以將可微分過(guò)程本身看作優(yōu)化器,借助梯度下降等方法求解逆向問(wèn)題;其次,可以將可微分過(guò)程嵌入神經(jīng)網(wǎng)絡(luò),設(shè)計(jì)更加復(fù)雜的功能。近年來(lái),學(xué)術(shù)界在可微分正向電磁計(jì)算上進(jìn)行了初步的探索。例如,文獻(xiàn)[50,51]就指出,可以在一些成熟的深度學(xué)習(xí)平臺(tái)(pytorch,tensorflow等)上直接移植FDTD算法,如圖4(a)所示。一方面,F(xiàn)DTD算法本身可微分,能夠直接嵌入不同功能的可微分系統(tǒng);另一方面,可以借助現(xiàn)有深度學(xué)習(xí)平臺(tái)對(duì)于并行計(jì)算的支持,加速正向仿真過(guò)程。針對(duì)不可微分算法(如高頻方法)的研究也有所突破。如圖4(b)所示,文獻(xiàn)[52]類比可微分渲染技術(shù)[53,54],提出了一套可微分合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)渲染系統(tǒng),將渲染過(guò)程中的光柵化、判斷面元是否可見(jiàn)的深度緩存等離散化操作通過(guò)概率近似映射為二維圖像和三維場(chǎng)景要素之間的連續(xù)函數(shù),實(shí)現(xiàn)了正向渲染管線(pipeline)的連續(xù)性,從而能夠利用梯度下降算法從目標(biāo)二維圖像中推斷出三維信息。
圖4 部分可微分正向電磁計(jì)算研究成果示意Fig.4 Several research results of differentiable forward electromagnetic computing
目前,可微分正向電磁計(jì)算還處于發(fā)展的早期階段,這一領(lǐng)域還存在著大量問(wèn)題等待解決。特別地,相比于全波方法,傳統(tǒng)高頻方法由于本身具有不連續(xù)特性,更難實(shí)現(xiàn)可微分化。此外,可微分化必將提升高頻算法計(jì)算、存儲(chǔ)復(fù)雜度,算法效率也是一大難題。當(dāng)然,挑戰(zhàn)的存在也預(yù)示著機(jī)遇,可微分正向電磁計(jì)算仍舊具備巨大的研究?jī)r(jià)值。
本節(jié)主要就近年來(lái)正向智能電磁計(jì)算領(lǐng)域所取得的代表性研究成果進(jìn)行梳理總結(jié),包含4個(gè)重要組成部分,即數(shù)據(jù)驅(qū)動(dòng)正向電磁計(jì)算、物理驅(qū)動(dòng)正向電磁計(jì)算、基于算子學(xué)習(xí)的正向電磁計(jì)算,以及可微分正向電磁計(jì)算。這4類方法各具特色,具有不同的適用場(chǎng)景,彼此之間能夠互為補(bǔ)充。表1展示了4種正向電磁計(jì)算方法的特點(diǎn)。其中基于結(jié)果學(xué)習(xí)的數(shù)據(jù)方法技術(shù)成熟度很高,計(jì)算復(fù)雜度一般較低,但獲取較好泛化能力依賴大量訓(xùn)練數(shù)據(jù)?;谶^(guò)程學(xué)習(xí)的數(shù)據(jù)方法近年來(lái)受到廣泛的研究,技術(shù)成熟度較高,由于沒(méi)有全面剔除數(shù)值計(jì)算環(huán)節(jié),計(jì)算效率提升不及結(jié)果學(xué)習(xí)方案,但泛化能力獲得了很大提升。相較數(shù)據(jù)驅(qū)動(dòng)方法,物理驅(qū)動(dòng)方法應(yīng)用成熟度稍差,而方程本身作為損失函數(shù)也導(dǎo)致計(jì)算復(fù)雜度有所提高,但降低了對(duì)訓(xùn)練數(shù)據(jù)的依賴程度,特別適合小樣本學(xué)習(xí)問(wèn)題。算子學(xué)習(xí)方法研究仍處于起步階段,應(yīng)用成熟度較低,由于同樣屬于數(shù)據(jù)驅(qū)動(dòng)方法,仍然需要一定量的數(shù)據(jù)參與網(wǎng)絡(luò)訓(xùn)練,但泛化能力大幅提升,計(jì)算復(fù)雜度較低??晌⒎终螂姶庞?jì)算突出強(qiáng)調(diào)可微分能力,應(yīng)用成熟度適中,由于其主要目的是將傳統(tǒng)計(jì)算電磁方法可微分化,對(duì)應(yīng)求解器結(jié)構(gòu)變化不大,計(jì)算復(fù)雜度一般與傳統(tǒng)方法趨同,泛化能力最強(qiáng),幾乎不需要訓(xùn)練數(shù)據(jù)。
表1 4種智能電磁計(jì)算方法特性對(duì)比Tab.1 Comparison of characteristics of four intelligent electromagnetic calculation methods
電磁逆散射成像可將接收天線接收到的目標(biāo)物體的電磁散射回波通過(guò)成像算法還原為物體的介電常數(shù)或電導(dǎo)率分布圖像,其作為一種非接觸式的可以窺見(jiàn)物體內(nèi)部構(gòu)造的技術(shù),已經(jīng)被廣泛應(yīng)用于無(wú)損探傷[55,56]、地質(zhì)勘探[57,58]、癌癥檢測(cè)[59,60]、安全檢查[61,62]等。逆散射成像過(guò)程本質(zhì)上是一種從原始電磁數(shù)據(jù)到目標(biāo)圖像的非線性映射,逆散射成像算法的目的就是尋找最佳的映射關(guān)系。但由于逆散射問(wèn)題本身所固有的非線性和病態(tài)性,尋找合適的逆散射成像映射關(guān)系是一個(gè)非常具有挑戰(zhàn)性的問(wèn)題,尤其是在高噪聲的環(huán)境中。在傳統(tǒng)算法中,這一映射關(guān)系一般通過(guò)構(gòu)建電磁散射數(shù)學(xué)模型再結(jié)合優(yōu)化算法來(lái)尋找,并發(fā)展出了許多經(jīng)典的逆散射成像算法,例如對(duì)比源反演法(Contrast Source Inversion,CSI)[63,64]、擾動(dòng)Born/Rytov迭代算法[65,66]和隨機(jī)方法[67]等。一般說(shuō)來(lái),帶有非線性激活函數(shù)的深度學(xué)習(xí)網(wǎng)絡(luò)能以任意精度逼近任意的可測(cè)量函數(shù)[8],因此得益于深度學(xué)習(xí)網(wǎng)絡(luò)這一強(qiáng)大的非線性映射學(xué)習(xí)能力,基于人工智能的電磁逆散射成像,本文稱之為逆向智能電磁成像,也獲得了越來(lái)越多研究者的關(guān)注[68]。逆向智能電磁成像的優(yōu)勢(shì)在于,它可以從數(shù)據(jù)中學(xué)習(xí)映射規(guī)律,因此免去了復(fù)雜的電磁模型推理和構(gòu)造的過(guò)程,也免去了優(yōu)化算法中的迭代過(guò)程,極大提升了成像的效率。同時(shí),針對(duì)特定的逆散射問(wèn)題,深度學(xué)習(xí)網(wǎng)絡(luò)能夠?qū)W習(xí)出暗含幾何先驗(yàn)信息的映射關(guān)系,可提升成像的精度,甚至實(shí)現(xiàn)突破成像分辨率極限的超分辨成像。當(dāng)然,逆向智能電磁成像的劣勢(shì)也比較明顯,主要表現(xiàn)在兩點(diǎn):一是嚴(yán)重依賴訓(xùn)練數(shù)據(jù),訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量直接決定了成像的效果;二是缺乏可解釋性和泛化能力,難以擴(kuò)展到和訓(xùn)練數(shù)據(jù)差異性較大的成像場(chǎng)景。針對(duì)這兩個(gè)問(wèn)題,有很多研究者開(kāi)始將電磁物理機(jī)理引入深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)中,通過(guò)引入電磁學(xué)先驗(yàn)知識(shí),減少逆向智能電磁成像對(duì)數(shù)據(jù)的依賴,同時(shí)提升泛化能力。本節(jié)也將分為純數(shù)據(jù)驅(qū)動(dòng)和電磁物理驅(qū)動(dòng)這兩部分來(lái)介紹逆向智能電磁成像的相關(guān)進(jìn)展。
逆散射成像的結(jié)果圖和我們所認(rèn)知的傳統(tǒng)圖像有所不同,由于逆散射圖像表征的是目標(biāo)物體的介電常數(shù)分布或電導(dǎo)率分布,而這些參數(shù)往往是以復(fù)數(shù)形式表示的,因此逆散射圖像一般也是一個(gè)二維復(fù)數(shù)矩陣,可以將其看成是由復(fù)數(shù)的實(shí)部部分和虛部部分分別組成的兩張圖片,對(duì)應(yīng)到深度學(xué)習(xí)網(wǎng)絡(luò)中就是一張雙通道圖像。早期的逆向智能電磁成像以純數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ),利用提前制作的大量成對(duì)樣本,學(xué)習(xí)從原始電磁數(shù)據(jù)或低分辨成像結(jié)果到高精度成像圖案的映射關(guān)系。文獻(xiàn)[69]自述其為第1個(gè)使用深度學(xué)習(xí)技術(shù)從多重散射(多發(fā)多收天線)測(cè)量結(jié)果中重建目標(biāo)圖像的論文,文章構(gòu)建了一個(gè)U-Net深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)[70]學(xué)習(xí)從反向傳播算法(Back Propagation,BP)生成的初步圖像到目標(biāo)完整清晰圖像的映射,取得了優(yōu)于傳統(tǒng)成像算法的成像精度和效率,如圖5(a)所示。文獻(xiàn)[71]同樣使用U-Net網(wǎng)絡(luò),進(jìn)一步學(xué)習(xí)并訓(xùn)練了3種成像映射關(guān)系,這3種映射的輸出都是目標(biāo)圖像,輸入分別為原始散射電場(chǎng)回波測(cè)量數(shù)據(jù)、由BP算法生成的初步圖像和由主成分分析法獲得的感應(yīng)電流數(shù)據(jù)。在文中作者分別稱這3種映射關(guān)系為直接反演模式、反向傳播模式和主成分電流模式。經(jīng)過(guò)測(cè)試,反向傳播模式和主成分電流模式均能夠生成較為理想的目標(biāo)圖像,但直接反演模式的成像效果不佳,如圖5(b)所示。相比于包含相位信息的散射場(chǎng)測(cè)量數(shù)據(jù),使用只有電場(chǎng)幅度信息的測(cè)量數(shù)據(jù)(無(wú)相數(shù)據(jù))來(lái)進(jìn)行逆散射成像是一個(gè)更加具有難度的問(wèn)題,這是由于相位信息的缺失增加了逆散射映射的非線性和病態(tài)性。在文獻(xiàn)[71]的基礎(chǔ)上,文獻(xiàn)[72]討論了使用無(wú)相數(shù)據(jù)來(lái)訓(xùn)練基于U-Net的逆散射成像網(wǎng)絡(luò),并構(gòu)建了3種成像映射模式,其中第1種模式直接使用測(cè)量的散射電場(chǎng)幅度值作為U-Net的輸入,后兩種模式首先使用無(wú)相反演算法在一個(gè)小信號(hào)子空間內(nèi)獲得初步的圖像,然后將此圖像作為UNet的輸入。實(shí)驗(yàn)結(jié)果表明,后兩種模型均能夠取得優(yōu)于傳統(tǒng)算法的成像效果且具有一定的泛化能力和抗干擾能力。文獻(xiàn)[73]提出了一種“兩步走”的逆向智能電磁成像方法:第1步,利用一種復(fù)數(shù)值U-Net網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)散射電場(chǎng)的頻率外推,可以從單頻點(diǎn)的散射電場(chǎng)“圖像”(二維復(fù)數(shù)矩陣形式表示的通過(guò)單發(fā)多收方式收集到的散射電場(chǎng)值)預(yù)測(cè)多頻點(diǎn)的散射電場(chǎng)“圖像”集合。第2步,將第1步中預(yù)測(cè)獲得的多頻點(diǎn)散射電場(chǎng)“圖像”集合輸入構(gòu)建好的復(fù)數(shù)CNN網(wǎng)絡(luò),最終實(shí)現(xiàn)非均勻、高對(duì)比度散射體的高精度實(shí)時(shí)成像。作者認(rèn)為,第1步中散射電場(chǎng)頻率外推的實(shí)現(xiàn)使得僅需輸入單頻點(diǎn)的散射數(shù)據(jù)即可進(jìn)行逆向智能電磁成像,減少了輸入數(shù)據(jù)的大小,簡(jiǎn)化了數(shù)據(jù)測(cè)量和采集操作,因此在簡(jiǎn)便性和實(shí)用性方面優(yōu)于需要采集多頻點(diǎn)數(shù)據(jù)的方法。
圖5 基于U-Net結(jié)構(gòu)的逆向智能電磁成像Fig.5 Reverse intelligent electromagnetic imaging based on U-Net
U-Net是一種常被用來(lái)學(xué)習(xí)從圖片到圖片映射關(guān)系的網(wǎng)絡(luò)結(jié)構(gòu),其所構(gòu)建的從輸入特征到輸出特征的“信息高速公路”更善于處理輸入和輸出特征相似度較高的場(chǎng)景。而在直接反演模式中,輸入和輸出數(shù)據(jù)的特征差異性過(guò)大,導(dǎo)致U-Net難以學(xué)習(xí)到它們之間的正確映射關(guān)系,從而影響了最終的成像效果。文獻(xiàn)[71]的研究團(tuán)隊(duì)在進(jìn)一步的工作中[74],為了緩解深度學(xué)習(xí)逆散射問(wèn)題的非線性并使得深度學(xué)習(xí)網(wǎng)絡(luò)能夠更加容易地學(xué)習(xí)出所需的映射關(guān)系,使用了改進(jìn)的對(duì)比介電常數(shù)[75]圖像作為成像映射的輸入,最終在強(qiáng)散射問(wèn)題中也取得了理想的成像效果,并且可以擴(kuò)展到簡(jiǎn)單的三維成像場(chǎng)景[74]。
除了U-Net結(jié)構(gòu),在計(jì)算機(jī)視覺(jué)領(lǐng)域被廣泛用于進(jìn)行圖像生成任務(wù)的對(duì)抗生成網(wǎng)絡(luò)結(jié)構(gòu)(Generative Adversarial Network,GAN)也被用來(lái)實(shí)現(xiàn)逆向智能電磁成像任務(wù),GAN中生成器和鑒別器的對(duì)抗性訓(xùn)練能夠在重建的圖像中引入更多的幾何特征約束。文獻(xiàn)[76]借鑒了一種經(jīng)典的條件GAN結(jié)構(gòu)Pix2Pix[77]構(gòu)建了從BP算法生成的初步圖像到目標(biāo)圖像的智能成像網(wǎng)絡(luò)。與傳統(tǒng)Pix2Pix網(wǎng)絡(luò)不同的是,作者所構(gòu)建的Pix2Pix網(wǎng)絡(luò)的生成器部分是基于復(fù)數(shù)矩陣相乘操作實(shí)現(xiàn)的復(fù)數(shù)網(wǎng)絡(luò)。由于主流的深度學(xué)習(xí)平臺(tái)并不支持直接的復(fù)數(shù)乘法,作者將一個(gè)復(fù)數(shù)矩陣拆分成實(shí)部和虛部?jī)蓚€(gè)通道,并在實(shí)數(shù)域構(gòu)建等效的復(fù)數(shù)乘法操作,最終實(shí)現(xiàn)了等效的復(fù)值Pix2Pix網(wǎng)絡(luò)結(jié)構(gòu)[76],如圖6(a)所示。文獻(xiàn)[78]將注意力機(jī)制引入Pix2Pix的生成器部分,可在背景中突出目標(biāo)散射體的特征;同時(shí)將BP方法重建的未知散射體的零階t矩陣系數(shù)圖像作為Pix2Pix的輸入,首次實(shí)現(xiàn)了介質(zhì)和PEC同時(shí)存在的混合場(chǎng)景的逆向智能電磁成像,如圖6(b)所示。需要明確的是,U-Net和Pix2Pix并不是互斥的,Pix2Pix中的生成器部分同樣可以采用U-Net結(jié)構(gòu),實(shí)現(xiàn)從電磁散射數(shù)據(jù)輸入到目標(biāo)圖像輸出之間的映射,此時(shí)Pix2Pix的作用是將GAN的對(duì)抗生成誤差引入了U-Net,可以使得U-Net輸出的圖像具有更加明晰的幾何特征。
圖6 基于Pix2Pix結(jié)構(gòu)的逆向智能電磁成像Fig.6 Reverse intelligent electromagnetic imaging based on Pix2Pix
由于逆散射問(wèn)題的輸入和輸出之間具有復(fù)雜的非線性映射關(guān)系,因此基于傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)的純數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)往往對(duì)訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量具有很高的要求。為了應(yīng)對(duì)此問(wèn)題,和物理驅(qū)動(dòng)的正向電磁計(jì)算類似,科研人員想到了將電磁物理機(jī)理或方程引入逆散射深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)和誤差函數(shù)設(shè)計(jì)中,為逆散射問(wèn)題定制專用的深度學(xué)習(xí)模型,能夠更容易地學(xué)習(xí)到輸入和輸出之間的非線性關(guān)系。同時(shí),從信息量的角度,電磁物理驅(qū)動(dòng)的深度學(xué)習(xí)網(wǎng)絡(luò)不但可以從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)所需信息,還可以從人類總結(jié)出的、以數(shù)學(xué)公式為表達(dá)形式的物理規(guī)律中學(xué)習(xí),因此能夠在一定程度上降低對(duì)訓(xùn)練數(shù)據(jù)數(shù)量的要求。
上述兩種物理驅(qū)動(dòng)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)雖然都借鑒了迭代優(yōu)化算法,但是它們訓(xùn)練完成后從輸入到輸出都是一個(gè)端到端的直接映射,不存在迭代過(guò)程。其實(shí)逆散射成像深度學(xué)習(xí)網(wǎng)絡(luò)也可設(shè)計(jì)成迭代的形式,這么做的好處是整個(gè)成像過(guò)程可以具有更高的可控性和可解釋性,表現(xiàn)出更好的抗噪聲特性;代價(jià)就是會(huì)犧牲一定的計(jì)算效率。文獻(xiàn)[81]展示了一個(gè)基于有監(jiān)督下降方法(Supervised Descent Method,SDM)的逆散射成像反演算法,它是一種迭代的機(jī)器學(xué)習(xí)方法,將反演過(guò)程分為離線訓(xùn)練和在線預(yù)測(cè)兩個(gè)階段。在離線訓(xùn)練過(guò)程中,它在每次迭代中學(xué)習(xí)一個(gè)用來(lái)更新模型的參數(shù)下降方向;在在線預(yù)測(cè)階段,之前學(xué)習(xí)到的參數(shù)下降方向被用來(lái)指導(dǎo)反演過(guò)程中模型參數(shù)的更新方向(下降方向和數(shù)據(jù)殘差的乘積),并通過(guò)實(shí)測(cè)數(shù)據(jù)證明了該方法的通用性和可靠性。在文獻(xiàn)[81]的基礎(chǔ)上,研究人員將深度學(xué)習(xí)技術(shù)引入逆散射成像的迭代優(yōu)化反演過(guò)程中,形成了迭代的逆散射成像深度學(xué)習(xí)框架,并將其分成兩個(gè)順序執(zhí)行的階段:離線訓(xùn)練和在線優(yōu)化學(xué)習(xí)。文獻(xiàn)[82]展示了一個(gè)非常經(jīng)典的案例,在離線訓(xùn)練階段,作者設(shè)計(jì)并訓(xùn)練了一個(gè)前向求解器神經(jīng)網(wǎng)絡(luò)(FWD Solver)來(lái)代替數(shù)值正向求解器[34](從目標(biāo)圖像預(yù)測(cè)對(duì)應(yīng)的散射電場(chǎng));隨后作者設(shè)計(jì)了一個(gè)子網(wǎng)絡(luò)(Sub-network)用來(lái)代替逆散射反演求解器(從散射電場(chǎng)數(shù)據(jù)恢復(fù)目標(biāo)圖像),并將前向求解器神經(jīng)網(wǎng)絡(luò)和子網(wǎng)絡(luò)交替級(jí)聯(lián),組成最終的迭代的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),稱之為ISP求解器(Inverse Scattering Problem,ISP)[82],如圖8(a)所示。在在線優(yōu)化學(xué)習(xí)階段,作者使用預(yù)先制作的成對(duì)訓(xùn)練數(shù)據(jù)樣本集來(lái)訓(xùn)練ISP求解器(其中FWD Solver的網(wǎng)絡(luò)參數(shù)保持不變),具體做法為將實(shí)測(cè)的散射電場(chǎng)數(shù)據(jù)和當(dāng)前FWD Solver預(yù)測(cè)的散射電場(chǎng)數(shù)據(jù)之間的殘差輸入到子網(wǎng)絡(luò)中,并讓子網(wǎng)絡(luò)學(xué)習(xí)當(dāng)前的圖像和真實(shí)圖像之間的殘差,以此逐漸逼近真實(shí)的目標(biāo)圖像。
上述的所有逆向智能電磁成像模型雖然都實(shí)現(xiàn)了比傳統(tǒng)逆散射成像算法更好的成像效果,但是都離不開(kāi)提前制作大量的包含散射電場(chǎng)數(shù)據(jù)和對(duì)應(yīng)的目標(biāo)圖像的成對(duì)訓(xùn)練樣本,也就是說(shuō)它們都是基于監(jiān)督的深度學(xué)習(xí)模型。眾所周知,訓(xùn)練數(shù)據(jù)集的收集和制作過(guò)程是非常耗時(shí)的,是否可以設(shè)計(jì)一種非監(jiān)督的逆向智能電磁成像模型,它無(wú)需制作成對(duì)的訓(xùn)練樣本,而且和傳統(tǒng)逆散射成像算法一樣僅獲得當(dāng)前目標(biāo)的散射電場(chǎng)數(shù)據(jù)就能完成成像任務(wù),同時(shí)又可以充分利用深度學(xué)習(xí)網(wǎng)絡(luò)的擬合優(yōu)勢(shì)實(shí)現(xiàn)比傳統(tǒng)算法更好的成像效果?對(duì)于此問(wèn)題,文獻(xiàn)[83]進(jìn)行了初步嘗試并構(gòu)建了首個(gè)非監(jiān)督的逆向智能電磁成像架構(gòu)CSI-GAN,如圖8(b)所示,在無(wú)需成對(duì)訓(xùn)練數(shù)據(jù)的情況下實(shí)現(xiàn)了優(yōu)于傳統(tǒng)算法的成像效果。CSI-GAN的設(shè)計(jì)靈感來(lái)源于乘性對(duì)比源反演算法MSCI[64],MSCI的誤差函數(shù)分為兩部分,其中一部分源于預(yù)測(cè)的散射電場(chǎng)數(shù)據(jù)和實(shí)測(cè)數(shù)據(jù)的差值,另一部分來(lái)源于一個(gè)表征成像圖案平整度的幾何特征約束函數(shù),可以使得最終生成的圖案具有更清晰的邊緣和平坦的內(nèi)部結(jié)構(gòu),同時(shí)抑制背景區(qū)域的噪聲。但是實(shí)測(cè)結(jié)果表明,當(dāng)散射體幾何結(jié)構(gòu)較復(fù)雜或相對(duì)介電常數(shù)較高時(shí),MSCI中的幾何特征約束函數(shù)不足以使最終的成像結(jié)果表現(xiàn)出清晰的目標(biāo)特征,整個(gè)算法仍舊會(huì)陷入一個(gè)效果非常差的局部最優(yōu)解。為了在成像算法中引入更強(qiáng)的幾何結(jié)構(gòu)約束,CSI-GAN將完整的對(duì)比源反演算法(CSI)[63]和循環(huán)對(duì)抗生成網(wǎng)絡(luò)(Cycle-GAN)[84]相結(jié)合,其中CSI算法引入基于物理方程的優(yōu)化過(guò)程,Cycle-GAN引入基于目標(biāo)幾何先驗(yàn)知識(shí)的強(qiáng)幾何結(jié)構(gòu)約束來(lái)對(duì)CSI迭代過(guò)程中的成像結(jié)果進(jìn)行修正。和迭代的逆散射成像深度學(xué)習(xí)框架一樣,CSI-GAN的實(shí)現(xiàn)也分為離線訓(xùn)練和在線優(yōu)化學(xué)習(xí)兩個(gè)階段。在離線訓(xùn)練階段,將Cycle-GAN預(yù)訓(xùn)練為一個(gè)圖像去噪器;在在線優(yōu)化學(xué)習(xí)階段,Cycle-GAN中的判別器會(huì)接收預(yù)先收集的圖像(例如手寫(xiě)體數(shù)字圖像),學(xué)習(xí)如何判別這些“合法”圖像的特征;生成器會(huì)接收來(lái)自CSI算法的中間成像結(jié)果,在來(lái)自物理方程和來(lái)自判別器的兩個(gè)誤差函數(shù)的同時(shí)作用下更新自身網(wǎng)絡(luò)參數(shù),不斷輸出修正后的成像圖案,幫助CSI算法脫離病態(tài)局部最優(yōu)解,最終收斂到理想的成像結(jié)果。需要說(shuō)明的是,整個(gè)Cycle-GAN的訓(xùn)練過(guò)程都不需要收集訓(xùn)練圖像所對(duì)應(yīng)的散射電場(chǎng)數(shù)據(jù),因此節(jié)省了大量的數(shù)據(jù)集制作的時(shí)間,尤其適用于散射電場(chǎng)數(shù)據(jù)較難獲得的場(chǎng)景。但是由于CSI-GAN中集成了完整的CSI算法迭代過(guò)程,且需要在迭代過(guò)程中現(xiàn)場(chǎng)訓(xùn)練GAN的參數(shù),因此和ISP求解器[82]相比需要耗費(fèi)更多的計(jì)算時(shí)間和資源開(kāi)銷。
可以看到,深度學(xué)習(xí)已經(jīng)在解決電磁逆散射問(wèn)題方面顯示出巨大的潛力。然而,深度學(xué)習(xí)成像結(jié)果中缺乏不確定性量化和可靠性評(píng)估仍然是一個(gè)尚未解決的挑戰(zhàn)。文獻(xiàn)[85]提出了一個(gè)條件正則化和生成流(conditional Renormalization and Generation-Flow,cRG-Flow)網(wǎng)絡(luò),并開(kāi)發(fā)了一種新的概率深度學(xué)習(xí)策略來(lái)量化逆向智能電磁成像方法解中的不確定性。與現(xiàn)有的智能逆散射方法相比,所提出的策略具有兩個(gè)重要優(yōu)勢(shì):首先,由于cRG-Flow的可逆性質(zhì),在網(wǎng)絡(luò)中可以同時(shí)考慮前向電磁散射計(jì)算及其逆過(guò)程,因此可以容易地對(duì)成像結(jié)果施加物理約束。其次,cRG-Flow是專為成像任務(wù)開(kāi)發(fā)的模型,和傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)相比,具有更強(qiáng)的可解釋性。
目前逆向智能電磁成像往往局限于二維場(chǎng)景或者簡(jiǎn)單的三維場(chǎng)景,文獻(xiàn)[86]提出了一種基于點(diǎn)云的無(wú)網(wǎng)格三維逆散射深度學(xué)習(xí)成像架構(gòu),可以處理具有復(fù)雜幾何形狀的三維介質(zhì)體的逆散射成像問(wèn)題,如圖9所示。這個(gè)工作具有3個(gè)鮮明的特點(diǎn):第一,這是一種基于點(diǎn)云的無(wú)網(wǎng)格方法,與基于網(wǎng)格的反演方法相比,所提出的方法只需要在成像空間中隨機(jī)采樣少量的點(diǎn)云作為輸入,因此深度學(xué)習(xí)網(wǎng)絡(luò)中可訓(xùn)練參數(shù)的數(shù)量幾乎與用于二維逆散射問(wèn)題的網(wǎng)絡(luò)的參數(shù)數(shù)量相當(dāng)。第二,其使用流模型構(gòu)建了一個(gè)雙向可逆的網(wǎng)絡(luò)結(jié)構(gòu),可同時(shí)實(shí)現(xiàn)逆散射成像映射過(guò)程(逆向成像)和散射場(chǎng)的正向預(yù)測(cè)過(guò)程,其中逆向成像過(guò)程輸入隨機(jī)分布的點(diǎn)云和散射電場(chǎng)數(shù)據(jù),得到目標(biāo)介質(zhì)點(diǎn)云分布;正向預(yù)測(cè)過(guò)程輸入目標(biāo)介質(zhì)點(diǎn)云和高斯隨機(jī)噪聲數(shù)據(jù),得到散射電場(chǎng)的預(yù)測(cè)值。第三,用于反演的輸入點(diǎn)云的數(shù)量和位置都是可以隨意指定的,即使在輸入點(diǎn)很少的情況下也能夠很好地恢復(fù)散射體的形狀,且能夠單獨(dú)對(duì)三維散射體的不同部分進(jìn)行重建。
圖9 基于點(diǎn)云的無(wú)網(wǎng)格三維逆向智能電磁成像模型[86]Fig.9 A mesh-free 3-D deep learning electromagnetic inversion method based on point clouds[86]
電磁超材料使用周期或準(zhǔn)周期排列的半波長(zhǎng)尺度的宏觀基本單元來(lái)模擬傳統(tǒng)材料學(xué)中微觀尺度的原子或者分子。這些宏觀基本單元通過(guò)諧振系統(tǒng)與外加電磁場(chǎng)相互作用,使得電磁超材料表現(xiàn)出傳統(tǒng)材料所不具備的獨(dú)特電磁特性[87-91]。然而早期的電磁超材料主要在模擬域?qū)Σ牧蠈傩赃M(jìn)行設(shè)計(jì),加工完成后功能特性就固定了,無(wú)法進(jìn)行更改,極大限制了應(yīng)用范圍和靈活度。2014年,Cui等人[92]提出了編碼超材料、數(shù)字超材料和可編程超材料的概念,通過(guò)將超材料中的宏觀基本單元的兩個(gè)相反的相位響應(yīng)分別編碼為數(shù)字0和1,每個(gè)單元的反射或者透射的相位狀態(tài)可以通過(guò)現(xiàn)場(chǎng)可編程門陣列(Field Programmable Gate Array,FPGA)實(shí)時(shí)切換,由此實(shí)現(xiàn)了將超材料的宏觀特性設(shè)計(jì)從模擬域轉(zhuǎn)移到數(shù)字域,構(gòu)建起了電磁世界和信息世界的橋梁,并進(jìn)一步發(fā)展出信息超材料新體制[93-96]。信息超材料(超表面)的出現(xiàn)在降低電磁超材料的用戶端使用難度的同時(shí)極大提升了對(duì)電磁波調(diào)控的靈活性,同時(shí)使得人工智能技術(shù)可以很方便地應(yīng)用于信息超材料的編碼設(shè)計(jì)、微波智能計(jì)算和感知成像,本節(jié)也將順序介紹相關(guān)的研究成果。
信息超材料的智能設(shè)計(jì)可分為單元結(jié)構(gòu)設(shè)計(jì)和陣列編碼設(shè)計(jì)。由于單元結(jié)構(gòu)的智能設(shè)計(jì)在我們以往的綜述文章中多有描述[9,97],此文不再贅述,而將敘述重點(diǎn)放在信息超材料的智能編碼設(shè)計(jì)上。文獻(xiàn)[98]實(shí)現(xiàn)了一個(gè)可以實(shí)時(shí)從所需的單波束或雙波束輻射方向圖獲得對(duì)應(yīng)的超表面編碼的深度學(xué)習(xí)網(wǎng)絡(luò),采用純數(shù)據(jù)驅(qū)動(dòng)的方式進(jìn)行訓(xùn)練,如圖10(a)所示。對(duì)于輻射方向圖的輸入,不是直接輸入精確的方向圖信息,而是將一副方向圖分為3張圖片進(jìn)行輸入,分別代表方向圖的上邊界、下邊界和定向性信息。對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)的輸出,分別使用BP方法和遺傳優(yōu)化算法獲得了單波束或雙波束方向圖對(duì)應(yīng)的48×48大小的二進(jìn)制超表面編碼矩陣作為輸出。經(jīng)過(guò)訓(xùn)練,網(wǎng)絡(luò)所預(yù)測(cè)的超表面編碼矩陣和測(cè)試集中的正確編碼矩陣的元素吻合度超過(guò)94%,實(shí)測(cè)結(jié)果也驗(yàn)證了所預(yù)測(cè)編碼的有效性。文獻(xiàn)[99]提出了一個(gè)基于離散偶極子近似算法所構(gòu)建的物理驅(qū)動(dòng)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),充分考慮了不同編碼下單元之間的耦合效應(yīng),可以在有限訓(xùn)練數(shù)據(jù)的情況下實(shí)現(xiàn)從超表面編碼到對(duì)應(yīng)的方向圖的準(zhǔn)確預(yù)測(cè),且具有輕量化的優(yōu)勢(shì),如圖10(b)所示。隨后作者使用此網(wǎng)絡(luò)快速生成了大量的包含超表面編碼和對(duì)應(yīng)方向圖的成對(duì)的樣本,這些樣本被用來(lái)訓(xùn)練另一個(gè)從方向圖到對(duì)應(yīng)超表面編碼的逆向設(shè)計(jì)網(wǎng)絡(luò),如圖10(c)所示。編碼的預(yù)測(cè)吻合度超過(guò)了98.4%,并通過(guò)實(shí)測(cè)驗(yàn)證了整個(gè)流程的有效性。
圖10 基于信息超材料的智能方向圖設(shè)計(jì)Fig.10 Intelligent design of radiation patterns based on information metamaterial
上述的智能編碼設(shè)計(jì)工作都是基于成對(duì)訓(xùn)練數(shù)據(jù)的監(jiān)督學(xué)習(xí),好處是可以使用全波仿真數(shù)據(jù)或?qū)崪y(cè)數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練,具有較高的準(zhǔn)確性,但對(duì)訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量具有較高的要求。在有些應(yīng)用場(chǎng)景中,從超表面編碼到對(duì)應(yīng)的電磁響應(yīng)特性的計(jì)算過(guò)程可由近似的解析公式來(lái)描述,以此可構(gòu)建非監(jiān)督的深度學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)智能的編碼設(shè)計(jì)。文獻(xiàn)[100]報(bào)道了一種非監(jiān)督的用于全息圖實(shí)時(shí)設(shè)計(jì)的深度學(xué)習(xí)架構(gòu),并使用編碼超表面進(jìn)行了實(shí)測(cè),展示出了和傳統(tǒng)的GS算法相比在指標(biāo)和視覺(jué)感受上更好的成像效果。作者通過(guò)引入全息成像的物理機(jī)理來(lái)給神經(jīng)網(wǎng)絡(luò)提供先驗(yàn)信息,構(gòu)造了一個(gè)輸入等于輸出的自編碼器結(jié)構(gòu)。具體做法:首先,構(gòu)建一個(gè)深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN),此神經(jīng)網(wǎng)絡(luò)的輸入為目標(biāo)像,輸出為超材料編碼。然后,使用格林函數(shù)推導(dǎo)出從超材料編碼到目標(biāo)像的前向傳播過(guò)程。最后,將DNN和這一前向傳播過(guò)程對(duì)接,形成一個(gè)輸入和輸出都是目標(biāo)像的自編碼器結(jié)構(gòu),如圖11(a)所示。訓(xùn)練這一自編碼器的目標(biāo)函數(shù)就是輸入和輸出的均方誤差,訓(xùn)練目標(biāo)就是讓輸出盡量等于輸入,這樣訓(xùn)練完成后取DNN的輸出就是所需的超材料編碼。作者在實(shí)際訓(xùn)練時(shí)發(fā)現(xiàn),均方誤差并不能完全反映所成的像在人類視覺(jué)感官上的相似度,因此在誤差函數(shù)中還引入了對(duì)抗生成網(wǎng)絡(luò)(GAN)的判別誤差,使得所成的全息像的視覺(jué)語(yǔ)義特征更加明晰。訓(xùn)練時(shí)的目標(biāo)圖像取自手寫(xiě)體數(shù)字?jǐn)?shù)據(jù)集,理論上任意公開(kāi)的圖像數(shù)據(jù)集都可以用來(lái)構(gòu)建訓(xùn)練數(shù)據(jù)集,節(jié)省了大量的訓(xùn)練集制作成本。訓(xùn)練完成后從輸入一個(gè)目標(biāo)像到得到所需的編碼僅需幾十毫秒,實(shí)現(xiàn)了實(shí)時(shí)的全息成像[100]。文獻(xiàn)[101]在文獻(xiàn)[100]的基礎(chǔ)上,將從編碼到全息圖像的前向公式替換成了從時(shí)空超表面的時(shí)序編碼到對(duì)應(yīng)諧波輻射圖的前向公式,構(gòu)建出了用于時(shí)空編碼超表面實(shí)時(shí)編碼設(shè)計(jì)的非監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),如圖11(b)所示,并通過(guò)仿真驗(yàn)證了所提方法的有效性。
圖11 基于信息超材料的非監(jiān)督智能設(shè)計(jì)Fig.11 Unsupervised intelligent design based on information metamaterial
基于信息超材料的智能設(shè)計(jì)還可被嵌入到更大的系統(tǒng)級(jí)工作中,實(shí)現(xiàn)更加復(fù)雜的功能。文獻(xiàn)[102]展示了一種基于編碼超表面的自適應(yīng)微波隱身斗篷,內(nèi)置了訓(xùn)練好的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),可以根據(jù)接收到的入射電場(chǎng)信息實(shí)時(shí)設(shè)計(jì)電磁隱身所需的超表面編碼,如圖12(a)所示。實(shí)驗(yàn)結(jié)果表明,受此神經(jīng)網(wǎng)絡(luò)控制的編碼超表面可以在毫秒內(nèi)對(duì)不斷變化的入射波做出反應(yīng),表現(xiàn)出非常理想的隱身性能。這項(xiàng)工作很好地展示了智能編碼設(shè)計(jì)的優(yōu)勢(shì)。為了實(shí)現(xiàn)快速的電磁隱身,編碼超表面需要對(duì)入射波具有極快的響應(yīng)速度,生成合適的反射波形以抵消入射波的影響來(lái)隱藏內(nèi)部物體。這就要求超表面對(duì)所需的電磁響應(yīng)具有實(shí)時(shí)的編碼設(shè)計(jì)能力,這種情況下傳統(tǒng)的基于迭代優(yōu)化算法的編碼設(shè)計(jì)方法就完全無(wú)法勝任了,只能采用非迭代的智能設(shè)計(jì)方法。
在明確了對(duì)輕罪與重罪的劃分應(yīng)當(dāng)堅(jiān)持“形式標(biāo)準(zhǔn)說(shuō)”之后,還需要進(jìn)一步解決,在這一標(biāo)準(zhǔn)內(nèi)部,到底是堅(jiān)持“法定刑標(biāo)準(zhǔn)說(shuō)”,還是“宣告刑標(biāo)準(zhǔn)說(shuō)”?對(duì)此,筆者認(rèn)為,堅(jiān)持“法定刑標(biāo)準(zhǔn)說(shuō)”是具有更大合理性的。
文獻(xiàn)[103]展示了一種模塊化的智能編碼設(shè)計(jì)方案,可以基于自由組合出的折紙狀的超表面陣列實(shí)現(xiàn)快速的方向圖編碼設(shè)計(jì),如圖12(b)所示。作者設(shè)計(jì)了兩種具有不同功能的深度學(xué)習(xí)網(wǎng)絡(luò),分別稱為組裝網(wǎng)絡(luò)(Assembled Neural)和知識(shí)繼承網(wǎng)絡(luò)(Inherited Neural Network,INN)。其中負(fù)責(zé)將整個(gè)超表面陣列總的全局電磁響應(yīng)分解為每個(gè)子模塊超表面所需表現(xiàn)出的局部電磁響應(yīng),知識(shí)繼承網(wǎng)絡(luò)則根據(jù)組裝網(wǎng)絡(luò)生成的每個(gè)子模塊所需的電磁響應(yīng)設(shè)計(jì)出對(duì)應(yīng)的超表面編碼,最終實(shí)現(xiàn)了復(fù)雜方向圖模式下的可折疊超表面的快速編碼設(shè)計(jì)。
目前,人工智能的實(shí)現(xiàn)主要依賴兩種技術(shù),一是基于計(jì)算機(jī)的機(jī)器學(xué)習(xí)算法(例如深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)),二是專用集成電路和特制的光計(jì)算芯片[104]。一個(gè)典型的人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)的實(shí)現(xiàn),一般使用層級(jí)連接的人工神經(jīng)元來(lái)模擬人腦神經(jīng)元之間的連接和行為。通過(guò)大量數(shù)據(jù)的訓(xùn)練,ANN已能完成眾多的智能任務(wù),且在人臉識(shí)別、自動(dòng)駕駛、語(yǔ)音處理和醫(yī)療診斷等方面獲得了大量應(yīng)用。除了基于計(jì)算機(jī)和芯片實(shí)現(xiàn)的ANN網(wǎng)絡(luò),全光實(shí)現(xiàn)的ANN最近也被多個(gè)團(tuán)隊(duì)所提出[105,106]。這些光學(xué)衍射神經(jīng)網(wǎng)絡(luò)利用光的矢量疊加性和空間自由傳播特性可實(shí)現(xiàn)并行的矩陣運(yùn)算操作,以此來(lái)模擬人工神經(jīng)元之間的交互和連接。同時(shí),使用光學(xué)透鏡或反射介質(zhì)模擬人工神經(jīng)元對(duì)信號(hào)的調(diào)制作用,最終構(gòu)造出具有光速并行計(jì)算和低功耗特性的ANN硬件。
目前,雖然光學(xué)衍射神經(jīng)網(wǎng)絡(luò)得以實(shí)現(xiàn),但大都具有功能固化、不可調(diào)節(jié)、不支持參數(shù)修改、使用成本高等缺點(diǎn),嚴(yán)重制約了其功能擴(kuò)展。在未來(lái)的實(shí)際應(yīng)用中,為了提高集成度和通用性,衍射神經(jīng)網(wǎng)絡(luò)必然會(huì)朝著多功能集成和可編程方向發(fā)展,因此可編程的衍射神經(jīng)網(wǎng)絡(luò)逐漸成為該領(lǐng)域的研究熱點(diǎn)。近年來(lái),可編程信息超表面的興起[92]為實(shí)現(xiàn)可編程的衍射神經(jīng)網(wǎng)絡(luò)提供了良好契機(jī)。文獻(xiàn)[107]率先使用多層透射式數(shù)字編碼超表面實(shí)現(xiàn)了現(xiàn)場(chǎng)可編程的微波驅(qū)動(dòng)的衍射神經(jīng)網(wǎng)絡(luò)硬件,稱之為可編程人工智能機(jī)(Programmable Artificial Intelligence Machine,PAIM),如圖13所示。作者使用5層透射式的可編程超表面陣列來(lái)層級(jí)調(diào)控電磁波的空間傳播和交互特性,其中每層超表面陣列都有8×8個(gè)單元,每個(gè)單元都可以看成ANN中的一個(gè)神經(jīng)元節(jié)點(diǎn),整個(gè)PAIM可看成是一個(gè)ANN的物理實(shí)現(xiàn)。每個(gè)超表面單元能在-22 dB到13 dB的范圍內(nèi)調(diào)控透射電磁波的幅度,同時(shí)改變和幅度耦合的相位。當(dāng)入射電磁波照射到一個(gè)可編碼超表面單元時(shí),電磁波的幅度和相位會(huì)被該超表面單元調(diào)控,調(diào)控的系數(shù)由FPGA預(yù)先加載到單元上,如圖13(c)所示。這個(gè)被調(diào)控后的電磁波在穿過(guò)此單元后,會(huì)變?yōu)橐粋€(gè)新的電磁波輻射源向各個(gè)方向輻射電磁波。這樣,第1層超表面的每個(gè)單元都會(huì)向第2層超表面輻射電磁波并進(jìn)行矢量疊加,如圖13(b)所示。疊加后的電磁波就作為第2層每個(gè)超表面單元的入射電磁波,經(jīng)過(guò)調(diào)制后繼續(xù)以同樣的方式向第3層超表面?zhèn)鞑?,最終傳輸至第5層超表面。最后將第5層超表面的輸出作為整個(gè)PAIM最終的輸出。作者基于所構(gòu)建的實(shí)測(cè)系統(tǒng)演示了PAIM的多種應(yīng)用案例,包括圖像識(shí)別、強(qiáng)化學(xué)習(xí)和通信中多路用戶的同時(shí)編解碼,充分展示了PAIM的靈活性和處理智能任務(wù)的能力。
圖13 可編程人工智能機(jī)的工作原理示意圖[107]Fig.13 The Working Principle of Programmable Artificial Intelligence Machine (PIAM)[107]
文獻(xiàn)[107]雖然實(shí)現(xiàn)了可編程的衍射神經(jīng)網(wǎng)絡(luò),但并未實(shí)現(xiàn)對(duì)電磁波的非線性激活,而非線性激活函數(shù)對(duì)于復(fù)雜問(wèn)題的處理是至關(guān)重要的。然而,對(duì)于光學(xué)神經(jīng)網(wǎng)絡(luò)而言,由于結(jié)構(gòu)材料的限制,可編程性能受限。另外,對(duì)于衍射深度神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō),雖可利用FPGA任意調(diào)節(jié)人工神經(jīng)元的權(quán)重系數(shù),但是難以引入非線性激活函數(shù)。近年來(lái),人工表面等離激元的發(fā)展[108]為實(shí)現(xiàn)新的波空間非線性人工神經(jīng)網(wǎng)絡(luò)提供了良好契機(jī)。文獻(xiàn)[107]的研究團(tuán)隊(duì)在PAIM的研究基礎(chǔ)上,率先使用可編程人工表面等離激元功分器和耦合器實(shí)現(xiàn)了現(xiàn)場(chǎng)可編程的微波驅(qū)動(dòng)的表面等離激元神經(jīng)網(wǎng)絡(luò)硬件,稱之為可編程表面等離激元神經(jīng)網(wǎng)絡(luò)(Surface Plasmonic Neural Network,SPNN)[109]。研究團(tuán)隊(duì)利用人工表面等離激元(Spoof Surface Plasmon Polariton,SSPP)系統(tǒng)中的功分器和耦合器作為可編程的人工神經(jīng)元,稱之為SSPP單元,如圖14(a)所示,并利用SSPP對(duì)電磁波的無(wú)損傳導(dǎo)特性來(lái)實(shí)現(xiàn)人工神經(jīng)元之間的連接和信號(hào)傳輸。可編程的非線性激活函數(shù)則利用檢測(cè)端口和放大器偏置電路之間的閉環(huán)反饋系統(tǒng)來(lái)實(shí)現(xiàn)。整個(gè)SPNN系統(tǒng)由多個(gè)子模塊組合而成,每個(gè)子模塊包含4個(gè)輸入SSPP單元和4個(gè)輸出SSPP單元的交叉連接結(jié)構(gòu),形成一個(gè)全連接的可編程神經(jīng)元子塊,如圖14(b)所示。最后,以多個(gè)可編程神經(jīng)子塊進(jìn)行局部連接排布,構(gòu)建了最終的可編程表面等離激元神經(jīng)網(wǎng)絡(luò),如圖14(c)所示。SPNN的可編程特性保證了其能夠使用相同的平臺(tái)實(shí)現(xiàn)不同的任務(wù),構(gòu)建出通用的波空間智能信號(hào)感知處理平臺(tái)。為了驗(yàn)證SPNN的電磁探測(cè)和處理上的應(yīng)用,團(tuán)隊(duì)設(shè)計(jì)并展示了基于SPNN的無(wú)線通信實(shí)時(shí)解碼案例,實(shí)現(xiàn)了圖像的無(wú)線傳輸;同時(shí)為了驗(yàn)證SPNN在傳統(tǒng)的人工智能任務(wù)(例如圖像分類)上的性能,團(tuán)隊(duì)使用SPNN構(gòu)造了局部連接的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),成功實(shí)現(xiàn)了對(duì)10類手寫(xiě)數(shù)字圖片的分類任務(wù),識(shí)別正確率達(dá)到了90%以上,持平了全連接網(wǎng)絡(luò)的分類性能。
圖14 可編程表面等離激元神經(jīng)網(wǎng)絡(luò)[109]Fig.14 Programmable Surface Plasmonic Neural Networks (SPNN)[109]
相比于以往的物理神經(jīng)網(wǎng)絡(luò)研究,文獻(xiàn)[107]和文獻(xiàn)[109]展示的工作(PAIM和SPNN)共同具有3個(gè)鮮明的創(chuàng)新特征。一是開(kāi)創(chuàng)性地將信息超材料(包含可編碼超表面和人工表面等離激元)用于波空間人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì),實(shí)現(xiàn)了所有神經(jīng)元的獨(dú)立可編程,具有高度的通用性;二是可直接處理自由空間中的電磁波,無(wú)需復(fù)雜的模數(shù)轉(zhuǎn)換模塊,是連接電磁空間和數(shù)字空間的智慧橋梁;三是它們不但具有傳統(tǒng)的圖像智能識(shí)別功能,還具有無(wú)線通信和智能探測(cè)等功能,兼具智能計(jì)算機(jī)、通信系統(tǒng)、雷達(dá)系統(tǒng)等。作為全新的電磁空間可編程智能計(jì)算平臺(tái)和無(wú)線通信、信號(hào)感知與處理機(jī),PAIM和SPNN有望促進(jìn)人工智能技術(shù)的進(jìn)一步發(fā)展,同時(shí)在新一代智能計(jì)算、6G通信、智能家居、物聯(lián)網(wǎng)等領(lǐng)域取得應(yīng)用。當(dāng)然,當(dāng)前PAIM和SPNN還處于原型機(jī)驗(yàn)證階段,尚存在集成度低、體積和功耗較大等劣勢(shì),后續(xù)可以通過(guò)制造和加工工藝改進(jìn)提升可調(diào)控單元的數(shù)量和調(diào)控精度,同時(shí)降低整體功耗。
信息超材料和傳統(tǒng)電磁超材料的不同點(diǎn)在于,信息超材料集成了可編碼超材料和環(huán)境感知模塊,可引入大數(shù)據(jù)和人工智能技術(shù),形成智能感知、自主學(xué)習(xí)和數(shù)據(jù)處理能力,在成像、通信、雷達(dá)等領(lǐng)域?qū)崿F(xiàn)了諸多新穎的應(yīng)用。對(duì)于智能電磁感知在2021年之前的進(jìn)展,我們已經(jīng)進(jìn)行了系統(tǒng)總結(jié)和綜述[110],故本文不再贅述,僅介紹近兩年的最新研究成果。
文獻(xiàn)[111]展示了一個(gè)智能室內(nèi)超表面機(jī)器人(I2MR)系統(tǒng),它把對(duì)環(huán)境的感知和決策任務(wù)都集中到智能超表面來(lái)處理,以便讓系統(tǒng)中的室內(nèi)機(jī)器人僅需執(zhí)行接收到的指令,極大簡(jiǎn)化了機(jī)器人對(duì)硬件的要求并提升了續(xù)航,如圖15(a)所示。I2MR系統(tǒng)主要由兩部分組成,第1個(gè)是“大腦”,它配備了一個(gè)用來(lái)感知環(huán)境的信息超表面和一個(gè)由人工智能驅(qū)動(dòng)的數(shù)據(jù)處理器;第2個(gè)是它的“四肢”,比如小車或無(wú)人機(jī),并內(nèi)置Wi-Fi模塊來(lái)接收指令。I2MR對(duì)環(huán)境的感知包含對(duì)靜態(tài)場(chǎng)景的感知和對(duì)場(chǎng)景中移動(dòng)的人體的感知,并根據(jù)環(huán)境的變化來(lái)決定“四肢”的行動(dòng)。如果“大腦”認(rèn)為當(dāng)前狀態(tài)下“四肢”需要有所行動(dòng),它就會(huì)定位“四肢”的位置,并建立一個(gè)無(wú)線通信鏈路,以10 Hz的速率傳輸控制指令。因此,“四肢”無(wú)需再執(zhí)行任何感知或決策任務(wù),這意味“四肢”可以擁有更長(zhǎng)的續(xù)航或者更大的載荷。基于此I2MR系統(tǒng),作者首先設(shè)計(jì)并單獨(dú)展示了人體點(diǎn)云成像、“四肢”精確定位、信道主動(dòng)增強(qiáng)等功能,最后在一個(gè)機(jī)器人輔助的家庭醫(yī)療場(chǎng)景中對(duì)這些功能之間的互相配合進(jìn)行了集中展示,如圖15(b)所示。當(dāng)I2MR檢測(cè)到有用戶跌倒時(shí),會(huì)給機(jī)器人小車發(fā)送指令指導(dǎo)其順序執(zhí)行3個(gè)任務(wù):首先,小車會(huì)移動(dòng)到藥物所在位置并用機(jī)械臂抓取藥物,之后小車會(huì)移動(dòng)到用戶所在位置將藥物遞給用戶,最后小車會(huì)回到初始位置待命。
圖15 基于信息超表面的智能室內(nèi)機(jī)器人(I2MR)系統(tǒng)[111]Fig.15 Intelligent indoor metasurface robotics (I2MR)[111]
文獻(xiàn)[111]中的I2MR系統(tǒng)是基于單頻段(2.4 GHz附近)的電磁波來(lái)進(jìn)行場(chǎng)景感知的。為了提升對(duì)場(chǎng)景的綜合感知能力,研究團(tuán)隊(duì)在最新的一個(gè)工作中對(duì)使用的頻帶進(jìn)行了擴(kuò)展,聯(lián)合使用分別工作在S,C和X波段的3塊分布式信息超表面實(shí)現(xiàn)了多任務(wù)、多尺度的智能感知[112],并展示了人體三維姿態(tài)估計(jì)、手勢(shì)識(shí)別、生命體征檢測(cè)和人體行為檢測(cè)等多個(gè)新穎的應(yīng)用案例,有望應(yīng)用于物聯(lián)網(wǎng)和數(shù)字孿生等領(lǐng)域。除了單獨(dú)實(shí)現(xiàn)感知功能,信息超表面還能與其他傳感器配合,從而更加迅速地對(duì)環(huán)境變化做出反應(yīng)。文獻(xiàn)[113]展示了一種基于計(jì)算機(jī)視覺(jué)的智能超表面跟蹤與通信系統(tǒng),研究團(tuán)隊(duì)采用深度相機(jī),通過(guò)AI技術(shù)檢測(cè)不同環(huán)境中多個(gè)運(yùn)動(dòng)目標(biāo)的位置,將選定目標(biāo)的位置信息輸入預(yù)訓(xùn)練好的人工神經(jīng)網(wǎng)絡(luò);隨后人工神經(jīng)網(wǎng)絡(luò)在幾毫秒內(nèi)輸出優(yōu)化后的信息超表面編碼序列,通過(guò)FPGA發(fā)送給雙極化數(shù)字可編程超表面,實(shí)現(xiàn)針對(duì)選定目標(biāo)的智能波束跟蹤和實(shí)時(shí)無(wú)線通信(如圖16所示);最后設(shè)計(jì)了兩個(gè)實(shí)時(shí)的視頻傳輸案例驗(yàn)證了該系統(tǒng)具有與移動(dòng)目標(biāo)進(jìn)行高速信息傳輸?shù)哪芰Α?/p>
圖16 基于計(jì)算機(jī)視覺(jué)的智能超表面跟蹤與通信系統(tǒng)的工作原理[113]Fig.16 The working principle of intelligent metasurface system for automatic tracking of moving targets and wireless communications based on computer vision[113]
人工智能的升級(jí)迭代為傳統(tǒng)計(jì)算電磁學(xué)研究注入了新活力??梢灶A(yù)見(jiàn),智能方法將繼解析方法、近似方法、數(shù)值方法、快速方法之后,推動(dòng)電磁領(lǐng)域的進(jìn)一步發(fā)展。但是需要意識(shí)到的是,雖然智能電磁計(jì)算領(lǐng)域已經(jīng)出現(xiàn)了許多頗具代表性的研究成果,其總體上仍舊處于科學(xué)探索的萌芽階段,仍需發(fā)掘出更多的新機(jī)理和新算法,提升智能電磁計(jì)算的魯棒性、可解釋性和泛化能力。其存在的技術(shù)難題總結(jié)起來(lái)大致可以分為以下幾類:
(1) 數(shù)據(jù)獲取問(wèn)題。與其他智能技術(shù)相同,數(shù)據(jù)獲取是智能電磁計(jì)算需要解決的核心難題。一般而言,訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需要的數(shù)據(jù)集來(lái)源于仿真、實(shí)測(cè),以及開(kāi)源數(shù)據(jù)集。仿真過(guò)程往往耗時(shí)較大,實(shí)測(cè)成本高昂且場(chǎng)景受限,進(jìn)一步導(dǎo)致電磁領(lǐng)域的開(kāi)源數(shù)據(jù)集極為有限。因此,如不能解決好數(shù)據(jù)獲取問(wèn)題,智能電磁計(jì)算發(fā)展將會(huì)面臨嚴(yán)重的瓶頸。
(2) 求解效率與計(jì)算精度的兼顧難題。一般來(lái)說(shuō),結(jié)果學(xué)習(xí)策略加速效果顯著,但是由于缺乏物理機(jī)制的指導(dǎo),計(jì)算精度往往不盡如人意,例如處理高介電常數(shù)、有耗介質(zhì)等問(wèn)題。過(guò)程學(xué)習(xí)策略仍然依賴經(jīng)典算法框架,雖然計(jì)算精度有所改善,但效率增益通常不如前者顯著。與經(jīng)典方法一樣,智能方法同樣需要一種更好的計(jì)算模式,盡可能多地實(shí)現(xiàn)效率與精度的兼顧。
(3) 計(jì)算維度問(wèn)題。近年來(lái),大量研究局限于二維電磁問(wèn)題,而三維電磁問(wèn)題少有提及。為了更高效處理三維問(wèn)題,未來(lái)的計(jì)算框架應(yīng)當(dāng)能支持更多形式的幾何模型數(shù)據(jù)結(jié)構(gòu),如網(wǎng)格、體素或點(diǎn)云。不過(guò)隨著智能技術(shù)的發(fā)展,各類專門用于處理三維模型的定制化神經(jīng)網(wǎng)絡(luò)也開(kāi)始大量出現(xiàn),這將給三維智能電磁計(jì)算帶來(lái)啟發(fā)。
(4) 電大尺寸問(wèn)題。電大尺寸目標(biāo)仿真計(jì)算一直以來(lái)都是困擾計(jì)算電磁的核心難題。目前大量有關(guān)智能計(jì)算的研究都集中在小規(guī)模計(jì)算上,電尺度十分有限。解決電大尺寸目標(biāo)仿真問(wèn)題,一方面需要融合更高效的模型表征數(shù)據(jù)結(jié)構(gòu),降低存儲(chǔ)和計(jì)算開(kāi)銷,另一方面需要解決相位帶來(lái)的快變化數(shù)據(jù)學(xué)習(xí)難題。
(5) 寬帶仿真問(wèn)題。目前還很少見(jiàn)到討論寬帶仿真的研究,寬帶化也是正向智能電磁計(jì)算需要解決的一個(gè)重要問(wèn)題。
(6) 多物理計(jì)算難題。多物理計(jì)算問(wèn)題涉及的范圍更廣,與電子器件、設(shè)備以及系統(tǒng)的設(shè)計(jì)應(yīng)用聯(lián)系緊密,近年來(lái)受到工業(yè)、學(xué)術(shù)界廣泛關(guān)注。由于應(yīng)力、溫度、電磁等物理量服從不同的約束關(guān)系,多物理計(jì)算的難點(diǎn)主要在于不同場(chǎng)量耦合關(guān)系的建模,這使得多物理智能計(jì)算在等效網(wǎng)絡(luò)設(shè)計(jì)上也變得更加復(fù)雜。
同時(shí)相關(guān)研究人員也需瞄準(zhǔn)工業(yè)市場(chǎng)領(lǐng)域的實(shí)際業(yè)務(wù)需求,例如超表面單元和陣列的快速智能仿真、天線和微波電路的智能化設(shè)計(jì)、通信信道的智能化建模等,在提升智能電磁計(jì)算的技術(shù)成熟度和工程實(shí)用性方面投入更多的努力。最后,智能電磁計(jì)算不應(yīng)拘泥于算法創(chuàng)新,還可探索軟硬件結(jié)合的智能電磁計(jì)算新體制,實(shí)現(xiàn)從電磁空間的電磁感知硬件系統(tǒng)到數(shù)字空間的電磁計(jì)算算法的全流程智能化,在健康監(jiān)測(cè)、安防檢查、無(wú)線通信、芯片設(shè)計(jì)和新體制雷達(dá)等領(lǐng)域產(chǎn)生更多創(chuàng)新性成果和應(yīng)用,例如可以使用信息超表面結(jié)合人工智能感知和調(diào)控算法,實(shí)現(xiàn)對(duì)通信信道的自適應(yīng)資源分配和優(yōu)化。