李廉林 崔鐵軍

①(北京大學(xué)電子學(xué)系 北京 100871)

②(東南大學(xué)毫米波國(guó)家重點(diǎn)實(shí)驗(yàn)室 南京 210096)

③(人工智能與數(shù)字經(jīng)濟(jì)廣東省實(shí)驗(yàn)室 廣州 510330)

1 引言

智能電磁感知是電磁探測(cè)與成像的系統(tǒng)化和智能化延伸，通過(guò)分析經(jīng)目標(biāo)相互作用的電磁波信息，學(xué)習(xí)目標(biāo)環(huán)境、推斷目標(biāo)特性、適應(yīng)目標(biāo)行為，是安全檢查、生物醫(yī)學(xué)、物聯(lián)網(wǎng)等領(lǐng)域的基礎(chǔ)性、關(guān)鍵性和共性問(wèn)題。盡管電磁感知體制(包括合成孔徑體制、真實(shí)孔徑體制、編碼孔徑體制)取得了許多令人矚目的成就，但它們存在諸多挑戰(zhàn)性難題。例如，它們無(wú)法有效兼顧成本和效率，從而嚴(yán)重制約了其進(jìn)一步推廣應(yīng)用。在大數(shù)據(jù)時(shí)代，電磁感知一方面面臨對(duì)感知精度和效率的日益增長(zhǎng)的需求，另一方面又面臨海量數(shù)據(jù)采集、存儲(chǔ)、傳輸和處理的壓力；因此，電磁感知系統(tǒng)亟需發(fā)展低成本、高效率、高精度的電磁感知新體制，迫切需要從根本上解決傳統(tǒng)感知體制的技術(shù)瓶頸。

智能電磁感知的技術(shù)核心是電磁波物理和信息的智能調(diào)控。近年來(lái)，隨著人工電磁材料(尤其是信息超材料)和人工智能的快速發(fā)展，它們分別在電磁物理和電磁信息調(diào)控方面表現(xiàn)出強(qiáng)大能力和潛力。在國(guó)家重點(diǎn)研發(fā)計(jì)劃變革性關(guān)鍵技術(shù)項(xiàng)目的支持下，本文致力于人工電磁材料(信息超材料)和人工智能的有機(jī)結(jié)合，實(shí)現(xiàn)物理與數(shù)據(jù)的一體化調(diào)控，構(gòu)建了智能電磁感知新框架，為研制高效率、低能耗、低成本的信息系統(tǒng)提供了新思路，為改變未來(lái)探測(cè)與成像、通信、人機(jī)交互等提供了新思路。本文首先討論了經(jīng)典機(jī)器學(xué)習(xí)驅(qū)動(dòng)的智能電磁感知方法。該方法采用經(jīng)典機(jī)器學(xué)習(xí)方法對(duì)信息超材料在物理層的空間輻射模式進(jìn)行訓(xùn)練，有效提取目標(biāo)特征，能以極少的接收數(shù)據(jù)重構(gòu)目標(biāo)，實(shí)現(xiàn)數(shù)據(jù)獲取和處理的一體化操作。其次，為了解決復(fù)雜場(chǎng)景的電磁感知，本文進(jìn)一步提出了深度學(xué)習(xí)與信息超材料協(xié)同工作的智能電磁感知方法。該方法搭建了3個(gè)具有不同功能的深層卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了微波數(shù)據(jù)與真實(shí)目標(biāo)之間的端到端映射，首次構(gòu)建了集人體姿態(tài)成像、局部肢體語(yǔ)言識(shí)別以及生命體征檢測(cè)3種功能為一體的智能感知系統(tǒng)。最后，為了進(jìn)一步提高智能電磁感知的數(shù)據(jù)獲取效率和數(shù)據(jù)處理性能，本文將強(qiáng)化學(xué)習(xí)的思想引入智能電磁感知，借助變分自編碼方法建立了智能數(shù)據(jù)獲取和智能數(shù)據(jù)處理的一體感知策略，極大地縮減了時(shí)間成本。

2 信息超材料的基本概念

超材料是一種由亞波長(zhǎng)尺度人工原子(典型值是1/10～1/3個(gè)波長(zhǎng))按照特定空間結(jié)構(gòu)形成的人工電磁媒質(zhì)。超材料克服了傳統(tǒng)材料難以在原子或分子層面精確操控的局限，實(shí)現(xiàn)了自然界不存在或很難獲取的媒質(zhì)參數(shù)，進(jìn)而實(shí)現(xiàn)了全新的物理現(xiàn)象和工程應(yīng)用，例如負(fù)折射、完美成像、完美隱身、電磁幻覺(jué)、電磁黑洞及超分辨透鏡等[1–12]。超材料不僅刷新了人們對(duì)電磁物理現(xiàn)象的認(rèn)知，而且革命性地改變了人們調(diào)控電磁波的方法與手段。近20年來(lái)，超材料一直是物理和信息領(lǐng)域的研究前沿與國(guó)際熱點(diǎn)，是世界各軍事強(qiáng)國(guó)競(jìng)相角逐的顛覆性技術(shù)，相關(guān)成果4次入選美國(guó)《科學(xué)》雜志評(píng)選的“年度十大科學(xué)突破”及“本世紀(jì)前十年十大科學(xué)突破”。2013年美國(guó)國(guó)防部將超材料列為“六大顛覆性基礎(chǔ)研究領(lǐng)域”之首，美國(guó)國(guó)防部“先進(jìn)研究項(xiàng)目局”將其列為“強(qiáng)力推進(jìn)的增長(zhǎng)領(lǐng)域”。

長(zhǎng)期以來(lái)，超材料僅被看作一種調(diào)控電磁物理現(xiàn)象的超常規(guī)媒質(zhì)，一旦制備成型，其功能就被固化，不能實(shí)時(shí)動(dòng)態(tài)地調(diào)控電磁波，難以有效推動(dòng)信息體制的發(fā)展。為解決傳統(tǒng)超材料的不足，東南大學(xué)崔鐵軍教授等人[13–19]提出了信息超材料。信息超材料是傳統(tǒng)超材料的數(shù)字信息化發(fā)展，能在物理層直接處理數(shù)字信息的超材料，并能對(duì)信息進(jìn)行感知、理解，甚至記憶、學(xué)習(xí)和認(rèn)知。具體來(lái)講，信息超材料用數(shù)字編碼信息(‘0’和‘1’)表征超材料，通過(guò)改變超材料空間編碼進(jìn)而改變超材料數(shù)字單元的物理狀態(tài)和信息狀態(tài)，實(shí)現(xiàn)了電磁物理與信息的一體化調(diào)控。圖1給出了最早版本信息超材料(稱(chēng)作可編程數(shù)字編碼超材料)的基本原理，圖2概括了信息超材料的歷史和發(fā)展趨勢(shì)。信息超材料可將物理世界和數(shù)字世界有機(jī)結(jié)合起來(lái)，同時(shí)受物理學(xué)原理、信息論原理和數(shù)字信號(hào)處理方法所支配。其內(nèi)涵包括數(shù)字編碼超材料、現(xiàn)場(chǎng)可編程超材料、軟件化超材料以及可認(rèn)知超材料。

信息超材料集物理和信息調(diào)控于一體，包含兩方面含義。一方面，信息超材料是“超材料”，具有動(dòng)態(tài)調(diào)控電磁波源、傳播媒質(zhì)和邊界條件的能力；另一方面，信息超材料攜帶“信息”，具有直接信息編碼、處理和調(diào)控的能力。信息超材料通過(guò)電磁波與信息超材料的相互作用實(shí)現(xiàn)信息感知與調(diào)控[13–23]，有望改變了以奈奎斯特-香農(nóng)定理為基礎(chǔ)的信息編碼、傳輸、處理與調(diào)控的范式，克服了傳統(tǒng)數(shù)字信息技術(shù)面臨的系列難題(例如功耗、效率、系統(tǒng)成本與復(fù)雜性等)，解決傳統(tǒng)數(shù)字信息系統(tǒng)所面臨的系列難題。需要指出的是，信息超材料具有顆粒度細(xì)(單元尺寸小)、剖面低、可控自由度多等獨(dú)特優(yōu)勢(shì)，理論上兼?zhèn)湮锢砼c信息調(diào)控的重要潛力，實(shí)現(xiàn)物理與信息一體化的操控。信息超材料的最大特點(diǎn)是提供了一個(gè)物理平臺(tái)，可以和數(shù)字編碼直接作用，進(jìn)而轉(zhuǎn)換成電磁波，并對(duì)其進(jìn)行實(shí)時(shí)和智能控制。進(jìn)一步，鑒于信息超材料靈活強(qiáng)大的直接信息處理能力，將與大數(shù)據(jù)和人工智能等技術(shù)有機(jī)結(jié)合，形成具有智能感知、自主學(xué)習(xí)和認(rèn)知能力的智能超材料。為通信、雷達(dá)、電抗等信息系統(tǒng)提供了新的載體。

圖1 首個(gè)可編程數(shù)字編碼超材料的基本概念和部分結(jié)果[13](a)1比特相移鍵控可編程數(shù)字編碼超材料示意圖 (b)1比特相移鍵控可編程數(shù)字編碼超材料的單元結(jié)構(gòu)及其相位-頻率響應(yīng)曲線(xiàn) (c)1比特相移鍵控可編程數(shù)字編碼超材料的在波束掃描中的若干應(yīng)用 (d)1比特相移鍵控可編程數(shù)字編碼超材料的基本工作原理Fig.1 Concepts and Results of the first programmable digital coding metamaterials[13](a) The schematic diagram of 1-bit phase-shift programmable digital coding metamaterial (b) The element structure of 1-bit phase-shift programmable digital coding metamaterial and its phase frequency characteristic curves (c) 1-bit phase-shift programmable digital coding metamaterial in beam scanning applications (d) The basic working principle of 1-bit phase-shift programmable digital coding metamaterial

3 智能電磁感知若干進(jìn)展

近年，我們將信息超材料和機(jī)器學(xué)習(xí)(包括經(jīng)典機(jī)器學(xué)習(xí)和深度學(xué)習(xí))相結(jié)合，研究了智能電磁感知的新方法。限于篇幅，本節(jié)討論其中的3個(gè)代表性工作。

3.1 經(jīng)典機(jī)器學(xué)習(xí)驅(qū)動(dòng)的智能電磁感知

如前所述，經(jīng)典電磁感知體制包括兩大類(lèi)：合成孔徑體制和相控陣體制；前者依賴(lài)天線(xiàn)的機(jī)械掃描，數(shù)據(jù)獲取效率低，無(wú)法滿(mǎn)足實(shí)時(shí)感知的需求；后者依賴(lài)大規(guī)模天線(xiàn)陣的相干波束掃描，系統(tǒng)非常復(fù)雜、硬件成本非常昂貴，甚至在一些情況下無(wú)法實(shí)現(xiàn)。為了解決這方面的難題，近年來(lái)，隨著壓縮感知理論和方法的發(fā)展，一些孔徑編碼體制得到廣泛關(guān)注。但是，現(xiàn)有孔徑編碼感知體制高度依賴(lài)一個(gè)計(jì)算成本非常昂貴的迭代優(yōu)化算法(即稀疏增強(qiáng)優(yōu)化算法)，嚴(yán)重制約其實(shí)時(shí)感知的需求。為解決這方面的難題，本文提出了機(jī)器學(xué)習(xí)驅(qū)動(dòng)的智能電磁感知方法。如圖3所示[24]，該感知方法將可編程超材料和經(jīng)典機(jī)器學(xué)習(xí)相結(jié)合，采用經(jīng)典機(jī)器學(xué)習(xí)方法例如，主成分分析(Principal Component Analysis,PCA)機(jī)器學(xué)習(xí)方法，對(duì)信息超材料在物理層進(jìn)行訓(xùn)練，實(shí)現(xiàn)數(shù)據(jù)獲取和處理的一體化操作。這里以3 GHz頻段微波成像為例，本文用實(shí)驗(yàn)驗(yàn)證了可編程超材料具有物理域特征提取和數(shù)據(jù)降維的能力，實(shí)現(xiàn)機(jī)器學(xué)習(xí)驅(qū)動(dòng)的波束掃描和自適應(yīng)數(shù)據(jù)獲??；實(shí)驗(yàn)驗(yàn)證了該基于可編程超材料的成像系統(tǒng)能實(shí)現(xiàn)約百赫茲幀率的高分辨微波成像和實(shí)時(shí)的高精度目標(biāo)識(shí)別，為解決了現(xiàn)有成像體制在成本、效率和精度等方面的難題提供了新思路。

圖2 信息超材料的發(fā)展歷史和趨勢(shì)[19]Fig.2 The history and trend of information metamaterials[19]

3.2 深度學(xué)習(xí)驅(qū)動(dòng)的智能電磁感知

為進(jìn)一步解決復(fù)雜場(chǎng)景的智能電磁感知，我們將深度學(xué)習(xí)與信息超材料相結(jié)合，提出了深度學(xué)習(xí)驅(qū)動(dòng)的智能電磁感知(如圖4所示)該體制采用隨機(jī)降維方法(Random Linear Embedding Method,RLEM)對(duì)信息超材料進(jìn)行編碼獲取目標(biāo)圖像，采用1比特后向投影方法對(duì)信息超材料進(jìn)行編碼獲取局部熱點(diǎn)區(qū)域聚焦；然后，用深度學(xué)習(xí)[26]處理數(shù)據(jù)信息獲取人體目標(biāo)圖像和人體局部姿勢(shì)信息。另外，本文也采用時(shí)頻分析獲取人體呼吸體征信息。

圖3 經(jīng)典機(jī)器學(xué)習(xí)驅(qū)動(dòng)的智能電磁感知成像原理和部分結(jié)果[24](a)主分量機(jī)器學(xué)習(xí)方法驅(qū)動(dòng)的智能電磁感知的工作原理示意圖 (b)基于2比特信息超材料的智能電磁感知系統(tǒng)示意圖 (c)2比特相移鍵控信息超材料及單元結(jié)構(gòu)示意圖 (d)不同成像人體目標(biāo)的光學(xué)圖片 (e)基于主分量機(jī)器學(xué)習(xí)驅(qū)動(dòng)智能電磁感知的成像結(jié)果 (f)基于隨機(jī)降維機(jī)器學(xué)習(xí)驅(qū)動(dòng)智能電磁感知的成像結(jié)果Fig.3 The imaging principle and results of intelligent electromagnetic sensing driven by classical machine learning[24](a) The schematic diagram of the principle of intelligent electromagnetic sensing driven by principal component machine learning (b) The schematic diagram of intelligent electromagnetic sensing system based on 2-bit information metamaterial (c) The schematic diagram of 2-bit phase-shift information metamaterial and element structure (d) The optical images of different human targets (e) The imaging results of intelligent electromagnetic sensing driven by principal component machine learning (f) The imaging result of intelligent electromagnetic sensing driven by machine learning based on random dimension reduction

圖4 深度學(xué)習(xí)驅(qū)動(dòng)的智能電磁感知成像原理和部分結(jié)果[25](a)智能電磁感知的工作原理示意圖 (b)基于1比特信息超材料的智能電磁感知系統(tǒng)示意圖 (c)不同成像人體目標(biāo)的光學(xué)圖片及其成像結(jié)果 (d)基于智能感知系統(tǒng)的感興趣人體局部姿勢(shì)的波束聚焦結(jié)果 (e)基于智能感知系統(tǒng)的10個(gè)英文字母的手語(yǔ)識(shí)別結(jié)果 (f)基于智能感知系統(tǒng)的2個(gè)人體的呼吸特征識(shí)別結(jié)果Fig.4 The imaging principle and results of intelligent electromagnetic sensing driven by deep learning[25].(a) The schematic diagram of working principle of intelligent electromagnetic sensing (b) The schematic diagram of intelligent electromagnetic sensing system based on 1-bit information metamaterial (c) Optical images of different human targets and corresponding imaging results (d) The beam focusing on interested human local posture based on intelligent sensing system (e) The sign language recognition results of 10 English letters based on intelligent sensing system(f) The recognition results of respiratory characteristics for two persons based on intelligent perception system

提出的智能電磁感知有兩種工作模式：主動(dòng)感知模式和被動(dòng)感知模式。被動(dòng)感知模式是通過(guò)調(diào)控日常生活無(wú)處不在的非合作無(wú)線(xiàn)電信號(hào)從而實(shí)現(xiàn)高精度電磁感知的目的。值得強(qiáng)調(diào)的是，與現(xiàn)有無(wú)線(xiàn)電成像探測(cè)技術(shù)不同，本文提出的方法具有兩大特點(diǎn)。首先，與穿戴式無(wú)線(xiàn)電監(jiān)測(cè)技術(shù)不同，該技術(shù)通過(guò)操控空間無(wú)線(xiàn)電信號(hào)實(shí)現(xiàn)遠(yuǎn)距離、非接觸式的探測(cè)，避免了佩戴探測(cè)設(shè)備的不舒服感和私密侵犯感。其次，該技術(shù)在實(shí)時(shí)獲取人體圖像的基礎(chǔ)上，進(jìn)一步利用可編程人工電磁材料動(dòng)態(tài)調(diào)控空間無(wú)線(xiàn)電信號(hào)進(jìn)行人體部位(例如，手部、胸腹部等)的自適應(yīng)鎖定，不需要被探測(cè)人體對(duì)象配合，可實(shí)現(xiàn)密集非合作人體對(duì)象的手語(yǔ)或生命體征信息的實(shí)時(shí)監(jiān)測(cè)。簡(jiǎn)言之，該成果為解決現(xiàn)有探測(cè)與成像體制在能耗、效率、成本和精度等方面的難題提供了新思路；為如何將空間中無(wú)處不在的“無(wú)用”噪聲或干擾轉(zhuǎn)化成為我們隨心所欲所用的“有用”信號(hào)，為發(fā)展低能耗、低成本、高效率、高精度的探測(cè)和成像系統(tǒng)開(kāi)辟了新途徑；為新一代通信和雷達(dá)系統(tǒng)的發(fā)展提供了新思路。另外，不僅實(shí)現(xiàn)了非合作人體對(duì)象的生命體征探測(cè)，而且首次實(shí)現(xiàn)了非合作人體目標(biāo)的自動(dòng)微波手語(yǔ)識(shí)別，為解決智慧家庭人機(jī)交互，解決語(yǔ)言障礙人群進(jìn)行交流等問(wèn)題提供了新的途徑。

另外，感知和通信具有很多相似的地方。上述被動(dòng)感知的思想也可用來(lái)發(fā)展被動(dòng)無(wú)線(xiàn)通信。受此啟發(fā)，我們提出了被動(dòng)無(wú)線(xiàn)通信理論，研制了基于2.4 GHz Wi-Fi信號(hào)調(diào)控的原理驗(yàn)證樣機(jī)[27]。被動(dòng)無(wú)線(xiàn)通信的基本原理是：利用可編程超材料調(diào)控空間中無(wú)處不在的無(wú)線(xiàn)電信號(hào)(例如，Wi-Fi信號(hào)，廣播電視信號(hào)，藍(lán)牙信號(hào)等)實(shí)現(xiàn)大容量保密無(wú)線(xiàn)通信。被動(dòng)無(wú)線(xiàn)通信有4個(gè)主要特點(diǎn)：(1)不需要主動(dòng)發(fā)射射頻載波，因此不需要額外占用頻譜資源；(2)利用低成本超材料調(diào)控空間無(wú)線(xiàn)電信號(hào)，不需要載波生成及信息調(diào)制等相關(guān)的硬件，因此具有低的功耗和成本；(3)利用超材料動(dòng)態(tài)調(diào)控空間無(wú)線(xiàn)電信號(hào)能量的空間分布，回收了空間無(wú)線(xiàn)電能量，節(jié)省了能耗；(4)利用超材料實(shí)現(xiàn)直接信息調(diào)制，不僅增強(qiáng)了通信保密性，而且也不影響背景無(wú)線(xiàn)通信質(zhì)量。

3.3 數(shù)據(jù)獲取和處理一體化的智能電磁感知

在這里，需要說(shuō)明的是：3.1節(jié)的感知方法將機(jī)器學(xué)習(xí)與人工電磁材料相結(jié)合實(shí)現(xiàn)自適應(yīng)數(shù)據(jù)獲取，僅實(shí)現(xiàn)了智能數(shù)據(jù)獲??；3.2節(jié)的感知方法將機(jī)器學(xué)習(xí)與人工電磁材料相結(jié)合實(shí)現(xiàn)自適應(yīng)數(shù)據(jù)處理，僅實(shí)現(xiàn)了智能數(shù)據(jù)處理。為實(shí)現(xiàn)智能數(shù)據(jù)獲取和智能數(shù)據(jù)處理的一體化，本文將強(qiáng)化學(xué)習(xí)的思想引入智能電磁感知，借助變分自編碼方法建立了數(shù)據(jù)獲取與處理一體化的智能電磁感知[28]。

為方便，設(shè)成像目標(biāo)、信息超材料編碼及觀測(cè)數(shù)據(jù)分別是x,C和y，它們之間滿(mǎn)足：

圖5 數(shù)據(jù)獲取和處理一體化的智能電磁感知成像原理圖[28](a)基于1比特信息超材料智能電磁感知的工作原理示意圖 (b)和(c)算法原理示意圖Fig.5 The schematic diagram of intelligent electromagnetic sensing integrated with data acquisition and processing[28](a) The schematic diagram of working principle of intelligent electromagnetic sensing based on 1-bit information metamaterial (b) and(c) The schematic diagram of proposed algorithm

其中，qC(y|x)表示y的條件概率密度函數(shù)，表征了測(cè)量模型；p(x|y)表示x的條件概率密度函數(shù)或認(rèn)知分布，表征了數(shù)據(jù)處理算法模型。圖5給出了該智能感知的工作原理示意圖，本文采用深度人工神經(jīng)網(wǎng)絡(luò)建模這兩個(gè)概率模型，分別表示為m-ANN和r-ANN，通過(guò)最優(yōu)化上述價(jià)格函數(shù)(價(jià)格函數(shù)也稱(chēng)為L(zhǎng)oss function，是模型預(yù)測(cè)結(jié)果和真實(shí)結(jié)果之間的差值，通常Loss function越小越好)可以獲取最優(yōu)或局部最優(yōu)的獲取模式和相匹配的數(shù)據(jù)處理算法。圖6報(bào)告了該感知系統(tǒng)的若干實(shí)驗(yàn)結(jié)果，其中比較了采用數(shù)據(jù)采集-數(shù)據(jù)處理聯(lián)合優(yōu)化和僅數(shù)據(jù)處理優(yōu)化的成像結(jié)果，在該圖中我們也比較了不同信息超材料編碼圖案數(shù)目M=3,9,15和20等情況下的成像結(jié)果，其中M越大，所需數(shù)據(jù)采集時(shí)間越長(zhǎng)。結(jié)果表明：采用數(shù)據(jù)獲取和處理的一體化，能有效提高智能電磁感知的數(shù)據(jù)獲取效率和數(shù)據(jù)處理性能。

圖6 數(shù)據(jù)采集與處理一體化的智能感知的部分結(jié)果[25]Fig.6 Some results of intelligent sensing integrated with data acquisition and processing[25]

4 總結(jié)

本文討論了智能電磁感知的最新進(jìn)展。智能電磁感知通過(guò)挖掘利用人工電磁材料和人工智能在電磁波調(diào)控和數(shù)據(jù)信息調(diào)控方面的強(qiáng)大能力相融合，從而實(shí)現(xiàn)智能、低成本、高效率、高精度的電磁感知，為安防檢查、生物醫(yī)學(xué)、智慧城市和資源勘探等領(lǐng)域的進(jìn)一步發(fā)展提供關(guān)鍵技術(shù)支撐。此外，隨著信息超材料的不斷推進(jìn)，未來(lái)有望將人工智能應(yīng)用于超材料設(shè)計(jì)，實(shí)現(xiàn)低損耗、超寬帶和多功能的高性能超材料。結(jié)合本文提出的智能電磁感知方法，信息超材料將不僅具有低成本和高性能的優(yōu)勢(shì)，而且有望兼具智能感知、自主學(xué)習(xí)和認(rèn)知能力。