“光子神經(jīng)網(wǎng)絡(luò)？一個(gè)乘法可以用不到一個(gè)光子？起初我是不信的，也沒有人做過類似的實(shí)驗(yàn)，但我們還是用很普通的器材做出了大家既沒想到、又認(rèn)為短期內(nèi)無法實(shí)現(xiàn)的實(shí)驗(yàn)?！?/p>

日前，上海交大校友、目前在康奈爾大學(xué)做博后研究的王天宇在《自然·通訊》發(fā)表了最新一作論文，并擔(dān)任通訊作者。論文題為《每次乘法使用小于1個(gè)光子的光學(xué)神經(jīng)網(wǎng)絡(luò)》。

這是一個(gè)光子神經(jīng)網(wǎng)絡(luò)的新成果，但不同于此前芯片類的光子神經(jīng)網(wǎng)絡(luò)，此次技術(shù)可直接接收?qǐng)D像。也不同于其他基于空間光學(xué)的光子神經(jīng)網(wǎng)絡(luò)，本次實(shí)驗(yàn)設(shè)計(jì)能直接接收自然光，并且無需相干光照明。

王天宇

在該研究中，王天宇發(fā)現(xiàn)架構(gòu)矩陣或向量維度可做到將近50萬。在此情況下，要想通過理論預(yù)測的功耗極限，每個(gè)乘法運(yùn)算只需要小于一個(gè)光子就能進(jìn)行，這個(gè)能耗水平遠(yuǎn)遠(yuǎn)超越傳統(tǒng)電子計(jì)算機(jī)的物理極限，可能有四五個(gè)數(shù)量級(jí)以上。

研究中，王天宇的重點(diǎn)在于研究光學(xué)神經(jīng)網(wǎng)絡(luò)的能量極限和抗噪性，他認(rèn)為進(jìn)一步工程化改造的系統(tǒng)，能作為智能圖像傳感器、深度整合圖像傳感器和處理器。

這些傳感器可用于超低延時(shí)圖像處理，比如識(shí)別圖像和壓縮圖像，所需硬件數(shù)量可被降低幾個(gè)數(shù)量級(jí)，具體應(yīng)用包括自動(dòng)駕駛、無人機(jī)和機(jī)器人等。

相關(guān)論文

讓能耗優(yōu)勢(shì)和速度優(yōu)勢(shì)隨網(wǎng)絡(luò)擴(kuò)大而擴(kuò)大

要想詳細(xì)理解此次成果，就得先來聊聊光子神經(jīng)網(wǎng)絡(luò)。

近年來，該領(lǐng)域獲得了長足發(fā)展，一方面源于光電硬件集成的成熟，另一方面光學(xué)系統(tǒng)的物理特性使得它十分適合計(jì)算大矩陣乘法，而這正是許多重要計(jì)算應(yīng)用比如機(jī)器學(xué)習(xí)、優(yōu)化問題和量子計(jì)算的基礎(chǔ)。

相比傳統(tǒng)電子深度學(xué)習(xí)加速器，光學(xué)神經(jīng)網(wǎng)絡(luò)的核心優(yōu)勢(shì)之一在于計(jì)算大矩陣乘法的速度，但在實(shí)現(xiàn)真正實(shí)用化前仍需克服許多工程問題，以達(dá)到足夠低的能耗和足夠高的精度。

自2017年起，全球多個(gè)課題組都做出了貢獻(xiàn)，包括畢業(yè)于麻省理工學(xué)院的沈亦晨和馬林· 索爾亞契奇，后來他們創(chuàng)辦了Lightelligence曦智科技。

另外還有同樣畢業(yè)于麻省理工學(xué)院的尼古拉斯·哈里斯和德克·英格蘭德，他們則創(chuàng)辦了Lightmatter。

加州大學(xué)洛杉磯分校的Xing Lin和艾多安·奧茲坎開創(chuàng)了衍射神經(jīng)網(wǎng)絡(luò)，澳洲斯威本科技大學(xué)的徐興元和大衛(wèi)·莫斯則首次達(dá)到了GPU的計(jì)算速度。

本次工作中，王天宇研究了光學(xué)神經(jīng)網(wǎng)絡(luò)走向?qū)嵱没囊粋€(gè)重要課題：即如何實(shí)現(xiàn)極低的能耗極限，以及在此條件下的穩(wěn)定性。

比起電信號(hào)，光信號(hào)的根本優(yōu)勢(shì)在于長距離通訊過程中的損耗很低，那么光學(xué)信號(hào)的傳輸優(yōu)勢(shì)如何轉(zhuǎn)化為計(jì)算優(yōu)勢(shì)？

其實(shí)，計(jì)算的本質(zhì)是對(duì)比和總結(jié)大量不同的信息。當(dāng)數(shù)據(jù)量很大時(shí)，信息在芯片里傳輸能耗，要遠(yuǎn)遠(yuǎn)高于信息處理的能耗，此問題在神經(jīng)網(wǎng)絡(luò)應(yīng)用中尤其突出。

說到這里王天宇打比方稱，神經(jīng)網(wǎng)絡(luò)計(jì)算就像大家在一起開學(xué)術(shù)會(huì)議，每個(gè)人都有不同的信息碎片，不同的人聚在一起交流信息能產(chǎn)生不同的見解，一開始大家有各種見解，經(jīng)過充分交流后，合理的觀點(diǎn)漸漸變成主流，直至得出一個(gè)能簡單概括事情全貌的結(jié)論。

在此過程中，每次信息交流并不需要很久，真正耗時(shí)的是把不同人在不同地方聚在一起開會(huì)。

正因此，當(dāng)前主流GPU廠商和深度學(xué)習(xí)加速器廠商，都在致力于優(yōu)化芯片的排線，以盡量減少數(shù)據(jù)的重復(fù)存儲(chǔ)讀寫和來回倒騰，原因在于芯片電能消耗和走線長度成正比關(guān)系。

而讓光作為信號(hào)載體，幾乎能徹底避免該問題，因?yàn)楣庠诙叹嚯x傳輸中基本是無損的，并能立馬把同一信息傳到成千上萬個(gè)處理單元或者進(jìn)行匯總，這會(huì)讓能耗優(yōu)勢(shì)和速度優(yōu)勢(shì)隨網(wǎng)絡(luò)擴(kuò)大而擴(kuò)大。

那么，上述兩大優(yōu)勢(shì)的極限在哪里？為探索該問題，王天宇用簡單器材做了一個(gè)極為精密的實(shí)驗(yàn)。

達(dá)到99%的識(shí)別手寫數(shù)字準(zhǔn)確率

鑒于在計(jì)算機(jī)視覺應(yīng)用中，神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)就是圖像，所以他用2D圖像編碼向量對(duì)逐個(gè)像素進(jìn)行調(diào)制，最后匯聚到探測器上。

要知道光學(xué)計(jì)算占總計(jì)算的比重99.7%，而正是這個(gè)簡單的裝置，可以計(jì)算50萬維的向量乘法，且涵蓋絕大多數(shù)神經(jīng)網(wǎng)絡(luò)中需要的計(jì)算。

實(shí)驗(yàn)中，王天宇用Python機(jī)器學(xué)習(xí)庫Pytorch訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，并下載到光學(xué)設(shè)備上運(yùn)行，借此即可達(dá)到99%的識(shí)別手寫數(shù)字準(zhǔn)確率，這和電子計(jì)算機(jī)是一樣的準(zhǔn)確度。

訓(xùn)練過程中，根本無需考慮具體硬件細(xì)節(jié)，這說明光學(xué)神經(jīng)網(wǎng)絡(luò)具備很強(qiáng)的容錯(cuò)性。此外，他還發(fā)現(xiàn)當(dāng)每個(gè)乘法用少于一個(gè)光子的時(shí)候，該網(wǎng)絡(luò)仍能工作。

而且，光子數(shù)量越低，光信號(hào)噪聲就越大，這意味著光子神經(jīng)網(wǎng)絡(luò)具備很強(qiáng)的抗噪聲能力，而這正是神經(jīng)網(wǎng)絡(luò)作為計(jì)算模型的一個(gè)特點(diǎn)。

另一處讓人驚訝的是，光子神經(jīng)網(wǎng)絡(luò)識(shí)別一個(gè)圖像需要進(jìn)行9萬次乘法和9萬次加法計(jì)算，但是總共所需的光能只相當(dāng)于電子計(jì)算機(jī)一次乘法的能量。

雖然除了光能以外的總體能耗，在現(xiàn)階段依舊不如純電子處理器低，但是隨著硬件的改進(jìn)，有望將光學(xué)處理器總能耗，降低到比電子處理器低一個(gè)、甚至幾個(gè)數(shù)量級(jí)。

事實(shí)上對(duì)于這一項(xiàng)目，王天宇一開始只是想弄明白光學(xué)處理器的根本優(yōu)勢(shì)。期間，他注意到2019年的一篇理論論文，里面論述了光子神經(jīng)網(wǎng)絡(luò)的物理能耗極限可大大低于電子計(jì)算，尤其是每次乘法的能耗甚至低于一個(gè)光子的能量。

他表示：“這個(gè)結(jié)論讓人覺得不可思議，但是再仔細(xì)一看，我發(fā)現(xiàn)要做到這個(gè)能耗，需要用上千維的向量去乘矩陣，而現(xiàn)在大多數(shù)光子神經(jīng)網(wǎng)絡(luò)做指定計(jì)算時(shí)，一次只能處理幾十維的向量，有些光子神經(jīng)網(wǎng)絡(luò)可以處理甚至百萬維度的向量，但是這些向量不能人為任意指定，或者需要針對(duì)系統(tǒng)進(jìn)行訓(xùn)練，這時(shí)就不能直接使用標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)庫（比如Pytorch）訓(xùn)練的模型?！?/p>

至于一個(gè)乘法小于一個(gè)光子是怎么回事？其實(shí)光子當(dāng)然不可分割，這個(gè)是一個(gè)平均值的概念，因?yàn)橛行┏朔ǖ某藬?shù)是零，所以平均值就能小于1，這說明能耗可被降低到逼近物理極限的程度，甚至還可以繼續(xù)降低。

此外他還發(fā)現(xiàn)，光子神經(jīng)網(wǎng)絡(luò)本質(zhì)上有很強(qiáng)的抗噪聲能力，當(dāng)減少光子神經(jīng)網(wǎng)絡(luò)運(yùn)算功耗的同時(shí)，比如在每個(gè)乘法運(yùn)算小于一個(gè)光子時(shí)，它的噪聲非常大，但依舊可以穩(wěn)定工作。

這一發(fā)現(xiàn)給實(shí)際應(yīng)用提供了很好的啟發(fā)：即盡管因?yàn)橛布栴}或環(huán)境噪聲較多，但依舊能通過系統(tǒng)優(yōu)化保持高性能信息處理能力。

這篇論文也給了王天宇更多信心，改變了他之前認(rèn)為光子計(jì)算的新潮概念離落地比較遠(yuǎn)的想法。通過實(shí)驗(yàn)，他發(fā)現(xiàn)該技術(shù)具備一定可靠性，有潛力在短期內(nèi)進(jìn)行工程實(shí)踐，并且實(shí)現(xiàn)產(chǎn)業(yè)化。下一階段光子神經(jīng)網(wǎng)絡(luò)領(lǐng)域的趨勢(shì)是集成化：運(yùn)算能耗雖然能降到很低，但是運(yùn)算芯片要做很大，這時(shí)尺寸縮小必須經(jīng)過集成化，這依舊需要很多工程創(chuàng)新。

或?qū)?chuàng)業(yè)以推廣面向圖像領(lǐng)域的智能傳感器

談及曦智科技創(chuàng)始人沈亦辰的成果，王天宇表示沈博士的論文是該領(lǐng)域開山之作，他的工作讓大家第一次認(rèn)識(shí)到光子可用于神經(jīng)網(wǎng)絡(luò)計(jì)算，并且沈亦辰團(tuán)隊(duì)基于該技術(shù)做了一個(gè)原型機(jī)，還創(chuàng)辦了公司將技術(shù)進(jìn)行集成化和產(chǎn)業(yè)化，以專注于光子芯的研發(fā)。

“而我所研究的成果當(dāng)然也在該領(lǐng)域之內(nèi)，同時(shí)對(duì)他們技術(shù)研發(fā)和產(chǎn)品也很有幫助。在光子芯片的實(shí)用化上，人們關(guān)心的是到底能把芯片計(jì)算的能耗降低到多少，并且在低功耗情況下光子神經(jīng)網(wǎng)絡(luò)是否還能穩(wěn)定工作？”王天宇說道。

因?yàn)楣庾由窠?jīng)網(wǎng)絡(luò)最大賣點(diǎn)在于，它比傳統(tǒng)電子處理器速度快、并且能耗低。但如果光子芯片處理數(shù)據(jù)能達(dá)到一定速度和能耗，需要非常龐大的神經(jīng)網(wǎng)絡(luò)。

因此要想研發(fā)相關(guān)產(chǎn)品，集成化程度必須非常高。王天宇的研究目的，是想獲悉理論上光子芯片的矩陣列到底可以做多大？以及低功耗極限能做到多低？

目前，曦智科技和其他公司，主要聚焦于光學(xué)G P U，即通過光子芯片完成傳統(tǒng)GPU器件的功能。但是王天宇做的研究有一定的區(qū)別，其發(fā)現(xiàn)在很多應(yīng)用場景下，神經(jīng)網(wǎng)絡(luò)需要處理的對(duì)象就是圖像，比如自動(dòng)駕駛技術(shù)需要大量攝像頭去識(shí)別圖像，這些圖像正是以光信號(hào)輸入的。

所以，他要做的不只是一個(gè)處理器，更多是一個(gè)智能傳感器，它能將傳感器和處理器兩個(gè)功能合二為一，這里可以理解為傳感器里面有處理器，其好處在于整合了硬件，在降低整體能耗的同時(shí)，還能大大降低處理過程的延時(shí)。

具體來說，自動(dòng)駕駛、機(jī)器人、無人機(jī)等需要很快的反應(yīng)速度的。例如，特斯拉曾報(bào)告該公司的計(jì)算機(jī)視覺硬件架構(gòu)的延時(shí)極限在150毫秒左右，這個(gè)延時(shí)大小對(duì)于開車來說足矣。但在無人機(jī)場景，如此大的延時(shí)會(huì)極大影響無人機(jī)姿態(tài)調(diào)整的判斷。而如果能把傳感器和處理器進(jìn)一步整合，即可減少光電轉(zhuǎn)換和數(shù)模轉(zhuǎn)化帶來的延時(shí)。

“就光子神經(jīng)網(wǎng)絡(luò)來說，除了曦智科技的芯片集成化道路之外，還有另外一條道路——利用空間光和波長做光子神經(jīng)網(wǎng)絡(luò)，但是這個(gè)技術(shù)仍然和圖像處理有關(guān)。不過，我們做的和過往技術(shù)路線并不一樣。此前可能需要激光去照射物體，然后得到反射進(jìn)行圖像處理，而我們采用的是物體自身發(fā)出的光進(jìn)行處理，不需要主動(dòng)探測掃描，這和相機(jī)有一點(diǎn)相似?！彼硎尽?/p>

未來，王天宇打算結(jié)合傳感器和光學(xué)處理器整合的器件，通過光學(xué)神經(jīng)網(wǎng)絡(luò)處理器和傳感器做出可實(shí)時(shí)分析圖像的智能器件，此外他還將研究架構(gòu)在極低能耗下的表現(xiàn)。從另一角度看，這個(gè)智能傳感器可以用神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)圖像處理，而光學(xué)模塊就是神經(jīng)網(wǎng)絡(luò)模型中不可分割的一部份，不但能直接利用環(huán)境中的光源，而且承擔(dān)了重要計(jì)算任務(wù)。

此外，關(guān)于創(chuàng)業(yè)的想法，他表示：“如果有可能創(chuàng)辦實(shí)體企業(yè)的話，我覺得這項(xiàng)工作與曦智科技最大的不同是，曦智科技重點(diǎn)是做運(yùn)算芯片，而我的工作重點(diǎn)是面向圖像領(lǐng)域的智能傳感器，并能針對(duì)不同的應(yīng)用場景進(jìn)行圖像處理。事實(shí)上，光學(xué)處理這個(gè)領(lǐng)域很大，有很多的機(jī)會(huì)等待發(fā)掘。”