現(xiàn)代智能機(jī)器的誕生，離不開(kāi)對(duì)復(fù)雜材料物理學(xué)的深刻理解。

自旋玻璃或許是人類發(fā)現(xiàn)過(guò)的“最無(wú)用也最有用”的東西。

這些通常由金屬而非玻璃制成的材料展現(xiàn)出令人費(fèi)解的行為，自20世紀(jì)中期起就吸引了一小群物理學(xué)家的關(guān)注。雖然自旋玻璃本身并未找到任何實(shí)際的材料用途，但因解釋其奇特行為而發(fā)展出的理論，最終卻引發(fā)了當(dāng)今人工智能的革命。

1982年，凝聚態(tài)物理學(xué)家約翰·霍普菲爾德（JohnHopfield）借用了自旋玻璃的物理概念，構(gòu)建出一種能夠?qū)W習(xí)和記憶的簡(jiǎn)單網(wǎng)絡(luò)。在此過(guò)程中，他重振了神經(jīng)網(wǎng)絡(luò)（由數(shù)字神經(jīng)元組成的錯(cuò)綜網(wǎng)絡(luò)）這一曾被大多人工智能研究者放棄的研究領(lǐng)域，并將物理學(xué)帶入了一個(gè)全新的領(lǐng)域：思維研究，包括生物思維和機(jī)械思維。

霍普菲爾德將記憶重新設(shè)想為一個(gè)統(tǒng)計(jì)力學(xué)（研究“集體行為”的物理學(xué)）中的經(jīng)典問(wèn)題：給定一定的組成成分，這個(gè)系統(tǒng)整體將如何演化？對(duì)于任何簡(jiǎn)單的物理系統(tǒng)（包括自旋玻璃在內(nèi)），其答案源自熱力學(xué)：系統(tǒng)將“趨向低能量狀態(tài)”?；羝辗茽柕抡业搅艘环N方法，利用集體系統(tǒng)的這一簡(jiǎn)單特性，通過(guò)數(shù)字神經(jīng)元網(wǎng)絡(luò)來(lái)存儲(chǔ)和調(diào)用數(shù)據(jù)。更專業(yè)地說(shuō)，他找到了一種將記憶置于能量斜坡底部的方法。要喚起一段記憶，這種后來(lái)被稱為霍普菲爾德網(wǎng)絡(luò)（Hopfieldnetwork）的神經(jīng)網(wǎng)絡(luò)無(wú)須查詢?nèi)魏螙|西。它只需“順坡而下”。

米蘭博科尼大學(xué)的理論物理學(xué)家馬克·梅扎爾（MarcMézard）說(shuō)，霍普菲爾德網(wǎng)絡(luò)是一次“概念上的突破”。通過(guò)借鑒自旋玻璃的物理學(xué)原理，后來(lái)的人工智能研究者可以“使用所有為這些舊的物理學(xué)系統(tǒng)所開(kāi)發(fā)的工具”。

2024年，霍普菲爾德與他的同行杰弗里·辛頓（GeoffreyHinton，人工智能先驅(qū)）因在神經(jīng)網(wǎng)絡(luò)統(tǒng)計(jì)物理方面的研究，獲得了諾貝爾物理學(xué)獎(jiǎng)。有人抱怨這似乎更像是對(duì)人工智能研究的褒獎(jiǎng)，而非純粹的物理學(xué)。但自旋玻璃的物理學(xué)并沒(méi)有因?yàn)閹椭⒂洃浤Ｐ秃退季S機(jī)器而失去其“物理性”。如今，一些研究人員相信，霍普菲爾德曾用來(lái)賦予機(jī)器記憶的同一套物理學(xué)，或許也能幫助機(jī)器“想象”，并打造出我們能夠真正理解的神經(jīng)網(wǎng)絡(luò)。

涌現(xiàn)的記憶

霍普菲爾德的職業(yè)生涯始于20世紀(jì)60年代從事半導(dǎo)體物理學(xué)研究。但到了60年代末，“在凝聚態(tài)物理領(lǐng)域，似乎再也找不到能夠讓我發(fā)揮才能的問(wèn)題了”。他在2018年的一篇文章中寫道。于是，他開(kāi)始尋找新方向。在涉足生物化學(xué)領(lǐng)域并提出了一個(gè)解釋生物體如何“校對(duì)”生化反應(yīng)的理論后，霍普菲爾德轉(zhuǎn)向了神經(jīng)科學(xué)。

“我在尋找一個(gè)‘問(wèn)題’，而

不是一個(gè)難題?！彼谖恼轮谢貞浀溃?qiáng)調(diào)必須找出真正重要的科學(xué)問(wèn)題?！皩?duì)我而言，大腦如何產(chǎn)生思維是我們?nèi)祟愄岢龅淖钌羁虇?wèn)題。這無(wú)疑是一個(gè)‘大問(wèn)題’?！?/p>

霍普菲爾德意識(shí)到，聯(lián)想記憶正是這個(gè)“大問(wèn)題”的一部分，而他的凝聚態(tài)物理學(xué)工具箱或許能派上用場(chǎng)。

在傳統(tǒng)計(jì)算機(jī)中，數(shù)據(jù)以靜態(tài)形式存儲(chǔ)，并通過(guò)地址訪問(wèn)。這個(gè)地址與存儲(chǔ)的信息本身并無(wú)關(guān)聯(lián)，只是一個(gè)訪問(wèn)代碼。因此，如果地址稍有錯(cuò)誤，就會(huì)訪問(wèn)到完全錯(cuò)誤的數(shù)據(jù)。

而人類的記憶卻并非如此。我們常常通過(guò)聯(lián)想來(lái)記憶。一絲線索或一個(gè)記憶碎片，會(huì)讓整件事情涌上心頭。比如聞到丁香花的香味時(shí)，會(huì)想起童年在爺爺花園中的一段往事；又或者，聽(tīng)到一首歌的前幾句，就能情不自禁地唱出整首你自以為已忘記的歌曲。

霍普菲爾德花了數(shù)年時(shí)間研究聯(lián)想記憶，并試圖將其翻譯為神經(jīng)網(wǎng)絡(luò)模型。他對(duì)隨機(jī)連接的神經(jīng)網(wǎng)絡(luò)和其他潛在的記憶模型進(jìn)行了修補(bǔ)。起初結(jié)果并不理想，直到最后，霍普菲爾德找到了解決這個(gè)“大問(wèn)題”的一個(gè)意想不到的關(guān)鍵點(diǎn)。

自旋玻璃

神經(jīng)元相互作用的簡(jiǎn)化模型與磁性自旋的伊辛模型有許多相似之處。首先，神經(jīng)元通常被建模為基本的二元開(kāi)關(guān)：要么激活（發(fā)放信號(hào)），要么不激活（靜止）。同樣，自旋也可以向上或向下。此外，一個(gè)激活神經(jīng)元可以促進(jìn)或抑制其相鄰神經(jīng)元的激活。神經(jīng)元之間這些可變的相互作用強(qiáng)度讓人聯(lián)想到自旋玻璃中自旋之間可變的相互作用強(qiáng)度。瑞士聯(lián)邦理工學(xué)院洛桑分校（EPFL）的物理學(xué)家兼計(jì)算機(jī)科學(xué)家倫卡·茲德博羅娃（LenkaZdeborova）說(shuō)：“從數(shù)學(xué)角度講，可以將這些自旋或原子替換為其他系統(tǒng)，用同樣的工具描述?！?/p>

霍普菲爾德的網(wǎng)絡(luò)由一組人工神經(jīng)元構(gòu)成。這些神經(jīng)元既可以處于“開(kāi)”（激活）狀態(tài)，也可以處于“關(guān)”（靜止）狀態(tài)。每個(gè)神經(jīng)元都會(huì)影響其他神經(jīng)元的狀態(tài)，而這些交互作用是可以調(diào)整的。網(wǎng)絡(luò)在任何給定時(shí)刻的整體狀態(tài)取決于哪些神經(jīng)元激活、哪些靜止。這兩種狀態(tài)可以用二進(jìn)制編碼：激活為1，靜止為0。將整個(gè)網(wǎng)絡(luò)在某一時(shí)刻的狀態(tài)寫出來(lái)，就得到了一串比特。確切地說(shuō)，這種網(wǎng)絡(luò)并不“存儲(chǔ)”信息，它本身就構(gòu)成了信息。

為了向網(wǎng)絡(luò)“教授”某種模式，霍普菲爾德通過(guò)調(diào)整神經(jīng)元之間的相互作用強(qiáng)度來(lái)“雕刻”其能量景觀，從而使目標(biāo)模式處于一個(gè)低能穩(wěn)定態(tài)中。該狀態(tài)一旦達(dá)成，網(wǎng)絡(luò)就不再演化，而是穩(wěn)定地停留在該模式?；羝辗茽柕轮贫艘粭l類似神經(jīng)科學(xué)經(jīng)典法則“共同激活的神經(jīng)元更易連接”的訓(xùn)練規(guī)則。他提高目標(biāo)狀態(tài)下共同激活（或共同靜止）神經(jīng)元之間的交互強(qiáng)度，削弱不一致神經(jīng)元之間的聯(lián)結(jié)。一旦網(wǎng)絡(luò)通過(guò)這種方式學(xué)會(huì)了一種模式，網(wǎng)絡(luò)就可以通過(guò)網(wǎng)絡(luò)能量景觀的下坡導(dǎo)航再次達(dá)到這種模式；當(dāng)它進(jìn)入平衡狀態(tài)時(shí)，就會(huì)自然而然地達(dá)到這種模式。

“霍普菲爾德建立起其中的聯(lián)系并說(shuō)：‘看，如果我們能調(diào)整自旋玻璃中的交換耦合，也許我們就能塑造這些平衡點(diǎn)，使其變成記憶。’”梅扎爾說(shuō)。

霍普菲爾德網(wǎng)絡(luò)可以存儲(chǔ)多重記憶，每段記憶都有自己的能量谷。網(wǎng)絡(luò)最終落入哪個(gè)谷，取決于初始狀態(tài)在能量景觀中的位置。例如，在一個(gè)存儲(chǔ)了貓和宇宙飛船圖像的網(wǎng)絡(luò)中，如果初始狀態(tài)具備“貓”的模糊特征，最終很可能滾入“貓谷”。同樣地，如果網(wǎng)絡(luò)的初始狀態(tài)呈現(xiàn)出飛船的幾何結(jié)構(gòu)，則通常會(huì)促使網(wǎng)絡(luò)趨向“飛船谷”。這正是霍普菲爾德網(wǎng)絡(luò)成為聯(lián)想記憶模型的核心原因：

給它一段殘缺或模糊的記憶，它會(huì)動(dòng)態(tài)重建出整段記憶。

舊模型，新思路

從1983年到1985年，辛頓和他的同事們?cè)诨羝辗茽柕鹿ぷ鞯幕A(chǔ)上繼續(xù)努力。他們找到了將隨機(jī)性注入霍普菲爾德網(wǎng)絡(luò)的方法，從而創(chuàng)建了一種新型的神經(jīng)網(wǎng)絡(luò)一玻爾茲曼機(jī)。這些網(wǎng)絡(luò)不再“記憶”而是學(xué)習(xí)訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)模式，并生成與這些模式相匹配的新數(shù)據(jù)，這可謂是早期的生成式人工智能。進(jìn)入21世紀(jì)初期，辛頓利用精簡(jiǎn)版的玻爾茲曼機(jī)，成功破解了訓(xùn)練“深層”神經(jīng)網(wǎng)絡(luò)（由多層神經(jīng)元組成）這一長(zhǎng)期難題。

到2012年，辛頓和其他先驅(qū)開(kāi)發(fā)的深度神經(jīng)網(wǎng)絡(luò)取得的成功已不容忽視?！昂苊黠@，這些模型的實(shí)際效果非常好，而且正在改變整個(gè)科技行業(yè)?！逼澋虏┝_娃說(shuō)。我們今天日常接觸的生成式人工智能模型，包括ChatGPT等大型語(yǔ)言模型和Midjourney等圖像生成模型，皆屬于深度神經(jīng)網(wǎng)絡(luò)。它們的成功可以追溯至20世紀(jì)70年代那些不愿讓“無(wú)用”的自旋玻璃性質(zhì)無(wú)解的好奇物理學(xué)家們。

然而，霍普菲爾德網(wǎng)絡(luò)并不僅僅是人工智能的過(guò)去。得益于一些新思路，這些舊模型也可能迎來(lái)復(fù)興。

2016年，霍普菲爾德和IBM研究院的德米特里·克羅托夫（DmitryKrotov）意識(shí)到，霍普菲爾德網(wǎng)絡(luò)其實(shí)不僅僅是一種模型，更是一個(gè)具有不同記憶存儲(chǔ)能力的模型族。隨后，在2020年，另一個(gè)團(tuán)隊(duì)發(fā)現(xiàn)，變換器架構(gòu)（最成功的現(xiàn)代人工智能模型的藍(lán)圖）的一個(gè)關(guān)鍵部分也屬于擴(kuò)展版的霍普菲爾德網(wǎng)絡(luò)族。

2024年12月，杰弗里·辛頓（左）和約翰·霍普菲爾德在斯德哥爾摩舉行的儀式上接受諾貝爾物理學(xué)獎(jiǎng)。該獎(jiǎng)項(xiàng)旨在表彰他們?cè)谧钤缙谏窠?jīng)網(wǎng)絡(luò)模型方面所做的開(kāi)創(chuàng)性工作，這些模型基于自旋玻璃的物理學(xué)原理而設(shè)計(jì)

倫卡·茲德博羅娃是瑞士聯(lián)邦理工學(xué)院洛桑分校的物理學(xué)家與計(jì)算機(jī)科學(xué)家，研究物質(zhì)物理學(xué)如何幫助建模機(jī)器學(xué)習(xí)算法的行為

基于這一發(fā)現(xiàn)，克羅托夫和他的同事們最近開(kāi)發(fā)出了一種新的深度學(xué)習(xí)架構(gòu)：能量變換器。典型的人工智能架構(gòu)多是憑經(jīng)驗(yàn)摸索出來(lái)的。但克羅托夫認(rèn)為，能量變換器可以根據(jù)特定的能量狀況進(jìn)行更有目的性的設(shè)計(jì)，就像一個(gè)更復(fù)雜的霍普菲爾德網(wǎng)絡(luò)。

雖然霍普菲爾德網(wǎng)絡(luò)最初是為“記憶”而設(shè)計(jì)的，但研究人員如今正探索其“創(chuàng)造”能力。圖像生成模型如Midjourney由“擴(kuò)散模型”驅(qū)動(dòng)，而該模型本身受到擴(kuò)散物理過(guò)程的啟發(fā)。為了訓(xùn)練這些模型，研究者在訓(xùn)練數(shù)據(jù)（例如貓的圖像）中加入噪聲，再訓(xùn)練模型去除噪聲。這與霍普菲爾德網(wǎng)絡(luò)的工作方式非常相似，只是擴(kuò)散模型不會(huì)每次都回到同一張貓圖像上，而是從嘈雜、隨機(jī)的起始狀態(tài)中去除“非貓”噪聲，從而生成新的貓圖像。

德米特里·克羅托夫是IBM研究院的計(jì)算機(jī)科學(xué)家，他指出，當(dāng)今一些最先進(jìn)的人工智能模型采用的基本原理，與霍普菲爾德網(wǎng)絡(luò)最初使用的原則如出一轍

克羅托夫與其同事發(fā)現(xiàn)，擴(kuò)散模型其實(shí)可以被視為現(xiàn)代霍普菲爾德網(wǎng)絡(luò)的一種特例。這一視角可用于預(yù)測(cè)這些網(wǎng)絡(luò)的行為。他們的研究表明，向現(xiàn)代霍普菲爾德網(wǎng)絡(luò)提供越來(lái)越多的數(shù)據(jù)，不會(huì)導(dǎo)致記憶飽和，而是會(huì)使網(wǎng)絡(luò)的能量景觀變得更加崎嶇，最終它更有可能建立一個(gè)虛構(gòu)的記憶而不是一個(gè)真實(shí)的記憶。它變成了一個(gè)擴(kuò)散模型。

對(duì)于物理學(xué)家而言，量變（這里指的是訓(xùn)練數(shù)據(jù)的數(shù)量）引發(fā)質(zhì)變并不新奇。正如著名凝聚態(tài)物理學(xué)家菲利普·安德森（PhilipAnderson）在1972年所言：“更多即不同?！痹诩w系統(tǒng)中，僅僅擴(kuò)大各部分之間的相互作用網(wǎng)絡(luò)，就可能產(chǎn)生令人驚訝的新行為。“（神經(jīng)網(wǎng)絡(luò)）能起作用是一種涌現(xiàn)屬性?！泵吩鸂栒f(shuō)。

無(wú)論是在深度學(xué)習(xí)架構(gòu)中，還是在大腦中，涌現(xiàn)現(xiàn)象既令人著迷，也難以捉摸；自前還沒(méi)有關(guān)于涌現(xiàn)的統(tǒng)一理論。而統(tǒng)計(jì)物理學(xué)，作為最早揭示集體行為的工具，或許正是我們理解這些難以解釋的人工智能問(wèn)題的關(guān)鍵。 2資料來(lái)源QuantaMagazine

本文作者埃莉斯·卡茨（EliseCutts）原本是一位地球生物學(xué)家，后來(lái)意識(shí)到撰寫科學(xué)文章比自己動(dòng)手做科學(xué)研究有趣得多，便成了一位科學(xué)作家。