陸 默/編譯

AI偵探：探索“黑匣子”秘密

陸 默/編譯

研究人員發(fā)明的神經(jīng)網(wǎng)絡(luò)，除了可以填補(bǔ)照片中留下的空白，還可以識別人工智能中的缺陷

● 隨著神經(jīng)網(wǎng)絡(luò)在科學(xué)領(lǐng)域內(nèi)的強(qiáng)力推進(jìn)，研究人員開始回過頭來探索其“黑匣子”內(nèi)的秘密。

詹森·尤辛斯基（Jason Yosinski）坐在美國加州舊金山優(yōu)步（Uber）總部的一個小型玻璃辦公室里，思索著一個問題：人工智能的大腦。作為優(yōu)步公司的一名研究科學(xué)家，尤辛斯基正在為在他筆記本電腦上運(yùn)行的人工智能做“腦外科手術(shù)”。許多人工智能將很快改變?nèi)祟惖默F(xiàn)代生活，例如優(yōu)步的無人駕駛汽車。尤辛斯基研究的是一個深度神經(jīng)網(wǎng)絡(luò)，他的研究靈感來自大腦的結(jié)構(gòu)。如同大腦一般，這個程序很難從外部理解：它就像一個黑匣子。

他在訓(xùn)練中使用大量做了標(biāo)記的圖像，從而讓這種特殊的人工智能識別斑馬線、消防車和汽車安全帶等隨機(jī)物體。但它能認(rèn)出徘徊在攝像頭前的尤辛斯基和記者嗎？尤辛斯基將AI的一個獨(dú)立計(jì)算節(jié)點(diǎn)——可以說是它的神經(jīng)元——放大，想要看看會激發(fā)什么反應(yīng)。兩個幽靈般的白色橢圓形物體浮動在屏幕上，這個神經(jīng)元似乎已經(jīng)學(xué)會了檢測人的面部輪廓?！八鼘δ阄业哪樣辛朔磻?yīng)，也會對不同大小、不同膚色的臉做出響應(yīng)?！彼f。

沒有人訓(xùn)練這個AI神經(jīng)網(wǎng)絡(luò)識別面孔，在訓(xùn)練標(biāo)注的圖像中也沒有人類的面孔。但它確實(shí)學(xué)會了辨別人臉，也許是通過識別與人臉一起出現(xiàn)的東西，如領(lǐng)帶和牛仔帽。這個網(wǎng)絡(luò)太復(fù)雜，以至于人類無法理解它做出的決定。尤辛斯基探測到的只是其中的一小部分，但仍然無法看透它的全部。他說：“我們建造了令人驚嘆的模型，但我們卻無法完全了解它們，而且這個差距將年復(fù)一年地變得更大?！?/p>

這個被稱為深度神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)網(wǎng)絡(luò)的領(lǐng)域，似乎每個月都在向其他學(xué)科領(lǐng)域擴(kuò)展?jié)B透，它們可以預(yù)測合成有機(jī)分子的最佳方法，可以檢測與自閉癥風(fēng)險(xiǎn)相關(guān)的基因，甚至可以改變科學(xué)本身的進(jìn)行方式。AI非常成功，幾乎無往不勝。但是它卻給科學(xué)家?guī)砹艘粋€糾結(jié)萬分的問題：為什么？這個模型為什么會這樣？

這個需要解釋的問題正在刺激著學(xué)術(shù)界和產(chǎn)業(yè)界的新一代研究人員對AI的黑匣子進(jìn)行深入探索。正如在顯微鏡下可以放大顯示肉眼看不見的細(xì)胞一樣，研究人員正在制作讓我們能夠深入了解神經(jīng)網(wǎng)絡(luò)如何做決定的新工具。有些工具無須深入即可對人工智能進(jìn)行探測；有些替代算法可與神經(jīng)網(wǎng)絡(luò)相媲美，但卻具有更高的透明度；還有一些則通過深度學(xué)習(xí)的方式進(jìn)入黑匣子內(nèi)部。綜合起來，它們構(gòu)成了一門新的學(xué)科，尤辛斯基稱之為“人工智能神經(jīng)科學(xué)”。

探索黑匣子秘密的緊迫性不僅僅來自科學(xué)。根據(jù)歐盟發(fā)布的一項(xiàng)指令，那些配置大量對公眾產(chǎn)生影響的算法的公司，必須在明年之前對他們所創(chuàng)建模型的內(nèi)部邏輯做出一些“解釋”。而美國國防高級研究計(jì)劃署則將7 000萬美元投入了“可解釋的人工智能”的新計(jì)劃，試圖對無人機(jī)和智能情報(bào)挖掘作業(yè)的深度學(xué)習(xí)做出解釋。打開AI黑匣子的驅(qū)動力同樣來自硅谷本身，美國加州山景城谷歌的機(jī)器學(xué)習(xí)研究員馬婭·古普塔（Maya Gupta）說道。她于2012加入谷歌時曾向AI工程師詢問過一些問題，她發(fā)現(xiàn)準(zhǔn)確性不是唯一的問題，工程師們告訴她，“我們不能確定它在干什么，我們也不知道是否可以信任它?！?/p>

打開黑匣子：深度學(xué)習(xí)后的寬松式建模刺激了科學(xué)界的創(chuàng)新，但是這些模型的機(jī)制仍然神秘：它們是一批黑匣子?？茖W(xué)家們正在開發(fā)一些工具來進(jìn)入機(jī)器的思維做深入探查

里奇·卡魯阿納（Rich Caruana）是微軟研究所的一名計(jì)算機(jī)科學(xué)家，他親身體驗(yàn)到了這種信任缺失。20世紀(jì)90年代，作為卡內(nèi)基梅隆大學(xué)的一名研究生，他加入了一個機(jī)器學(xué)習(xí)指導(dǎo)肺炎患者治療的研究團(tuán)隊(duì)。一般來說，讓病人在家中用醫(yī)療儀器進(jìn)行治療是最好的，這樣他們就可以避免在醫(yī)院里感染其他傳染性疾病。但有些病人，尤其是有哮喘等并發(fā)癥的患者，應(yīng)立即入院治療。卡魯阿納將神經(jīng)網(wǎng)絡(luò)應(yīng)用于78家醫(yī)院提供的患者癥狀和愈后的一個數(shù)據(jù)集，運(yùn)行情況似乎良好。但一個發(fā)現(xiàn)令他不安，用同樣的數(shù)據(jù)訓(xùn)練的一個簡單透明的模式，提出了將哮喘病人送回家治療的建議，這表明數(shù)據(jù)中存在一些缺陷，而且他也很難知道他的神經(jīng)網(wǎng)絡(luò)是否也從這些有缺陷的數(shù)據(jù)中吸取了同樣不好的教訓(xùn)?！皩ι窠?jīng)網(wǎng)絡(luò)的恐懼是完全有道理的，”他說，“真正讓我害怕的是神經(jīng)網(wǎng)絡(luò)從錯誤的東西中學(xué)到了什么？”

今天的神經(jīng)網(wǎng)遠(yuǎn)比之前所使用的更為強(qiáng)大，但是它們本質(zhì)上是相同的。待輸入的是一系列龐大而雜亂的數(shù)據(jù)，比如數(shù)百萬張狗的照片。這些數(shù)據(jù)被輸入進(jìn)一個有著十幾個甚至更多計(jì)算層次的網(wǎng)絡(luò)，類似于神經(jīng)元的連接對不同特質(zhì)的數(shù)據(jù)做出響應(yīng)而被“激活”，每一層都會對漸次抽象的特征做出反應(yīng)，然后在最后一層做出最終判斷，例如，將小獵犬與達(dá)克斯獵狗區(qū)分開來。

一開始系統(tǒng)也許會出錯，但每一個結(jié)果都會與狗的標(biāo)記圖片進(jìn)行比較，這一過程被稱為反向傳播，結(jié)果會通過網(wǎng)絡(luò)反向發(fā)送，使其重新定義每個神經(jīng)元的觸發(fā)器，這個過程將重復(fù)數(shù)百萬次，直到整個網(wǎng)絡(luò)學(xué)會如何在不同的犬類品種之間辨別出細(xì)微的區(qū)別。正是這種神秘而靈活的力量令它們成為黑匣子。

馬爾科·里貝羅（Marco Ribeiro）是西雅圖華盛頓大學(xué)的一名研究生，他利用一種叫作“反事實(shí)分析探針”的人工智能神經(jīng)科學(xué)工具來理解黑匣子。他通過改變向AI輸入的信息，包括文字、圖像或其他任何東西，看哪些變化會對輸出產(chǎn)生影響以及如何產(chǎn)生影響。例如，里貝羅的程序LIME先將影評標(biāo)記為正面意義，然后通過刪除或替換某些字詞令其意義產(chǎn)生微妙變化，變化后的內(nèi)容再被輸入黑匣子，看它是否仍然被認(rèn)為具有正面意義。在成千上萬次測試的基礎(chǔ)上，LIME可以識別這些詞語、圖像、分子結(jié)構(gòu)的某個部分或其他任何數(shù)據(jù)，這在人工智能最初的判斷中至關(guān)重要。這些測試顯示，“可怕”一詞在淘金熱中至關(guān)重要，而“丹尼爾·戴·劉易斯（Daniel Day Lewis，廣受影迷愛戴的奧斯卡影帝）”一詞與具有正面意義的評論相關(guān)等。盡管LIME能診斷出個別的例子，但這個結(jié)果對洞察整個神經(jīng)網(wǎng)絡(luò)的黑匣子幾乎沒有什么意義。

像LIME這樣新的反事實(shí)方法似乎每個月都在出現(xiàn)，但谷歌計(jì)算機(jī)科學(xué)家穆庫德·森達(dá)拉拉安（Mukund Sundararajan）發(fā)明了另一種探測方法，它不需要對網(wǎng)絡(luò)進(jìn)行數(shù)千次測試，如果你想理解很多的決策，而不只是寥寥數(shù)個，那它一定會帶來額外的好處。森達(dá)拉拉安和他的團(tuán)隊(duì)的輸入變化不是隨機(jī)的，而是引入一個模糊的參考，如用一幅純黑的圖像或歸零的數(shù)組來代替文本，一步一步地將其推向被測試的實(shí)例轉(zhuǎn)化。他們通過觀察網(wǎng)絡(luò)運(yùn)行的每一步，從其軌跡推斷出預(yù)測的重要特征。森達(dá)拉拉安在這一比較過程中，找出了辨識他所在谷歌會議室的一些關(guān)鍵特征：杯子、桌子、椅子和電腦構(gòu)成的標(biāo)準(zhǔn)組合?！拔铱梢越o出無數(shù)的理由?！钡偃缒懵{(diào)暗燈光，“在燈光變得很暗時，只有最重要的原因才會凸顯出來?！睆目瞻讌⒖奸_始的轉(zhuǎn)換，可以讓森達(dá)拉拉安捕捉到更多神經(jīng)網(wǎng)絡(luò)的決策，但更深層次懸而未決的問題依然存在。身為父親的森達(dá)拉拉安很熟悉這樣一種心態(tài)，“我有一個4歲的孩子，他讓我不斷想起一個無限回歸的問題：‘為什么？’”

古普塔則采取了一種不同的策略應(yīng)對黑匣子：避開它們。幾年前，古普塔兼職復(fù)雜物理游戲的設(shè)計(jì)師，設(shè)計(jì)一個名為“玻璃盒子”的游戲項(xiàng)目。她的目標(biāo)是通過操控可預(yù)測性來納入神經(jīng)網(wǎng)絡(luò)進(jìn)而對其進(jìn)行解釋，指導(dǎo)原則是一種單調(diào)的變量關(guān)系，在其他變數(shù)相等的情況下，一個變量的增加直接導(dǎo)致另一個變量的增加，如房子的面積和價(jià)格之間的關(guān)系。

古普塔將那些單調(diào)關(guān)系嵌入到一個被稱為插值查詢表的龐大數(shù)據(jù)庫中，它們大體上就像中學(xué)三角函數(shù)后所附的表格，在那里你可以查找到0.5的正弦值。但她的表格不是一個維度上的幾十個條目，而是多個維度上的數(shù)百萬個條目。她把她的表格連接到神經(jīng)網(wǎng)絡(luò)中，有效地增加了一個額外的可預(yù)測的計(jì)算層，她說，這最終將使神經(jīng)網(wǎng)絡(luò)更加可控。

與此同時，卡魯阿納對那次肺炎調(diào)查的教訓(xùn)一直耿耿于懷。為建立一個在準(zhǔn)確性上與深度學(xué)習(xí)相匹配，同時又能避免不透明性的模型，他將目光轉(zhuǎn)向了一個與機(jī)器學(xué)習(xí)并非總有交集的學(xué)科領(lǐng)域：統(tǒng)計(jì)學(xué)。

20世紀(jì)80年代，統(tǒng)計(jì)學(xué)家們開創(chuàng)了一種稱為廣義可加模型（GAM）的技術(shù)，這一方法建立在線性回歸的基礎(chǔ)上，可在一組數(shù)據(jù)中進(jìn)行線性回歸。但GAMs也可以通過多重操作讓數(shù)據(jù)與回歸線性擬合以處理一些棘手的關(guān)系。例如，在對一組數(shù)字進(jìn)行開方計(jì)算的同時，求取另一組數(shù)據(jù)的對數(shù)值?？敯⒓{利用機(jī)器學(xué)習(xí)升級了這一過程，升級版的GAM作為一種更強(qiáng)大的模式識別模型加以利用。“令我們驚訝的是，這種方法在很多問題的解決上都擁有很高的準(zhǔn)確度?！备匾氖牵@中間的每個操作都是透明的。

雖然卡魯阿納的GAMs在處理某些凌亂數(shù)據(jù)時效果不如人工智能，比如神經(jīng)網(wǎng)絡(luò)極其擅長的圖像和聲音等，但是對于任何適合以行和列排列的電子表格的數(shù)據(jù)，比如醫(yī)院記錄，該模型都運(yùn)行良好。例如，卡魯阿納又回到了他原來的那個肺炎病歷檔案上，用他的GAMs重新分析這些記錄，他就可以弄明白為什么人工智能會從錄入數(shù)據(jù)中吸取到錯誤的教訓(xùn)。醫(yī)院通常會將哮喘患者和肺炎一起歸于重癥護(hù)理這一類，以改善和提高對這類患者的護(hù)理服務(wù)。但如果患者病情迅速好轉(zhuǎn)，人工智能會建議將病人送回家進(jìn)行家庭護(hù)理治療（對于同時患有胸痛和心臟病的肺炎病人，也會產(chǎn)生相同的樂觀誤差）。

卡魯阿納已經(jīng)開始向加利福尼亞的一些醫(yī)院推介GAM，如洛杉磯兒童醫(yī)院，這家醫(yī)院里有大約十幾個醫(yī)生對他的模型進(jìn)行了評估。他們花了很大一部分時間來討論GAM所說的肺炎患者的入院情況，并立即得知GAM的決策。“你可能對醫(yī)療保健知之不多，”一位醫(yī)生說，“但你的模型真的知道?！?/p>

有時候，你必須接受黑匣子的“暗箱操作”，這是研究人員追求可解釋性道路的第3條理論。他們說，解釋深層次學(xué)習(xí)的方法是更多的深層次學(xué)習(xí)，而不是探索神經(jīng)網(wǎng)絡(luò)或回避神經(jīng)網(wǎng)絡(luò)。

像許多AI程序員一樣，亞特蘭大喬治亞理工學(xué)院的娛樂智能研究室主任馬克·雷德爾（Mark Riedl）轉(zhuǎn)而利用20世紀(jì)80年代的游戲視頻來測試他新創(chuàng)作的作品。青蛙過街是他最喜歡的題材之一，游戲玩家引導(dǎo)青蛙通過車水馬龍的車道回到池塘目的地。訓(xùn)練神經(jīng)網(wǎng)絡(luò)玩專家級的“青蛙過街”游戲是很容易的，但要解釋人工智能是如何做到的通常更難。

雷德爾讓人類游戲玩家玩游戲，并實(shí)時大聲描述他們的游戲策略，而不是對神經(jīng)網(wǎng)絡(luò)進(jìn)行探究。雷德爾在游戲代碼中還記錄了那些玩家在青蛙過街時的評論，比如，“哦，有車向我這面開過來了，我得跳開了?！备鶕?jù)玩家的實(shí)時描述和游戲中的背景評述這兩種語言，雷德爾訓(xùn)練第2個神經(jīng)網(wǎng)絡(luò)將代碼轉(zhuǎn)換為英語，然后把這個轉(zhuǎn)譯網(wǎng)絡(luò)接入網(wǎng)絡(luò)游戲中，產(chǎn)生一個綜合性的人工智能，這個固定在屏幕一邊的人工智能甚至?xí)l(fā)出表示沮喪的聲音，它會詛咒和抱怨，“呀，太辛苦了?！?/p>

雷德爾稱他的方法為“合理化”，他的目的是要讓日常用戶更多地了解這些幫助人們處理日常事務(wù)或代替人類駕駛汽車的機(jī)器人。“如果我們不能質(zhì)疑它們?yōu)槭裁催@么做，并得到一個合理的回答，那人們很可能會將它們束之高閣?！崩椎聽栒f。但無論這些解釋聽起來多么合情合理，都會導(dǎo)致人們提出另一個問題，他補(bǔ)充道，“在人類失去信任之前，合理化會錯得多么離譜？”

返回優(yōu)步，尤辛斯基被趕出了自己的玻璃小辦公室。優(yōu)步的這些小會議室需求旺盛，而且沒有價(jià)格波動來稀釋人群。他離開了多哈，去往加拿大蒙特利爾，無意識的模式識別過程引導(dǎo)他穿過辦公室迷宮，直到他迷路為止。他的圖像分類器也仍然是一個迷宮，和雷德爾一樣，尤辛斯基也利用第2個人工智能系統(tǒng)幫助他理解第1個系統(tǒng)。首先，尤辛斯基重新調(diào)整了分類器來生成圖像，而不是對圖片進(jìn)行標(biāo)注。然后，他和他的同事給它進(jìn)行靜態(tài)著色，并通過它發(fā)出一個請求信號，例如“更多火山”。他們假設(shè)，神經(jīng)網(wǎng)絡(luò)最終會將這種聲音信號的想法結(jié)合進(jìn)火山圖片中，在某種程度上，它是火山，從人類的眼中看來，它只是灰色而平淡無奇的一團(tuán)東西，但AI和人們所看到的是不同的。

接下來，研究團(tuán)隊(duì)在圖像上發(fā)布了生成性對抗網(wǎng)絡(luò)（GAN），這樣的AI包含兩個神經(jīng)網(wǎng)絡(luò)。從圖像的訓(xùn)練數(shù)據(jù)集中，“生成器”學(xué)習(xí)有關(guān)圖像制作的規(guī)則，并可生成合成圖像。第2個“對抗網(wǎng)絡(luò)”網(wǎng)絡(luò)檢測圖像結(jié)果，判斷圖片是真是假，提示生成器再試一次。這個反復(fù)過程最終會生成包含人眼可識別特征的粗略圖像。

尤辛斯基和他的研究生安·阮（Anh Nguyen）將GAN與他們原始分類器的網(wǎng)絡(luò)內(nèi)層連接起來。這一次，當(dāng)神經(jīng)網(wǎng)絡(luò)被告知要創(chuàng)造 “更多火山”時，GAN采用了分類器學(xué)到過的灰色軟泥，并憑借自己對圖片結(jié)構(gòu)的認(rèn)識，將它解碼結(jié)合進(jìn)一系列人工合成的逼真火山。有些是休眠火山，有些是正在爆發(fā)的火山，有些是夜色下的火山，有些是日光下的火山，還有一些火山可能有缺陷并不完美，但這可能正是分類器知識差距的提示線索。

他們的GAN現(xiàn)在可以綁定到任何使用圖像的神經(jīng)網(wǎng)絡(luò)上，尤辛斯基將它用于為隨機(jī)圖像編寫圖片標(biāo)題的神經(jīng)網(wǎng)絡(luò)以發(fā)現(xiàn)存在的問題，他將神經(jīng)網(wǎng)絡(luò)的設(shè)定過程逆轉(zhuǎn)過來，讓其根據(jù)隨機(jī)輸入的字幕創(chuàng)建合成圖像。在將神經(jīng)網(wǎng)絡(luò)與GAN連接后他發(fā)現(xiàn)了一個驚人的遺漏，提示想象“鳥兒坐在樹枝上”，神經(jīng)網(wǎng)絡(luò)使用GAN傳過來的指令生成了一棵樹和樹枝，但沒有鳥。為什么會這樣？將改變后的圖像轉(zhuǎn)化為原始字幕模型后，他意識到，訓(xùn)練它的字幕作者所描述的樹和樹枝的圖片中都附帶有鳥，人工智能對于鳥已經(jīng)有了一個錯誤的認(rèn)知?！斑@樣的暗示對于AI神經(jīng)網(wǎng)絡(luò)將是一個重要的方向。”尤辛斯基說道。這是一個開始，一張空白地圖上的圖景正在漸漸形成。

一天結(jié)束了，但尤辛斯基的工作似乎才剛剛開始。又有人敲門，尤辛斯基和他的人工智能又被趕出玻璃小隔間會議室。重新回到優(yōu)步的城市迷宮、電腦和人類中。這次他不會再迷路。他走過食物吧，繞過舒適的沙發(fā)，穿過出口來到電梯。這是一種很簡單的模式，他很快就學(xué)會了。

[資料來源：Science][責(zé)任編輯：松 石]