文森特·納瑞格特 陳雯潔

它們是世界上最高級的算法，它們的視覺識別能力比人類還厲害：深度神經(jīng)網(wǎng)絡(luò)只需一瞥便能識別各式各樣的物體，動物、人臉、指示牌……人工智能技術(shù)正在掀起一場全方位的革命。

但這一成功的背后隱藏著一個漏洞，一個誰也沒有料到的驚人軟肋……盡管問題還未在大眾媒體上曝光，但近兩年來已有不少研究團(tuán)隊投入這場救火行動。究竟是什么問題？聽好了：這套無與倫比的算法會被莫名其妙的視錯覺干擾，從而犯下低級錯誤！

選取某物體的一張數(shù)碼照片，巧妙地改動它的幾個像素值……人眼完全看不出修改前后的差別，可算法系統(tǒng)立刻就“看到”了另一個毫不相干的物體。一張稍作處理的熊貓照片，人工智能看到的卻是一只猴子，而且確定程度超過99%。把烏龜看成沖鋒槍，把滑雪者看成狗，把貓看成公交車，把喬治·克魯尼看成達(dá)斯汀·霍夫曼，把橙子看成直升機(jī)……此類案例不一而足。

更糟糕的是，據(jù)美國麻省理工學(xué)院機(jī)器學(xué)習(xí)理論家安德魯·伊利亞斯透露，“現(xiàn)在還沒有人能解釋這一現(xiàn)象”。必須承認(rèn)，信息科學(xué)家至今仍不能理解，在這些極高維度的計算空間里究竟發(fā)生了什么。

這些超現(xiàn)實主義畫派風(fēng)格的“黑客”實驗或許令人發(fā)笑。但你若是知道這些算法將被用于我們的日常生活，就一定笑不出來了。它們可能會把標(biāo)記“?！钡慕煌ㄖ甘九瓶闯伞皟?yōu)先通行”，把紅燈看成綠燈，把惡性腫瘤看成健康器官的一部分，把學(xué)?？闯绍娛麓驌裟繕?biāo)，把炸彈看成三明治，把恐怖分子看成執(zhí)法人員，把一起謀殺看成平常事件，或者反過來……或許幾十年后的信息戰(zhàn)就是這個樣子？

極其簡單的攻擊

在一些大學(xué)及行業(yè)巨頭，如谷歌或臉書的實驗室里進(jìn)行的最新研究顯示，上述風(fēng)險確實存在。“最初的實驗在嚴(yán)格控制的實驗室條件下進(jìn)行，哪怕開放了目標(biāo)模型的所有內(nèi)部參數(shù)，計算時間還是很長。”比利時根特大學(xué)神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)專家喬納森·佩克介紹道，“但現(xiàn)在情況不一樣了，這種襲擊已經(jīng)變得輕而易舉?！?/p>

近期的研究表明，這種細(xì)微的視錯覺在現(xiàn)實應(yīng)用中仍然存在。例如用普通的智能手機(jī)在運動中拍照，在不同角度與光線條件下都會造成人工智能判斷錯誤。美國的一個研究團(tuán)隊證實，在標(biāo)記“?！钡慕煌ㄖ甘九粕险成弦粚淤N紙，對標(biāo)記進(jìn)行精心篡改，人類駕駛員不會上當(dāng)，卻能騙過所有自動駕駛汽車：卡耐基梅隆大學(xué)的研究人員則借助印有圖案的眼鏡，把一個用于面部識別的人工智能程序騙得團(tuán)團(tuán)轉(zhuǎn)。

此類攻擊不但有可能出現(xiàn)在我們的日常生活中，而且實施者根本不需要侵入目標(biāo)系統(tǒng)。“在我最近參與的對某些形式的攻擊的研究中，對手只需用幾張準(zhǔn)備好的圖片對相關(guān)算法進(jìn)行測試，觀察其反應(yīng)即可?！辟e夕法尼亞州立大學(xué)的尼古拉斯·帕佩爾諾表示。他利用這種方法騙過了亞馬遜和谷歌的人工智能機(jī)器人，二者的確信度分別為96%和88%。而雪上加霜的是，針對某一種人工神經(jīng)網(wǎng)絡(luò)設(shè)計的攻擊，通常也能干擾其他架構(gòu)的人工智能。

更何況現(xiàn)在每天都會增加一些新的攻擊形式！谷歌的一個團(tuán)隊剛剛研制出一種奇特而令人生畏的武器：一張貼紙。它十分顯眼，看起來毫無破壞性，可它能讓今天所有的人工智能相信，被它標(biāo)記過的物品或生物都是同一件東西——烤面包機(jī)。

軍備競賽

面對上述威脅，信息技術(shù)領(lǐng)域的部分人員已經(jīng)積極行動起來，尋找解決辦法?！捌鸪跞藗冊O(shè)計這些系統(tǒng)時，并沒有想到它們會面對對手?！蹦峁爬埂づ僚鍫栔Z提醒道。人們想出很多策略來檢測和清除此類惡意干擾，但暫時還沒有找到行之有效的辦法。研究人員幾乎無法從理論上證明人工神經(jīng)網(wǎng)絡(luò)運行可靠，而且一直沒有找到被誤判的圖片的共同特點——去年秋天，加州大學(xué)伯克利分校的一個研究團(tuán)隊輕輕松松就騙過了目前提出的十種探測攻擊圖片的方法。“這段時間我們就像在進(jìn)行某種軍備競賽：研究人員不斷提出新的保護(hù)方案，而其他人幾乎立刻就能攻破它們?！眴碳{森·佩克說。這是一場永遠(yuǎn)不會真正結(jié)束的小游戲。

人工智能的未來會系于此嗎？該漏洞會讓方興未艾的數(shù)碼革命完結(jié)嗎？那些投入數(shù)十億歐元的項目會因此中斷嗎？現(xiàn)在下結(jié)論還為時過早……喬納森·佩克認(rèn)為“風(fēng)險實在太大，可能會減緩甚至終結(jié)自動駕駛汽車的發(fā)展”，而另一些研究人員將這個漏洞看作在關(guān)鍵應(yīng)用中使用人工智能之前所必須克服的一個挑戰(zhàn)。但所有人都同意，這個漏洞可能產(chǎn)生有益的刺激，推動我們在使用這些偶爾“行為詭異”的人工智能算法時，不斷尋求更可靠、更適宜的方式。

（奇 點摘自《新發(fā)現(xiàn)》2018年第9期）