譚婧

如今，信息以光速傳播，錯(cuò)誤信息，混雜其間。小蒙小騙，大欺大詐，干擾選舉，煽動(dòng)暴力，攪動(dòng)政局……

謠言動(dòng)動(dòng)嘴，辟謠跑斷腿。還有一個(gè)噩耗，人工智能也摻和進(jìn)去了。

陽光普照，人工智能賦能百業(yè)千行，挽起袖子進(jìn)車間廠房，提起褲腿下田間地頭。陽光照不到的地方，在Boss直聘上高薪誠聘“資深人工智能算法專家”的也可能是黑色產(chǎn)業(yè)。

人工智能的進(jìn)步，導(dǎo)致計(jì)算機(jī)能隨心所欲地讓視頻中的人物“變臉”，人聲“變調(diào)”。有視頻和錄音“為證”，掀起一場(chǎng)徹底粉碎“不在場(chǎng)證據(jù)”的狂歡。

與此同時(shí)，數(shù)字偽造技術(shù)（Digital Content Forgery）也開始引發(fā)越來越多的探討。

深度偽造技術(shù)，是一次技術(shù)的濫用。啼笑皆非的是，這一技術(shù)的開源社區(qū)還非?；钴S，軟件可以上網(wǎng)免費(fèi)用，“科技作惡”的門檻一降再降。

若以“假臉”論英雄，深度偽造，可謂風(fēng)光一時(shí)。殊不知，人工智能暗藏一股更強(qiáng)大的力量——對(duì)抗樣本（adversarial sample）技術(shù)。

掌握了對(duì)抗樣本，只戴一副打印的紙眼鏡，就可以“弄瞎”手機(jī)鎖屏的人臉識(shí)別。掌握了對(duì)抗樣本，破解APP人臉識(shí)別功能，可以分分鐘假冒支付寶用戶消費(fèi)、授權(quán)網(wǎng)銀轉(zhuǎn)賬、冒充滴滴專車司機(jī)。

鏡頭一：人工智能學(xué)派，幾十年來沐雨櫛風(fēng)，幾經(jīng)浮沉。一代宗師甩袖拋給弟子一本《對(duì)抗攻擊算法拳譜》，飄然遠(yuǎn)走。

鏡頭二：黑客在大雨中狂奔，一個(gè)劇烈的跪滑，表情狂放，仰天長嘯：“到底什么是對(duì)抗樣本？”

鏡頭三：視頻網(wǎng)站B站，瑞萊智慧RealAI公司（下文簡(jiǎn)稱“RealAI公司”）的研究人員，戴上一副紙眼鏡，秒級(jí)“弄瞎”人臉識(shí)別算法。

這已經(jīng)不是我第一次尋訪研究對(duì)抗攻擊算法的科學(xué)家，這次我探訪到了RealAI公司的安全算法負(fù)責(zé)人，蕭子豪。

這位畢業(yè)于清華大學(xué)計(jì)算機(jī)系的碩士，夏天酷愛穿一件簡(jiǎn)單的T恤。他總是聲調(diào)冷靜，節(jié)奏緩慢，像一潭沉靜的湖水。

技術(shù)的魔力，需以一個(gè)實(shí)驗(yàn)來說明，才能眼見為實(shí)。

人臉識(shí)別可以簡(jiǎn)單地理解為把密碼寫在臉上，刷臉就是刷卡。破解了人臉識(shí)別功能，就是破解了身份認(rèn)證的唯一性。黑客佩戴眼鏡之后，會(huì)被人臉識(shí)別算法誤認(rèn)為手機(jī)主人，解鎖手機(jī)。

為什么只戴一副打印的紙眼鏡，就可以“弄瞎”手機(jī)的人臉識(shí)別算法？先講解步驟，再給出前沿學(xué)術(shù)論文的解釋。

第一步，準(zhǔn)備三個(gè)材料：攻擊者的一張照片，受攻擊者的多張照片，和一個(gè)深度學(xué)習(xí)人臉識(shí)別算法模型（開源的模型也可以）。講到這里就順口一提，很多人不在乎隱私保護(hù)，社交網(wǎng)站、朋友圈里有大量眉清目秀、五官清晰的照片，這都可能被黑客惡意保存。

“極端情況下，只用受攻擊者的一張照片也可以，只是成功率會(huì)低一些。”這一句，蕭子豪加重了語氣。

第二步，將三個(gè)材料輸入攻擊算法，生成攻擊人臉識(shí)別算法。這里的攻擊算法就是知識(shí)產(chǎn)權(quán)的核心。算法會(huì)利用人臉識(shí)別算法模型，從受攻擊者的照片中提取他/她的人臉信息，然后在攻擊者的照片上構(gòu)造出攻擊用的對(duì)抗圖案。一般情況下，研究人員稱攻擊算法生成的圖案為對(duì)抗圖案。對(duì)抗圖案疊加在原來的圖片上，得到帶有攻擊功能的圖片，叫對(duì)抗樣本。（對(duì)抗圖案+原有圖片=對(duì)抗樣本，對(duì)抗樣本指的是整張圖，對(duì)抗圖案既可以是局部的，也可以是全局的。）

黑客的眼鏡是算法生成的局部圖案。

第三步，用攻擊算法生成的這張圖，打印制作成眼鏡。表面上，是一副普通的眼鏡。背地里，眼鏡上的局部圖案是對(duì)抗樣本。戴上眼鏡的人，面對(duì)手機(jī)。隨后，發(fā)生不可思議的一幕——佩戴了這副眼鏡，瞬間成功解鎖手機(jī)。

而本文關(guān)注這個(gè)實(shí)驗(yàn)中的三個(gè)知識(shí)點(diǎn)：黑盒、紙眼鏡、遷移性。

這是一個(gè)典型的黑盒攻擊的黑客實(shí)驗(yàn)。

蕭子豪解釋道，進(jìn)行攻擊的算法和遭受攻擊的算法，就像戰(zhàn)爭(zhēng)中的敵我兩方。這兩種算法可能不是同一個(gè)模型，背后原理是抓住了人臉模型之間的相似性（雖然人臉識(shí)別模型各有千秋，但是都屬于深度學(xué)習(xí)模型，免不了會(huì)有相似性）。攻擊算法尋找、挖掘、抓住不同人臉識(shí)別模型之間的相似性，同時(shí)放大，這樣就有攻擊的機(jī)會(huì)。換句話說，只要攻擊者能夠從人臉識(shí)別模型里面挖掘出漏洞（相似性），就能夠攻擊模型。

研發(fā)攻擊算法的過程中，挖掘相似性是一件很耗神、很熬人的事。

我們都知道，手機(jī)里的人臉識(shí)別算法需要將攝像頭采集到的人臉信息作為輸入的信息。手機(jī)上裝載的人臉識(shí)別算法對(duì)黑客來說就是黑盒。因?yàn)樵诠糁?，完全不知道其中的原理，所以稱之為黑盒攻擊。

紙眼鏡有什么講究呢？

眼鏡是一個(gè)物理世界的真實(shí)物件，黑客戴上眼鏡，就是為了改變?nèi)四樏娌康奶卣鳌Ｔ谧鲅坨R的時(shí)候，黑客還要考慮很多來自外部環(huán)境的干擾。室內(nèi)的光照，打印機(jī)的色差，都會(huì)影響攻擊效果。所以，需要有一些色彩矯正算法，或者一些光線補(bǔ)償?shù)乃惴ǎＷC最后打印出來的眼鏡在實(shí)際場(chǎng)景中能夠攻破手機(jī)的人臉識(shí)別算法。

手機(jī)廠商使用的人臉模型和攻擊它的模型，這個(gè)兩個(gè)模型并不相同，為什么就攻擊成功了呢？

答案是遷移性。

蕭子豪說：“借用遷移學(xué)習(xí)的思路，有利于增加對(duì)遷移性的理解?！辈贿^這樣的解釋還不夠有誠意。他又補(bǔ)充道：“好比每個(gè)人都有常識(shí)，神經(jīng)網(wǎng)絡(luò)也有自己的常識(shí)。人和人想法會(huì)差很遠(yuǎn)，神經(jīng)網(wǎng)絡(luò)也是一樣。不同神經(jīng)網(wǎng)絡(luò)之間用不同的語言。但是，可以用常識(shí)溝通彼此都認(rèn)可的事情?！?/p>

“神經(jīng)網(wǎng)絡(luò)也有自己的常識(shí)”是蕭子豪打的一個(gè)比方，他也愿意用“心理學(xué)或者生物學(xué)原理”來替代。

就是說，雖然人和人的想法/體質(zhì)會(huì)差很遠(yuǎn)，但他們都會(huì)有相似的心理或者生理弱點(diǎn)。

前沿論文告訴我們，“對(duì)抗樣本的一個(gè)有趣特性就是具有良好的可遷移性，這使得實(shí)際應(yīng)用的黑盒攻擊變得可行?！?/p>

“通過將動(dòng)量項(xiàng)整合到攻擊的迭代過程中，該方法可以穩(wěn)定更新方向，并在迭代過程中避開局部最大值，從而得出遷移性更優(yōu)的對(duì)抗樣本，進(jìn)一步提高黑盒攻擊的成功率?！?/p>

今時(shí)今日，以對(duì)抗算法的地位，將其定義為人工智能算法前沿，絲毫不為過。而學(xué)術(shù)論文又在為其方法的迭代與演化，提供源源不斷的新鮮思路。

紙眼鏡的思路，也能用在云計(jì)算廠商人臉識(shí)別算法的API攻擊中。

一般情況下，APP開發(fā)者不會(huì)自己研發(fā)人臉識(shí)別算法，而是通過第三方的API接口或SDK組件來獲得人臉識(shí)別功能，這個(gè)第三方，可以是云計(jì)算廠商。黑客直接將對(duì)抗樣本圖上傳到云廠商的API，進(jìn)行攻擊。這種對(duì)抗樣本同樣也可以使亞馬遜、微軟等人臉識(shí)別平臺(tái)的服務(wù)出現(xiàn)嚴(yán)重的識(shí)別錯(cuò)誤。

這也是一個(gè)典型的黑盒攻擊。

將對(duì)抗樣本用紙打印出來，黑客可以直接作為“作案工具”。也就是說，對(duì)抗樣本通過區(qū)區(qū)打印的照片就可以攻擊那些算法工程師冥思苦想才能提高精確度的人臉識(shí)別算法。給人臉識(shí)別系統(tǒng)搗亂，聽上去如此的輕而易舉，似乎成了春田花花幼稚園手工課的作業(yè)。

對(duì)抗樣本技術(shù)，是在用算法欺騙算法。這里的算法，是深度神經(jīng)網(wǎng)絡(luò)算法，是人工智能算法的一種。所以，也算人工智能騙人工智能。

蕭子豪特別提起2017年那場(chǎng)比賽，這是一個(gè)標(biāo)志性事件。參賽團(tuán)隊(duì)均來自全球頂級(jí)院校，清華大學(xué)團(tuán)隊(duì)在競(jìng)賽的全部三個(gè)項(xiàng)目中得到冠軍。由清華大學(xué)博士生董胤蓬、廖方舟、龐天宇及指導(dǎo)老師朱軍、胡曉林、李建民、蘇航組隊(duì)。

朱軍教授在ICLR2020會(huì)議的署名論文數(shù)量排名中，位居世界第二。

競(jìng)賽中，之前的很多積累都用上了，其中一種方法——廣泛的基于梯度的迭代算法來增強(qiáng)對(duì)抗攻擊（Momentum Iterative Method，MIM），被兩位圖靈獎(jiǎng)得主J.Hopcroft教授、G.Hinton教授在ICLR2019等論文中大幅引用，也被該領(lǐng)域主流開源項(xiàng)目FoolBox、Cleverhans等收錄為對(duì)抗攻擊的標(biāo)準(zhǔn)算法。

2017年，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系人工智能實(shí)驗(yàn)室就開始研究這一領(lǐng)域。最初刷學(xué)術(shù)數(shù)據(jù)集，后面不斷地提升攻擊的成功率。有了RealAI公司之后，打磨重點(diǎn)從圖像分類往人臉識(shí)別去切。

一群科研人員掌握獨(dú)門技術(shù)，認(rèn)為技術(shù)切實(shí)可行，判斷應(yīng)用價(jià)值大，那就出發(fā)，冷靜且理性。

算法研究，靠理論指導(dǎo)方向，靠做大量的實(shí)驗(yàn)來實(shí)現(xiàn)，對(duì)抗算法也是如此。理論和其實(shí)現(xiàn)無法替代，實(shí)現(xiàn)的過程需要征服大量細(xì)節(jié)，而細(xì)節(jié)存在于大量的實(shí)驗(yàn)中，多番嘗試，才能追求更好。就好比化學(xué)實(shí)驗(yàn)，摸索某種配方比例。積累得夠久，才會(huì)形成技術(shù)壁壘。

蕭子豪的觀點(diǎn)是，技術(shù)周期上的領(lǐng)先不會(huì)太久，領(lǐng)先6個(gè)月到12個(gè)月，最后也會(huì)都被別人趕超。但是，對(duì)抗算法有一個(gè)獨(dú)特之處，使得其不會(huì)重度依賴從數(shù)據(jù)上獲得的優(yōu)勢(shì)。

人臉識(shí)別算法信奉 “人海戰(zhàn)術(shù)”，越是人臉數(shù)據(jù)訓(xùn)練出來的模型，效果越好。一個(gè)億的人臉數(shù)據(jù)用二流設(shè)計(jì)的算法訓(xùn)練，一千萬人臉數(shù)據(jù)用一流設(shè)計(jì)的算法訓(xùn)練，前者的準(zhǔn)確率往往會(huì)更高。這就是一億人臉數(shù)據(jù)帶來的優(yōu)勢(shì)。

危險(xiǎn)之處還在于，渾然不覺。

安全極客們?cè)阪V光燈下相會(huì)，聚在屬于自己的“光明頂”——GeekPwn國際安全極客大賽。

2018年，選手用對(duì)抗樣本攻擊讓主持人蔣昌建的照片被識(shí)別為施瓦辛格，以此事件“宣告”攻破亞馬遜名人識(shí)別系統(tǒng)。

2019年，對(duì)抗樣本“隱身術(shù)”挑戰(zhàn)目標(biāo)檢測(cè)系統(tǒng)識(shí)別。選手需要在A4紙上打印出干擾識(shí)別的隱身圖案，實(shí)現(xiàn)“隱身”，紙張面積隨意。是的，他們就是想用一張紙騙過監(jiān)控，也就是在監(jiān)控視頻中隱身。

比賽結(jié)果非常驚人，所有的參賽隊(duì)伍都在一米處實(shí)現(xiàn)“隱身”。肉眼看到明明有人，但是檢測(cè)時(shí)就是“瞎了”。清華戰(zhàn)隊(duì)使用的圖像面積最?。?4cm*14cm），所以，成功拿下第一名的桂冠。

蕭子豪也參加了比賽，他告訴我，隱身不同于對(duì)手機(jī)和云廠商API攻擊的地方是：“隱身是攻擊物體檢測(cè)，手機(jī)和云廠商是攻擊人臉識(shí)別，被攻擊的模型不同。物體檢測(cè)模型攻擊難度更大，因?yàn)槠淠Ｐ蛢?nèi)置有對(duì)局部遮擋不敏感的能力。”

即使有高考保送清華的光環(huán)，算法研發(fā)對(duì)蕭子豪也是高強(qiáng)度的腦力工作。

他的體會(huì)是：“把一個(gè)新的事物往前推，是一件很難找到方向的事情。研究算法的過程中，會(huì)被一個(gè)問題困擾一到兩年、或者數(shù)年。如果所有的精力都用來對(duì)抗壓力，人會(huì)被困住，沒有辦法前進(jìn)。有人嘗試個(gè)一兩百次，情緒開始波動(dòng)，就干不下去了。迷茫的新手試錯(cuò)次數(shù)更多，所以，很多人都被阻擋在門外了?！?/p>

火車跑得快，全靠車頭帶。目前，對(duì)抗樣本的“火車頭”并非工業(yè)界，而是學(xué)術(shù)界。

2013年，在谷歌公司約有十年工齡的人工智能科學(xué)家Christian Szegedy和其他研究者先在圖像分類的深度學(xué)習(xí)模型中發(fā)現(xiàn)了對(duì)抗樣本。

隨后，前谷歌大腦的年輕科學(xué)家伊恩·古德費(fèi)洛（Ian Goodfellow）等研究者發(fā)現(xiàn)了快速攻擊的對(duì)抗算法。

而后，對(duì)抗性樣本的研究越來越多。

隨著研究推進(jìn)，文本處理、語音識(shí)別、自動(dòng)駕駛、惡意軟件檢測(cè)等深度學(xué)習(xí)表現(xiàn)好的領(lǐng)域，統(tǒng)統(tǒng)都被對(duì)抗樣本攻擊了，甭管用循環(huán)神經(jīng)網(wǎng)絡(luò)，還是強(qiáng)化學(xué)習(xí)。

“對(duì)抗樣本”驕傲地笑了，它就是能讓人工智能算法失效，讓人工智能算法錯(cuò)誤分類。專業(yè)解釋就是，黑客對(duì)照片里的像素，進(jìn)行不可察覺的微小擾動(dòng)，可以使深度神經(jīng)網(wǎng)絡(luò)以較高的置信度錯(cuò)誤分類。

這里，還有兩個(gè)知識(shí)點(diǎn)，一個(gè)是較高的置信度，另一個(gè)是攻擊結(jié)果。

我相信，這也是人工智能下一步的重要研究方向。”

而學(xué)術(shù)界眾人皆知的秘密——深度神經(jīng)網(wǎng)絡(luò)容易受到對(duì)抗樣本的攻擊，通過添加難以察覺的擾動(dòng)來誤導(dǎo)分類器。這也是質(zhì)疑人工智能技術(shù)不夠安全的原因之一。

而工業(yè)界眾人皆知的秘密——深度神經(jīng)網(wǎng)絡(luò)的安全性和性能同步增長是非常困難的事情。魚和熊掌如何兼得？

哪里有唾手可得的對(duì)抗算法開源？

第一波，由谷歌員工開源的代碼庫Cleverhans，用于對(duì)對(duì)抗示例漏洞進(jìn)行基準(zhǔn)測(cè)試。這是全球最早的開源項(xiàng)目，其中也有清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系人工智能研究所董胤蓬博士的貢獻(xiàn)。

第二波，IBM公司的對(duì)抗性魯棒性工具箱（ART），是目前用于機(jī)器學(xué)習(xí)安全性做得最好的，最全面的代碼庫。IBM公司花了很多力氣在做對(duì)抗算法，也一直在推對(duì)抗樣本攻擊算法與可解釋的人工智能。

第三波，德國圖賓根大學(xué)開源代碼庫Foolbox。它提供了大多數(shù)已發(fā)布的對(duì)抗性攻擊方法，用于基準(zhǔn)測(cè)試。

截至目前，沒有工業(yè)級(jí)別的開源對(duì)抗模型，開源代碼還停留在學(xué)術(shù)數(shù)據(jù)集上使用的階段。沒有定制化的修改，工業(yè)界依然高度依賴學(xué)術(shù)界分享的成果與信息。全球頂級(jí)大廠也把對(duì)抗樣本技術(shù)用在知名產(chǎn)品身上，比如IBM公司的沃森，亞馬遜公司的Alexa，這一次，對(duì)抗樣本的責(zé)任不是攻擊，而是保護(hù)。

天下一物降一物，“深度偽造技術(shù)”也有克制之法。

田天博士告訴我：“深度偽造技術(shù)并非萬無一失。生成的造假視頻的畫面中會(huì)有不自然的紋理存在，讓其學(xué)習(xí)正常情況中的紋理特征，再以此檢測(cè)造假視頻中不一致的紋理，這一方法可以用于打假。

“對(duì)抗樣本”與“深度偽造技術(shù)”都可以造假，到底誰更牛？

田天博士回答道：“對(duì)抗樣本是探究神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)原理，而深度偽造技術(shù)屬于神經(jīng)網(wǎng)絡(luò)的應(yīng)用，如果要一較高下，做應(yīng)用比研究原理簡(jiǎn)單一些。”

“無論何時(shí)，只要人們談及網(wǎng)絡(luò)空間安全形勢(shì)，一定會(huì)用形勢(shì)嚴(yán)峻、應(yīng)對(duì)能力不足等悲觀說法，這往往會(huì)讓決策者感到迷惑：網(wǎng)絡(luò)空間安全領(lǐng)域?yàn)楹慰偸侨鄙僮鳛槟兀俊?/p>

2020年5月，方濱興院士在《人工智能安全》一書中給出的解釋是，新技術(shù)必然會(huì)帶來新的安全問題，這是“伴生效應(yīng)”。