沈培鑫 蔣文杰 李煒康 魯智德 鄧東靈2)?

1) (清華大學(xué)交叉信息研究院, 北京 100084)

2) (上海期智研究院, 上海 200232)

量子人工智能是一個(gè)探究人工智能與量子物理交叉的領(lǐng)域: 一方面人工智能的方法和技術(shù)可以用來解決量子科學(xué)中的問題; 另一方面, 量子計(jì)算的發(fā)展也可能為人工智能, 尤其是機(jī)器學(xué)習(xí), 提供新的范式, 極大促進(jìn)人工智能的發(fā)展. 然而, 量子機(jī)器學(xué)習(xí)和經(jīng)典學(xué)習(xí)系統(tǒng)對(duì)于對(duì)抗樣本同樣具有脆弱性: 在原始數(shù)據(jù)樣本上添加精心制作的微小擾動(dòng)將很可能導(dǎo)致系統(tǒng)做出錯(cuò)誤的預(yù)測(cè). 本文介紹經(jīng)典與量子對(duì)抗機(jī)器學(xué)習(xí)的基本概念、原理、以及最新進(jìn)展. 首先從經(jīng)典和量子兩個(gè)方面介紹對(duì)抗學(xué)習(xí), 通過二維經(jīng)典伊辛模型和三維手征拓?fù)浣^緣體的對(duì)抗樣本揭示出經(jīng)典機(jī)器學(xué)習(xí)在識(shí)別物質(zhì)相時(shí)的脆弱性, 同時(shí)利用手寫字體的對(duì)抗樣本直觀展示出量子分類器的脆弱性. 隨后從理論層面上分別闡述經(jīng)典與量子的“沒有免費(fèi)午餐”定理, 并探討了量子分類器的普適對(duì)抗樣本. 最后, 分析并討論了相應(yīng)的防御策略. 量子人工智能中對(duì)抗學(xué)習(xí)的研究揭示了量子智能系統(tǒng)潛在的風(fēng)險(xiǎn)以及可能的防御策略, 將對(duì)未來量子技術(shù)與人工智能的交叉產(chǎn)生深刻影響.

1 引 言

在過去的十年里, 無論是從圖像識(shí)別[1]到自然語言處理[2], 還是從醫(yī)學(xué)診斷[3]到自動(dòng)駕駛[4], 人工智能領(lǐng)域都取得了巨大的成功, 引發(fā)了現(xiàn)代社會(huì)諸多領(lǐng)域的技術(shù)革命[5,6]. 特別地, 基于人工神經(jīng)網(wǎng)絡(luò)的AlphaGo[7,8]與AlphaFold[9]分別在圍棋和預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)方面取得了里程碑式的突破. 人工智能主要有三條發(fā)展路線: 符號(hào)主義、連接主義與行為主義[10]. 基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)屬于連接主義, 它是實(shí)現(xiàn)人工智能的一個(gè)重要途徑, 近年來發(fā)展非常迅速[11]. 與此同時(shí), 近期實(shí)驗(yàn)上展現(xiàn)的量子優(yōu)越性也標(biāo)志著量子計(jì)算領(lǐng)域[12]取得了開拓性的進(jìn)展[13,14]. 這兩個(gè)快速發(fā)展的領(lǐng)域的交叉融通催生了一個(gè)新的研究前沿—量子人工智能[15—17].一方面, 可以利用人工智能技術(shù)來解決量子科學(xué)中的難題, 例如量子多體問題[18]、量子態(tài)層析[19]、拓?fù)淞孔泳幾g[20]、無序材料中的結(jié)構(gòu)轉(zhuǎn)變[21]、量子非定域性探測(cè)[22]以及物質(zhì)相分類[23—33]等. 另一方面,直接運(yùn)行在量子計(jì)算機(jī)上的量子算法具有巨大的潛力, 可以增強(qiáng)、加速甚至革新[34—41]某些經(jīng)典人工智能算法. 其中具有代表性的算法包括Harrow-Hassidim-Lloyd算法[34]、量子主成分分析[35]、量子生成模型[38—40]和量子支持向量機(jī)[42]等. 毫無疑問,人工智能和量子物理之間的相互融通將極大促進(jìn)兩個(gè)領(lǐng)域的發(fā)展. 當(dāng)前, 量子物理與人工智能的交叉研究主要集中在與機(jī)器學(xué)習(xí)的交叉方面, 與人工智能另外兩條路線(即符號(hào)主義與行為主義)之間的交叉研究還相對(duì)缺乏.

在經(jīng)典人工智能領(lǐng)域, 近期有許多工作揭示出基于深度人工神經(jīng)網(wǎng)絡(luò)的分類器在對(duì)抗場(chǎng)景中的脆弱性[43—45]: 向原始數(shù)據(jù)添加精心制作的微量(甚至是人眼無法察覺的)噪聲, 可能會(huì)導(dǎo)致分類器以非常高的置信度做出錯(cuò)誤的預(yù)測(cè). Szegedy等[46,47]利用一個(gè)著名的例子直觀地展示了深度學(xué)習(xí)的脆弱性: 在初始的熊貓圖像添加了肉眼不可察覺的對(duì)抗噪聲后, 分類器將其錯(cuò)誤地標(biāo)識(shí)為長臂猿, 且置信度大于99% (圖1). 這些精心設(shè)計(jì)用來欺騙分類器的輸入樣本被稱為對(duì)抗樣本. 目前, 人們普遍認(rèn)為對(duì)抗樣本在經(jīng)典機(jī)器學(xué)習(xí)中廣泛存在—無論輸入數(shù)據(jù)類型和神經(jīng)網(wǎng)絡(luò)的細(xì)節(jié)如何, 幾乎所有學(xué)習(xí)模型都易遭受對(duì)抗攻擊[43—45]. 從理論計(jì)算機(jī)科學(xué)的角度來看, 經(jīng)典分類器關(guān)于對(duì)抗微擾的脆弱性與“沒有免費(fèi)午餐”定理之間存在深刻的聯(lián)系. 需要指出的是, 對(duì)抗學(xué)習(xí)中的對(duì)抗樣本與生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)[48]產(chǎn)生的樣本存在本質(zhì)區(qū)別. 前者目的在于攻擊已經(jīng)訓(xùn)練好的學(xué)習(xí)模型, 后者目的在于模擬目標(biāo)數(shù)據(jù)集以生成新的數(shù)據(jù)樣本.

圖1 量子與經(jīng)典對(duì)抗學(xué)習(xí)示意圖 輸入的原始熊貓圖像樣本可以編碼為經(jīng)典或量子數(shù)據(jù), 分類器(包含變分量子線路或人工神經(jīng)網(wǎng)絡(luò))能夠以非常高的準(zhǔn)確率識(shí)別出熊貓; 但添加少量精心制作的噪聲后, 同一分類器將以非常高的置信度把輕微修改過的熊貓圖像錯(cuò)誤分類為長臂猿Fig. 1. A schematic illustration of quantum and classical adversarial learning. The image of a panda can be encoded as classical or quantum data. A classifier, which uses either variational quantum circuits or classical artificial neural networks, can successfully identify the image as a panda with the state-of-the-art accuracy. However, adding a small amount of carefully crafted noise will cause the same classifier to misclassify the slightly modified image into a gibbon with a notably high confidence.

隨著嘈雜中型量子(noisy intermediate-scale quantum, NISQ)時(shí)代的到來, 量子計(jì)算有望在近期的科研應(yīng)用領(lǐng)域中大放異彩[49]. 然而, 盡管量子計(jì)算機(jī)能夠在某些方面展示出超越經(jīng)典計(jì)算機(jī)的性能, 但在對(duì)抗學(xué)習(xí)中也會(huì)展現(xiàn)出脆弱性. 事實(shí)上,量子分類器的脆弱性最近開始受到廣泛關(guān)注[50—52],也因此衍生了一個(gè)全新研究方向—量子對(duì)抗機(jī)器學(xué)習(xí). 文獻(xiàn)[53]在理論上表明, 添加一個(gè)隨著量子分類器比特?cái)?shù)目指數(shù)減小的對(duì)抗微擾(adversarial perturbation)就足以影響學(xué)習(xí)模型的輸出.這表明量子分類器的穩(wěn)健性(robustness)與高維希爾伯特(Hilbert)空間潛在的量子優(yōu)勢(shì)之間存在競(jìng)爭(zhēng)關(guān)系: 展示量子優(yōu)勢(shì)需要高維的希爾伯特空間, 但量子分類器的穩(wěn)健性隨空間維度的增加而減弱. 最近文獻(xiàn)[50]在量子機(jī)器學(xué)習(xí)的框架下探究了不同的對(duì)抗場(chǎng)景, 其諸多數(shù)值實(shí)例表明量子分類器同樣很容易受到精心制作的對(duì)抗樣本的攻擊. 目前這個(gè)新興的研究方向正在迅速增長, 吸引了越來越多來自不同領(lǐng)域研究者的關(guān)注, 但它仍處于起步階段, 許多重要問題仍待探討.

本文首先介紹近期經(jīng)典對(duì)抗機(jī)器學(xué)習(xí)的研究進(jìn)展和技術(shù)方法, 探討其在識(shí)別物質(zhì)相任務(wù)中得到的對(duì)抗樣本實(shí)例. 隨后介紹經(jīng)典機(jī)器學(xué)習(xí)中的“沒有免費(fèi)午餐”定理及其在量子情況下的推廣, 還回顧了對(duì)量子分類器脆弱性的相關(guān)研究. 有工作表明, 研究者可以生成一個(gè)通用的對(duì)抗樣本來迷惑一組不同量子分類器, 同時(shí)也能夠利用一個(gè)普適的對(duì)抗微擾將不同的初始樣本全部變成對(duì)抗樣本[54].基于這些研究結(jié)果, 人們可以針對(duì)性地開發(fā)出實(shí)用的防御策略以對(duì)抗相應(yīng)的攻擊. 通過對(duì)抗訓(xùn)練, 可以使得分類器針對(duì)特定類型的對(duì)抗擾動(dòng)的穩(wěn)健性有顯著提高. 最后, 對(duì)量子人工智能中的對(duì)抗學(xué)習(xí)做出總結(jié)與展望, 希望能給NISQ時(shí)代的量子機(jī)器學(xué)習(xí)提供有價(jià)值的指導(dǎo).

2 經(jīng)典對(duì)抗機(jī)器學(xué)習(xí)

經(jīng)典對(duì)抗機(jī)器學(xué)習(xí)的早期探索可以追溯到垃圾郵件過濾(spam filtering)問題, 即垃圾郵件的發(fā)送方與抵制方的博弈. 一般來說, 用戶的郵箱地址為外界得知后, 一些惡意的群體便可能為了商業(yè)利益等向這個(gè)郵箱發(fā)送廣告郵件甚至電腦病毒. 為了抵御這種侵犯行為, 人們開發(fā)了郵件過濾器以區(qū)分正常郵件與惡意郵件并對(duì)后者加以攔截. 這些早期的郵件過濾器可以看作是線性的分類器, 通過對(duì)郵件中的詞匯與已采集到的惡意郵件的特征詞匯相對(duì)比來做出分類的判斷. 而作為惡意郵件的發(fā)送方, 為了躲過郵件過濾器的檢測(cè), 便會(huì)采取一系列的手段, 如修改惡意郵件的特征詞匯、增加正常詞匯的比例等. 以上便是對(duì)抗機(jī)器學(xué)習(xí)中防御與攻擊的例子. 需要說明的是, 在實(shí)際的對(duì)抗機(jī)器學(xué)習(xí)的運(yùn)行中, 防御與攻擊的發(fā)展往往是一個(gè)迭代的過程, 即攻擊方與防御方都會(huì)根據(jù)對(duì)方技術(shù)的演變而做出相應(yīng)的調(diào)整與改進(jìn), 以提高己方成功的概率.

在上述郵件過濾的對(duì)抗學(xué)習(xí)問題中, Dalvi等[55]以及Lowd和Meek[56]在此背景下研究了線性分類器對(duì)于對(duì)抗樣本的脆弱性. 他們發(fā)現(xiàn), 在不影響郵件包含的目的信息下只對(duì)郵件內(nèi)容做小幅度精心設(shè)計(jì)的修改, 就可以順利地通過過濾器的篩選. Barreno等[57]在2006年首先針對(duì)對(duì)抗機(jī)器學(xué)習(xí)做出了廣泛的討論, 并給出了不同的攻擊分類.此后對(duì)抗機(jī)器學(xué)習(xí)得到了全方位的發(fā)展, 研究內(nèi)容包括攻擊策略與攻擊背景、對(duì)抗攻擊的防御手段、以及機(jī)器學(xué)習(xí)的安全性評(píng)估等[44,45,58,59]. 以下將對(duì)對(duì)抗機(jī)器學(xué)習(xí)做一個(gè)宏觀的介紹, 以及從不同角度對(duì)對(duì)抗機(jī)器學(xué)習(xí)做出分類.

在對(duì)抗過程中, 攻擊者能夠獲得的攻擊目標(biāo)的模型信息(如訓(xùn)練數(shù)據(jù)、模型結(jié)構(gòu)等)在不同的情形下有不同的等級(jí). 根據(jù)對(duì)目標(biāo)的信息由完全了解到完全不了解, 可以將攻擊劃分為白盒攻擊(white-box attack)、灰盒攻擊(gray-box attack)和黑盒攻擊(black-box attack). 對(duì)于攻擊者的能力來說, 我們根據(jù)其可以同時(shí)操縱訓(xùn)練集和測(cè)試集或只能操縱測(cè)試集將其分為毒藥攻擊(poisoning attack)和躲避攻擊(evasion attack). 前文提到的繞過垃圾郵件過濾器便是躲避攻擊的一個(gè)例子, 即通過技術(shù)手段修改測(cè)試集并讓所攻擊的模型給出攻擊者所期望的結(jié)果. 而通過與用戶進(jìn)行交互對(duì)話來改善表現(xiàn)的語音模型則屬于毒藥攻擊中的一類,比如某些惡意用戶帶有歧視性的言論將會(huì)使這個(gè)模型有潛在的風(fēng)險(xiǎn). 此外, 可以將攻擊的目標(biāo)分為無差別攻擊(untargeted attack)和針對(duì)性攻擊(targeted attack). 顧名思義, 無差別攻擊是指攻擊的目的為使分類器分類錯(cuò)誤, 而不關(guān)注將樣本判錯(cuò)成哪個(gè)錯(cuò)誤標(biāo)簽. 針對(duì)性攻擊則希望樣本被錯(cuò)判成某個(gè)特定標(biāo)簽.

對(duì)于防御者而言, 一個(gè)直接的防御方式是根據(jù)攻擊方已有的攻擊手段來重新設(shè)計(jì)和訓(xùn)練機(jī)器學(xué)習(xí)模型, 從而使其具有抵御這一類攻擊的能力. 對(duì)于躲避攻擊中提到的在某一類數(shù)據(jù)微擾得到的對(duì)抗樣本, 可以將其連同原始的標(biāo)簽加入到訓(xùn)練集進(jìn)行訓(xùn)練, 以此來增加模型面對(duì)攻擊時(shí)的抵抗能力—這便是所謂的對(duì)抗訓(xùn)練(adversarial training)[60]. 除此之外, 一個(gè)更加理論化的策略是穩(wěn)健優(yōu)化(robust optimization)[61]. 這個(gè)方法的思想在于把防御的過程看成一個(gè)極小化極大問題(minimax problem), 即通過擾動(dòng)訓(xùn)練集以最大化損失函數(shù), 并通過訓(xùn)練模型來最小化損失函數(shù), 以此讓重新訓(xùn)練的模型獲得較好的防御能力(詳見第5節(jié)的討論).

近年來深度學(xué)習(xí)得到了長足的發(fā)展, 其在人臉識(shí)別、自動(dòng)駕駛等領(lǐng)域的應(yīng)用受到了廣泛的關(guān)注[1,4]. 然而, 研究者們發(fā)現(xiàn)深度學(xué)習(xí)同樣也存在著被對(duì)抗樣本攻擊的威脅[46,48]. 在一個(gè)已經(jīng)訓(xùn)練好的可以正確識(shí)別熊貓的深度學(xué)習(xí)模型中, 即使添加一個(gè)肉眼難以察覺的擾動(dòng), 也很可能會(huì)使這個(gè)模型給出的預(yù)測(cè)結(jié)果變?yōu)殚L臂猿(圖1). 如果這類攻擊沒有得到解決而被惡意者利用, 將會(huì)使深度學(xué)習(xí)的實(shí)際應(yīng)用中存在嚴(yán)重的安全隱患. 例如在自動(dòng)駕駛汽車上, 如果前方一個(gè)停車告示牌被貼上一層精心設(shè)計(jì)的擾動(dòng)薄膜, 被汽車的識(shí)別程序識(shí)別為常速行駛, 便可能引發(fā)安全事故[44]. 因此深度學(xué)習(xí)中的對(duì)抗攻擊和防御策略也受到了廣泛的關(guān)注. 目前已經(jīng)被提出的較為著名的攻擊算法有快速梯度符號(hào)法[62]、基本迭代法[63]、動(dòng)量迭代法[64]、投影梯度下降法[62]等, 這些算法通過精心設(shè)計(jì)的擾動(dòng)來使模型無法給出正確的預(yù)測(cè). 為了防御這些攻擊, 同樣有很多的策略被提出. 除了上文提到的穩(wěn)健優(yōu)化方法, 在深度學(xué)習(xí)中, 隨機(jī)化和去噪往往也有著不錯(cuò)的效果. 這是由于深度學(xué)習(xí)有著較強(qiáng)的表達(dá)能力以及對(duì)隨機(jī)噪聲、去噪操作有著較好的穩(wěn)健性, 而這些操作能夠有效地消除對(duì)抗樣本的擾動(dòng). 在對(duì)抗攻擊與防御策略兩者的快速發(fā)展和博弈中, 這些成果必將為機(jī)器學(xué)習(xí)的安全性和穩(wěn)定性提供有益的指導(dǎo).

3 機(jī)器學(xué)習(xí)物質(zhì)相中的對(duì)抗樣本

在凝聚態(tài)物理中, 識(shí)別不同的物質(zhì)相并分辨出他們之間的相變點(diǎn)是一個(gè)重要且有趣的問題. 近年來, 機(jī)器學(xué)習(xí)在處理這類問題上取得了一系列令人矚目的進(jìn)展[24—33,65—70], 其中包括監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)等方法. 與此同時(shí), 一個(gè)亟待回答的問題是,這些通過機(jī)器學(xué)習(xí)方法所獲得的結(jié)論是否可靠?它們能否抵御得住來自對(duì)抗樣本的攻擊? 針對(duì)這個(gè)問題, 文獻(xiàn)[71]進(jìn)行了一系列的探索, 其研究的內(nèi)容包含經(jīng)典二維伊辛(Ising)模型和三維手征拓?fù)浣^緣體不同物質(zhì)相的分類.

經(jīng)典二維伊辛模型的哈密頓量可以表示為

其中在i點(diǎn)的z方向自旋, 最近鄰自旋的耦合強(qiáng)度設(shè)為單位能量(J=1 ). 為了測(cè)試機(jī)器學(xué)習(xí)關(guān)于對(duì)抗樣本的脆弱性, 采用一個(gè)全連接的前饋神經(jīng)網(wǎng)絡(luò)來訓(xùn)練由蒙特卡羅模擬生成的經(jīng)典自旋構(gòu)型數(shù)據(jù), 其在測(cè)試集的準(zhǔn)確率能夠達(dá)到97%. 在對(duì)抗攻擊的階段, 隨機(jī)選取了一個(gè)鐵磁相樣本, 運(yùn)用對(duì)抗攻擊的算法對(duì)其迭代地增加擾動(dòng), 最終該模型以88%的高置信度將這個(gè)受到擾動(dòng)的樣本錯(cuò)誤地分類為順磁相. 圖2展示了一個(gè)更為極端的例子: 盡管修改前的未擾動(dòng)數(shù)據(jù)(圖2(a))與對(duì)抗樣本(圖2(b))只相差了一個(gè)自旋, 分類模型卻給出了截然不同的預(yù)測(cè)結(jié)果.

對(duì)于拓?fù)湎鄶?shù)據(jù), 考慮一個(gè)三維手征拓?fù)浣^緣體[72,73]:

圖2 機(jī)器學(xué)習(xí)物質(zhì)相中的對(duì)抗樣本 (a)一個(gè)原始的經(jīng)典二維伊辛模型鐵磁相的自旋構(gòu)型; (b)被分類器錯(cuò)誤識(shí)別成順磁相的對(duì)抗樣本, 其相對(duì)于(a)只改變了一個(gè)自旋; (c)一個(gè)原始的三維手征拓?fù)浣^緣體的拓?fù)湎鄻颖? (d)被分類器錯(cuò)誤識(shí)別成其他相的對(duì)抗樣本, 其相對(duì)于(c)只有肉眼難以識(shí)別的細(xì)微差別Fig. 2. Adversarial examples in machine learning phases of matter: (a) A legitimate sample of the spin configuration in the ferromagnetic phase of the two-dimensional (2D) classical Ising model; (b) an adversarial example misclassified as the paramagnetic phase, which only differs from the original legitimate one shown in (a) by a single pixel; (c) a legitimate sample of the topological phase of three-dimensional (3D) chiral topological insulators; (d) an adversarial example misclassified as the other phase, which only differs from the original legitimate one shown in (c) by a tiny amount of noises that are imperceptible to human eyes.

通過這些數(shù)值實(shí)驗(yàn), 可以觀察到在識(shí)別物質(zhì)相及其相變的問題上, 機(jī)器學(xué)習(xí)在對(duì)抗攻擊面前有其脆弱性, 為此需要制定相應(yīng)的防御策略. 特別地,本文以三維卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練拓?fù)湎鄶?shù)據(jù)的例子來演示對(duì)抗訓(xùn)練方法. 在通過快速梯度符號(hào)法和投影梯度下降法等方式獲得對(duì)抗樣本后, 將其與原始數(shù)據(jù)一起作為訓(xùn)練集重新訓(xùn)練神經(jīng)網(wǎng)絡(luò), 所獲得的新模型在對(duì)抗樣本上也具有很高的識(shí)別準(zhǔn)確率.需要指出的是, 上述的防御手段具有一定的局限性: 對(duì)抗訓(xùn)練后的新模型一般只能抵御特定的攻擊方法(訓(xùn)練用的對(duì)抗樣本由此攻擊方法產(chǎn)生), 當(dāng)面對(duì)黑盒攻擊或其他類型的對(duì)抗攻擊時(shí), 需要根據(jù)具體的情形再次重新訓(xùn)練網(wǎng)絡(luò). 以上工作揭示了機(jī)器學(xué)習(xí)應(yīng)用于物質(zhì)相識(shí)別時(shí)潛在的脆弱性, 同時(shí)對(duì)機(jī)器學(xué)習(xí)在其他物理學(xué)問題上的應(yīng)用也提供了有益參考.

4 量子對(duì)抗機(jī)器學(xué)習(xí)

4.1 “沒有免費(fèi)午餐”定理

基于人工智能的技術(shù)早已應(yīng)用在各個(gè)領(lǐng)域, 從日常生活到科學(xué)探究, 從休閑娛樂到工業(yè)生產(chǎn), 逐漸深入人類社會(huì)的各個(gè)方面[10]. 然而在諸如金融、國防、醫(yī)療等對(duì)安全性有著嚴(yán)格要求的領(lǐng)域, 對(duì)抗機(jī)器學(xué)習(xí)的發(fā)展使得人們難以忽略其背后潛藏的風(fēng)險(xiǎn)[74]. 正如前文提到, 在經(jīng)典人工智能領(lǐng)域中有很多攻擊算法可以用于構(gòu)造對(duì)抗樣本, 這使得精心訓(xùn)練的人工智能模型面臨重大的安全挑戰(zhàn)[75]. 從理論上闡明對(duì)抗學(xué)習(xí)和對(duì)抗樣本是一件充滿挑戰(zhàn)但卻意義重大的事情. 對(duì)這一問題的研究不僅可以幫助我們明確經(jīng)典人工智能算法面臨的安全性問題, 更可以指引我們理解量子人工智能算法的相關(guān)性質(zhì)[15—17]. 我們已經(jīng)見證了中等規(guī)模量子信息處理技術(shù)的突破: 谷歌公司53個(gè)超導(dǎo)量子比特的“懸鈴木”量子處理器被成功應(yīng)用于隨機(jī)線路取樣[13];我國76個(gè)光子的量子計(jì)算原型機(jī)“九章”在200 s內(nèi)成功獲得5000萬個(gè)樣本的高斯玻色取樣[14], 均標(biāo)志著量子技術(shù)取得突破性進(jìn)展. 將量子計(jì)算技術(shù)應(yīng)用于人工智能領(lǐng)域是一個(gè)前沿交叉領(lǐng)域, 近年來正蓬勃發(fā)展[17]. 從理論上剖析量子人工智能的原理不僅可以幫助研究人員挖掘其潛力, 更能明確其限制所在, 這是當(dāng)下此領(lǐng)域最為核心的研究內(nèi)容之一. 量子對(duì)抗學(xué)習(xí)就是將對(duì)抗學(xué)習(xí)的思想和技術(shù)應(yīng)用在量子人工智能領(lǐng)域, 這可以幫助研究人員更好地理解其內(nèi)在的性質(zhì)及可能存在的限制.

很多人工智能算法的實(shí)質(zhì)是通過有限的數(shù)據(jù)擬合未知的函數(shù), 以期對(duì)沒有學(xué)習(xí)過的數(shù)據(jù)也能做出精準(zhǔn)的預(yù)測(cè)[76]. 在實(shí)際應(yīng)用中, 人工智能算法可以用于處理多種多樣的問題, 比如在機(jī)器翻譯問題中利用機(jī)器學(xué)習(xí)尋找兩種語言之間的映射, 從而使得計(jì)算機(jī)可以自動(dòng)地將一種語言翻譯成為另一種語言[77]. 未知的函數(shù)可能是非常復(fù)雜的, 比如上面提到的機(jī)器翻譯問題中, 語言所包含的信息量非常龐大, 語言之間的映射是非常復(fù)雜且一般難以直接計(jì)算的[78], 因此需要使用復(fù)雜的學(xué)習(xí)模型從大量數(shù)據(jù)中尋找可能的規(guī)律. Wolpert與Macready[79]早在1997年就提出, 在沒有對(duì)未知函數(shù)做出限制的情況下, 所有的學(xué)習(xí)算法都是無法區(qū)分優(yōu)劣的,這是“沒有免費(fèi)午餐”定理的體現(xiàn). 因此, 對(duì)于待解決問題的先驗(yàn)知識(shí)決定了對(duì)學(xué)習(xí)算法的選擇. 另一方面, 在訓(xùn)練學(xué)習(xí)模型的時(shí)候, 還需要大量的數(shù)據(jù)以提高學(xué)習(xí)模型預(yù)測(cè)新數(shù)據(jù)的準(zhǔn)確率. 一般情況下, 更大的數(shù)據(jù)規(guī)模意味著更準(zhǔn)確的模型, 而數(shù)據(jù)規(guī)模的限制往往會(huì)使得學(xué)習(xí)模型預(yù)測(cè)準(zhǔn)確率降低.事實(shí)上, 數(shù)據(jù)規(guī)模與模型準(zhǔn)確率的關(guān)系也可以通過“沒有免費(fèi)午餐”定理來定量刻畫[80]. 假設(shè)未知函數(shù)f是從有限集合X到有限集合Y的映射,S是包含N個(gè)數(shù)據(jù)的訓(xùn)練集,hS是學(xué)習(xí)算法基于已知的數(shù)據(jù)集S學(xué)習(xí)得到的模型,Rf(hS) 為模型預(yù)測(cè)錯(cuò)誤的概率, 則有如下關(guān)系:

其中|X|,|Y|分別代表集合元素的個(gè)數(shù). (3)式的直觀理解為: 訓(xùn)練數(shù)據(jù)集包含有關(guān)未知函數(shù)的知識(shí),學(xué)習(xí)算法的核心是從中發(fā)現(xiàn)并學(xué)習(xí)其中的知識(shí), 從而應(yīng)用到新的數(shù)據(jù)預(yù)測(cè). 因此, 如果訓(xùn)練數(shù)據(jù)過于稀疏, 其中包含的信息非常稀少, 學(xué)習(xí)算法一般是無法學(xué)習(xí)到足夠的知識(shí)的. 需要指出的是, 上述結(jié)論是針對(duì)最一般情況的平均結(jié)果. 具體到某些特殊的問題, 基于先驗(yàn)知識(shí)仍可能通過較少的數(shù)據(jù)量做出較為準(zhǔn)確的預(yù)測(cè).

量子機(jī)器學(xué)習(xí)使用量子數(shù)據(jù)作為學(xué)習(xí)算法的輸入與輸出. 量子數(shù)據(jù)一般表示為量子比特的物理狀態(tài), 因此全部的量子數(shù)據(jù)構(gòu)成一個(gè)維度指數(shù)增長的希爾伯特空間. 量子學(xué)習(xí)算法的目標(biāo)是從已知的數(shù)據(jù)集中學(xué)習(xí)從輸入空間到輸出空間的未知幺正映射. 經(jīng)典人工智能的學(xué)習(xí)效果用學(xué)習(xí)模型預(yù)測(cè)錯(cuò)誤的概率來表示, 在量子機(jī)器學(xué)習(xí)中, 可以使用學(xué)習(xí)得到的幺正映射與未知的目標(biāo)映射之間的距離RU(VS)來表征學(xué)習(xí)效果. 與經(jīng)典“沒有免費(fèi)午餐”定理相對(duì)應(yīng)的量子“沒有免費(fèi)午餐”定理有如下表述[81]:

其中U是未知的目標(biāo)映射,S是包含N個(gè)量子數(shù)據(jù)的訓(xùn)練集,VS是基于數(shù)據(jù)集S得到的學(xué)習(xí)結(jié)果,d是輸入空間的維度. 與經(jīng)典結(jié)論相比, 可以看到有限數(shù)據(jù)集的大小被希爾伯特空間的維度所替代.在訓(xùn)練集規(guī)模與空間指數(shù)維度相當(dāng)?shù)臅r(shí)候, 一般可以獲得比較好的學(xué)習(xí)效果. 同樣需要指出的是, 這個(gè)結(jié)論是針對(duì)全部可能幺正映射而言, 對(duì)于某些特殊的幺正映射, 通過較少的數(shù)據(jù)量做出較為準(zhǔn)確的預(yù)測(cè)是可能實(shí)現(xiàn)的.

“沒有免費(fèi)午餐”定理給出了訓(xùn)練集規(guī)模與學(xué)習(xí)效果之間的關(guān)系. 在應(yīng)用學(xué)習(xí)算法處理實(shí)際問題的時(shí)候, 由于問題本身的復(fù)雜性, 往往只能獲得一部分的數(shù)據(jù). 另一方面, 即使獲得了大量的數(shù)據(jù),由于現(xiàn)行計(jì)算能力的限制, 學(xué)習(xí)模型的參數(shù)規(guī)模往往受到一定限制. 因此在大部分情況下, 只能獲得對(duì)于目標(biāo)問題的近似解, 這就意味著預(yù)測(cè)一般難以做到完全準(zhǔn)確, 這是對(duì)抗攻擊能夠成功的重要原因.

4.2 量子分類器的脆弱性

分類任務(wù)是一類常見的人工智能任務(wù)[10], 日常生活的人臉識(shí)別[82]、自動(dòng)駕駛[4]中的信號(hào)檢測(cè)、物理研究中的物質(zhì)相識(shí)別[24—33,65—70]等問題, 其內(nèi)核都是分類任務(wù). 在量子人工智能領(lǐng)域, 分類任務(wù)同樣廣泛存在[17]. 不幸的是, 無論是經(jīng)典分類器還是量子分類器, 在面對(duì)精心設(shè)計(jì)的對(duì)抗樣本時(shí), 其預(yù)測(cè)準(zhǔn)確率都會(huì)顯著下降[50,60]. 即使對(duì)抗樣本與原來的樣本相差無幾, 甚至僅僅改變圖片的一個(gè)像素值, 都會(huì)使得分類器分類錯(cuò)誤—這就是分類器的脆弱性.

在前文中已經(jīng)看到, 在使用學(xué)習(xí)模型識(shí)別物質(zhì)相的任務(wù)中[71], 可以使用多種攻擊算法, 讓原本分類正確的樣本在經(jīng)過微小的擾動(dòng)之后被錯(cuò)誤識(shí)別.并且隨著擾動(dòng)強(qiáng)度的增加, 能夠被正確識(shí)別的樣本數(shù)會(huì)迅速下降. 實(shí)際上, 這一現(xiàn)象是廣泛存在的,這是“沒有免費(fèi)午餐”定理與高維數(shù)據(jù)獨(dú)特的統(tǒng)計(jì)性質(zhì)相結(jié)合的結(jié)果. 學(xué)習(xí)任務(wù)的全部數(shù)據(jù)的集合構(gòu)成一個(gè)概率空間, 任意數(shù)據(jù)出現(xiàn)概率即是其在這個(gè)空間中的體積. 因此, 全部數(shù)據(jù)組成的集合是以概率為測(cè)度的測(cè)度空間. 同時(shí)還需要衡量數(shù)據(jù)受擾動(dòng)的強(qiáng)度, 因此我們引入距離函數(shù)來衡量擾動(dòng)前后數(shù)據(jù)之間的差別. 裝備了距離函數(shù)的高維測(cè)度空間有一個(gè)非常重要的現(xiàn)象叫做測(cè)度集中[83]. 物理上有許多這樣的例子, 比如對(duì)于平衡狀態(tài)下的自由粒子集合. 經(jīng)典統(tǒng)計(jì)力學(xué)告訴我們, 這些系統(tǒng)的狀態(tài)總可以使用一些簡單的宏觀量來描述, 這些宏觀量就是系統(tǒng)微觀狀態(tài)的平均. 進(jìn)一步的計(jì)算可以證明,隨著系統(tǒng)粒子數(shù)的增加, 平衡狀態(tài)下系統(tǒng)偏離這些統(tǒng)計(jì)平均值的概率迅速下降, 即是在相空間中, 系統(tǒng)微觀狀態(tài)的概率展現(xiàn)了集中的性質(zhì)[84].

在經(jīng)典人工智能領(lǐng)域, “沒有免費(fèi)午餐”定理告訴我們, 在實(shí)際情況下難以得到預(yù)測(cè)完全正確的學(xué)習(xí)結(jié)果. 因此在數(shù)據(jù)組成的測(cè)度空間中, 總是能夠找到被分類錯(cuò)誤的數(shù)據(jù)集合B. 假設(shè)數(shù)據(jù)集所在的空間具備概率集中性質(zhì), 大部分?jǐn)?shù)據(jù)點(diǎn)存在于錯(cuò)誤分類的集合B附近, 從而微小的擾動(dòng)就可以使得原本分類正確的樣本得到錯(cuò)誤的分類結(jié)果. 使用k代表分類的類別,h代表學(xué)習(xí)算法給出的映射,acc?代表在強(qiáng)度?的擾動(dòng)下分類器的準(zhǔn)確率, 那么可以得到如下關(guān)系[85]:

其中σk是與數(shù)據(jù)空間幾何性質(zhì)相關(guān)的常數(shù),?0是與分類器準(zhǔn)確率相關(guān)的常數(shù). 可以看到, 在存在擾動(dòng)的情況下, 分類器的準(zhǔn)確率隨擾動(dòng)強(qiáng)度的增加而指數(shù)下降. 這一結(jié)論在使用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別MNIST數(shù)據(jù)集的實(shí)驗(yàn)中得到了驗(yàn)證[85].

在量子人工智能領(lǐng)域, 可以通過在 S U(d) 中選擇幺正變換作用在固定初始態(tài)以制備量子數(shù)據(jù),因此可以將對(duì)量子態(tài)的分類轉(zhuǎn)換為對(duì)幺正變換的分類, 其中d是對(duì)應(yīng)希爾伯特空間的維度. 裝備了Haar測(cè)度和Hilbert-Schmidt距離的 S U(d) 是一個(gè)具有測(cè)度集中性質(zhì)的空間, 因此有類似的關(guān)系[53]:

其中?為對(duì)數(shù)據(jù)擾動(dòng)的強(qiáng)度,d為希爾伯特空間維度,acc為分類器的準(zhǔn)確率,acc?為允許強(qiáng)度為?的擾動(dòng)下分類器的準(zhǔn)確率. 可以發(fā)現(xiàn), 量子分類器的準(zhǔn)確率同樣隨擾動(dòng)強(qiáng)度的增加而指數(shù)下降.

分類器的脆弱性是一個(gè)內(nèi)稟的性質(zhì), 不依賴于學(xué)習(xí)模型或算法的具體細(xì)節(jié). “沒有免費(fèi)午餐”定理表明, 在很多情況下會(huì)得到問題的近似解, 總是存在一部分?jǐn)?shù)據(jù)被分類錯(cuò)誤, 這是其脆弱性的根本原因. 人工智能算法一般用于處理復(fù)雜的高維數(shù)據(jù),而高維數(shù)據(jù)所表現(xiàn)出的測(cè)度集中的性質(zhì)是分類器準(zhǔn)確率急劇下降的重要原因. 大部分?jǐn)?shù)據(jù)分布在錯(cuò)誤分類的數(shù)據(jù)附近, 一些微小的擾動(dòng)就可以使其分類錯(cuò)誤. 這兩個(gè)原因使得分類器的脆弱性成為一個(gè)難以避免的問題.

4.3 量子分類器的對(duì)抗樣本

接下來介紹如何在不同模式下生成攻擊量子分類器的對(duì)抗樣本. 根據(jù)攻擊者對(duì)量子分類器和學(xué)習(xí)算法的掌握情況, 分為白盒攻擊和黑盒攻擊兩個(gè)模式. 白盒攻擊模式假設(shè)攻擊者掌握量子分類器和學(xué)習(xí)算法的全部信息. 在白盒攻擊模式下, 探討針對(duì)性攻擊和無差別攻擊兩種情況. 在黑盒攻擊模式下, 攻擊者掌握極少(甚至沒有)關(guān)于量子分類器和訓(xùn)練算法的信息.

4.3.1 白盒攻擊模式: 無差別攻擊

無差別攻擊以分類器識(shí)錯(cuò)樣本為目的, 在多分類問題中, 攻擊者并不在意將樣本判錯(cuò)成哪個(gè)錯(cuò)誤標(biāo)簽. 在經(jīng)典對(duì)抗學(xué)習(xí)領(lǐng)域有一個(gè)著名的例子: 攻擊者戴上一個(gè)精心設(shè)計(jì)的眼鏡便可以迷惑面部識(shí)別系統(tǒng)從而假裝成其他人[86]. 考慮到在白盒攻擊模式下, 攻擊者掌握量子分類器的結(jié)構(gòu)和學(xué)習(xí)算法, 他們可以先用某個(gè)數(shù)據(jù)集先訓(xùn)練量子分類器,使得該量子分類器達(dá)到很高的準(zhǔn)確率, 然后固定分類器里已訓(xùn)練好的量子門參數(shù), 將施加在樣本數(shù)據(jù)上的微擾視為優(yōu)化參數(shù), 希望求得最優(yōu)的擾動(dòng)函數(shù), 使得量子分類器最大概率識(shí)錯(cuò)該數(shù)據(jù)集上的對(duì)抗樣本, 即最大化如下?lián)p失函數(shù):

其中Θ?是量子分類器中已訓(xùn)練好的參數(shù),|ψ〉in是輸入數(shù)據(jù)樣本,Uδ是施加在|ψ〉in上的、限制在 Δ 以內(nèi)的對(duì)抗微擾,a是樣本對(duì)應(yīng)的正確標(biāo)簽,h是分類器基于已知的數(shù)據(jù)集學(xué)習(xí)得到的模型,L是常用的交叉熵?fù)p失函數(shù). 圖3(a)展示了在手寫字體MNIST數(shù)據(jù)集上的無差別攻擊結(jié)果. 可以發(fā)現(xiàn),在所有原始樣本上添加很小的、肉眼幾乎不可分辨的微擾, 就能以很大概率獲得被分類器識(shí)別錯(cuò)的對(duì)抗樣本. 并且當(dāng)對(duì)抗樣本數(shù)據(jù)和原始數(shù)據(jù)之間相似度降低到73%時(shí), 所有的對(duì)抗樣本都會(huì)被識(shí)別錯(cuò),這說明了量子分類器的脆弱性[50].

圖3 量子分類器在識(shí)別MNIST中手寫字體圖片時(shí)的對(duì)抗樣本 (a)經(jīng)過無差別攻擊, 量子分類器以極高置信度將數(shù)字7, 9分別識(shí)別成9, 7, 即使對(duì)抗樣本和初始樣本的差別非常微小; (b)通過針對(duì)性攻擊, 量子分類器將把對(duì)抗樣本預(yù)測(cè)為給定錯(cuò)誤標(biāo)簽, 盡管對(duì)抗樣本和初始樣本相差無幾Fig. 3. Adversarial examples in quantum learning of MNIST hand-written images: (a) After untargeted attacks, the quantum classifier will misclassify the images of digit 7 (9)as digit 9 (7) with notably high confidence, although the differences between the adversarial and legitimate images are tiny; (b) after targeted attack, the quantum classifier will misclassify the adversarial examples into the category with the targeted label, even though the adversarial and legitimate images only differ slightly from each other.

4.3.2 白盒攻擊模式: 針對(duì)性攻擊

針對(duì)性攻擊目的是讓分類器將帶有某種標(biāo)簽的樣本數(shù)據(jù)錯(cuò)判成攻擊者期望的標(biāo)簽. 比如攻擊者可以試圖迷惑帶有面部識(shí)別系統(tǒng)的電子產(chǎn)品并將他識(shí)別成該產(chǎn)品的實(shí)際擁有者, 從而取得該電子產(chǎn)品的控制權(quán)[86]. 由于要針對(duì)性地讓對(duì)抗樣本被預(yù)測(cè)為某一個(gè)特定標(biāo)簽, 考慮最小化如下?lián)p失函數(shù):

其中a(t)是攻擊者期望的標(biāo)簽(與初始正確的標(biāo)簽a不同),是施加在|ψ〉in上的對(duì)抗微擾. 在圖3(b)中, 從MNIST數(shù)據(jù)集中隨機(jī)選取數(shù)字1,3, 7, 9的原始樣本各一個(gè), 采用基本迭代法[63]最小化(8)式以得到相應(yīng)的對(duì)抗樣本. 盡管原始樣本和相應(yīng)的對(duì)抗樣本之間的區(qū)別肉眼幾乎無法察覺,但是添加微擾之后, 數(shù)字9, 1, 3, 7將會(huì)被量子分類器分別識(shí)別成1, 3, 7, 9. 這表明在針對(duì)性模式下, 量子分類器也是易受攻擊的[50].

4.3.3 黑盒攻擊模式

在黑盒攻擊模式下, 攻擊者掌握極少(甚至沒有)關(guān)于量子分類器和訓(xùn)練算法的信息, 這種情況在實(shí)際情況中更為普遍, 所以攻擊者難以直接根據(jù)分類器結(jié)構(gòu)特征來生成對(duì)抗樣本. 但是由于對(duì)抗樣本的可傳遞性(能夠欺騙某一個(gè)機(jī)器學(xué)習(xí)模型的對(duì)抗樣本, 也會(huì)有一定的概率可以成功欺騙其他模型), 攻擊者仍然能夠在不掌握量子分類器的具體信息, 甚至沒有量子資源的情況下, 產(chǎn)生能夠欺騙量子分類器的對(duì)抗樣本[46,47,87].

文獻(xiàn)[50]探究了對(duì)抗樣本在經(jīng)典機(jī)器學(xué)習(xí)模型之間, 以及經(jīng)典機(jī)器學(xué)習(xí)模型和量子機(jī)器學(xué)習(xí)模型之間的可傳遞性. 作者先用MNIST數(shù)據(jù)集訓(xùn)練好兩個(gè)經(jīng)典分類器(卷積神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)), 再在白盒無差別攻擊模式下, 采用不同的迭代方法分別生成它們的對(duì)抗樣本, 最后檢驗(yàn)訓(xùn)練好的量子分類器識(shí)別這些對(duì)抗樣本的準(zhǔn)確率. 結(jié)果表明, 盡管量子分類器和經(jīng)典分類器的結(jié)構(gòu)差異巨大, 但是基于經(jīng)典機(jī)器學(xué)習(xí)模型所生成的對(duì)抗樣本也可以用來有效攻擊量子機(jī)器學(xué)習(xí)系統(tǒng).

4.3.4 對(duì)抗微擾并不是隨機(jī)噪聲

以上揭示了量子機(jī)器學(xué)習(xí)系統(tǒng)在面對(duì)對(duì)抗微擾時(shí)普遍存在的脆弱性. 值得強(qiáng)調(diào)的是, 對(duì)抗微擾并不是隨機(jī)噪聲, 而是精心設(shè)計(jì)的擾動(dòng). 文獻(xiàn)[50]分別將隨機(jī)噪聲和對(duì)抗微擾施加在原始數(shù)據(jù)上, 對(duì)比它們對(duì)分類器識(shí)別準(zhǔn)確率的影響. 結(jié)果表明, 當(dāng)施加非關(guān)聯(lián)退相干噪聲的時(shí)候, 識(shí)別準(zhǔn)確率將隨著相似度(原始樣本和對(duì)抗樣本之間的保真度)的降低而線性減小[50]. 這種準(zhǔn)確率和穩(wěn)健性之間的折衷關(guān)系在考慮完全未知的噪聲時(shí)也有所體現(xiàn)[51].但是在施加對(duì)抗微擾的情況下, 當(dāng)相似度偏離100%時(shí), 識(shí)別準(zhǔn)確率將顯著減少, 甚至當(dāng)準(zhǔn)確率為0的時(shí)候, 相似度還可以維持在較高的水平[50]. 這表明了對(duì)抗微擾并不是隨機(jī)噪聲, 同時(shí)也體現(xiàn)了量子分類器針對(duì)隨機(jī)噪聲具有很好的穩(wěn)健性.

4.4 對(duì)抗樣本的普適性

上述討論了對(duì)于某一個(gè)特定分類器, 在不同攻擊模式下生成對(duì)抗樣本的過程. 目前已經(jīng)知道, 添加一個(gè)隨著量子分類器比特?cái)?shù)目n指數(shù)減小的對(duì)抗微擾就足以得到對(duì)抗樣本, 即對(duì)抗微擾強(qiáng)度?的下限隨著量子線路規(guī)模的增大而指數(shù)降低[53]. 文獻(xiàn)[54]在此基礎(chǔ)上將以上結(jié)論推廣到k個(gè)分類器:?～O(lnk/2n)的對(duì)抗微擾就足以生成一個(gè)以較大概率同時(shí)欺騙k個(gè)分類器的對(duì)抗樣本. 這個(gè)結(jié)論根本源于高維希爾伯特空間中的測(cè)度集中現(xiàn)象[88],與量子分類器的具體結(jié)構(gòu)、訓(xùn)練算法以及數(shù)據(jù)集無關(guān).

此外, 文獻(xiàn)[54]還證明了對(duì)于一個(gè)給定的量子分類器, 將一個(gè)普適的對(duì)抗微擾施加在m個(gè)不同的初始樣本上, 則量子分類器的判錯(cuò)率至少以1-δ(0＜δ＜1)的概率限制在內(nèi)稟錯(cuò)誤率附近[89]:

其中,RE是量子分類器的判錯(cuò)率,μ(E) 是給定量子分類器在Haar測(cè)度下無對(duì)抗攻擊時(shí)的內(nèi)稟錯(cuò)誤率,E是誤分類的數(shù)據(jù)集. (9)式說明當(dāng)m越大時(shí),量子分類器的判錯(cuò)率越接近于內(nèi)稟錯(cuò)誤率. 當(dāng)m非常大時(shí), 可以用內(nèi)稟錯(cuò)誤率來估算量子分類器的判錯(cuò)率.

進(jìn)一步地, 文獻(xiàn)[54]證明內(nèi)稟錯(cuò)誤率的期望值滿足如下不等式[80,81,90]:

其中U是未知的真實(shí)目標(biāo)映射,S是規(guī)模為N的訓(xùn)練集,d是輸入空間的維度,d′是輸出標(biāo)簽的數(shù)目. 從(10)式可以看出, 內(nèi)稟錯(cuò)誤率的期望值隨著輸出標(biāo)簽數(shù)或訓(xùn)練集數(shù)目的增加而減小, 隨著樣本空間的維度增大而增大. 當(dāng)d趨于無窮時(shí), 內(nèi)稟錯(cuò)誤率會(huì)逼近100%, 且與量子分類器的結(jié)構(gòu)和訓(xùn)練算法無關(guān).

綜上所述, 盡管在所有可能的數(shù)據(jù)樣本中添加單一的對(duì)抗微擾平均而言并不會(huì)使對(duì)抗風(fēng)險(xiǎn)增大.但是對(duì)僅包含m個(gè)初始樣本的有限集合而言, 單一的對(duì)抗微擾仍然可能會(huì)增加量子分類器的判錯(cuò)率. 文獻(xiàn)[54]通過詳實(shí)的數(shù)值實(shí)驗(yàn)證實(shí)這種普適對(duì)抗微擾的存在: 將其添加到一組不同的初始樣本中, 便能以極大概率生成一組對(duì)抗樣本同時(shí)欺騙某個(gè)特定的分類器.

5 防 御

通過以上的討論可以清楚地得到, 經(jīng)典和量子的分類器都很容易受到對(duì)抗微擾的影響—對(duì)抗樣本普遍存在. 這可能引發(fā)人們對(duì)量子學(xué)習(xí)系統(tǒng)可靠性的關(guān)切, 尤其在那些安全性至關(guān)重要的領(lǐng)域,例如自動(dòng)駕駛[4]和醫(yī)療診斷[74]等. 因此, 研究可能的防御策略以提高量子分類器的穩(wěn)健性具有重要的理論與實(shí)際意義[91].

實(shí)際上, 完全消除對(duì)抗攻擊帶來的風(fēng)險(xiǎn)是非常困難的. 首先, 很難為對(duì)抗學(xué)習(xí)過程創(chuàng)建一個(gè)精確的理論模型. 這是一個(gè)高度非線性且復(fù)雜的非凸優(yōu)化過程, 目前缺乏適當(dāng)?shù)睦碚摴ぞ邅矸治鏊黐61]. 因此, 要從理論上分析并闡明一個(gè)特定的防御策略能否防御對(duì)抗攻擊是極其困難的. 此外, 要達(dá)到防御對(duì)抗攻擊的目的, 我們希望分類器能夠?qū)γ糠N可能的輸入產(chǎn)生正確的輸出, 其數(shù)量通常隨著問題的變大而指數(shù)增長. 原則上這要求學(xué)習(xí)模型的復(fù)雜度指數(shù)增長. 在大多數(shù)情況下, 機(jī)器學(xué)習(xí)模型只能在所有可能輸入的一小部分樣本中具有良好表現(xiàn)[10,11,76].

盡管如此, 近年來在經(jīng)典對(duì)抗機(jī)器學(xué)習(xí)領(lǐng)域,人們提出了多種防御策略來減小對(duì)抗樣本帶來的影響, 其中包括對(duì)抗訓(xùn)練[60]、梯度隱藏[92]、量子噪聲添加[91]、防御性蒸餾[93]和防御-生成對(duì)抗網(wǎng)絡(luò)(defense-generative adversarial network, defense-GAN)[94]等. 每種策略都有其自身的優(yōu)點(diǎn)和缺點(diǎn),然而并沒有一個(gè)策略能夠應(yīng)對(duì)所有類型的對(duì)抗攻擊. 本節(jié)探討如何提高量子分類器關(guān)于對(duì)抗攻擊的穩(wěn)健性. 數(shù)值實(shí)驗(yàn)表明, 前文提到的對(duì)抗訓(xùn)練方法可以顯著提高量子分類器在防御特定對(duì)抗攻擊時(shí)的表現(xiàn).

對(duì)抗訓(xùn)練的基本思想是通過將對(duì)抗樣本注入訓(xùn)練集中來增強(qiáng)模型的穩(wěn)健性. 這是一種非常簡單且直接的方法: 給定多種攻擊策略生成的對(duì)抗樣本, 可以把這些對(duì)抗樣本與初始樣本結(jié)合成新的訓(xùn)練集, 并重新訓(xùn)練分類器. 特別地, 如果采用穩(wěn)健優(yōu)化[61]方法來訓(xùn)練量子分類器, 那么可以將任務(wù)歸結(jié)于一個(gè)典型的極小化極大的優(yōu)化問題:

值得一提的是, 雖然經(jīng)過對(duì)抗訓(xùn)練的量子分類器針對(duì)某類對(duì)抗擾動(dòng)的穩(wěn)健性確實(shí)會(huì)得到顯著提升, 但是一般只能對(duì)由相同攻擊方法生成的對(duì)抗樣本表現(xiàn)良好. 當(dāng)攻擊者采用其他攻擊策略時(shí), 分類器的防御性能可能急劇下降. 此外由于黑盒攻擊的梯度掩蔽(gradient masking), 對(duì)抗訓(xùn)練傾向于使量子分類器在防御白盒攻擊上相比于黑盒攻擊更加穩(wěn)健[87,92]. 實(shí)際上, 盡管一種防御策略可以抵抗針對(duì)量子分類器的一種攻擊方式, 但是其將不可避免地會(huì)給知道并了解其防御機(jī)制的攻擊者開放另一種漏洞.

在經(jīng)典對(duì)抗學(xué)習(xí)領(lǐng)域, 另一種新的防御機(jī)制最近受到了廣泛關(guān)注, 它可以有效地應(yīng)對(duì)白盒和黑盒攻擊. 這便是上文提到的defense-GAN[94]. 該機(jī)制不直接把輸入樣本導(dǎo)入分類器, 而是首先把樣本導(dǎo)入GAN的生成器中重新生成輸入數(shù)據(jù), 然后再將其輸入分類器. 該防御策略的核心在于利用GAN強(qiáng)大的表達(dá)能力減弱甚至過濾掉對(duì)抗微擾帶來的影響. 最近GAN的量子版本(QGAN)已經(jīng)在理論上被提出[39,95], 同時(shí)QGAN的實(shí)驗(yàn)原型機(jī)也在超導(dǎo)量子電路上得以實(shí)現(xiàn)[40,96]. 研發(fā)一個(gè)defense-QGAN來增強(qiáng)量子分類器關(guān)于對(duì)抗微擾的穩(wěn)健性也是至關(guān)重要的, 這將是未來一個(gè)有趣且充滿前景的研究方向.

6 總結(jié)與展望

本文系統(tǒng)地回顧了經(jīng)典和量子機(jī)器學(xué)習(xí)在不同情況下關(guān)于對(duì)抗樣本的脆弱性. 由于測(cè)度集中現(xiàn)象[88], 對(duì)抗樣本存在的普遍性是高維空間中量子機(jī)器學(xué)習(xí)應(yīng)用的基本特征. 無論是經(jīng)典還是量子的分類器, 在原始數(shù)據(jù)中添加精心設(shè)計(jì)的細(xì)微擾動(dòng)都可能導(dǎo)致分類器以非常高的置信度做出錯(cuò)誤的預(yù)測(cè). 本文總結(jié)了針對(duì)多種不同的任務(wù)和分類器生成對(duì)抗樣本的通用方法, 并回顧了在不同對(duì)抗環(huán)境中的具體示例. 通過對(duì)抗訓(xùn)練, 研究人員發(fā)現(xiàn)分類器對(duì)于特定類型的對(duì)抗擾動(dòng)的脆弱性可以得到顯著抑制.

值得強(qiáng)調(diào)的是, 本文所討論的量子對(duì)抗學(xué)習(xí)與前面提到的QGAN存在本質(zhì)區(qū)別[39,40,43,95,97]. QGAN包含兩個(gè)主要部分: 生成器和判別器. 它們通過對(duì)抗博弈的方式進(jìn)行交替訓(xùn)練: 在每個(gè)學(xué)習(xí)回合中,判別器都會(huì)優(yōu)化其策略, 以識(shí)別生成器產(chǎn)生的虛假數(shù)據(jù), 而生成器會(huì)進(jìn)一步更新其偽造數(shù)據(jù)的機(jī)制來欺騙判別器. 最終, 這種動(dòng)態(tài)博弈的訓(xùn)練過程將達(dá)到納什(Nash)均衡. 理想情況下, 生成器在達(dá)到納什均衡后生成的數(shù)據(jù)將與原始訓(xùn)練集中的真實(shí)數(shù)據(jù)滿足相同的統(tǒng)計(jì)規(guī)律, 而辨別器將不能以大于一半的概率分辨出偽造的數(shù)據(jù). 因此, QGAN的主要目標(biāo)是生成匹配原始訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)信息的新數(shù)據(jù)(無論是經(jīng)典的或量子的). 與之不同的是, 本文介紹的對(duì)抗學(xué)習(xí)主要側(cè)重如何生成對(duì)抗樣本以及如何防御對(duì)抗攻擊.

本文僅揭示了對(duì)抗學(xué)習(xí)的冰山一角, 該領(lǐng)域還有許多重要問題值得進(jìn)一步研究. 本文的總結(jié)主要集中在基于人工神經(jīng)網(wǎng)絡(luò)和變分量子線路的監(jiān)督學(xué)習(xí)上, 但是無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)也可能遭受脆弱性問題的困擾[59]. 因此, 將對(duì)抗學(xué)習(xí)推廣到其他機(jī)器學(xué)習(xí)類型或許是可行的. 另外, 我們猜想深度學(xué)習(xí)中對(duì)抗微擾的普遍存在性與量子多體物理中的正交災(zāi)難現(xiàn)象(即添加任意弱的局部擾動(dòng)后,量子系統(tǒng)的基態(tài)在熱力學(xué)極限下與原始基態(tài)正交)[98,99]之間可能存在深遠(yuǎn)的聯(lián)系. 最后, 設(shè)計(jì)并進(jìn)行一個(gè)實(shí)驗(yàn)來展示對(duì)抗樣本的普遍性和普適微擾的存在性也亟待研究. 這將是未來量子技術(shù)在人工智能中實(shí)際應(yīng)用的重要一步, 尤其是在安全性至關(guān)重要的領(lǐng)域, 例如無人駕駛汽車、惡意軟件檢測(cè)、生物識(shí)別和醫(yī)療診斷[74]等.

感謝清華大學(xué)交叉信息研究院龔維元、蔣飔和馬克斯-普朗克研究所陸思銳的有益討論.