宋蕾，馬春光，段廣晗

?

機(jī)器學(xué)習(xí)安全及隱私保護(hù)研究進(jìn)展

宋蕾，馬春光，段廣晗

（哈爾濱工程大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150001）

機(jī)器學(xué)習(xí)作為實(shí)現(xiàn)人工智能的一種重要方法，在數(shù)據(jù)挖掘、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域得到廣泛應(yīng)用。隨著機(jī)器學(xué)習(xí)應(yīng)用的普及發(fā)展，其安全與隱私問(wèn)題受到越來(lái)越多的關(guān)注。首先結(jié)合機(jī)器學(xué)習(xí)的一般過(guò)程，對(duì)敵手模型進(jìn)行了描述。然后總結(jié)了機(jī)器學(xué)習(xí)常見(jiàn)的安全威脅，如投毒攻擊、對(duì)抗攻擊、詢問(wèn)攻擊等，以及應(yīng)對(duì)的防御方法，如正則化、對(duì)抗訓(xùn)練、防御精餾等。接著對(duì)機(jī)器學(xué)習(xí)常見(jiàn)的隱私威脅，如訓(xùn)練數(shù)據(jù)竊取、逆向攻擊、成員推理攻擊等進(jìn)行了總結(jié)，并給出了相應(yīng)的隱私保護(hù)技術(shù)，如同態(tài)加密、差分隱私。最后給出了亟待解決的問(wèn)題和發(fā)展方向。

機(jī)器學(xué)習(xí)；安全威脅；防御技術(shù)；隱私保護(hù)

1 引言

機(jī)器學(xué)習(xí)是人工智能技術(shù)之一，近些年來(lái)，隨著其不斷成熟而飛速發(fā)展，大量企業(yè)在機(jī)器學(xué)習(xí)領(lǐng)域取得了突破性進(jìn)展，如在醫(yī)療、圖像處理、網(wǎng)絡(luò)空間安全等領(lǐng)域中都得到了廣泛應(yīng)用。隨著深度學(xué)習(xí)的興起，機(jī)器學(xué)習(xí)又迎來(lái)新的一波發(fā)展熱潮，推進(jìn)人工智能向前邁進(jìn)一大步。在機(jī)器學(xué)習(xí)火速發(fā)展的同時(shí)，其安全與隱私問(wèn)題也引起了人們的關(guān)注。機(jī)器學(xué)習(xí)的安全和隱私的威脅已經(jīng)阻礙機(jī)器學(xué)習(xí)及人工智能的發(fā)展。在自動(dòng)駕駛、財(cái)政系統(tǒng)、健康等系統(tǒng)中，機(jī)器學(xué)習(xí)的安全性問(wèn)題威脅人們的切身利益甚至健康生活。在云計(jì)算服務(wù)中的機(jī)器學(xué)習(xí)即服務(wù)（MLaaS），人們可能考慮數(shù)據(jù)泄露的問(wèn)題而放棄便捷云服務(wù)。因此，如何保障機(jī)器學(xué)習(xí)的安全及如何保護(hù)用戶隱私成為機(jī)器學(xué)習(xí)發(fā)展的基礎(chǔ)，人們就此問(wèn)題展開(kāi)研究。雖然此項(xiàng)研究剛剛起步，但已經(jīng)取得了一定進(jìn)展。

在機(jī)器學(xué)習(xí)中，安全是保障用戶數(shù)據(jù)被正確地使用，保障機(jī)器學(xué)習(xí)的可用性和完整性。安全和隱私是2個(gè)不同但緊密相關(guān)的概念，安全是保護(hù)用戶隱私的基礎(chǔ)。隱私權(quán)是自1948年以來(lái)聯(lián)合國(guó)《世界人權(quán)宣言》中所包含的一項(xiàng)基本人權(quán)，隱私的法律意義為不愿告人或不便告人的事情，和別人無(wú)關(guān)，關(guān)于自己利益的事。隱私是一個(gè)沒(méi)有公認(rèn)標(biāo)準(zhǔn)定義的復(fù)雜概念[1]。在機(jī)器學(xué)習(xí)中隱私被定義為人們有權(quán)利決定自己的私有數(shù)據(jù)不被公開(kāi)。

2 機(jī)器學(xué)習(xí)及其敵手模型

2.1 機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)通過(guò)計(jì)算手段利用經(jīng)驗(yàn)改善系統(tǒng)的自身性能。經(jīng)驗(yàn)即數(shù)據(jù)，計(jì)算機(jī)系統(tǒng)利用現(xiàn)有數(shù)據(jù)進(jìn)行學(xué)習(xí)，產(chǎn)生模型進(jìn)而對(duì)未來(lái)的行為做出決策判斷。機(jī)器學(xué)習(xí)解決問(wèn)題的過(guò)程如圖1所示。

圖1 機(jī)器學(xué)習(xí)解決問(wèn)題的過(guò)程

為了便于描述，本文使用機(jī)器學(xué)習(xí)進(jìn)行的分類任務(wù)為例，描述在訓(xùn)練與預(yù)測(cè)階段中可能遇到的安全與隱私問(wèn)題。機(jī)器學(xué)習(xí)其他應(yīng)用面臨的安全與隱私問(wèn)題與其類似。

2.2 敵手模型描述

在描述機(jī)器學(xué)習(xí)威脅時(shí)需要考慮攻擊者的能力、目標(biāo)等，這里的攻擊者稱為敵手。敵手模型可以從敵手目標(biāo)、敵手知識(shí)、敵手能力、敵手策略4個(gè)維度刻畫(huà)[3]。根據(jù)敵手模型的不同產(chǎn)生的威脅也不同。

敵手目標(biāo)：敵手目標(biāo)分為破壞機(jī)器學(xué)習(xí)的機(jī)密性、完整性、可用性。機(jī)密性是指包含用戶隱私的敏感信息不被泄露。敵手不僅可以竊取含有敏感信息的訓(xùn)練數(shù)據(jù)，還可以通過(guò)暴露目標(biāo)模型信息及其預(yù)測(cè)結(jié)果達(dá)到其目的，嚴(yán)重威脅用戶隱私。完整性和可用性是對(duì)于機(jī)器學(xué)習(xí)模型輸出而言，均影響用戶正常使用模型進(jìn)行預(yù)測(cè)，但側(cè)重點(diǎn)不同。完整性威脅指敵手誘導(dǎo)模型行為或者使模型在預(yù)測(cè)中輸出指定分類標(biāo)簽?？捎眯酝{指阻止用戶獲得模型正確的輸出或者阻止獲取模型本身的一些特性，使其在目標(biāo)環(huán)境下不可信賴。完整性威脅和可用性威脅目標(biāo)相似，敵手采取的手段也相近。敵手在攻擊過(guò)程中的目標(biāo)往往不是單一的，如在威脅機(jī)密性下獲取目標(biāo)模型，通過(guò)分析目標(biāo)模型得出模型的脆弱性對(duì)其發(fā)起攻擊，對(duì)模型可用性和完整性產(chǎn)生威脅。

敵手知識(shí)：敵手知識(shí)包括模型的訓(xùn)練數(shù)據(jù)及特征、模型結(jié)構(gòu)及參數(shù)、決策函數(shù)、訪問(wèn)目標(biāo)模型得到反饋信息等。根據(jù)敵手已知信息的多少，敵手知識(shí)分為有限知識(shí)和完全知識(shí)。在預(yù)測(cè)階段中，根據(jù)敵手知識(shí)可將攻擊分為白盒攻擊和黑盒攻擊。白盒攻擊指敵手得到目標(biāo)模型，了解模型的內(nèi)部結(jié)構(gòu)及其參數(shù)。黑盒攻擊指敵手只能訪問(wèn)目標(biāo)模型，根據(jù)輸入數(shù)據(jù)得到模型輸出相應(yīng)的預(yù)測(cè)結(jié)果。在實(shí)際中，白盒攻擊不易實(shí)現(xiàn)，黑盒攻擊更為常見(jiàn)。

敵手能力：敵手能力指敵手在具有一定知識(shí)背景下，對(duì)模型或者訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)的控制能力。根據(jù)控制能力的不同，可以把敵手分為強(qiáng)敵手和弱敵手。在訓(xùn)練階段中，敵手訪問(wèn)訓(xùn)練數(shù)據(jù)、注入惡意數(shù)據(jù)、直接修改數(shù)據(jù)，這些敵手能力是逐漸增強(qiáng)的。在預(yù)測(cè)階段，白盒攻擊中的敵手能力比黑盒攻擊強(qiáng)。如果敵手可以改變目標(biāo)模型的學(xué)習(xí)策略，則防御者很難在預(yù)測(cè)階段抵抗這種邏輯上的改變所帶來(lái)的攻擊。

敵手策略：敵手策略指敵手為達(dá)到攻擊目標(biāo)，根據(jù)自身的知識(shí)和能力，采取的具體攻擊方式，如修改數(shù)據(jù)集標(biāo)簽信息、注入惡意數(shù)據(jù)、逆向攻擊提取敏感數(shù)據(jù)等。

3 機(jī)器學(xué)習(xí)安全威脅及防御技術(shù)

3.1 機(jī)器學(xué)習(xí)常見(jiàn)的安全威脅

在人們的日常生活中，機(jī)器學(xué)習(xí)越來(lái)越普及。機(jī)器學(xué)習(xí)的安全威脅嚴(yán)重影響人們的正常生活甚至生命健康。例如，在汽車自動(dòng)駕駛過(guò)程中，敵手可以通過(guò)偽造交通標(biāo)志影響汽車的正常駕駛，易導(dǎo)致發(fā)生車禍；在垃圾郵件檢測(cè)中，敵手可以通過(guò)引入積極的詞匯逃避垃圾郵件的分類。表1給出了常見(jiàn)的安全威脅，這些安全威脅分別針對(duì)機(jī)器學(xué)習(xí)過(guò)程中的訓(xùn)練階段和預(yù)測(cè)階段，如圖2所示。

3.1.1 訓(xùn)練階段的安全威脅

在訓(xùn)練階段，機(jī)器學(xué)習(xí)使用訓(xùn)練數(shù)據(jù)集訓(xùn)練目標(biāo)模型，通過(guò)學(xué)習(xí)數(shù)據(jù)的內(nèi)在特征以得到?jīng)Q策假設(shè)函數(shù)，在預(yù)測(cè)階段則應(yīng)用目標(biāo)模型進(jìn)行預(yù)測(cè)。目標(biāo)模型預(yù)測(cè)的有效性依賴于訓(xùn)練數(shù)據(jù)集和預(yù)測(cè)數(shù)據(jù)集屬于同一分布。例如，預(yù)測(cè)數(shù)據(jù)與訓(xùn)練數(shù)據(jù)分布不同，則在實(shí)際預(yù)測(cè)階段會(huì)出現(xiàn)偏差。因此，很多敵手會(huì)通過(guò)修改訓(xùn)練數(shù)據(jù)的分布對(duì)目標(biāo)模型發(fā)起攻擊。

表1 機(jī)器學(xué)習(xí)中常見(jiàn)的安全威脅

圖2 機(jī)器學(xué)習(xí)常見(jiàn)的安全性威脅

除了直接修改數(shù)據(jù)標(biāo)簽外，敵手可以通過(guò)注入精心制造的惡意數(shù)據(jù)實(shí)現(xiàn)投毒攻擊，如文獻(xiàn)[6-7]。敵手通過(guò)注入精心制作的惡意樣本改變訓(xùn)練樣本的分布，訓(xùn)練后模型的決策邊界發(fā)生變化，使預(yù)測(cè)階段模型的精度降低，甚至敵手可以誘導(dǎo)模型輸出指定的錯(cuò)誤分類標(biāo)簽。投毒攻擊的攻擊過(guò)程如圖3所示。

圖3(a)中實(shí)線表示對(duì)二分類樣本進(jìn)行訓(xùn)練后的分類器，虛線表示在訓(xùn)練階段中加入惡意樣本后，被破壞的分類器。圖3(b)表示在預(yù)測(cè)階段，因投毒攻擊對(duì)分類器產(chǎn)生了影響，導(dǎo)致部分測(cè)試樣本被錯(cuò)誤分類。

圖3 投毒攻擊的攻擊過(guò)程

訓(xùn)練階段往往都是集中、離線和封閉的。敵手不易獲取訓(xùn)練數(shù)據(jù)，不能直接在原始訓(xùn)練數(shù)據(jù)中投毒。而在一些在線學(xué)習(xí)或者需要定期更新模型的訓(xùn)練中，需要不斷加入新的訓(xùn)練數(shù)據(jù)，這就給敵手可乘之機(jī)，在新收集的數(shù)據(jù)中投毒，如文獻(xiàn)[8-9]均采取此類做法。對(duì)防御者而言，當(dāng)新收集的數(shù)據(jù)集分布發(fā)生明顯變化時(shí)，需提高警惕。

3.1.2 預(yù)測(cè)階段的安全威脅

經(jīng)過(guò)訓(xùn)練后，得到機(jī)器學(xué)習(xí)目標(biāo)模型，部署好后進(jìn)行推理和預(yù)測(cè)。在預(yù)測(cè)階段中，敵手無(wú)法修改訓(xùn)練數(shù)據(jù)集，但可以訪問(wèn)目標(biāo)模型獲得有效的信息對(duì)模型發(fā)起攻擊，使模型在預(yù)測(cè)階段發(fā)生錯(cuò)誤。2014年，Szegedy等[10]首先發(fā)現(xiàn)對(duì)圖片添加輕微擾動(dòng)可以欺騙神經(jīng)網(wǎng)絡(luò)，此過(guò)程稱對(duì)抗攻擊（adversarial attack），敵手精心制造使模型錯(cuò)分類的樣本稱為對(duì)抗樣本（adversarial example）。根據(jù)敵手知識(shí)，將此階段的攻擊分為白盒攻擊和黑盒攻擊。

白盒攻擊：敵手已知目標(biāo)模型的結(jié)構(gòu)和參數(shù)，雖然在實(shí)際中不易實(shí)現(xiàn)，一旦敵手獲取目標(biāo)模型則對(duì)機(jī)器學(xué)習(xí)造成極大的威脅。敵手可以通過(guò)分析目標(biāo)模型結(jié)構(gòu)來(lái)構(gòu)造對(duì)抗樣本進(jìn)行對(duì)抗攻擊。Szegedy等[10]將對(duì)抗樣本作為輸入，在預(yù)測(cè)階段使目標(biāo)模型分類錯(cuò)誤。他們將搜索對(duì)抗樣本形式化表示為以下優(yōu)化問(wèn)題。

Goodfellow等[12]使用FGSM（fast gradient sign method）解決上述優(yōu)化問(wèn)題，利用線性假設(shè)（現(xiàn)代DNN模型采用ReLU作為激活函數(shù)而不再sigmod，鼓勵(lì)線性計(jì)算同時(shí)也易受對(duì)抗攻擊）可以快速搜索對(duì)抗樣本。

Moosavi-Dezfooli等[16]提出Deepfool方法，通過(guò)迭代計(jì)算的方法生成最小規(guī)范對(duì)抗擾動(dòng)，直到找到距離正常樣本最接近的決策邊界，跨越邊界找到擾動(dòng)最小的對(duì)抗樣本。作者證明Deepfool生產(chǎn)的對(duì)抗樣本在相似的欺騙率下擾動(dòng)比FGSM小。

黑盒攻擊：敵手得不到目標(biāo)模型的內(nèi)部結(jié)構(gòu)和參數(shù)，但可以通過(guò)API進(jìn)行訪問(wèn)目標(biāo)模型，尤其在云環(huán)境下的機(jī)器學(xué)習(xí)即服務(wù)更容易訪問(wèn)API接口進(jìn)行黑盒攻擊。詢問(wèn)攻擊（Oracle attack）通過(guò)觀察特定的輸入對(duì)應(yīng)的輸出信息，建立與目標(biāo)模型相似的模型進(jìn)行攻擊，Oracle攻擊的有效性與詢問(wèn)目標(biāo)模型的輸入及查詢次數(shù)密切相關(guān)。Lowd等[19]評(píng)估了使模型錯(cuò)分類需要詢問(wèn)次數(shù)的成本。

Szegedy等首先觀察到對(duì)抗樣本轉(zhuǎn)移性，即被一個(gè)模型錯(cuò)分類的對(duì)抗樣本對(duì)其他模型也適用。Moosavi-Dezfooli等[20]表明不同模型中存在通用擾動(dòng)（universal perturbation），使用通用擾動(dòng)產(chǎn)生對(duì)抗樣本可以在ImageNet訓(xùn)練的目標(biāo)模型上傳遞。Papernot等[21]利用對(duì)抗樣本跨模型傳遞性（cross-model transferability）實(shí)現(xiàn)黑盒攻擊，該攻擊利用敵手產(chǎn)生的合成輸入訓(xùn)練一個(gè)替代模型（substitute mode），利用替代模型制作對(duì)抗樣本，這些對(duì)抗本可以被原本的目標(biāo)模型錯(cuò)誤分類。作者表明，利用MetaMind在線訓(xùn)練DNN模型錯(cuò)分類可以達(dá)到84.24%，之后作者使用亞馬遜云服務(wù)實(shí)現(xiàn)邏輯回歸時(shí)錯(cuò)分類可以達(dá)到96%[22]。

表2描述機(jī)器學(xué)習(xí)預(yù)測(cè)階段常見(jiàn)的安全威脅，并對(duì)敵手知識(shí)和攻擊目標(biāo)進(jìn)行對(duì)比分析，可知黑盒攻擊敵手得不到目標(biāo)模型的結(jié)構(gòu)和參數(shù)信息，更難從中提取模型的決策邊界信息，相較于白盒，攻擊能力弱一些，不易實(shí)現(xiàn)針對(duì)目標(biāo)攻擊，但在現(xiàn)實(shí)中更具有普遍性。

表2 機(jī)器學(xué)習(xí)預(yù)測(cè)階段安全威脅對(duì)比分析

3.2 機(jī)器學(xué)習(xí)安全性防御技術(shù)

機(jī)器學(xué)習(xí)的安全性問(wèn)題威脅系統(tǒng)的可用性和完整性，敵手多依賴于測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)分布不同發(fā)起攻擊。提高目標(biāo)模型的頑健性可以對(duì)預(yù)測(cè)階段中出現(xiàn)的未知樣本有良好的適應(yīng)性，在出現(xiàn)惡意樣本時(shí)模型也可以正常進(jìn)行預(yù)測(cè)。

正則化（regularization）。通過(guò)為代價(jià)函數(shù)添加正則項(xiàng)（也叫懲罰項(xiàng)）提高目標(biāo)模型的泛化能力，在預(yù)測(cè)中遇見(jiàn)未知數(shù)據(jù)集具有良好的適應(yīng)性抵抗攻擊。Barreno等[23]提出使用正則化方法保障機(jī)器學(xué)習(xí)安全的建議。Biggio等[5]利用正則化方法限制訓(xùn)練SVM模型時(shí)敵手修改訓(xùn)練標(biāo)簽的脆弱性。Gu等[23]使用更平滑懲罰項(xiàng)訓(xùn)練深度收縮網(wǎng)絡(luò)（deep contractive network）抵御攻擊。文獻(xiàn)[24-26]使用正則化方法提高算法的頑健性，在抵抗攻擊時(shí)取得良好的效果。

對(duì)抗訓(xùn)練（adversarial training）。在訓(xùn)練數(shù)據(jù)集中引入對(duì)抗樣本，通過(guò)合法化的對(duì)抗樣本對(duì)目標(biāo)模型的訓(xùn)練提供模型的頑健性。合法化的對(duì)抗樣本模仿在預(yù)測(cè)階段可能的數(shù)據(jù)分布，Szegedy等[10]首先通過(guò)注入對(duì)抗樣本，修正其標(biāo)簽使模型面對(duì)敵手時(shí)更具頑健性。Goodfellow等[27]利用對(duì)抗訓(xùn)練將在MNIST數(shù)據(jù)集上的錯(cuò)誤識(shí)別率從89.4%降低到17.9%。Huang等[28]通過(guò)懲罰錯(cuò)分類的對(duì)抗樣本增加模型的頑健性。Tramèr等[29]提出聯(lián)合對(duì)抗訓(xùn)練（ensemble adversarial training）增加對(duì)抗樣本多樣性，但在對(duì)抗訓(xùn)練中引入所有未知攻擊的對(duì)抗樣本是不現(xiàn)實(shí)的，對(duì)抗訓(xùn)練的非適應(yīng)性導(dǎo)致對(duì)抗訓(xùn)練的局限性。

防御精餾（defensive distillation）。2016年，Papernot等[30]在distillation[31]技術(shù)的基礎(chǔ)上提出防御精餾技術(shù)抵抗攻擊。原distillation 技術(shù)旨在將大規(guī)模模型壓縮為小規(guī)模并保留原有的準(zhǔn)確性，而defensive distillation不改變模型規(guī)模的大小，產(chǎn)生輸出表面更平滑的、對(duì)擾動(dòng)不敏感的模型提高模型的頑健性，作者表示，使用defensive distillation 方法可以將對(duì)抗樣本攻擊的成功率降低90%。然而，在黑盒攻擊中并不能確保defensive distillation 的有效性，因此，2017年，Papernot等[32]提出可擴(kuò)展的防御精餾技術(shù)。

防御者在防御時(shí)與敵手做博弈游戲，防御者制定防御策略，敵手做出最佳響應(yīng)[33]。防御者代價(jià)函數(shù)為

敵手代價(jià)函數(shù)可為

除了提高模型的頑健性外，直接拒絕惡意樣本也是提高模型安全性的重要手段。可以利用數(shù)據(jù)清洗直接將投毒數(shù)據(jù)去除來(lái)防御投毒攻擊。同樣，也可以直接丟棄被檢測(cè)判定為對(duì)抗樣本的數(shù)據(jù)來(lái)抵御對(duì)抗攻擊。文獻(xiàn)[36-37]先檢測(cè)預(yù)測(cè)樣本是否為合法樣本，若為合法樣本則進(jìn)行預(yù)測(cè)，若為對(duì)抗樣本則直接丟棄，在抵御對(duì)抗攻擊取得一定效果。

4 機(jī)器學(xué)習(xí)隱私威脅及隱私保護(hù)技術(shù)

4.1 機(jī)器學(xué)習(xí)常見(jiàn)的隱私威脅

機(jī)器學(xué)習(xí)模型會(huì)無(wú)意識(shí)記錄一些訓(xùn)練數(shù)據(jù)，而一些訓(xùn)練數(shù)據(jù)涉及人們的隱私，如習(xí)慣、愛(ài)好、地理位置等。在機(jī)器學(xué)習(xí)的健康系統(tǒng)中，隱私威脅不僅泄露病人隱私，敵手可能發(fā)起攻擊修改病人的用藥劑量導(dǎo)致病人生命危險(xiǎn)。表3給出了常見(jiàn)的隱私威脅，這些隱私威脅分別針對(duì)機(jī)器學(xué)習(xí)過(guò)程中的訓(xùn)練階段和預(yù)測(cè)階段，如圖4所示。

表3 機(jī)器學(xué)習(xí)中常見(jiàn)的隱私威脅

圖4 機(jī)器學(xué)習(xí)中常見(jiàn)的隱私威脅

4.1.1 訓(xùn)練階段的隱私威脅

機(jī)器學(xué)習(xí)訓(xùn)練方式分為集中式和聯(lián)合分布式，如圖5所示。

圖5 機(jī)器學(xué)習(xí)訓(xùn)練方式

大型公司多用集中訓(xùn)練方式，因?yàn)閾碛凶銐蚨嗟挠脩舯阌谑占罅康挠?xùn)練數(shù)據(jù)。目前，針對(duì)公司收集用戶數(shù)據(jù)保護(hù)用戶隱私業(yè)界沒(méi)有一個(gè)統(tǒng)一的衡量標(biāo)準(zhǔn)。在收集用戶數(shù)據(jù)過(guò)程中，會(huì)暴露一些用戶的隱私，Google和Apple公司采用差分隱私的方式保護(hù)用戶數(shù)據(jù)，在用戶數(shù)據(jù)中，加入噪聲，使單一的數(shù)據(jù)沒(méi)有現(xiàn)實(shí)意義，而統(tǒng)計(jì)信息具有應(yīng)用價(jià)值。為了擴(kuò)大訓(xùn)練數(shù)據(jù)集得到精確的目標(biāo)模型，一些數(shù)據(jù)提供方需要進(jìn)行協(xié)作“分享”數(shù)據(jù)，共同訓(xùn)練目標(biāo)模型?！胺窒怼辈皇侵苯訉?duì)其他參與方公開(kāi)數(shù)據(jù)，各個(gè)參與方獨(dú)自在各自數(shù)據(jù)集上訓(xùn)練自己的模型，與其他參與方共享訓(xùn)練結(jié)果，從而間接分享各自的訓(xùn)練數(shù)據(jù)。聯(lián)合訓(xùn)練模型易受不誠(chéng)實(shí)的參與方攻擊，惡意竊取其他參與者數(shù)據(jù)。Hitaj等[38]利用生成對(duì)抗網(wǎng)絡(luò)（GAN, generative adversarial networks)，對(duì)聯(lián)合分布式訓(xùn)練深度學(xué)習(xí)模型發(fā)起攻擊，任意參加訓(xùn)練的用戶都可能成為敵手，生成與其他參與者訓(xùn)練數(shù)據(jù)無(wú)限逼近的假樣本來(lái)竊取他人隱私。

4.1.2 預(yù)測(cè)階段的隱私威脅

提取訓(xùn)練數(shù)據(jù)信息：在預(yù)測(cè)階段中通過(guò)逆向攻擊可以提取訓(xùn)練數(shù)據(jù)（部分或全部）或訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)特征。2014年，F(xiàn)redrikson等[39]在藥物劑量預(yù)測(cè)任務(wù)中，結(jié)合病人的人口屬性統(tǒng)計(jì)信息可以恢復(fù)患者基因組信息。2015年，F(xiàn)redrikson等[40]通過(guò)觀察目標(biāo)模型預(yù)測(cè)結(jié)果，反過(guò)來(lái)重建模型訓(xùn)練時(shí)使用的人臉圖像數(shù)據(jù)。Ateniese等[41]分析模型確定其訓(xùn)練數(shù)據(jù)是否符合某種統(tǒng)計(jì)特征。2017年，Shokri等[42]提出成員推理攻擊（membership inference attack），給定一條記錄可以判定是否在訓(xùn)練數(shù)據(jù)集中。

表4描述機(jī)器學(xué)習(xí)中常見(jiàn)隱私威脅對(duì)比分析，可見(jiàn)對(duì)模型的惡意訪問(wèn)和暴露模型參數(shù)會(huì)泄露用戶隱私，合理限制目標(biāo)模型的訪問(wèn)可以有效防止隱私泄露。

4.2 機(jī)器學(xué)習(xí)隱私保護(hù)技術(shù)

用于訓(xùn)練機(jī)器學(xué)習(xí)的數(shù)據(jù)包含大量用戶隱私，如照片、地理位置、醫(yī)療信息等。目前，常用于機(jī)器學(xué)習(xí)的隱私保護(hù)技術(shù)有同態(tài)加密技術(shù)和差分隱私技術(shù)。

4.2.1 基于同態(tài)加密的機(jī)器學(xué)習(xí)隱私保護(hù)技術(shù)

同態(tài)加密[44]（homomorphic encryption）允許用戶直接在密文上做運(yùn)算，得到的結(jié)果解密后與在明文下運(yùn)算結(jié)果一致，是最直接有效保護(hù)用戶隱私的一項(xiàng)技術(shù)。在云存儲(chǔ)中，云端的目標(biāo)模型可以直接對(duì)密文進(jìn)行預(yù)測(cè)。但同態(tài)加密運(yùn)算只支持加法和乘法運(yùn)算的多項(xiàng)式運(yùn)算，而機(jī)器學(xué)習(xí)過(guò)程中包含冪運(yùn)算（如sigmod激活函數(shù)），研究人員就此問(wèn)題進(jìn)行研究。

表4 機(jī)器學(xué)習(xí)中常見(jiàn)的隱私威脅對(duì)比分析

以上方法都是在預(yù)測(cè)階段保護(hù)用戶數(shù)據(jù)，理論上在訓(xùn)練階段也可用加密技術(shù)保護(hù)敏感數(shù)據(jù)集。Xie等[48]利用Stone-Weierstrass理論[49]。

(7)

目前，利用加密技術(shù)保護(hù)機(jī)器學(xué)習(xí)用戶敏感數(shù)據(jù)多用于預(yù)測(cè)階段，雖然在訓(xùn)練階段中理論上可行，但是深度學(xué)習(xí)本來(lái)就大量消耗計(jì)算資源，加密技術(shù)計(jì)算開(kāi)銷大，網(wǎng)絡(luò)訓(xùn)練過(guò)程慢。如將復(fù)雜計(jì)算交給云端處理，需注意神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過(guò)程是一個(gè)迭代的過(guò)程，隨著運(yùn)算次數(shù)的增多，同態(tài)計(jì)算電路深度加深，一旦超過(guò)閾值，將無(wú)法解密得到正確的計(jì)算結(jié)果。同時(shí)也要考慮客戶端和云端通信等問(wèn)題。

4.2.2 基于差分隱私的機(jī)器學(xué)習(xí)隱私保護(hù)技術(shù)

差分隱私（differential privacy）是一種被廣泛認(rèn)可的嚴(yán)格的隱私保護(hù)技術(shù)。2006年，微軟的Dwork[51]提出差分隱私概念，通過(guò)引入噪聲使至多相差1個(gè)數(shù)據(jù)的2個(gè)數(shù)據(jù)集查詢結(jié)果概率不可分。具體定義如下。

在集中式學(xué)習(xí)中，為保護(hù)敏感訓(xùn)練數(shù)據(jù)，2016年，Abadi等[52]提出基于差分隱私的深度學(xué)習(xí)算法，利用隨機(jī)梯度下降過(guò)程中對(duì)梯度增加擾動(dòng)來(lái)保護(hù)訓(xùn)練敏感數(shù)據(jù)，并在差分隱私框架下對(duì)隱私成本進(jìn)行了精細(xì)的分析，經(jīng)實(shí)驗(yàn)證明，可以在隱私成本可控的情況下完成深層網(wǎng)絡(luò)訓(xùn)練。2017年，Papernot等[53]提出用半監(jiān)督知識(shí)遷移解決深度學(xué)習(xí)中訓(xùn)練數(shù)據(jù)隱私泄露問(wèn)題，通過(guò)教師模型全體的隱私聚合（PATE, private aggregation of teacher ensembles）為訓(xùn)練數(shù)據(jù)提供通用的強(qiáng)健隱私保護(hù)。作者將敏感數(shù)據(jù)分割成個(gè)不相交的數(shù)據(jù)集，在每個(gè)數(shù)據(jù)集上獨(dú)立訓(xùn)練得到個(gè)教師模型，通過(guò)對(duì)投票引入噪聲，算出得票最高的預(yù)測(cè)結(jié)果。然后用公開(kāi)不含標(biāo)簽的數(shù)據(jù)集（利用教師模型標(biāo)注）訓(xùn)練學(xué)生模型進(jìn)行知識(shí)遷移傳遞，最終部署學(xué)生模型進(jìn)行預(yù)測(cè)服務(wù)。不使用敏感數(shù)據(jù)直接訓(xùn)練公開(kāi)模型，防止逆向攻擊提取原始敏感數(shù)據(jù)。Beaulieujones等[54]利用文獻(xiàn)[52]中方法，提出差分隱私輔助分類生成對(duì)抗網(wǎng)絡(luò)生成醫(yī)療臨床數(shù)據(jù)。郭鵬等[55]對(duì)文獻(xiàn)[54]提出改進(jìn)，實(shí)現(xiàn)對(duì)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行差分隱私保護(hù)。

在聯(lián)合分布式學(xué)習(xí)中，數(shù)據(jù)所有者共同學(xué)習(xí)具有同一目標(biāo)的網(wǎng)絡(luò)模型，在各自數(shù)據(jù)集上獨(dú)立訓(xùn)練卻共享學(xué)習(xí)結(jié)果。2015年，Shokri和Shmatikov[56]首次將隱私保護(hù)概念引入深度學(xué)習(xí)中，提出保護(hù)隱私的聯(lián)合分布式深度學(xué)習(xí)方案，并且提供差分隱私保障。每個(gè)參與訓(xùn)練人員將本地的一小部分梯度參數(shù)引入噪聲后上傳到中心參數(shù)服務(wù)器端，每次更新本地參數(shù)時(shí)從服務(wù)器下載部分最新的梯度參數(shù)進(jìn)行更新，使參與者在不公開(kāi)自己數(shù)據(jù)集的情況下，從其他參與者中獲益。2016年，Liu等[57]在此基礎(chǔ)上使用XMPP作為參數(shù)服務(wù)器使之適用于移動(dòng)分布式環(huán)境。2018年，Le等[58]針對(duì)文獻(xiàn)[56]做出改進(jìn)：如果參數(shù)服務(wù)器是好奇的，即使只上傳一小部分梯度信息也會(huì)間接泄露用戶隱私（如4.1.2中提到的通過(guò)逆向攻擊恢復(fù)部分訓(xùn)練數(shù)據(jù)集信息）。作者提出在上傳參數(shù)時(shí)利用加法同態(tài)加密算法隱藏梯度信息。

除了加密技術(shù)和差分隱私技術(shù)，與Shokri和Shmatikov類似，2017年，Google推出聯(lián)合學(xué)習(xí)[59-60]，Android設(shè)備從Google服務(wù)器上下載模型，通過(guò)本地?cái)?shù)據(jù)訓(xùn)練進(jìn)行更新改進(jìn)。與文獻(xiàn)[56]不同的是，Google并沒(méi)有采用差分隱私技術(shù)，而是建議使用更安全的聚合協(xié)議安全多方計(jì)算（MPC），利用聯(lián)合平均算法（federated averaging algorithm）[60-61]計(jì)算各個(gè)用戶設(shè)備的更新，但Google服務(wù)器只有在多個(gè)用戶參與時(shí)才能解密更新模型。Osia等[62]提出一種用于隱私保護(hù)的移動(dòng)分析混合深度學(xué)習(xí)架構(gòu)。首次將孿生神經(jīng)網(wǎng)絡(luò)用于隱私保護(hù)的深度學(xué)習(xí)中，利用本地移動(dòng)資源（如智能手機(jī)）提取敏感數(shù)據(jù)特征（預(yù)處理），再送入云端進(jìn)行預(yù)測(cè)。既使用云端高效的資源，又避免直接暴露自身的敏感數(shù)據(jù)。

5 結(jié)束語(yǔ)

機(jī)器學(xué)習(xí)自身的脆弱性導(dǎo)致其安全威脅存在的必然性，并且容易泄露用戶隱私，近年來(lái)，機(jī)器學(xué)習(xí)的安全與隱私問(wèn)題引起了研究人員的廣泛關(guān)注。機(jī)器學(xué)習(xí)被視為黑箱模型，其決策算法具有不可解釋性，這給機(jī)器學(xué)習(xí)的安全防御和隱私保護(hù)帶來(lái)一定的困難。當(dāng)前，機(jī)器學(xué)習(xí)安全防御與隱私保護(hù)的研究仍處于起步階段，還有許多亟待解決的問(wèn)題。

1) 建立完善的評(píng)估機(jī)制。目前還沒(méi)有統(tǒng)一的安全評(píng)估標(biāo)準(zhǔn)，對(duì)于隱私泄露沒(méi)有統(tǒng)一的衡量標(biāo)準(zhǔn)，建立完善的評(píng)估機(jī)制、規(guī)范隱私保護(hù)規(guī)則是保障機(jī)器學(xué)習(xí)安全與隱私的重要一環(huán)。

2) 尋求有效的對(duì)抗訓(xùn)練方法。對(duì)抗訓(xùn)練的非適應(yīng)性使在對(duì)抗訓(xùn)練中必須引入足夠多樣的對(duì)抗樣本才能有效防御未知的對(duì)抗攻擊，這是對(duì)抗訓(xùn)練的難點(diǎn)，有待解決。

3) 高效的加密方法保護(hù)用戶隱私。最直接有效保護(hù)隱私的方法是使用加密技術(shù)，但目前同態(tài)加密技術(shù)運(yùn)算開(kāi)銷過(guò)大，并不能直接計(jì)算機(jī)器學(xué)習(xí)中的一些非多項(xiàng)式運(yùn)算。通常保護(hù)用戶隱私是以犧牲目標(biāo)模型的精度為代價(jià)。因此，研究高效的加密方法保護(hù)用戶隱私是一個(gè)重要研究問(wèn)題。

[1] GHORBEL A, GHORBEL M, JMAIEL M. Privacy in cloud computing environments: a survey and research challenges[J]. Journal of Supercomputing, 2017, 73(6):2763-2800.

[2] SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484-489.

[3] BARRENO M, NELSON B, SEARS R, et al. Can machine learning be secure?[C]//ACM Symposium on Information, Computer and Communications Security. 2006:16-25.

[4] KEARNS M, LI M. Learning in the presence of malicious errors[J]. SIAM Journal on Computing, 1993, 22(4): 807-837.

[5] BIGGIO B, NELSON B, LASKOV P. Support vector machines under adversarial label noise[J]. Journal of Machine Learning Research, 2011, 20(3):97-112.

[6] BIGGIO B, NELSON B, LASKOV P. Poisoning attacks against support vector machines[C]//International Coference on International Conference on Machine Learning. 2012: 1467-1474.

[7] MEI S, ZHU X. Using machine teaching to identify optimal training-set attacks on machine learners[C]//AAAI. 2015: 2871-2877.

[8] BIGGIO B, DIDACI L, FUMERA G, et al. Poisoning attacks to compromise face templates[C]//International Conference on Biometrics. 2013: 1-7.

[9] KLOFT M, LASKOV P. Security analysis of online anomaly detection[J]. Journal of Machine Learning Research, 2010, 13(1): 3681-3724.

[10] C. SZEGEDY, W. ZAREMBA, I. SUTSKEVER, et al. Intriguing properties of neural networks[C]//2014 International Conference on Learning Representations. Computational and Biological Learning Society. 2014.

[11] PAPERNOT N, MC D P, SINHA A, et al. Towards the science of security and privacy in machine learning[J]. arXiv preprint arXiv: 1611.03814, 2016.

[12] GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[C]//International Conference on Learning Representations. 2015.

[13] KURAKIN A, GOODFELLOW I, BENGIO S. Adversarial machine learning at scale[J]. arXiv preprint arXiv:1611.01236, 2017.

[14] DONG Y P, LIAO F Z, PANG T Y, et al. Boosting adversarial attacks with momentum[J]. arXiv preprint arXiv:1710.06081, 2017.

[15] MIYATO T, MAEDA S, KOYAMA M, et al. Virtual adversarial training: a regularization method for supervised and semi-supervised learning[J]. arXiv preprint 1704.03976, 2017.

[16] MOOSAVI-DEZFOOLI S, FAWZI A, FROSSARD P. DeepFool: a simple and accurate method to fool deep neural networks[C]//IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2574-2582.

[17] PAPERNOT N, MCDANIEL P, JHA S, et al. The limitations of deep learning in adversarial settings[C]//IEEE European Symposium on Security and Privacy. 2016:372-387.

[18] SU J, VARGAS D V, KOUICHI S. One pixel attack for fooling deep neural networks[J]. arXiv preprint arXiv:1710.08864, 2017.

[19] LOWD D, MEEK C. Adversarial learning[C]//The eleventh ACM SIGKDD International Conference on Knowledge Discovery in Data Mining. 2005: 641-647.

[20] MOOSAVI-DEZFOOLI S M, FAWZI A, FAWZI O, et al. Universal adversarial perturbations[C]//IEEE Conference on Computer Vision and Pattern Recognition. 2017.

[21] PAPERNOT N, MCDANIEL P, GOODFELLOW I, et al. Practical black-box attacks against machine learning[C]//2017 ACM on Asia Conf on Computer and Communications Security. 2017:506-519.

[22] PAPERNOT N, MCDANIEL P, GOODFELLOW I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples[J]. arXiv preprint arXiv: 1605.07277, 2016.

[23] GU S X, RIGAZIO L. Towards deep neural network architectures robust to adversarial examples[J]. arXiv preprint arXiv:1412.5068, 2014.

[24] LYU C, HUANG K, LIANG H N. A unified gradient regularization family for adversarial examples[C]//IEEE International Conference on Data Mining. 2016:301-309.

[25] ZHAO Q Y, GRIFFIN L D. Suppressing the unusual: towards robust cnns using symmetric activation functions[J]. arXiv preprint arXiv:1603.05145, 2016.

[26] ROZSA A, GUNTHER M, BOULT T E. Towards robust deep neural networks with BANG[J]. arXiv preprint arXiv:1612.00138, 2016.

[27] GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[C]//International Conference on Learning Representations. Computational and Biological Learning Society, 2015.

[28] HUANG R, XU B, SCHUURMANS D, et al. Learning with a strong adversary[J]. arXiv preprint arXiv:1511.03034, 2015.

[29] TRAMèR F, KURAKIN A, PAPERNOT N, et al. ensemble adversarial training: attacks and defenses[J]. arXiv preprint arXiv: 1705.07204, 2017.

[30] PAPERNOT N, MCDANIEL P, WU X, et al. Distillation as a defense to adversarial perturbations against deep neural networks[C]// IEEE Symp on Security and Privacy. 2016:582-597.

[31] HINTON G, VINYALS O, DEAN J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv: 1503.02531, 2015.

[32] PAPERNOT N, MCDANIEL P. Extending defensive distillation[J]. arXiv preprint arXiv:1705.05264, 2017.

[33] BULò S R, BIGGIO B, PILLAI I, et al. Randomized prediction games for adversarial machine learning[J]. IEEE transactions on neural networks and learning systems, 2017, 28(11): 2466-2478.

[34] HARDT M, MEGIDDO N, PAPADIMITRIOU C, et al. Strategic classification[C]//2016 ACM conference on innovations in theoretical computer science. 2016: 111-122.

[35] BRüCKNER M, KANZOW C, SCHEFFER T. Static prediction games for adversarial learning problems[J]. Journal of Machine Learning Research, 2012, 13(Sep): 2617-2654.

[36] METZEN J H, GENEWEIN T, FISCHER V, et al. On detecting adversarial perturbations[J]. arXiv preprint arXiv: 1702.04267, 2017.

[37] LU JIAJUN, ISSARANON T, FORSYTH D. SAFETYNET: Detecting and rejecting adversarial examples robustly[J]. arXiv preprint arXiv: 1704.00103, 2017.

[38] HITAJ B, ATENIESE G, PEREZ-CRUZ F. Deep models under the GAN: information leakage from collaborative deep learning[C]// ACM Sigsac Conference. 2017: 603-618.

[39] FREDRIKSON M, LANTZ E, JHA S, et al. Privacy in pharmacogenetics: an end-to-end case study of personalized warfarin dosing[C]//The 23rd Usenix Security Symposium. 2014: 17-32.

[40] FREDRIKSON M, JHA S, RISTENPART T. Model inversion attacks that exploit confidence information and basic countermeasures[C]//The 22nd ACM Sigsac Conference on Computer and Communications Security. 2015:1322-1333.

[41] ATENIESE G, MANCINI L V, SPOGNARDI A, et al. Hacking smart machines with smarter ones: How to extract meaningful data from machine learning classifiers[J]. International Journal of Security and Networks, 2015, 10(3):137-150.

[42] SHOKRI R, STRONATI M, SONG C, et al. Membership inference attacks against machine learning models[J]. arXiv preprint arXiv: 1610.05820, 2016.

[43] TRAMER F, ZHANG F, JUELS A, et al. Stealing machine learning models via prediction apis[J]. arXiv preprint arXiv:1609.02943, 2016.

[44] GENTRY, CRAIG. Fully homomorphic encryption using ideal lattices[J]. Stoc, 2009, 9(4):169-178.

[45] DOWLIN N, RAN G B, LAINE K, et al. CryptoNets: applying neural networks to encrypted data with high throughput and accuracy[C]//Radio and Wireless Symposium. 2016:76-78.

[46] HESAMIFARD E, TAKABI H, GHASEMI M, et al. Privacy-preserving machine learning in cloud[C]//The 2017 on Cloud Computing Security Workshop. 2017: 39-43.

[47] BARYALAI M, JANG-JACCARD J, LIU D. Towards privacy-preserving classification in neural networks[C]//IEEE Privacy, Security and Trust. 2017: 392-399.

[48] XIE P, BILENKO M, FINLEY T, et al. Crypto-nets: neural networks over encrypted data[J]. Computer Science, 2014.

[49] STONE M H. The generalized weierstrass approximation theorem[J]. Mathematics Magazine, 1948, 21(4): 167-184.

[50] ZHANG Q, YANG L, CHEN Z. Privacy preserving deep computation model on cloud for big data feature learning[J]. IEEE Transactions on Computers, 2016, 65(5): 1351-1362.

[51] DWORK C, MCSHERRY F, NISSIM K, et al. Calibrating noise to sensitivity in private data analysis[C]//The Third conference on Theory of Cryptography. 2006: 265-284.

[52] ABADI M, CHU A, GOODFELLOW I, et al. Deep learning with differential privacy[C]//2016 ACM Sigsac Conference on Computer and Communications Security. 2016: 308-318.

[53] PAPERNOT N, ABADI M, ERLINGSSON U, et al. Semi- supervised knowledge transfer for deep learning from private training data[J]. arXiv preprint arXiv:1610.05755, 2016.

[54] BEAULIEUJONES B K, WU Z S, WILLIAMS C J, et al. Privacy-preserving generative deep neural networks support clinical data sharing[J]. bioRxiv, 2017.

[55] 郭鵬, 鐘尚平, 陳開(kāi)志, 等. 差分隱私GAN梯度裁剪閾值的自適應(yīng)選取方法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2018, 4(5):10-20.

GUO P, ZHONG S P, CHEN K Z，et al. Adaptive selection method of differential privacy[J]. Chinese Journal of Network and Information Security, 2018, 4(5):10-20.

[56] SHOKRI R, SHMATIKOV V. Privacy-preserving deep learning[C]//The 22nd ACM SIGSAC Conference on Computer and Communications Security. 2015: 1310-1321.

[57] LIU M, JIANG H, CHEN J, et al. A collaborative privacy-preserving deep learning system in distributed mobile environment[C]//International Conference on Computational Science and Computational Intelligence. 2017: 192-197.

[58] LE T P, AONO Y, HAYASHI T, et al. Privacy-preserving deep learning via additively homomorphic encryption[J]. IEEE Transactions on Information Forensics & Security, 2018, 13(5):1333-1345.

[59] MCMAHAN B, RAMAGE D. Federated learning: collaborative machine learning without centralized training data[J]. Google Research Blog, 2017.

[60] BONAWITZ K, IVANOV V, KREUTER B, et al. Practical secure aggregation for privacy-preserving machine learning[C]//2017 ACM Sigsac Conference on Computer and Communications Security. 2017: 1175-1191.

[61] MCMAHAN H B, MOORE E, RAMAGE D, et al. Federated learning of deep networks using model averaging[J]. arXiv preprint arXiv:1502.01710v5, 2016.

[62] OSSIA S A, SHAMSABADI A S, TAHERI A, et al. A hybrid deep learning architecture for privacy-preserving mobile analytics[J]. arXiv preprint arXiv:1703.02952, 2017.

Machine learning security and privacy: a survey

SONG Lei, MA Chunguang, DUAN Guanghan

School of Computer Science and Technology, Harbin Engineering University, Harbin 150001, China

As an important method to implement artificial intelligence, machine learning technology is widely used in data mining, computer vision, natural language processing and other fields. With the development of machine learning, it brings amount of security and privacy issues which are getting more and more attention. Firstly, the adversary model was described according to machine learning. Secondly, the common security threats in machine learning was summarized, such as poisoning attacks, adversarial attacks, oracle attacks, and major defense methods such as regularization, adversarial training, and defense distillation. Then, privacy issues such were summarized as stealing training data, reverse attacks, and membership tests, as well as privacy protection technologies such as differential privacy and homomorphic encryption. Finally, the urgent problems and development direction were given in this field.

machine learning, security threats, defense technology, privacy

TP309.2

A

10.11959/j.issn.2096-109x.2018067

宋蕾（1989-），女，黑龍江牡丹江人，哈爾濱工程大學(xué)博士生，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)安全與隱私保護(hù)、云計(jì)算、網(wǎng)絡(luò)安全。

馬春光（1974-），男，黑龍江雙城人，哈爾濱工程大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)榉植际矫艽a算法與協(xié)議、云計(jì)算安全與隱私、格密碼、機(jī)器學(xué)習(xí)安全與隱私保護(hù)。

段廣晗（1994-），男，黑龍江海倫人，哈爾濱工程大學(xué)博士生，主要研究方向?yàn)樯疃葘W(xué)習(xí)、對(duì)抗樣本、機(jī)器學(xué)習(xí)。

2018-05-07；

2018-07-02

馬春光，machunguang@hrbeu.edu.cn

國(guó)家自然科學(xué)基金資助項(xiàng)目（No.61472097）

The National Natural Science Foundation of China (No.61472097)