崔瑋　杜二玲　許青　李海軍　范毅君

伴隨機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域得到了廣泛進(jìn)展，對機(jī)器學(xué)習(xí)的安全性和隱私權(quán)的威脅，一直妨礙著機(jī)器學(xué)習(xí)技術(shù)和人工智能研究的進(jìn)展，同時提高機(jī)器學(xué)習(xí)中的安全性和保護(hù)用戶隱私權(quán)成為了未來研究的重要課題。該文首先給出了機(jī)器學(xué)習(xí)隱私的定義，其次分析了機(jī)器學(xué)習(xí)隱私威脅及隱私保護(hù)技術(shù)，最后總結(jié)了機(jī)器學(xué)習(xí)中常見的問題并提出了相應(yīng)解決對策。

：機(jī)器學(xué)習(xí) ?安全問題 ?隱私保護(hù) ?人工智能

中圖分類號：G64??文獻(xiàn)標(biāo)識碼：A???文章編號：1672-3791（2021）02（b）-0000-00

Security and Privacy Protection of Machine Learning

Abstract： With the extensive progress in the field of machine learning applications， threats to the security and privacy of machine learning have been hindering the progress of machine learning technology and artificial intelligence research. Improving the security of machine learning and protecting user privacy has become This is an important topic for future research. This article first gives the definition of machine learning privacy， then analyzes machine learning privacy threats and privacy protection technologies， and then summarizes the common problems in machine learning and proposes corresponding solutions.

Key Words： Machine learning; Security issues; Privacy protection; Artificial intelligence

機(jī)器學(xué)習(xí)也是人工智能的關(guān)鍵技術(shù)之一，近年來，由于其日益成熟與蓬勃發(fā)展，大量公司在機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域中獲得了突破性發(fā)展，比如：在醫(yī)學(xué)、空間信息安全等應(yīng)用領(lǐng)域均獲得了應(yīng)用。而伴隨深度學(xué)習(xí)的出現(xiàn)，機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域又迎來了全新的一波蓬勃發(fā)展大潮，將推動著新一代人工智能技術(shù)往前發(fā)展一大步。在機(jī)器學(xué)習(xí)技術(shù)火熱發(fā)展的今天，其安全性和隱私權(quán)問題也受到了人們的重視，對機(jī)器學(xué)習(xí)的安全性和隱私權(quán)的威脅，一直妨礙著機(jī)器學(xué)習(xí)技術(shù)和人工智能研究的進(jìn)展。在自動駕駛、財政系統(tǒng)、健康管理等復(fù)雜系統(tǒng)中，機(jī)器學(xué)習(xí)的安全性問題威脅人類的切身利益，甚至健康與生命。而對于云計算服務(wù)中的機(jī)器學(xué)習(xí)即服務(wù)質(zhì)量（MLaaS）。因此，對于如何提高機(jī)器學(xué)習(xí)中的安全和怎樣保護(hù)用戶隱私權(quán)成為了機(jī)器學(xué)習(xí)未來發(fā)展的基石，并且相關(guān)研究者對此進(jìn)行了深入的研究，盡管這項研究還只是開始階段，但現(xiàn)已獲得了一些成果。在機(jī)器學(xué)習(xí)中，安全就是確認(rèn)使用者數(shù)據(jù)信息被恰當(dāng)利用，從而保護(hù)了機(jī)器學(xué)習(xí)的使用和完善。由于安全與隱私權(quán)是兩種完全不同且密切關(guān)聯(lián)的范疇，所以安全也是保護(hù)用戶隱私權(quán)的基石。隱私權(quán)是由1948年開始在聯(lián)合國《世界人權(quán)宣言》中所包含的一種基礎(chǔ)權(quán)利，隱私的基本法律含義是不愿告人或不便告人的事，與他人無關(guān)，而是關(guān)于自身權(quán)益的事。因此，隱私權(quán)也是一種缺乏公認(rèn)規(guī)范界定的復(fù)雜范疇。在機(jī)器學(xué)習(xí)中，隱私權(quán)通常被界定為人類有權(quán)力確定自身的私人數(shù)據(jù)信息不被披露。

隱私權(quán)是一種相當(dāng)復(fù)雜的法理學(xué)范疇，但目前還缺乏一種公認(rèn)的法理學(xué)規(guī)范概念。1890年刊登于《哈佛法學(xué)評論》上的《論隱私權(quán)》將隱私權(quán)界定為“不受他人干涉攪擾的權(quán)力”。隱私權(quán)主要包括以下3個方面：（1）訓(xùn)練數(shù)據(jù)隱私權(quán)，訓(xùn)練數(shù)據(jù)隱私權(quán)，即機(jī)器教學(xué)中所使用數(shù)據(jù)的個性身份信息內(nèi)容（personally identifable information，PI）和敏感信息內(nèi)容。個性身份信息內(nèi)容是指具有唯一性標(biāo)記個性身份的信息內(nèi)容，可分成標(biāo)識符和準(zhǔn)標(biāo)識符，包含姓氏、身份卡號、來電號碼、電子郵件地址等關(guān)鍵屬性（key atributese），準(zhǔn)標(biāo)志（ausidnifer）指可能唯一性地標(biāo)記個別身份的屬性總和，如住址、性別、生活時間;敏感信息涉及個體的人口統(tǒng)計信息內(nèi)容，如性別、薪水、犯罪記錄等;個人財經(jīng)信息內(nèi)容，如銀行卡號碼、賬戶余額、股票交易筆錄等;健康信息方面，如病歷、疾病癥狀、醫(yī)學(xué)影像、醫(yī)生處方等;以及日?；顒忧闆r，如通話記錄、活動軌跡、購物記錄等。（2）模式隱私權(quán)，模式隱私權(quán)，即在機(jī)械教學(xué)中的模型訓(xùn)練計算、建模拓?fù)錁?gòu)造、建模權(quán)重參數(shù)、激活函數(shù)和超參數(shù)等與機(jī)器學(xué)習(xí)模型相關(guān)的秘密信息機(jī)器學(xué)習(xí)模型屬于服務(wù)提供者的秘密信息，授權(quán)使用的只有使用權(quán)，可以對模型發(fā)動模型獲取攻擊（ModelExtractionAttack）。（3）預(yù)知結(jié)論隱私權(quán)。預(yù)知結(jié)論隱私權(quán)是指在機(jī)械教學(xué)模型中對使用者的預(yù)期輸入或要求直接反饋來的、使用者不希望披露的敏感信息內(nèi)容，模型預(yù)測結(jié)果可能是根據(jù)使用者的傳染病檢測個人信息，比如：得某些病的概率，此類個人信息對使用者而言，屬于個人隱私信息，但是不可信任的服務(wù)提供商和第三方機(jī)構(gòu)可以盜取使用者的此類個人信息，因此可以應(yīng)用crypto-nets加密數(shù)據(jù)，或者直接在密文上進(jìn)行預(yù)言，并傳遞的預(yù)言結(jié)論，為在線醫(yī)療診斷模型預(yù)測結(jié)論提供了秘密的保護(hù)訓(xùn)練數(shù)據(jù)隱私權(quán)、模式隱私權(quán)、模型預(yù)測結(jié)論隱私權(quán)都是在進(jìn)行機(jī)械教學(xué)時，必須著重保障的信息內(nèi)容。如若個人信息如果泄露，將會威脅到使用者對敏感數(shù)據(jù)的安全，或給服務(wù)提供商造成了很大的損失，這也是云計算發(fā)展中遇到的主要阻礙。因此，基于云計算技術(shù)的機(jī)器學(xué)習(xí)與服務(wù)系統(tǒng)需要在越來越關(guān)注信息安全方面，以進(jìn)一步增強(qiáng)信息安全保護(hù)能力。

機(jī)器學(xué)習(xí)常見的隱私威脅機(jī)器學(xué)習(xí)模型會無意識記憶某些訓(xùn)練數(shù)據(jù)，但也有些訓(xùn)練數(shù)據(jù)包含了人類的秘密信息，如習(xí)慣、喜好、地理位置等。

2.1 ?訓(xùn)練階段的隱私威脅

大型企業(yè)則多用集中訓(xùn)練方法，由于有一定多的應(yīng)用易于獲取大規(guī)模的數(shù)據(jù)進(jìn)行分析。但目前，在面向企業(yè)采集使用者數(shù)據(jù)分析以保障使用者信息安全行業(yè)還缺乏某個統(tǒng)一的標(biāo)準(zhǔn)。在獲取用戶數(shù)據(jù)流程中，會透露部分使用者的秘密，因此Google和Apple企業(yè)必須通過差分隱私的方法保存用戶數(shù)據(jù)，在實(shí)際使用數(shù)據(jù)流程中，即使單一的數(shù)據(jù)信息毫無意義，但數(shù)據(jù)分析信息仍有使用價值。為擴(kuò)展訓(xùn)練數(shù)據(jù)集獲得更準(zhǔn)確的目標(biāo)模型，某些數(shù)據(jù)提供方必須通過合作共享數(shù)據(jù)信息，共享培訓(xùn)目標(biāo)模型。共享并不僅僅指通過對其他參加方開放數(shù)據(jù)信息，所有主要參加者可以單獨(dú)在各種數(shù)據(jù)分析集上訓(xùn)練自已的模式，與其他參加方共用培訓(xùn)成果，從而間接共用了他們的培訓(xùn)數(shù)據(jù)信息。

2.2 ?數(shù)據(jù)提取攻擊

數(shù)據(jù)提取進(jìn)攻，亦稱為培訓(xùn)模式的逆向進(jìn)攻（Modelinversion Attack），由Fredrikson等人最早提出，是指培訓(xùn)利用訪問模式API，并利用一系列的查詢來提取模型培訓(xùn)數(shù)據(jù)里的秘密數(shù)據(jù)信息的一個攻擊方法，利用數(shù)據(jù)提取進(jìn)攻所導(dǎo)致的隱私數(shù)據(jù)泄漏可能會帶來很大的生命危險，比如：針對培訓(xùn)的模式獲取了患者的基因組信息，并且可能使藥物錯配，進(jìn)而造成了生命危險，F(xiàn)redrikson等人利用已經(jīng)培訓(xùn)好的模式，并且成功地利用數(shù)據(jù)提取進(jìn)攻重構(gòu)了人臉畫像;Ateniese等人，建立了一個分類器使其能夠通過進(jìn)攻一些分類器，從而獲得了訓(xùn)練數(shù)據(jù);Song等人還證實(shí)了練習(xí)好的模式將會記住大批秘密信息，因為一旦出現(xiàn)惡意ML算法的模式訓(xùn)練者，那么模式就能夠泄漏訓(xùn)練數(shù)據(jù)集的所有個人信息;同時Carlini等人還介紹了一個能夠獲取大批秘密信息的算法，他們能夠利用不斷查詢模式來收集如信用卡號、ID號碼等大批秘密信息。

3.1 ?缺乏健全的評價制度

目前還缺乏統(tǒng)一的安全性評價規(guī)范，對秘密泄漏缺乏統(tǒng)一的衡量標(biāo)準(zhǔn)，構(gòu)建完備的評價制度、規(guī)范隱私防護(hù)原則是維護(hù)機(jī)器學(xué)習(xí)安全性和隱私的重要一環(huán)。

3.2 ?不合理的對抗訓(xùn)練方法

對抗訓(xùn)練的非適應(yīng)性，使在對抗練習(xí)中需要引入足夠豐富的對抗樣本才能有效預(yù)防未知的對抗威脅，這也是對抗練習(xí)的難題，亟需克服。

3.3 ?用戶隱私問題

有效保護(hù)隱私權(quán)的方式就是使用密碼科技，但是由于目前的同態(tài)密碼科技算法開銷過大，且無法進(jìn)行計算機(jī)器學(xué)習(xí)中的某些非多項式算法。而且一般來說，維護(hù)用戶隱私權(quán)都要以犧牲目標(biāo)模式的精確度為付出代價。所以，研究有效的加密方式保護(hù)用戶隱私權(quán)是一項重大的研究問題，面對信息安全威脅，人們還必須深入探究針對投毒威脅、對抗入侵等威脅手段的防護(hù)技術(shù)，以提升模型的魯棒性，從而研發(fā)更強(qiáng)威脅的防護(hù)手段，而面對著信息安全威脅，全同態(tài)加密一直以來被人們看作是隱私保護(hù)機(jī)器學(xué)習(xí)的最主要技術(shù)手段，但也因為其中存在著大量數(shù)據(jù)膨脹、運(yùn)算負(fù)荷、激活函數(shù)擬合誤差等不利因素，從而導(dǎo)致了采用安全多方計算的隱私防護(hù)機(jī)器學(xué)習(xí)技術(shù)獲得了快速進(jìn)展。

現(xiàn)有的隱私保護(hù)機(jī)器學(xué)習(xí)方法，往往假定了云服務(wù)器為被動模式，并充分考慮了在云服務(wù)器互不合謀狀況下數(shù)據(jù)信息的可靠性和機(jī)械教學(xué)的有效性;此外，將較高的安全等級推至更多重情景下，還需要同時兼顧遇到惡意攻擊者情景時的公平性和一致性，所以，根據(jù)目前提出的方法，還必須再增加準(zhǔn)確度、有效性，以減少誤差，并兼顧更強(qiáng)的危險情景下，如惡意場景時等。所以，對未來的研發(fā)方向建議包括。

4.1 ?建立合理完整統(tǒng)一的安全評估規(guī)范

針對這些私密數(shù)據(jù)，可從根源上管理好這些數(shù)據(jù)的應(yīng)用范圍和獲取流程，但鑒于中國目前沒有合理完整的安全評估規(guī)范，且各種組織對私密數(shù)據(jù)的應(yīng)用范圍與獲取過程均缺乏合理統(tǒng)一的管理規(guī)范，從而不可避免地會導(dǎo)致信息安全的巨大風(fēng)險，因此建立合理完整統(tǒng)一的安全評估規(guī)范已勢在必行、刻不容緩。

4.2 ?研發(fā)可以具備更強(qiáng)魯棒性的隱私保障技術(shù)的機(jī)器學(xué)習(xí)模型

隨著對抗入侵、投毒攻擊等威脅技術(shù)手段的發(fā)展，普通模型早已不可以滿足信息安全要求。模型的內(nèi)容泄漏給組織、機(jī)構(gòu)所造成的經(jīng)濟(jì)損失將不可估量，因此研發(fā)可以對抗更強(qiáng)威脅技術(shù)手段的高魯棒性機(jī)器學(xué)習(xí)模型將是未來的重要工作。

4.3 ?提升現(xiàn)有方式的準(zhǔn)確度、有效性

由于目前的大多數(shù)隱私權(quán)防護(hù)方式都是采用同態(tài)加密、安全多重運(yùn)算和差分隱私的，而目前這幾種技術(shù)手段的傳輸、運(yùn)算等費(fèi)用都相當(dāng)大，這就降低了計算的有效性，也造成了無謂的資源浪費(fèi)。同時這種方式也面臨著精度逐漸喪失的問題，所以研發(fā)更為有效、準(zhǔn)確度更高的隱私權(quán)防護(hù)方式將是下一項重大的研發(fā)方向。

綜上所述，機(jī)器學(xué)習(xí)本身的脆弱性造成其安全性威脅產(chǎn)生的必然，同時易于暴露使用者秘密，近年來，機(jī)器學(xué)習(xí)的安全性問題受到了普遍重視。機(jī)器學(xué)習(xí)通常被視為黑盒模型，其決策算法也具有不解釋性，這就為機(jī)器學(xué)習(xí)的安全防護(hù)與隱私保障造成了相當(dāng)?shù)恼系K。在當(dāng)前，機(jī)器學(xué)習(xí)安全防護(hù)和隱私保障技術(shù)的研發(fā)仍處在起步階段，未來需要進(jìn)一步加強(qiáng)研究。

[1] 段龍，鄢天滎，王江麗，等.結(jié)合高光譜成像和機(jī)器學(xué)習(xí)的棉種年份鑒別[J].光譜學(xué)與光譜分析，2021，41（12）：3857-3863.

[2] 趙健，陳昭昀，莊希寧，等.量子態(tài)制備及其在量子機(jī)器學(xué)習(xí)中的前景[J].物理學(xué)報，2021，70（14）：67-75.

[3] 張瑞鴻，魏鑫，盧占會，等.基于機(jī)器學(xué)習(xí)訓(xùn)練金屬離子吸附能預(yù)測模型的研究[J].無機(jī)材料學(xué)報，2021，36（11）：1178-1184.

[4] 龔云洪，付皓斌，雍海林，等.基于機(jī)器學(xué)習(xí)的星地量子通信成碼率預(yù)測及實(shí)驗驗證[J]. 紅外與毫米波學(xué)報，2021，40（3）：420-425.

[5] 寇雯博，董灝，鄒岷強(qiáng)，等.混雜復(fù)合材料等效熱傳導(dǎo)性能預(yù)測的小波-機(jī)器學(xué)習(xí)混合方法[J].物理學(xué)報，2021，70（3）：57-68.

[6] 張瑞，賈虎.基于多變量時間序列及向量自回歸機(jī)器學(xué)習(xí)模型的水驅(qū)油藏產(chǎn)量預(yù)測方法[J].石油勘探與開發(fā)，2021，48（1）：175-184.

[7] 張寶一，李曼懿，李偉霞，等.基于機(jī)器學(xué)習(xí)的地球化學(xué)采樣下伏基巖類型判別—以青海省察汗烏蘇河地區(qū)為例[J].中南大學(xué)學(xué)報：英文版，2021，28（5）：1422-1447.

[8] 孟嫣然，王星爾，楊健，等.基于機(jī)器學(xué)習(xí)算法的夾層玻璃沖擊破壞預(yù)測模型研究[J].無機(jī)材料學(xué)報，2021，36（1）：61-68.

作者簡介：崔瑋（1981— ），女，碩士，副教授，研究方向為機(jī)器學(xué)習(xí)。

杜二玲（1975—），女，碩士，副教授，研究方向為不確定統(tǒng)計學(xué)習(xí)理論。

許青（1989— ），女，碩士，講師，研究方向為微分方程理論。