Maria Korolov 陳琳華

企業(yè)在部署新技術(shù)時(shí)往往會(huì)忽視安全性。在企業(yè)眼里，如何盡快以盡可能低的成本為客戶和內(nèi)部用戶提供新產(chǎn)品和服務(wù)更為重要，而出色的安全性可能意味著速度慢且費(fèi)用高。

和所有的早期技術(shù)優(yōu)勢一樣，人工智能（AI）和機(jī)器學(xué)習(xí)（ML）也為漏洞和錯(cuò)誤配置提供了機(jī)會(huì)。此外，人工智能和機(jī)器學(xué)習(xí)也有著自己獨(dú)特的風(fēng)險(xiǎn)，而這些風(fēng)險(xiǎn)可能會(huì)隨著企業(yè)實(shí)施由人工智能驅(qū)動(dòng)的重大數(shù)字化轉(zhuǎn)型而變得更加危險(xiǎn)。對(duì)此，Booz Allen Hamilton的首席科學(xué)家Edward Raff說：“目前人工智能和機(jī)器學(xué)習(xí)領(lǐng)域并不是一個(gè)值得馬上進(jìn)入的領(lǐng)域?！?p>

與其他技術(shù)相比，人工智能和機(jī)器學(xué)習(xí)需要更多和更復(fù)雜的數(shù)據(jù)。目前由數(shù)學(xué)家和數(shù)據(jù)科學(xué)家開發(fā)的算法早已經(jīng)不再是研究性項(xiàng)目了，但是Raff指出：“直到最近，科學(xué)界才開始意識(shí)到人工智能存在安全問題?！?/p>

數(shù)據(jù)量和處理要求意味著可能只有云平臺(tái)才能夠處理這些工作負(fù)載，這導(dǎo)致復(fù)雜性和漏洞會(huì)進(jìn)一步增加。因此，部署了人工智能的企業(yè)最為但心的是網(wǎng)絡(luò)安全問題就不足為奇了。德勤最新發(fā)布的調(diào)查報(bào)告稱，盡管有62%的部署企業(yè)將網(wǎng)絡(luò)安全風(fēng)險(xiǎn)視為主要或極為重要的問題，但是只有39%的部署企業(yè)表示他們正準(zhǔn)備著手解決這些風(fēng)險(xiǎn)。

由于網(wǎng)絡(luò)安全是人工智能應(yīng)用的一個(gè)主要功能，因此這導(dǎo)致問題被進(jìn)一步復(fù)雜化。負(fù)責(zé)德勤旗下的技術(shù)、媒體與電信中心的執(zhí)行董事Jeff Loucks指出，企業(yè)對(duì)人工智能的使用經(jīng)驗(yàn)越豐富，他們對(duì)網(wǎng)絡(luò)安全風(fēng)險(xiǎn)的關(guān)注程度就越高。

此外，即便是經(jīng)驗(yàn)豐富的企業(yè)也不會(huì)遵循基本的安全實(shí)踐，例如保留所有人工智能和機(jī)器學(xué)習(xí)項(xiàng)目的完整清單、進(jìn)行審核和測試等等。Loucks一針見血地指出：“許多公司目前在這些方面做得并不好?！?h3>人工智能和機(jī)器學(xué)習(xí)的數(shù)據(jù)需求會(huì)帶來風(fēng)險(xiǎn)

人工智能和機(jī)器學(xué)習(xí)系統(tǒng)需要以下三種數(shù)據(jù)集：

·用于建立預(yù)測模型的訓(xùn)練數(shù)據(jù)。

·用于評(píng)估模型效果的測試數(shù)據(jù)。

·模型上線后的實(shí)時(shí)交易或運(yùn)營數(shù)據(jù)。

盡管實(shí)時(shí)交易或運(yùn)營數(shù)據(jù)屬于企業(yè)的重要資產(chǎn)，但是包含敏感信息的訓(xùn)練與測試數(shù)據(jù)池很容易被忽略。

匿名化、令牌化和加密等許多用于保護(hù)其他系統(tǒng)的策略對(duì)于人工智能和機(jī)器學(xué)習(xí)項(xiàng)目同樣適用。第一步是詢問是否需要數(shù)據(jù)。盡可能地收集數(shù)據(jù)，然后看看能用這些數(shù)據(jù)做什么，對(duì)于處于人工智能和機(jī)器學(xué)習(xí)項(xiàng)目準(zhǔn)備階段的企業(yè)來說非常具有吸引力。

將重心放在業(yè)務(wù)成果上可限制企業(yè)對(duì)數(shù)據(jù)的收集范圍。為教育機(jī)構(gòu)分析學(xué)生數(shù)據(jù)的Othot公司的首席技術(shù)官John Abbatico說：“雖然我們的數(shù)據(jù)科學(xué)團(tuán)隊(duì)非常需要數(shù)據(jù)，但是在處理學(xué)生數(shù)據(jù)時(shí)，我們明確向其告知，我們不需要高度敏感的個(gè)人身份信息，并且這些信息也不應(yīng)包含在向我們提供的數(shù)據(jù)中?！?/p>

發(fā)生錯(cuò)誤肯定是無法避免的。例如，客戶有時(shí)會(huì)提供例如社會(huì)保險(xiǎn)號(hào)這樣的敏感個(gè)人信息。這些信息無益于提高模型的性能，反而會(huì)帶來額外的風(fēng)險(xiǎn)。Abbatico說，他的團(tuán)隊(duì)為此設(shè)置了一個(gè)能夠識(shí)別個(gè)人身份信息的程序，可以從所有系統(tǒng)中清除個(gè)人身份信息，并將錯(cuò)誤告知客戶?！半m然我們不認(rèn)為這是安全事件，但是我們?nèi)匀粫?huì)以處理安全事件的方式處理它們?！?/p>

人工智能系統(tǒng)還希望獲取相互關(guān)聯(lián)的數(shù)據(jù)，但是這樣會(huì)加大企業(yè)面臨的風(fēng)險(xiǎn)。如果保險(xiǎn)公司想更好地了解客戶的駕駛習(xí)慣，他們可能會(huì)收集客戶的購物、駕乘、位置等其他數(shù)據(jù)集。這些數(shù)據(jù)集可以很容易地與客戶的賬戶進(jìn)行關(guān)聯(lián)和匹配。對(duì)于黑客來說，這種新的指數(shù)級(jí)的豐富數(shù)據(jù)集極具吸引力。一旦被泄露出去，公司的聲譽(yù)將會(huì)受到毀滅性打擊。

通過設(shè)計(jì)提高人工智能的安全性

在線文件共享平臺(tái)Box有大量需要保護(hù)的數(shù)據(jù)。為此，Box開始嘗試?yán)萌斯ぶ悄芴崛≡獢?shù)據(jù)，以改善搜索和分類等功能。Box的首席信息安全官Lakshmi Hanspal說：“盡管我們可以從合同中提取條款、續(xù)訂和價(jià)格等信息，但是我們的大多數(shù)客戶都非常的傳統(tǒng)，他們要么是通過用戶定義的分類方式對(duì)內(nèi)容進(jìn)行分類，要么就完全忽視分類工作。這些客戶可以說是坐在了數(shù)字化轉(zhuǎn)型極為需要的數(shù)據(jù)金山上，但是前提是這些內(nèi)容要能夠自動(dòng)進(jìn)行分類，具有自我意識(shí)?！?/p>

保護(hù)數(shù)據(jù)是Box的關(guān)鍵業(yè)務(wù)，包括訓(xùn)練數(shù)據(jù)在內(nèi)的人工智能系統(tǒng)也會(huì)得到相同的保護(hù)，同時(shí)數(shù)據(jù)保護(hù)標(biāo)準(zhǔn)不會(huì)因此而下降。Hanspal說：“我們Box公司會(huì)建立、銷售和維護(hù)這種信任。我們認(rèn)為，我們的產(chǎn)品要與合作伙伴和客戶的產(chǎn)品深度融合在一起，而不是簡單的關(guān)聯(lián)。”

這意味著，新的基于人工智能的項(xiàng)目等所有系統(tǒng)都要圍繞核心數(shù)據(jù)安全原則構(gòu)建，包括加密、日志記錄、監(jiān)視、身份驗(yàn)證和訪問控制。Hanspal 說：“數(shù)字信任是我們平臺(tái)的天然優(yōu)勢，我們可以對(duì)其進(jìn)行運(yùn)維?！?/p>

Box的安全開發(fā)流程既適用于傳統(tǒng)代碼，也適用于基于人工智能和機(jī)器學(xué)習(xí)的新系統(tǒng)。Hanspal 說：“我們開發(fā)的安全產(chǎn)品符合ISO行業(yè)標(biāo)準(zhǔn)，除了內(nèi)置安全性外，在適當(dāng)?shù)牡胤竭€設(shè)置了滲透測試和紅隊(duì)等檢測與平衡機(jī)制。這是一個(gè)標(biāo)準(zhǔn)流程，人工智能和機(jī)器學(xué)習(xí)項(xiàng)目也不例外?！?/p>

數(shù)學(xué)家和數(shù)據(jù)科學(xué)家在編寫人工智能和機(jī)器學(xué)習(xí)算法代碼時(shí)通常不會(huì)考慮到潛在的漏洞。因此，企業(yè)構(gòu)建人工智能系統(tǒng)時(shí)，他們往往會(huì)選擇開源算法、商用“黑盒” 人工智能系統(tǒng)或者是從零開始構(gòu)建自己的人工智能系統(tǒng)。

如果使用開源代碼，那么攻擊者有可能偷偷放置惡意代碼，或者該代碼本身就存在漏洞或易受攻擊的依賴項(xiàng)。盡管商業(yè)系統(tǒng)也會(huì)使用開源代碼，但是為了解決這一個(gè)問題，開發(fā)者會(huì)在這些開源代碼中加入企業(yè)客戶無法查閱的新代碼。

逆向攻擊已成為重大威脅

人工智能和機(jī)器學(xué)習(xí)系統(tǒng)中通常都包含了開源庫和由非安全工程人員編寫的全新代碼。編寫安全人工智能算法現(xiàn)在尚不存在標(biāo)準(zhǔn)的最佳實(shí)踐。當(dāng)前人才市場上缺乏安全專家和數(shù)據(jù)科學(xué)家，既精通安全又精通數(shù)據(jù)科學(xué)的人員更為短缺。

人工智能和機(jī)器學(xué)習(xí)算法有可能會(huì)將訓(xùn)練數(shù)據(jù)泄露給攻擊者，這可能是人工智能和機(jī)器學(xué)習(xí)算法的最大潛在風(fēng)險(xiǎn)和長期威脅。Booz Allen Hamilton的Raff稱說：“通過逆向攻擊，黑客可以竊取人工智能模型，進(jìn)而分析出人工智能模型信息以及其受到過哪些訓(xùn)練。如果人工智能模型使用了個(gè)人身份信息數(shù)據(jù)進(jìn)行訓(xùn)練，那么人工智能模型將會(huì)泄漏這些信息，從而導(dǎo)致個(gè)人身份信息出現(xiàn)泄漏。”

Box 首席信息安全官Lakshmi Hanspal

這是一個(gè)非常熱門的研究領(lǐng)域，并且有可能成為一個(gè)巨大痛點(diǎn)。目前市場上已經(jīng)出現(xiàn)了可以保護(hù)訓(xùn)練數(shù)據(jù)免受逆向攻擊的工具，但是它們的價(jià)格不菲。Raff說：“雖然我們知道如何防止這種情況的發(fā)生，但是如果真正做起來，那么訓(xùn)練模型的成本將會(huì)暴增100倍。這并不夸張。一旦訓(xùn)練模型的成本增長100倍，那么所有人都會(huì)選擇放棄?！?h3>無法理解的內(nèi)容的安全自然無法得到保證

另一個(gè)熱門的研究領(lǐng)域是可解釋性。包括網(wǎng)絡(luò)安全供應(yīng)商提供的人工智能和機(jī)器學(xué)習(xí)支持的工具在內(nèi)，許多人工智能和機(jī)器學(xué)習(xí)系統(tǒng)都是“黑盒”系統(tǒng)。YL Ventures的首席信息安全官Sounil Yu說：“在安全領(lǐng)域，發(fā)生的事情能夠被解釋的通是最基本的要求，但是供應(yīng)商根本沒有提供這種可解釋性。如果無法解釋為什么會(huì)發(fā)生，那么解決它們又從何談起呢？”

在出現(xiàn)了問題時(shí)，對(duì)于自己創(chuàng)建人工智能或機(jī)器學(xué)習(xí)系統(tǒng)的公司，他們可以返回訓(xùn)練數(shù)據(jù)或者是算法來解決問題。但是如果人工智能或機(jī)器學(xué)習(xí)系統(tǒng)是從別的地方購買的，用戶可能甚至都無法知道哪些是訓(xùn)練數(shù)據(jù)。

并不是只有算法需要保護(hù)

人工智能系統(tǒng)不只是自然語言處理引擎，也不僅僅是分類算法或神經(jīng)網(wǎng)絡(luò)。系統(tǒng)需要與用戶和后端平臺(tái)進(jìn)行交互，即便其自身是完全安全的，使用當(dāng)中仍然存在著安全風(fēng)險(xiǎn)。

系統(tǒng)是否使用了強(qiáng)身份驗(yàn)證和最小特權(quán)原則？與后端數(shù)據(jù)庫的連接是否安全？與第三方數(shù)據(jù)源的連接是否安全？用戶界面可以抵抗注入攻擊嗎？

人工智能和機(jī)器學(xué)習(xí)項(xiàng)目特有的不安全因素是數(shù)據(jù)科學(xué)家。Othot的Abbatico說：“優(yōu)秀的數(shù)據(jù)科學(xué)家會(huì)利用數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，從而得出具有洞察力的模型。但是在數(shù)據(jù)安全領(lǐng)域，這可能會(huì)導(dǎo)致危險(xiǎn)的行為。在用完數(shù)據(jù)后，他們可能會(huì)想將數(shù)據(jù)轉(zhuǎn)移到不安全的位置或刪除樣本數(shù)據(jù)集?！睘榇?，Othot選擇盡早獲得SOC II認(rèn)證，這些控制措施可為整個(gè)公司提供強(qiáng)有力的數(shù)據(jù)保護(hù)，包括在移動(dòng)或刪除數(shù)據(jù)時(shí)。

事實(shí)上，人工智能模型的最大風(fēng)險(xiǎn)并不在人工智能方面，而在人員方面。Urvin人工智能的產(chǎn)品經(jīng)理兼非營利組織ISECOM的聯(lián)合創(chuàng)始人Peter Herzog說：“問題出在人身上。人決定了如何訓(xùn)練人工智能模型，決定了要包含哪些數(shù)據(jù)，決定了要預(yù)測的內(nèi)容，以及決定了要公開多少信息。這導(dǎo)致沒有哪個(gè)人工智能模型是絕對(duì)安全的?！?/p>

人工智能和機(jī)器學(xué)習(xí)系統(tǒng)另一個(gè)特有的安全風(fēng)險(xiǎn)是數(shù)據(jù)中毒，即攻擊者向系統(tǒng)反饋惡意信息，迫使其做出不準(zhǔn)確的預(yù)測。例如，攻擊者可以將合法軟件的反饋信息篡改為與惡意軟件相似，從而誘使系統(tǒng)認(rèn)為惡意軟件也是安全的。

安全性是大多數(shù)組織機(jī)構(gòu)都高度關(guān)注的問題。Raff說：“盡管目前還沒有聽說有人工智能系統(tǒng)在實(shí)際生活當(dāng)中受到了攻擊，但是這的的確確是一個(gè)威脅。只是攻擊者用來規(guī)避防病毒軟件的經(jīng)典工具仍然有效，他們目前還不需要變得更狡猾?！?h3>防止偏見和模型漂移

當(dāng)被應(yīng)用在用戶行為分析、監(jiān)視網(wǎng)絡(luò)流量或檢查數(shù)據(jù)泄露等企業(yè)安全領(lǐng)域時(shí)，人工智能和機(jī)器學(xué)習(xí)系統(tǒng)的偏差和模型漂移會(huì)產(chǎn)生潛在的風(fēng)險(xiǎn)。如果訓(xùn)練數(shù)據(jù)集無法充分代表特定的攻擊或是過時(shí)的，那么企業(yè)將變得很容易受到攻擊。 Raff說：“用戶需要不斷更新模型，并且讓更新成為了一項(xiàng)長期性工作?！?/p>

訓(xùn)練在一些情況下可以實(shí)現(xiàn)自動(dòng)化。例如，通過適應(yīng)不斷變化的天氣模式或供應(yīng)鏈交付時(shí)間表，隨著時(shí)間的推移，模型將變得更加可靠。如果信息源有惡意行為者，那么用戶則需要管理訓(xùn)練數(shù)據(jù)集，以防止系統(tǒng)中毒和被操縱。

如果面部識(shí)別或招聘平臺(tái)歧視婦女或少數(shù)民族，那么算法可能會(huì)帶來一些道德問題。歧視與偏見逐漸蔓延到算法中還會(huì)造成合規(guī)性問題。如果蔓延到自動(dòng)駕駛汽車和醫(yī)療應(yīng)用中，那么就可以可能導(dǎo)致人員死亡。

算法可以將偏見帶入預(yù)測結(jié)果，同樣它們也可以用于控制偏見。Othot的Abbatico說：“模型的創(chuàng)建如果沒有適當(dāng)約束，那么就很容易產(chǎn)生偏見。解決偏見需要花精力。加入與多樣性相關(guān)的數(shù)據(jù)可幫助模型更好地理解目標(biāo)，防止出現(xiàn)偏見。如果不將多樣性作為約束條件，那么模型很容易出現(xiàn)偏見。”

人工智能的前途并不明朗

人工智能和機(jī)器學(xué)習(xí)系統(tǒng)需要大量數(shù)據(jù)、復(fù)雜的算法以及功能強(qiáng)大的處理器。主要的云服務(wù)供應(yīng)商都在致力于開發(fā)出功能齊全且使用便捷的數(shù)據(jù)科學(xué)平臺(tái)，以方便數(shù)據(jù)科學(xué)家隨時(shí)使用服務(wù)器。

德勤的人工智能調(diào)查報(bào)告顯示，93%的企業(yè)都在使用基于云計(jì)算的人工智能。這些項(xiàng)目未來有可能會(huì)變身為操作系統(tǒng)，但是隨著規(guī)模的擴(kuò)大，配置問題將會(huì)成倍增加。集中式自動(dòng)化配置和安全管理儀表板在最新的服務(wù)中可能無法使用，公司為此可能需要自己編寫代碼或是求助于服務(wù)供應(yīng)商，以解決這些問題。

如果使用系統(tǒng)的數(shù)據(jù)科學(xué)家或理論研究人員沒有專業(yè)的安全知識(shí)，只是普通的愛好者，那么安全性將會(huì)成為一個(gè)嚴(yán)重的問題。此外，供應(yīng)商首先注重的是新功能，其次才是安全性。當(dāng)系統(tǒng)被快速、倉促部署并被迅速擴(kuò)展時(shí)，安全問題將成為一個(gè)突出的問題。目前IoT設(shè)備、云存儲(chǔ)和容器已經(jīng)出現(xiàn)這些問題。

人工智能平臺(tái)供應(yīng)商目前已經(jīng)意識(shí)到這些問題，并開始反思經(jīng)驗(yàn)教訓(xùn)?！鞍踩辽稀钡睦砟钣蓙硪跃?，各種項(xiàng)目中都應(yīng)積極主動(dòng)地考慮安全性。得益于機(jī)器學(xué)習(xí)社區(qū)的關(guān)注，安全性滯后的情況可能會(huì)大幅改觀。

人工智能項(xiàng)目的安全清單

德勤《企業(yè)人工智能狀態(tài)》（第三版）中所列清單可幫助確保人工智能項(xiàng)目的安全：

保留所有人工智能部署的詳細(xì)目錄。

讓人工智能風(fēng)險(xiǎn)管理與其他的風(fēng)險(xiǎn)管理工作保持一致。

指定一名高管負(fù)責(zé)與人工智能有關(guān)的風(fēng)險(xiǎn)。

開展內(nèi)部審計(jì)與測試。

由外部供應(yīng)商進(jìn)行獨(dú)立的審核和測試。

就如何識(shí)別和解決有關(guān)人工智能的道德問題對(duì)人員展開培訓(xùn)。

在健康良好的人工智能道德實(shí)踐方面與外部各方展開合作。

確保人工智能供應(yīng)商提供的系統(tǒng)不存在偏見。

針對(duì)人工智能道德問題制定專門的政策或成立專門的指導(dǎo)小組。

本文作者M(jìn)aria Korolov在過去20年里一直關(guān)注新興技術(shù)和新興市場。

原文網(wǎng)址

https：//www.csoonline.com/article/3434610/how-secure-are-your-ai-and-machine-learning-projects.html？nsdr=true