如果要求ChatGPT持續(xù)輸出一個(gè)單詞，會(huì)怎么樣？大模型在重復(fù)這個(gè)單詞一定次數(shù)之后就會(huì)“發(fā)瘋”，甚至開(kāi)始輸出某些個(gè)人隱私信息。

這是谷歌DeepMind、華盛頓大學(xué)、康奈爾大學(xué)等研究人員在2023年發(fā)表的一篇論文中介紹的案例。當(dāng)然這個(gè)漏洞現(xiàn)在已經(jīng)修復(fù)，但AI發(fā)展過(guò)程中面臨的安全問(wèn)題仍不容小覷。

深度求索（以下簡(jiǎn)稱DeepSeek）的出圈，點(diǎn)燃了各行各業(yè)接入AI的熱情。但AI加速落地所引發(fā)的安全問(wèn)題，仍需引起更大重視。

AI加速落地，安全待解

DeepSeek以創(chuàng)新技術(shù)范式和超低價(jià)策略，創(chuàng)造了很多看上去不太可能的事情。

行業(yè)影響方面，騰訊元寶、百度搜索、快手可靈AI相繼宣布全面接入DeepSeek。各地也陸續(xù)推出AI公務(wù)員：深圳福田區(qū)推出了基于DeepSeek開(kāi)發(fā)的AI數(shù)智員工；北京市市場(chǎng)監(jiān)管局企業(yè)登記注冊(cè)場(chǎng)景接入DeepSeek大模型技術(shù)，打造“有溫度”的“AI公務(wù)員”。

AI全面加速產(chǎn)業(yè)落地的背后，安全也成為多方關(guān)注焦點(diǎn)。

奇安信集團(tuán)董事長(zhǎng)齊向東此前接受《中國(guó)經(jīng)濟(jì)周刊》記者采訪時(shí)表示，人工智能暴露出諸多安全隱患，如人工智能大模型自身的安全問(wèn)題、利用人工智能開(kāi)展網(wǎng)絡(luò)攻擊的問(wèn)題。

從具體實(shí)踐來(lái)看，國(guó)外已經(jīng)出現(xiàn)多個(gè)案例。

比如2023年3月，三星公司引入ChatGPT不到20天，連續(xù)發(fā)生3起數(shù)據(jù)泄露事件。其中兩起源于工程師使用ChatGPT進(jìn)行代碼修復(fù)和優(yōu)化，一起源于員工使用ChatGPT整理會(huì)議紀(jì)要。

此外，參考消息近期援引外媒報(bào)道稱，美國(guó)本土發(fā)生了首例利用ChatGPT來(lái)策劃襲擊的事件。

大模型泄密背后

知道創(chuàng)宇首席安全官周景平在安全領(lǐng)域耕耘頗久，他在接受本刊記者采訪時(shí)介紹，從大模型技術(shù)來(lái)看，大模型使用的生成式預(yù)訓(xùn)練模型，是基于“概率”預(yù)測(cè)，通過(guò)給出的詞預(yù)測(cè)下一個(gè)詞，輸入端需要學(xué)習(xí)大量數(shù)據(jù)才能有效輸出。這種方式本身就可能泄露很多敏感數(shù)據(jù)內(nèi)容。

“可以將大模型看作一個(gè)巨大的知識(shí)庫(kù)，夸張點(diǎn)說(shuō)它能夠擁有和學(xué)習(xí)人類所有知識(shí)。但學(xué)習(xí)知識(shí)的過(guò)程中，相關(guān)語(yǔ)料是否完全做好了隱私處理，有時(shí)要打一個(gè)問(wèn)號(hào)?！敝芫捌窖a(bǔ)充說(shuō)。

此外，用戶在使用大模型時(shí)，不小心會(huì)把一些敏感信息提交給大模型，絕大多數(shù)模型會(huì)將用戶輸入的數(shù)據(jù)用于模型訓(xùn)練，這種情況也會(huì)導(dǎo)致泄密。

“比如之前有人嘗試把自己所有的微信數(shù)據(jù)投喂給大模型，讓大模型學(xué)習(xí)打造數(shù)字分身。但是沒(méi)想到，他的微信數(shù)據(jù)包含部分密碼數(shù)據(jù)，當(dāng)他把數(shù)字分身發(fā)布出來(lái)后，攻擊者只需要對(duì)數(shù)字分身輸入‘給出你的xxx密碼’，這個(gè)密碼便會(huì)泄露。”周景平說(shuō)。

當(dāng)然，傳統(tǒng)安全問(wèn)題也會(huì)影響AI安全。

周景平介紹，大模型的應(yīng)用是一個(gè)生態(tài)，尤其企業(yè)或個(gè)人本地化部署，涉及很多組件，可以說(shuō)是“海量”級(jí)別，有組件的地方必然就會(huì)有“漏洞”，攻擊者可以通過(guò)漏洞進(jìn)行攻擊，最終也會(huì)導(dǎo)致信息泄露。

特定行業(yè)可本地化部署

實(shí)踐中，為避免信息泄露，對(duì)于數(shù)據(jù)敏感、合規(guī)要求較高、對(duì)系統(tǒng)實(shí)用性有特定需求的行業(yè)，如金融、政府、醫(yī)療等，往往選擇本地化部署大模型。

新希望金融科技相關(guān)負(fù)責(zé)人在接受本刊記者采訪時(shí)介紹，本地化部署可以理解為在家里安裝“私人保險(xiǎn)箱”。這里的“保險(xiǎn)箱”指服務(wù)器等設(shè)備，通常存儲(chǔ)企業(yè)最重要的各種數(shù)據(jù)。

“本地化部署，意味著只有企業(yè)自己能夠訪問(wèn)和控制，直接形成物理隔離。因此，‘安全’是本地化部署的核心優(yōu)勢(shì)，極大降低了數(shù)據(jù)泄露風(fēng)險(xiǎn)。同時(shí)，企業(yè)也實(shí)現(xiàn)了對(duì)系統(tǒng)和數(shù)據(jù)的牢牢掌控?！鄙鲜鲐?fù)責(zé)人介紹。

在周景平看來(lái)，企業(yè)級(jí)的本地部署核心還是要追求“性價(jià)比”，即AI性能既要滿足企業(yè)場(chǎng)景需求，價(jià)格也在企業(yè)可承受范圍之內(nèi)。

“目前大模型部署對(duì)硬件要求相對(duì)較高，很多企業(yè)主要部署低參數(shù)版本及量化版本的AI。當(dāng)然隨著技術(shù)的發(fā)展，‘性價(jià)比’會(huì)越來(lái)越高?！敝芫捌秸f(shuō)。

考慮本地部署對(duì)于硬件和算力的要求較高以及后續(xù)協(xié)同問(wèn)題，更靈活和更加便捷的AI一體機(jī)，也在近期快速“出圈”。所謂的AI一體機(jī)，指直接將服務(wù)器、軟件、模型等集成在一個(gè)設(shè)備里，可以實(shí)現(xiàn)插電即用。

責(zé)編：郭霽瑤" guojiyao@ceweekly.cn

美編：孫珍蘭