摘? ?要：推動戰(zhàn)略性新興產(chǎn)業(yè)融合集群發(fā)展，構(gòu)建人工智能增長引擎，快速發(fā)展的人工智能向法律提出挑戰(zhàn)的同時，創(chuàng)新人工智能產(chǎn)業(yè)也不容忽視。2023年8月《生成式人工智能服務(wù)管理暫行辦法》落地，我國已基本形成人工智能監(jiān)管框架。統(tǒng)籌人工智能“發(fā)展與安全”，平衡人工智能“監(jiān)管與創(chuàng)新”便成為要解決的核心問題。以歐盟《人工智能法案》為分析對象，“分級分類”與“契約”風(fēng)險治理并行的人工智能監(jiān)管思路是其主要特征。一方面，分級分類的人工智能風(fēng)險治理作為數(shù)字經(jīng)濟中一種監(jiān)管理念能夠更好地實現(xiàn)科學(xué)監(jiān)管、高效規(guī)制、精準(zhǔn)治理；另一方面，強調(diào)監(jiān)管機構(gòu)、科創(chuàng)企業(yè)、消費者三者在平等協(xié)商的基礎(chǔ)上形成共治局面的人工智能監(jiān)管沙盒實現(xiàn)了“契約”治理。因此，立足我國人工智能立法和發(fā)展現(xiàn)狀，應(yīng)構(gòu)建“分級分類”與“契約”風(fēng)險治理并行的人工智能監(jiān)管制度。一是明確分級分類標(biāo)準(zhǔn)，對接相應(yīng)的數(shù)據(jù)、算法、平臺的治理規(guī)則體系，與現(xiàn)有的人工智能事前、事中、事后監(jiān)管制度實現(xiàn)銜接。二是以國家數(shù)據(jù)局作為主要牽頭機關(guān)，程序執(zhí)行以“場景化”為特征，明確人工智能監(jiān)管沙盒的五步程序和測試合格標(biāo)準(zhǔn)，堅持個人數(shù)據(jù)的處理是監(jiān)管沙盒制度的關(guān)鍵，最終形成政府、社會、企業(yè)三方互相合作協(xié)同治理的局面。

關(guān)鍵詞：人工智能；分級分類；風(fēng)險治理；監(jiān)管沙盒

DOI：10.3969/j.issn.1003-9031.2024.02.006

中圖分類號：DF438? ? ? ? ? ?文獻標(biāo)識碼：A? ? ?文章編號：1003－9031（2024）02－0076－10

一、引言

人工智能作為當(dāng)前數(shù)字經(jīng)濟的核心技術(shù)，以不可阻擋之勢應(yīng)用于生活的方方面面。同樣，人工智能作為一種新行業(yè)新業(yè)態(tài)，其核心產(chǎn)業(yè)規(guī)模達到5000億元，企業(yè)數(shù)量超過4300家，5G基站超過280萬個，數(shù)字化車間和工廠約2500多個，算力規(guī)模位居全球第二。然而，當(dāng)人類獲得人工智能產(chǎn)業(yè)帶來的便利條件的同時，也面臨著風(fēng)險的未知性和不確定性。因此，快速發(fā)展的人工智能技術(shù)正在為我國法律法規(guī)的建立健全提出更加緊迫的發(fā)展要求。其中，統(tǒng)籌人工智能“發(fā)展與安全”，平衡人工智能“監(jiān)管與創(chuàng)新”，則是最為關(guān)鍵的問題。探索全球關(guān)于人工智能的監(jiān)管與實踐，歐盟于2023年6月通過了《人工智能法案》（以下簡稱《AI法案》），標(biāo)志著歐盟關(guān)于人工智能的監(jiān)管將走向世界前列。其中，歐盟的“風(fēng)險等級制”人工智能監(jiān)管措施和堅持實驗主義治理理念的“監(jiān)管沙盒”是其核心監(jiān)管內(nèi)容。換言之，“分級分類”為治理原則的人工智能風(fēng)險劃分制度和以“契約”為鼓勵創(chuàng)新的風(fēng)險治理制度是歐盟《人工智能法案》最核心的特征。因此，本文欲對歐盟《人工智能法案》兩大治理邏輯進行剖析，并結(jié)合我國當(dāng)前人工智能治理的實踐和現(xiàn)實困境，提出“分級分類”與“契約”風(fēng)險治理并行的人工智能監(jiān)管思路，并對具體的制度構(gòu)建提出相關(guān)建議。

二、歐盟《人工智能法案》的監(jiān)管制度分析

（一）歐盟人工智能立法歷史沿革

歐盟自2016年起就不斷探索推進對人工智能技術(shù)應(yīng)用的監(jiān)管體系建構(gòu)。2018年，歐盟建立人工智能高級專家小組（High-Level Expert Group on Artificial Intelligence），加快建立一個統(tǒng)一的人工智能法律監(jiān)管框架的步伐。隨著《人工智能法案》三次修改及談判草案的發(fā)布，歐盟在世界范圍內(nèi)率先設(shè)計一系列措施以確立人工智能的治理規(guī)則體系，并嘗試影響甚至塑造全球范圍內(nèi)的人工智能治理共識規(guī)則和標(biāo)準(zhǔn)?？v觀歐盟人工智能立法，其關(guān)鍵詞主要包括“倫理治理”“算法治理”“數(shù)據(jù)治理”，以上共同構(gòu)成歐洲人工智能的監(jiān)管框架。

2016年發(fā)布的《歐盟機器人民事法律規(guī)則》從民事法律的角度對基于人工智能控制的機器人制定了相應(yīng)的權(quán)利及義務(wù)規(guī)則。該文件作為歐洲乃至全球第一份專門規(guī)制人工智能的政策文件，對于歐洲的人工智能發(fā)展及人工智能倫理治理的發(fā)展均產(chǎn)生較大影響。2018年歐盟委員會發(fā)布《通用數(shù)據(jù)保護條例》，旨在加強和統(tǒng)一歐盟內(nèi)所有成員國的數(shù)據(jù)保護，保障公民在數(shù)字化時代的隱私權(quán)。2019年發(fā)布《算法的可問責(zé)和透明的治理框架》，確立了人工智能的算法問責(zé)機制及透明義務(wù)的規(guī)則。同年《可信人工智能倫理指南》發(fā)布，正式確立了“以人為本”的人工智能發(fā)展及治理理念，其提出的可信人工智能三大要素也進而成為世界范圍內(nèi)較為通行的人工智能評估準(zhǔn)則。2020年，歐盟針對數(shù)據(jù)治理陸續(xù)發(fā)布了《數(shù)字服務(wù)法案》《數(shù)字市場法案》和《數(shù)據(jù)治理法案》，旨在規(guī)范歐洲的數(shù)據(jù)利用和流轉(zhuǎn)制度。因此，隨著《人工智能法案》的出臺，歐盟已經(jīng)形成了加強數(shù)據(jù)安全保護，促進歐洲數(shù)據(jù)流動，防范算法自動化決策潛在風(fēng)險，建立相關(guān)倫理價值標(biāo)準(zhǔn)，擁有監(jiān)管與創(chuàng)新平衡發(fā)展的人工智能監(jiān)管立法規(guī)定。

本文以歐盟《人工智能法案》為分析對象，首先對該法案進行系統(tǒng)梳理，以“折衷版本”為參考，共12編85條。包括一般規(guī)定；禁止人工智能的行為；高風(fēng)險人工智能的種類、要求、提供者和使用者的各方義務(wù)及相關(guān)評估合格程序；支持創(chuàng)新的措施；人工智能監(jiān)管沙盒制度；治理架構(gòu)；執(zhí)法程序；法律責(zé)任等。歐盟《人工智能法案》集中體現(xiàn)了兩種風(fēng)險治理理念：基于風(fēng)險的規(guī)制和堅持實驗主義治理。詳言之，歐盟對于人工智能風(fēng)險防范的立法設(shè)計，一方面以風(fēng)險為起點，進行風(fēng)險等級分類，并針對不同的風(fēng)險采取不同的監(jiān)管措施；另一方面自監(jiān)管機構(gòu)、科創(chuàng)企業(yè)、用戶之間形成一種共治狀態(tài)，基于平等協(xié)商、信息透明的要求達成實驗“契約”，實現(xiàn)科技創(chuàng)新的同時，達到社會效果的最大化。

（二）歐盟人工智能的分級分類風(fēng)險治理邏輯

以風(fēng)險分級劃分為導(dǎo)向的人工智能治理思路是當(dāng)下立法與實踐的主流。以高、中、低劃分人工智能風(fēng)險，它們所面對的監(jiān)管要求各不相同，對監(jiān)管事項的詳盡程度也各有不同。但分級分類作為數(shù)字經(jīng)濟中一種監(jiān)管理念能夠體現(xiàn)科學(xué)監(jiān)管、高效規(guī)制、精準(zhǔn)治理的常態(tài)化監(jiān)管思路。

歐盟《人工智能法案》基于人工智能的不透明性、復(fù)雜性、對數(shù)據(jù)的依賴性、自主行為性等特征，將人工智能的風(fēng)險等級區(qū)分為：不可接受風(fēng)險、高風(fēng)險、有限風(fēng)險和低或極小風(fēng)險的人工智能系統(tǒng)。第一，不可接受風(fēng)險人工智能系統(tǒng)?！度斯ぶ悄芊ò浮返牡?條規(guī)定，被認(rèn)為對人們的安全、生計和權(quán)利構(gòu)成明顯威脅的有害人工智能系統(tǒng)所產(chǎn)生的風(fēng)險為不可接受的風(fēng)險。該系統(tǒng)不可以在歐盟境內(nèi)投放市場、投入服務(wù)或使用的。第二，高風(fēng)險人工智能系統(tǒng)?！度斯ぶ悄芊ò浮返牡?條規(guī)定了對人們的安全或基本權(quán)利造成不利影響的“高風(fēng)險人工智能系統(tǒng)”，具體包括兩類高風(fēng)險的人工智能系統(tǒng)：一是作為產(chǎn)品安全組成部分或?qū)儆跉W盟衛(wèi)生與安全協(xié)調(diào)立法（如玩具、航空、汽車、醫(yī)療器械、升降機等）的系統(tǒng)；二是在附件三確定的8個特定領(lǐng)域部署的系統(tǒng)，委員會可以通過授權(quán)法案進行必要的更新。高風(fēng)險人工智能系統(tǒng)應(yīng)適用如下限制規(guī)則：首先，高風(fēng)險人工智能系統(tǒng)的提供者在將其投放市場或投入使用之前，需要將該系統(tǒng)注冊在歐盟范圍內(nèi)的AI數(shù)據(jù)庫中。任何受現(xiàn)有AI產(chǎn)品安全立法管轄的產(chǎn)品和服務(wù)，應(yīng)適用現(xiàn)有的第三方符合性框架（Conformity Frameworks）之下。目前不受歐盟立法管轄的人工智能系統(tǒng)的提供者必須進行自我評估，在符合要求的情況下，可以使用CE標(biāo)記。其次，高風(fēng)險的人工智能系統(tǒng)需要在風(fēng)險管理、測試、技術(shù)穩(wěn)健性、數(shù)據(jù)培訓(xùn)和數(shù)據(jù)治理、透明度、人類監(jiān)督和網(wǎng)絡(luò)安全等方面符合要求。最后，高風(fēng)險人工智能系統(tǒng)的提供者、進口商、分銷商和使用者將必須履行一系列義務(wù)。第三，有限風(fēng)險人工智能系統(tǒng)。如與人類交互的系統(tǒng)（即聊天機器人）、情感識別系統(tǒng)、生物特征分類系統(tǒng)以及生成式人工智能系統(tǒng)，需要履行透明義務(wù)。第四，低或極小風(fēng)險人工智能系統(tǒng)。低或極小風(fēng)險的人工智能系統(tǒng)在歐盟開發(fā)和使用，不需要遵守任何額外的法律義務(wù)。但《人工智能法案》中規(guī)定的行為準(zhǔn)則，鼓勵非高風(fēng)險人工智能系統(tǒng)的提供者自愿適用高風(fēng)險人工智能系統(tǒng)的強制性要求。

人工智能分級分類風(fēng)險治理邏輯的價值。第一，分級分類對人工智能風(fēng)險進行劃分有利于精準(zhǔn)防范社會未知風(fēng)險。由于社會本身具有多元的屬性特征，在主體、價值等方方面面，單一治理規(guī)則是無法適用解決的。分級分類的風(fēng)險劃分能夠彰顯其包容性的特征，面對不同的治理風(fēng)險，有針對性地提出治理措施，能夠精準(zhǔn)防范由人工智能所產(chǎn)生的社會未知風(fēng)險。第二，分級分類對人工智能風(fēng)險進行劃分有利于提高其公平度、透明度和可問責(zé)性。人工智能從弱人工智能向強人工智能的發(fā)展過程中，也使得人工智能逐漸從輔助性的工具發(fā)展為能夠進行自主性的決策。然而，分級分類能夠?qū)θ斯ぶ悄苓M行定位和區(qū)分，提升其人為的可控性，由此可產(chǎn)生不同的風(fēng)險治理路徑。第三，分級分類對人工智能風(fēng)險進行劃分有利于實現(xiàn)平衡企業(yè)與社會責(zé)任，更好地促進產(chǎn)業(yè)創(chuàng)新。當(dāng)前，全球人工智能作為提高國家競爭力的重要戰(zhàn)略力量，“以監(jiān)管促發(fā)展”則是當(dāng)前人工智能立法的主要思路。從企業(yè)角度而言，區(qū)分度和顆粒度的監(jiān)管措施夠更好平衡企業(yè)社會責(zé)任和能量釋放，促進產(chǎn)業(yè)健康發(fā)展。

（三）歐盟人工智能的“契約”風(fēng)險治理邏輯

監(jiān)管沙盒本質(zhì)上是基于多方主體達成“契約”結(jié)構(gòu)的監(jiān)管措施。從監(jiān)管部門到相關(guān)企業(yè)再到用戶（消費者）基于身份關(guān)系的不同，形成了一種自上而下的監(jiān)管狀態(tài)。然而，監(jiān)管沙盒的存在則轉(zhuǎn)變了這種“對抗性”的狀態(tài)進而形成一種以“契約”為底層邏輯的共治狀態(tài)。歐盟人工智能的“契約”治理邏輯，主要體現(xiàn)在其對人工智能監(jiān)管沙盒制度的規(guī)定。

沙盒（Sandbox）來源于計算機領(lǐng)域，作為一種安全程序以提供一種隔離環(huán)境。在可控的范圍內(nèi)，對“盒子”里的企業(yè)由監(jiān)管部門實施全過程監(jiān)管，將風(fēng)險杜絕在“盒子”范圍之外，并在測試實驗結(jié)束之后，作出安全性的評價，最終使得企業(yè)在監(jiān)管中獲益。監(jiān)管沙盒的特征體現(xiàn)在：第一，監(jiān)管沙盒一般都是臨時性的，測試過程通常是有期限的且期限較短。第二，監(jiān)管沙盒匯集了監(jiān)管者和企業(yè)的意見，也是“契約性”的關(guān)鍵體現(xiàn)。第三，創(chuàng)新的產(chǎn)品和服務(wù)將跳出現(xiàn)有法律框架，通過建立監(jiān)管沙盒，為一個特定的項目“量身定制”法律支持。第四，監(jiān)管沙盒具有“試錯”特征。第五，通過監(jiān)管沙盒收集的技術(shù)和市場數(shù)據(jù)，有助于監(jiān)管者評估現(xiàn)有法律框架并進行針對性地調(diào)整。

歐盟關(guān)于監(jiān)管沙盒的規(guī)定主要集中在第53-54a條。第53條第1款規(guī)定，建立主體為各成員國公共機關(guān)或者歐洲數(shù)據(jù)保護機關(guān)（European Data Protection Supervisor）。監(jiān)管沙盒應(yīng)確保透明、廣泛、公開的參與，并提供一個受控的環(huán)境，以允許“在將其投入市場之前開發(fā)、測試和驗證創(chuàng)新的Al系統(tǒng)”。第53條第2款和第54條第1款強調(diào)對個人數(shù)據(jù)的保護，人工智能系統(tǒng)的創(chuàng)新需要數(shù)據(jù)作為支撐，因此保障個人數(shù)據(jù)尤為重要。根據(jù)規(guī)定，出于保障醫(yī)療、保護環(huán)境和關(guān)鍵基礎(chǔ)設(shè)施等公共利益目的，可以在嚴(yán)格保障個人數(shù)據(jù)安全的前提下實施處理。需要采取的保障措施主要包括在隔離環(huán)境中處理數(shù)據(jù)和沙盒結(jié)束以后刪除數(shù)據(jù)。第53條第3款強調(diào)主管機關(guān)具有監(jiān)督權(quán)，在測試過程中如果發(fā)現(xiàn)對用戶的健康和安全帶來損害，應(yīng)立即中止測試。第53條第4款強調(diào)Al監(jiān)管沙盒的參與者在沙盒中進行的試驗給第三方造成的損害應(yīng)承擔(dān)賠償責(zé)任。第53條第5款強調(diào)在成員國建立的監(jiān)管沙箱的主管機關(guān)必須“在歐洲人工智能理事會的框架內(nèi)協(xié)調(diào)活動和合作”并提交年度報告，同時分享經(jīng)驗和教訓(xùn)。第53條第6款強調(diào)人工智能監(jiān)管沙盒的運作方式和條件，包括申請、選擇、參與和退出沙盒的資格標(biāo)準(zhǔn)和程序，以及參與主體在實施行為中的權(quán)利和義務(wù)?？偟膩碚f，歐盟關(guān)于人工智能的沙盒設(shè)計、模式和運作條件是框架性的規(guī)定且并不明確。然而，這種不明確性也給人工智能監(jiān)管沙盒的建立提供了極大的靈活性和可能性。然而，不管是金融科技監(jiān)管沙盒還是人工智能隱私監(jiān)管沙盒都未形成標(biāo)準(zhǔn)化的測試流程和合格標(biāo)準(zhǔn)。監(jiān)管沙盒作為一種小規(guī)模的測試框架，測試隊列也是有限的。當(dāng)然，隨著越來越多的科技公司意識到進入沙盒的競爭優(yōu)勢，很有可能會有擴大沙盒測試的壓力。因此，監(jiān)管沙盒本身也需要創(chuàng)新，最終走向制度化和自動化。

以“契約”為治理邏輯的人工智能監(jiān)管沙盒制度的價值。第一，人工智能引入監(jiān)管沙盒制度可實現(xiàn)風(fēng)險可控性。人工智能的風(fēng)險呈現(xiàn)新的模式，其風(fēng)險具備不穩(wěn)定性。一是人工智能技術(shù)的發(fā)展為監(jiān)管帶來諸多挑戰(zhàn)，諸多“監(jiān)管錯配”問題可通過機制試驗解決。一方面，人工智能技術(shù)解決了諸多高成本、低效率的矛盾，并且產(chǎn)生了許多無法以傳統(tǒng)思路規(guī)制的新型產(chǎn)品；另一方面，這些創(chuàng)新探索仍不夠成熟，相應(yīng)的法律法規(guī)難以進行動態(tài)調(diào)整。二是監(jiān)管沙盒可增強監(jiān)管機構(gòu)與被監(jiān)管對象之間的良性互動，平衡人工智能創(chuàng)新與發(fā)展之間的關(guān)系。監(jiān)管機構(gòu)需要借助創(chuàng)新者了解創(chuàng)新，創(chuàng)新者需要監(jiān)管機構(gòu)的支持和有效監(jiān)管，以更好地促進創(chuàng)新。一方面，在監(jiān)管沙盒的實施過程中，監(jiān)管機構(gòu)可以深入了解相關(guān)人工智能產(chǎn)品的運行風(fēng)險，并據(jù)此完善相關(guān)監(jiān)管規(guī)則，保障消費者的合法權(quán)益，減少監(jiān)管成本與社會成本；另一方面，在監(jiān)管沙盒授權(quán)的限定范圍之內(nèi)，使得人工智能創(chuàng)新所依賴的監(jiān)管環(huán)境具備了可預(yù)期性，增加了被監(jiān)管對象主動向監(jiān)管機構(gòu)進行溝通的積極性。第二，監(jiān)管沙盒制度的建立是鼓勵創(chuàng)新的重要措施。2019年經(jīng)濟合作與發(fā)展組織（OECD）發(fā)布了關(guān)于人工智能基本原則的規(guī)定，其中強調(diào)，建議各國政府考慮采用試驗方法為AI系統(tǒng)提供可測試和可擴展的受控環(huán)境。監(jiān)管沙盒能夠創(chuàng)造一個空間，將那些原本可能挑戰(zhàn)現(xiàn)有法律框架的創(chuàng)新產(chǎn)品和服務(wù)投入其中，參與企業(yè)能夠從具體的法律條文或合規(guī)流程中取得豁免，以允許其進行創(chuàng)新。第三，監(jiān)管沙盒是維護監(jiān)管者、測試企業(yè)、消費者利益的重要工具。對監(jiān)管者而言，通過學(xué)習(xí)和試驗為長期政策的制定提供信息；監(jiān)管沙盒的建立表明監(jiān)管者對創(chuàng)新的支持與承諾；促進與市場參與者的溝通和接觸；更新可能禁止有益創(chuàng)新的政策法規(guī)。對測試的科技企業(yè)而言，通過精簡授權(quán)流程來縮短市場準(zhǔn)入時間，一定程度上消除市場準(zhǔn)入障礙；減少監(jiān)管的不確定性；提高資本的可獲得性。對消費者而言，可以獲得更具創(chuàng)新性、更安全的產(chǎn)品和服務(wù)；增加人工智能產(chǎn)品和服務(wù)的可獲得性。

三、我國人工智能“分級分類”風(fēng)險治理構(gòu)建

我國人工智能在中國市場高度活躍。根據(jù)相關(guān)數(shù)據(jù)統(tǒng)計，截至2022年6月，我國人工智能企業(yè)數(shù)量超過3000家，位居世界第二，人工智能核心產(chǎn)業(yè)規(guī)模超過4000億元。2022年，我國人工智能支出達到2255億人民幣，躍升為全球第二大人工智能市場，占全球人工智能支出的18%。包括平臺企業(yè)、獨角獸企業(yè)、中小企業(yè)、創(chuàng)新企業(yè)、研究型大學(xué)在內(nèi)的相關(guān)機構(gòu)在智能芯片、操作系統(tǒng)、智能終端、深度學(xué)習(xí)平臺、大模型等產(chǎn)業(yè)應(yīng)用領(lǐng)域構(gòu)建和奠定了強大基礎(chǔ)。豐富多樣的人工智能應(yīng)用場景，不管是需求端還是供應(yīng)端，其市場規(guī)模十分龐大?？梢姡袊谝I(lǐng)全球人工智能產(chǎn)業(yè)的創(chuàng)新和商業(yè)化，其主要核心力量則是科技企業(yè)。我國科技企業(yè)如何更好發(fā)揮促進發(fā)展的積極作用，落實監(jiān)管措施則是關(guān)鍵。近年來，我國相繼制定和出臺了一系列的政策性文件和法律法規(guī)，早期以人工智能產(chǎn)業(yè)促進為主，近年來逐步關(guān)注人工智能倫理安全、算法治理及行業(yè)應(yīng)用安全。整體而言我國人工智能立法具有如下特點：第一，采取發(fā)展與安全并重的策略；第二，堅持總體國家安全觀，突出信息內(nèi)容的治理；第三，治理模式多領(lǐng)域，以科技倫理、算法治理、特定技術(shù)、行業(yè)應(yīng)用為監(jiān)管抓手；第四，主要依賴行政手段形成監(jiān)管機制。

其中，分級分類的風(fēng)險治理理念在我國關(guān)于人工智能的立法規(guī)定中也多有體現(xiàn)。例如，數(shù)據(jù)分級分類保護制度的規(guī)定；算法分級分類管理制度的規(guī)定；《生成式人工智能服務(wù)管理暫行辦法》中的分類分級監(jiān)管規(guī)定等。然而，我國關(guān)于人工智能分級分類的風(fēng)險治理規(guī)定卻存在諸多問題：首先，分級分類的風(fēng)險治理規(guī)定非常模糊和籠統(tǒng)，僅僅以“原則”形式進行闡述，無細(xì)致規(guī)定。其次，分級分類的類別和風(fēng)險劃分未明確區(qū)分標(biāo)準(zhǔn)，欠缺可操作性。涉及國家安全、社會公共利益、個人生命健康的行業(yè)并未區(qū)分，與歐盟人工智能分級分類監(jiān)管的規(guī)定相差甚多。再次，我國關(guān)于分級分類的規(guī)定見于數(shù)據(jù)、算法、平臺等各個領(lǐng)域，未形成規(guī)則體系，更無望于數(shù)據(jù)、算法、平臺三者關(guān)于風(fēng)險分級分類的規(guī)定建立對應(yīng)關(guān)系。最后，分級分類原則與現(xiàn)有算法備案、算法安全評估、算法安全風(fēng)險監(jiān)測和算法問責(zé)治理制度結(jié)合不夠緊密。

我國人工智能分級分類風(fēng)險治理構(gòu)建思路。第一，將人工智能“分級分類”風(fēng)險治理理念作為人工智能風(fēng)險治理的一項重要基本原則，配套相應(yīng)的具有可操作性的分級分類標(biāo)準(zhǔn)。如明確不可接受風(fēng)險的類型、高風(fēng)險類型、中風(fēng)險類型和低風(fēng)險類型。從而明確監(jiān)管重點和適應(yīng)的監(jiān)管手段。第二，人工智能的發(fā)展離不開數(shù)據(jù)、算法、算力三方的支持，相應(yīng)的數(shù)據(jù)、算法、平臺的治理規(guī)則體系應(yīng)能夠與人工智能分級分類風(fēng)險治理體系實現(xiàn)對接。對于生成式人工智能來說，大規(guī)模的數(shù)據(jù)訓(xùn)練是其進行深度學(xué)習(xí)的基礎(chǔ)，而數(shù)據(jù)規(guī)模的大小與人工智能所產(chǎn)生風(fēng)險的大小具有一定的關(guān)聯(lián)。第三，當(dāng)人工智能風(fēng)險已經(jīng)完成分級分類，需要與當(dāng)前人工智能已有的事前、事中、事后監(jiān)管制度實現(xiàn)對接。如存在高風(fēng)險的人工智能系統(tǒng)必須進行全過程監(jiān)管，不僅需要事前的備案制度，也需要事中的評估檢測以及事后的問責(zé)制度。第四，監(jiān)管部門、科創(chuàng)企業(yè)、行業(yè)協(xié)會、用戶應(yīng)各自履行分級分類中的相應(yīng)職能和義務(wù)，推動人工智能“分級分類”治理規(guī)則與治理標(biāo)準(zhǔn)的構(gòu)建。

四、我國人工智能“契約”風(fēng)險治理構(gòu)建

促進人工智能產(chǎn)業(yè)的發(fā)展和創(chuàng)新，我國人工智能“契約”風(fēng)險治理的構(gòu)建以人工智能監(jiān)管沙盒制度的引入和構(gòu)建為重要舉措。

確定專門的監(jiān)管機關(guān)。人工智能監(jiān)管沙盒的主體應(yīng)由中央國家機關(guān)作為主要的實施主體，建議由國家數(shù)據(jù)局負(fù)責(zé)統(tǒng)一規(guī)劃，指導(dǎo)各行各業(yè)參照執(zhí)行。首先，從域外經(jīng)驗來看，歐盟關(guān)于人工智能監(jiān)管沙盒的監(jiān)管主體是由國家層面的數(shù)據(jù)保護部門（National Data Protection Authorities）主導(dǎo)，其主要目的是保證《AI法案》的正常運行。其次，2023年3月國務(wù)院印發(fā)《黨和國家機構(gòu)改革方案》，提出組建國家數(shù)據(jù)局，其主要職能在于充分挖掘并釋放數(shù)據(jù)要素并實現(xiàn)對數(shù)據(jù)要素的統(tǒng)一治理。人工智能所帶來的風(fēng)險主要是數(shù)據(jù)安全風(fēng)險，因此由國家數(shù)據(jù)局統(tǒng)一負(fù)責(zé)也屬專業(yè)對口。一方面可以減少協(xié)調(diào)成本，另一方面可以提高制度運轉(zhuǎn)效率，推進監(jiān)管的落實。再次，地方政府機關(guān)不可作為人工智能監(jiān)管沙盒的實施主體。我國正在加快建設(shè)全國統(tǒng)一大市場，進而形成統(tǒng)一的市場監(jiān)管規(guī)則。然而，人工智能產(chǎn)業(yè)的發(fā)展明顯存在較大的地區(qū)差別，東、中、西三地區(qū)發(fā)展不協(xié)調(diào)，如果地方政府機關(guān)可賦權(quán)推行監(jiān)管沙盒，其執(zhí)行標(biāo)準(zhǔn)必然不統(tǒng)一，勢必不利于全國統(tǒng)一大市場的建設(shè)，也不利于人工智能產(chǎn)業(yè)的發(fā)展。最后，從人工智能產(chǎn)業(yè)發(fā)展的角度來看，不同的領(lǐng)域可由相關(guān)領(lǐng)域的主管機關(guān)負(fù)責(zé)具體執(zhí)行監(jiān)管沙盒制度，結(jié)合“場景化”人工智能的應(yīng)用，具體落實相應(yīng)的監(jiān)管沙盒制度?？傊?，確定專門的國家機關(guān)——國家數(shù)據(jù)局進行宏觀的監(jiān)管沙盒政策制定。而具體制度的執(zhí)行，要以“場景化”為特征，由具體的行業(yè)主管部門具體執(zhí)行人工智能監(jiān)管沙盒制度。

明確人工智能監(jiān)管沙盒的程序和合格標(biāo)準(zhǔn)。人工智能監(jiān)管沙盒的試驗程序是監(jiān)管沙盒制度真正落地的關(guān)鍵?！禔I法案》對人工智能監(jiān)管沙盒的規(guī)定見于第53條第1款，但該法條僅是規(guī)定了框架。如中小企業(yè)或者初創(chuàng)企業(yè)可以免費進入監(jiān)管沙盒，基本包括申請、評估、測試、報告、退出等五個階段。本文針對上述五個階段，對人工智能監(jiān)管沙盒制度的具體程序完成建構(gòu)。第一，申請階段?？萍计髽I(yè)自愿向國家數(shù)據(jù)局提交進入監(jiān)管沙盒的書面申請。申請內(nèi)容包括測試AI產(chǎn)品的基本概況、適用范圍、技術(shù)參數(shù)、創(chuàng)新性說明、安全風(fēng)險自我評估情況、進入監(jiān)管沙盒必要性說明等。其中，“創(chuàng)新性說明”將是申請資格的核心選擇標(biāo)準(zhǔn)。因為監(jiān)管沙盒制度的實施是為了有效鼓勵創(chuàng)新的。當(dāng)然，為了實現(xiàn)負(fù)責(zé)任的創(chuàng)新，需要進行提前測試。第二，評估階段。針對科技企業(yè)的申請，國家數(shù)據(jù)局組織初期評估。評估通過后，針對應(yīng)用的前沿技術(shù)或新功能、新模式，科技企業(yè)需在2個月內(nèi)制定產(chǎn)品的深度測試方案，包括測試周期、測試項目、關(guān)鍵監(jiān)測指標(biāo)、消費者安全保障計劃、質(zhì)量安全風(fēng)險防控及應(yīng)急處置措施、測試實施監(jiān)督及測試退出策略等。第三，測試階段?？萍计髽I(yè)按照產(chǎn)品的深度測試方案開展測試，保存測試記錄，測試周期一般不超過24個月。在理由充分的情況下，科技企業(yè)可以根據(jù)實際測試情況，申請修改測試參數(shù)和調(diào)整測試周期。國家數(shù)據(jù)局組織評估AI產(chǎn)品深度測試方案，跟蹤測試情況，提出產(chǎn)品設(shè)計、制造改進建議，及時指導(dǎo)幫助科技企業(yè)查找相關(guān)安全問題。如果監(jiān)督發(fā)現(xiàn)產(chǎn)品深度測試無法達到預(yù)期要求，應(yīng)立即通知企業(yè)終止測試。第四，報告階段。測試中期和末期，科技企業(yè)向國家數(shù)據(jù)局提交AI產(chǎn)品安全風(fēng)險防范措施有效性評估報告、必要的測試記錄以及新發(fā)現(xiàn)的安全風(fēng)險改進措施。第五，退出階段。企業(yè)完成產(chǎn)品的深度測試后，達到預(yù)期目標(biāo)，則自動退出監(jiān)管沙盒。如果在監(jiān)管沙盒周期內(nèi)，科技企業(yè)提出退出申請的，則需提交情況說明。明確監(jiān)管沙盒測試的合格標(biāo)準(zhǔn)是人工智能監(jiān)管沙盒制度實現(xiàn)的重要內(nèi)容。關(guān)于監(jiān)管沙盒測試的合格標(biāo)準(zhǔn)共同的部分主要包括“具備創(chuàng)新性”和“不能損害公共利益”。但這些共同的合格標(biāo)準(zhǔn)并非具備一致性，具有較大的活動空間。監(jiān)管沙盒的測試標(biāo)準(zhǔn)不一則會帶來不同的訪問決策和測試結(jié)果。因此，可以借鑒歐盟《AI法案》中第53條第6款的規(guī)定，人工智能監(jiān)管沙盒的運作方式和條件，包括申請、選擇、參與和退出沙盒的資格標(biāo)準(zhǔn)和程序，以及參與主體在實施行為中的權(quán)利和義務(wù)。該條雖然并未明確“合格標(biāo)準(zhǔn)”是什么，但一個國家可以統(tǒng)一制定屬于該地域范圍內(nèi)的合格標(biāo)準(zhǔn)，類似于專利制度一樣，任申請者選擇。

監(jiān)管沙盒的關(guān)鍵是個人數(shù)據(jù)的處理。人工智能系統(tǒng)的創(chuàng)新需要數(shù)據(jù)作為強大的基礎(chǔ)支撐。因此，數(shù)據(jù)安全風(fēng)險也是人工智能所面臨的巨大挑戰(zhàn)。人工智能監(jiān)管沙盒應(yīng)當(dāng)為參與者提供一個“安全環(huán)境”，以緩解技術(shù)創(chuàng)新和法律監(jiān)管之間的潛在矛盾。入盒的科技企業(yè)能夠同監(jiān)管者展開積極、廣泛的合作，并在真實世界中測試它們的創(chuàng)新產(chǎn)品，這就使得對個人數(shù)據(jù)的保護需要提高到更高的安全性標(biāo)準(zhǔn)和要求。也就是說，人工智能監(jiān)管沙盒的關(guān)鍵是個人數(shù)據(jù)的處理。歐盟《AI法案》第53條第2款和第54條第1款對“個人數(shù)據(jù)處理”進行了規(guī)定。即“出于保障醫(yī)療、保護環(huán)境和關(guān)鍵基礎(chǔ)設(shè)施等公共利益目的的，可以在嚴(yán)格保障個人數(shù)據(jù)安全的前提下實施處理，需要采取的保障措施主要包括在隔離環(huán)境中處理數(shù)據(jù)和在沙盒結(jié)束以后刪除數(shù)據(jù)”。另外一個關(guān)鍵問題是，還需要明確科技企業(yè)處理數(shù)據(jù)的合法性基礎(chǔ)。根據(jù)歐盟《通用數(shù)據(jù)保護條例》（GDPR）第6條第1款c項和第9條的規(guī)定，為履行數(shù)據(jù)主體的法定義務(wù)而進行數(shù)據(jù)處理，“同意”（Consent）和“單獨同意”（Explicit Consent）是數(shù)據(jù)處理的合法性基礎(chǔ)。參照歐盟法律的規(guī)定，我國在建立人工智能監(jiān)管沙盒制度時，應(yīng)注意個人數(shù)據(jù)的處理問題和保護問題。具體而言：首先，在個人數(shù)據(jù)收集階段，應(yīng)以個人同意為前提；其次，存儲數(shù)據(jù)階段應(yīng)注意個人隱私的泄露；最后，退出沙盒階段應(yīng)注意個人信息的刪除。監(jiān)管沙盒制度建立的核心作用就是責(zé)任豁免，當(dāng)被測試的產(chǎn)品或服務(wù)出現(xiàn)數(shù)據(jù)違法行為時不必承擔(dān)監(jiān)管責(zé)任。相應(yīng)的，在建立完善的人工智能監(jiān)管沙盒制度時應(yīng)妥善處理個人數(shù)據(jù)問題。因此，對于消費者而言，通過監(jiān)管沙盒制度對被測試產(chǎn)品進行審查后，再將AI產(chǎn)品推廣至市場時，就能夠更好的保護個人數(shù)據(jù)權(quán)利，也會讓消費者更加充滿信心。

多方合作共同實現(xiàn)監(jiān)管目的。構(gòu)建包容審慎的人工智能監(jiān)管環(huán)境，通過優(yōu)化監(jiān)管措施激活市場主體創(chuàng)新活力，實現(xiàn)人工智能創(chuàng)新和發(fā)展的平衡是人工智能監(jiān)管沙盒構(gòu)建的主要目的。構(gòu)建政府、企業(yè)、社會多方協(xié)同的治理模式，是實現(xiàn)上述目的的重要抓手。這種協(xié)同治理理念也是人工智能監(jiān)管沙盒的主要價值內(nèi)涵。第一，人工智能產(chǎn)品和服務(wù)是復(fù)雜的，經(jīng)常會涉及多個領(lǐng)域。因此，在產(chǎn)品和服務(wù)測試中必然涉及多方主體，包括科技企業(yè)自身、市場監(jiān)管管理機構(gòu)、知識產(chǎn)權(quán)管理機構(gòu)、國家標(biāo)準(zhǔn)化管理機構(gòu)、數(shù)據(jù)保護管理機構(gòu)等，這些機構(gòu)之間應(yīng)當(dāng)開展合作。例如，就科技企業(yè)與監(jiān)管主體的關(guān)系而言，在沙盒測試開始前應(yīng)當(dāng)由監(jiān)管部門與科技企業(yè)就測試的時間、范圍、對象、規(guī)則豁免、合規(guī)指導(dǎo)、監(jiān)測方式、信息披露義務(wù)等內(nèi)容進行磋商，根據(jù)科技企業(yè)的創(chuàng)新需要提供差異化的監(jiān)管措施。第二，多方合作的基礎(chǔ)需要相關(guān)人工智能技術(shù)專業(yè)知識來作支撐，以此形成訪問監(jiān)管沙盒的決策和開發(fā)測試的框架。因此，各方監(jiān)管機構(gòu)可以協(xié)調(diào)開發(fā)或調(diào)整建設(shè)方案，以增強與人工智能相關(guān)的各項能力。第三，科技企業(yè)自我規(guī)制以正確處理企業(yè)與社會的關(guān)系問題。即企業(yè)對自身行為加以控制的規(guī)制，這是沙盒實驗中監(jiān)管部門對企業(yè)“放權(quán)”的必然要求。在沙盒測試中給予企業(yè)較大的自我管理空間。例如，在申請沙盒測試時應(yīng)當(dāng)就人工智能產(chǎn)品創(chuàng)新性、安全性進行詳細(xì)說明，并進行記錄，及時向社會發(fā)出聲明，以正確處理企業(yè)與社會（消費者）的關(guān)系。第四，監(jiān)管沙盒中的監(jiān)管試驗機制需要強有力的國際合作與協(xié)調(diào)。一方面，在人工智能測試的實驗框架上開展國際合作，有利于創(chuàng)新并減少監(jiān)管的“碎片化”；另一方面，新興技術(shù)中的人工智能監(jiān)管沙盒可以比作未來的“技術(shù)法規(guī)”，通過世界貿(mào)易組織關(guān)于技術(shù)性貿(mào)易壁壘協(xié)定（TBT Agreement）中的“等效協(xié)議（Equivalence agreements）”來實現(xiàn)。

五、結(jié)語

人工智能在中國市場的經(jīng)濟投入位居世界第二，是引領(lǐng)中國科技創(chuàng)新的重要力量。人工智能作為一種智能系統(tǒng)，對人類的影響已經(jīng)及于生活的方方面面。科技企業(yè)具有自主創(chuàng)新能力和產(chǎn)業(yè)發(fā)展能力，是人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展的重要力量。然而，科技企業(yè)自身發(fā)展的薄弱性以及人工智能本身所產(chǎn)生的數(shù)據(jù)安全風(fēng)險是其面臨的重要挑戰(zhàn)。如何建立一個總體風(fēng)險可控又能給予各種創(chuàng)新空間的監(jiān)管模式是現(xiàn)代市場創(chuàng)新主體和監(jiān)管者共同面臨的難題。歐盟《人工智能法案》提供了新方向和新思路。一是能夠體現(xiàn)科學(xué)監(jiān)管、高效規(guī)制、精準(zhǔn)治理的常態(tài)化監(jiān)管思路的分級分類人工智能風(fēng)險治理理念；二是具有監(jiān)管主動性、事前監(jiān)管、隱私保護和鼓勵創(chuàng)新特征的監(jiān)管沙盒制度?！胺旨壏诸悺迸c“契約”風(fēng)險治理并行的人工智能監(jiān)管制度既能實現(xiàn)嚴(yán)格監(jiān)管，也要兼顧產(chǎn)業(yè)創(chuàng)新。構(gòu)建我國人工智能分級分類風(fēng)險治理制度，實現(xiàn)人工智能應(yīng)有的價值和可信的治理目標(biāo)。同時鼓勵政府、科創(chuàng)企業(yè)和消費者達成治理“契約”，構(gòu)建人工智能監(jiān)管沙盒制度，在預(yù)防法律風(fēng)險的同時，也鼓勵了人工智能企業(yè)的持續(xù)創(chuàng)新，最終促進數(shù)字經(jīng)濟規(guī)范健康持續(xù)發(fā)展。

（責(zé)任編輯：孟潔）

參考文獻：

[1]陳兵，董思琰.分類分級治理算法的基本內(nèi)涵及實踐進路[J].西安財經(jīng)大學(xué)學(xué)報，2023，36（6）：70-79.

[2]叢穎男，王兆毓，朱金清.論算法解釋權(quán)的重構(gòu)——全算法開發(fā)流治理與分級分類解釋框架[J].計算機科學(xué)，2023，50（7）：347-354.

[3]張凌寒.算法規(guī)制的迭代與革新[J].法學(xué)論壇，2019，34（2）：16-26.

[4]于品顯，劉倩.歐盟《人工智能法案》評述及啟示[J].海南金融，2023（6）：45-53.

[5]陳兵，董思琰.生成式人工智能的算法風(fēng)險及治理基點[J].學(xué)習(xí)與實踐，2023（10）：22-31.

[6]陳振其.監(jiān)管沙盒：數(shù)據(jù)要素治理新方案[J/OL].圖書館論壇，1-10[2024-01-17]http：//kns.cnki.net/kcms/detail/44.1306.g2.20230828.1351.004.html.

[7]劉志洋，解瑤姝，徐索菲.審慎視角下金融科技平臺企業(yè)監(jiān)管研究[J].海南金融，2023（11）：30-38+87.

[8]ROSS P B.Building Fintech Ecosystems：Regulatory Sandboxes， Innovation Hubs and Beyond[J].Washington University Journal of Law & Policy，2020（61）：55-98.

[9]LETIZIA T.Start-ups and the proposed EU Al Act，Bridges or Barriers in the path from Invention to Innovation[J].JIPITEC，2022（13）： 53-59.

收稿日期：2024-01-06

作者簡介：黃靜怡（1994-），女，河北唐山人，中國政法大學(xué)民商經(jīng)濟法學(xué)院博士研究生。

①資料來源：中華人民共和國中央人民政府.我國人工智能蓬勃發(fā)展，核心產(chǎn)業(yè)規(guī)模達5000億元[EB/OL].[2023-07-07].https：//www.gov.cn/yaowen/liebiao/202307/content_6890391.htm.

②2023年6月，歐洲議會以499票贊成、28票反對和93票棄權(quán)，高票通過了《人工智能法案》談判授權(quán)草案，推動了該法案進入立法程序的最后階段，即舉行歐洲議會、歐盟成員國和歐盟委員會的“三方談判”，以確定法案的最終條款。2023年12月8日晚（布魯塞爾當(dāng)?shù)貢r間），歐洲議會、歐盟成員國和歐盟委員會三方就《人工智能法案》達成協(xié)議，該法案將成為全球首部人工智能領(lǐng)域的全面監(jiān)管法規(guī)，該立法草案仍需得到歐盟成員國和議會的正式批準(zhǔn)，一旦雙方正式批準(zhǔn)，該立法預(yù)計將于2024年初生效，并應(yīng)在兩年后實施，或?qū)槿蚍秶鷥?nèi)監(jiān)管人工智能技術(shù)定下基調(diào)。因2023年12月8日的《人工智能法案》并未公布，本文以2023年6月的《人工智能法案》的“折衷版本”為研究對象。

①附件三確定的8個特定領(lǐng)域部署的系統(tǒng)：自然人的生物特征識別與分類系統(tǒng)；關(guān)鍵基礎(chǔ)設(shè)施的管理和運營系統(tǒng)；教育與職業(yè)培訓(xùn)系統(tǒng)；就業(yè)、工人管理和獲得自我雇傭系統(tǒng)；獲得和享受基本的私人服務(wù)和公共服務(wù)和福利系統(tǒng)；執(zhí)法系統(tǒng)；遷徙、庇護和邊境控制管理系統(tǒng)；司法和民主過程性系統(tǒng)。

①《數(shù)據(jù)安全法》第21條：國家建立數(shù)據(jù)分類分級保護制度，根據(jù)數(shù)據(jù)在經(jīng)濟社會發(fā)展中的重要程度，以及一旦遭到篡改、破壞、泄露或者非法獲取、非法利用，對國家安全、公共利益或者個人、組織合法權(quán)益造成的危害程度，對數(shù)據(jù)實行分類分級保護。國家數(shù)據(jù)安全工作協(xié)調(diào)機制統(tǒng)籌協(xié)調(diào)有關(guān)部門制定重要數(shù)據(jù)目錄，加強對重要數(shù)據(jù)的保護。關(guān)系國家安全、國民經(jīng)濟命脈、重要民生、重大公共利益等數(shù)據(jù)屬于國家核心數(shù)據(jù)，實行更加嚴(yán)格的管理制度。各地區(qū)、各部門應(yīng)當(dāng)按照數(shù)據(jù)分類分級保護制度，確定本地區(qū)、本部門以及相關(guān)行業(yè)、領(lǐng)域的重要數(shù)據(jù)具體目錄，對列入目錄的數(shù)據(jù)進行重點保護。

②《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第23條：網(wǎng)信部門會同電信、公安、市場監(jiān)管等有關(guān)部門建立算法分級分類安全管理制度，根據(jù)算法推薦服務(wù)的輿論屬性或者社會動員能力、內(nèi)容類別、用戶規(guī)模、算法推薦技術(shù)處理的數(shù)據(jù)重要程度、對用戶行為的干預(yù)程度等對算法推薦服務(wù)提供者實施分級分類管理。

③《生成式人工智能服務(wù)管理暫行辦法》第3條：國家堅持發(fā)展和安全并重、促進創(chuàng)新和依法治理相結(jié)合的原則，采取有效措施鼓勵生成式人工智能創(chuàng)新發(fā)展，對生成式人工智能服務(wù)實行包容審慎和分類分級監(jiān)管。