□ 文 程 瑩 崔 赫

0 引言

過去十年間，人工智能已成為世界各國(guó)的科技發(fā)展戰(zhàn)略重點(diǎn)，同時(shí)風(fēng)險(xiǎn)和人工智能技術(shù)相伴相生，體現(xiàn)了技術(shù)的不可控性和動(dòng)態(tài)性，成為人工智能立法監(jiān)管的指向標(biāo)。自GDPR推行“基于風(fēng)險(xiǎn)的路徑（risk-based approach）”以來，風(fēng)險(xiǎn)成為各國(guó)規(guī)制人工智能立法的關(guān)鍵詞。為避免過度的法律責(zé)任為公私主體，尤其是中小企業(yè)帶來不合理、不必要的負(fù)擔(dān)，多國(guó)立法中強(qiáng)調(diào)優(yōu)先規(guī)制“高風(fēng)險(xiǎn)”的人工智能應(yīng)用。2021年4月21日，歐盟委員會(huì)公布了名為“Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts”的草案（以下簡(jiǎn)稱《草案》），延續(xù)“基于風(fēng)險(xiǎn)”的監(jiān)管理念，對(duì)人工智能技術(shù)應(yīng)用進(jìn)行風(fēng)險(xiǎn)劃分。根據(jù)《草案》，歐盟將全面禁止大規(guī)模監(jiān)控和利用人工智能技術(shù)的社會(huì)信用體系，同時(shí)對(duì)特定領(lǐng)域的“高風(fēng)險(xiǎn)”應(yīng)用進(jìn)行嚴(yán)格限制，為實(shí)現(xiàn)可信賴的人工智能生態(tài)系統(tǒng)提供初步法律框架。該草案最早有望在2023年正式出臺(tái)。

1 出臺(tái)背景：進(jìn)一步推進(jìn)歐洲人工智能戰(zhàn)略實(shí)施落地

自2018年以來，歐盟先后出臺(tái)《歐洲人工智能戰(zhàn)略》、《人工智能協(xié)調(diào)計(jì)劃》兩個(gè)重要政策文件，初步勾勒出歐盟人工智能的發(fā)展戰(zhàn)略框架。2019年4月，歐盟發(fā)布《可信人工智能倫理指南》，進(jìn)一步完善細(xì)化了相關(guān)戰(zhàn)略，明確了“可信人工智能”的兩個(gè)必要組成部分和七個(gè)關(guān)鍵條件。2020年2月19日，歐洲委員會(huì)發(fā)布了兩份有關(guān)“塑造歐洲數(shù)字未來戰(zhàn)略”的政策文件。一份是《人工智能白皮書》，關(guān)注交通、醫(yī)療等公共領(lǐng)域的人工智能發(fā)展及風(fēng)險(xiǎn)化解；一份是《歐洲數(shù)據(jù)戰(zhàn)略》，旨在推動(dòng)歐盟成為世界上最具競(jìng)爭(zhēng)力的數(shù)字敏捷型經(jīng)濟(jì)體，建立歐盟數(shù)字單一市場(chǎng)。在此背景下，歐盟出臺(tái)《人工智能法案》，旨在法律層面強(qiáng)化落實(shí)歐盟戰(zhàn)略，以期實(shí)現(xiàn)引領(lǐng)全球人工智能治理的目標(biāo)。

歐盟競(jìng)爭(zhēng)事務(wù)負(fù)責(zé)人Margrethe Vestager在公布《草案》時(shí)表示：“通過這一具有標(biāo)志性的法規(guī)，歐盟正在確立全球規(guī)范，以確保人工智能是一項(xiàng)值得信賴的技術(shù)。通過制定標(biāo)準(zhǔn)，我們可以為符合倫理的人工智能技術(shù)鋪平道路，并確保歐盟在此過程中保持競(jìng)爭(zhēng)力?！盤olitico專門負(fù)責(zé)AI報(bào)道的Melissa Heikkil?則認(rèn)為，《草案》有一定的先發(fā)優(yōu)勢(shì)，它將在很大程度上影響由歐洲理事會(huì)、經(jīng)合組織、北約、聯(lián)合國(guó)教科文組織和七國(guó)集團(tuán)主導(dǎo)的全球人工智能伙伴關(guān)系的立場(chǎng)。

2 總體框架：延續(xù)“基于風(fēng)險(xiǎn)的規(guī)制”路徑

按照風(fēng)險(xiǎn)高低，《草案》將人工智能應(yīng)用場(chǎng)景分為“最低風(fēng)險(xiǎn)、有限風(fēng)險(xiǎn)、高風(fēng)險(xiǎn)、不可接受的風(fēng)險(xiǎn)”四個(gè)風(fēng)險(xiǎn)等級(jí)，等級(jí)越高的應(yīng)用場(chǎng)景受到的限制越嚴(yán)格。

值得注意的是，《草案》將所有遠(yuǎn)程生物識(shí)別系統(tǒng)都劃入高風(fēng)險(xiǎn)等級(jí)，禁止執(zhí)法部門在公共場(chǎng)合使用這一技術(shù)，但同時(shí)也為其應(yīng)用留下了余地，如在司法部門或獨(dú)立機(jī)構(gòu)的授權(quán)下，該系統(tǒng)可以用于尋找失蹤兒童或防止個(gè)別恐怖襲擊、甄別犯罪分子和可疑人員等。此外，在“不可接受”的風(fēng)險(xiǎn)等級(jí)所對(duì)應(yīng)的三種情形中，首次以法律的形式禁止將人工智能系統(tǒng)用于獲知并影響個(gè)人的潛意識(shí)，以避免造成行為扭曲和身心受損。

風(fēng)險(xiǎn)等級(jí)應(yīng)用場(chǎng)景規(guī)制思路或建議最低風(fēng)險(xiǎn)電子游戲、垃圾郵件識(shí)別軟件等多數(shù)的人工智能應(yīng)用不做限制有限風(fēng)險(xiǎn)聊天機(jī)器人等建議確保用戶知曉自己在與機(jī)器互動(dòng)，并有權(quán)決定是否繼續(xù)對(duì)話高風(fēng)險(xiǎn)可能對(duì)人們安全和生活造成嚴(yán)重影響的場(chǎng)景，包括交通基礎(chǔ)設(shè)施、教育或職業(yè)培訓(xùn)、移民管理、醫(yī)療輔助等在啟用前履行嚴(yán)格義務(wù)，如充分的風(fēng)險(xiǎn)評(píng)估、高質(zhì)量的數(shù)據(jù)交換、確?？勺匪莸倪\(yùn)行記錄以及必要的人類監(jiān)督等不可接受的風(fēng)險(xiǎn)某些明顯威脅人類安全和生活，侵犯?jìng)€(gè)人權(quán)利的AI系統(tǒng)，包括影響人的潛意識(shí)進(jìn)而操縱人類思想行為、公共機(jī)構(gòu)的社會(huì)信用評(píng)分等須禁止

3 規(guī)制手段：高風(fēng)險(xiǎn)人工智能規(guī)制的五大特點(diǎn)

整體來看，高風(fēng)險(xiǎn)人工智能的判定一般考慮應(yīng)用行業(yè)、應(yīng)用場(chǎng)景、覆蓋范圍等要素。例如，歐盟委員會(huì)在《人工智能白皮書》中從三個(gè)層面界定了高風(fēng)險(xiǎn)人工智能，首先，結(jié)合行業(yè)的典型活動(dòng)特點(diǎn)，人工智能在該行業(yè)的應(yīng)用極有可能引發(fā)重大風(fēng)險(xiǎn)，如醫(yī)療、運(yùn)輸、能源、移民、司法、救濟(jì)所等公共行業(yè)。其次，行業(yè)應(yīng)用風(fēng)險(xiǎn)的判定應(yīng)結(jié)合具體場(chǎng)景，如在醫(yī)院預(yù)約系統(tǒng)即不屬于高風(fēng)險(xiǎn)。第三，基于招聘、監(jiān)控等特定目的，顯著影響個(gè)人勞工、隱私等重大利益的，認(rèn)為屬于高風(fēng)險(xiǎn)情形。美國(guó)2019年4月《算法問責(zé)法案》同樣界定了“高風(fēng)險(xiǎn)自動(dòng)化決策”的判定標(biāo)準(zhǔn)，同時(shí)僅規(guī)制年收入超過5000萬美元或擁有超過100萬用戶的企業(yè)。德國(guó)則呼吁建立基于風(fēng)險(xiǎn)的五級(jí)監(jiān)管體系，從不受監(jiān)管的最無害的人工智能系統(tǒng)，到完全禁止最危險(xiǎn)的人工智能系統(tǒng)。

3.1 高風(fēng)險(xiǎn)人工智能的范圍

《草案》將高風(fēng)險(xiǎn)等級(jí)的人工智能系統(tǒng)應(yīng)用列舉如下：（1）可能使公民的生命和健康處于危險(xiǎn)狀態(tài)的關(guān)鍵基礎(chǔ)設(shè)施（例如運(yùn)輸）；（2）教育或職業(yè)培訓(xùn)，可能決定某人生活中接受教育和專業(yè)課程的機(jī)會(huì)（例如，考試成績(jī)）；（3）產(chǎn)品的安全組件（例如人工智能在機(jī)器人輔助手術(shù)中的應(yīng)用）；（4）就業(yè)，工人管理和自營(yíng)職業(yè)（例如用于招聘程序的簡(jiǎn)歷分類軟件）；（5）基本的私人和公共服務(wù)（例如信用評(píng)分可能會(huì)剝奪公民獲得貸款的機(jī)會(huì)）；（6）可能會(huì)干擾人們基本權(quán)利的執(zhí)法活動(dòng)（例如，評(píng)估證據(jù)的可靠性）；（7）移民，庇護(hù)和邊境管制管理（例如，核實(shí)旅行證件的真實(shí)性）；（8）司法和民主程序。GDPR第22條

3.2 高風(fēng)險(xiǎn)人工智能規(guī)制的五大特點(diǎn)

3.2.1 建立歐盟獨(dú)立的高風(fēng)險(xiǎn)人工智能系統(tǒng)數(shù)據(jù)庫(kù)。該草案要求歐盟與各成員國(guó)合作，建立并共同維護(hù)面向高風(fēng)險(xiǎn)人工智能系統(tǒng)進(jìn)行登記的數(shù)據(jù)庫(kù)，還提出“歐盟數(shù)據(jù)庫(kù)中的信息應(yīng)向公眾開放”，歐盟委員會(huì)是該數(shù)據(jù)庫(kù)的控制者，向系統(tǒng)供應(yīng)商提供充分的行政支持。

3.2.2 強(qiáng)制使用“高質(zhì)量”訓(xùn)練數(shù)據(jù)以避免偏見?！恫莅浮芬螅糜谟?xùn)練、驗(yàn)證和測(cè)試的數(shù)據(jù)應(yīng)是具有相關(guān)性、代表性、沒有錯(cuò)誤且具有完整性。應(yīng)依據(jù)預(yù)期目的，考慮高風(fēng)險(xiǎn)人工智能系統(tǒng)所投放使用的地域、功能設(shè)置的特征或要素。為了確保對(duì)高風(fēng)險(xiǎn)人工智能系統(tǒng)的偏差監(jiān)控、檢測(cè)和糾正，在嚴(yán)格必要的情況下，此類系統(tǒng)的提供商可以處理法定情形下特殊類別的個(gè)人數(shù)據(jù)，但需對(duì)自然人基本權(quán)利和自由予以適當(dāng)保障。同時(shí)，歐盟將增加對(duì)人工智能領(lǐng)域投資，并在整個(gè)歐盟范圍內(nèi)匯總公共數(shù)據(jù)，以幫助訓(xùn)練機(jī)器學(xué)習(xí)算法。

3.2.3 強(qiáng)制性的風(fēng)險(xiǎn)管理。風(fēng)險(xiǎn)管理應(yīng)嵌入高風(fēng)險(xiǎn)人工智能系統(tǒng)運(yùn)行迭代的全生命周期，并需要定期更新，包括：（1）識(shí)別和分析高風(fēng)險(xiǎn)人工智能系統(tǒng)相關(guān)的已知或可預(yù)見的風(fēng)險(xiǎn)；（2）評(píng)估高風(fēng)險(xiǎn)人工智能系統(tǒng)在誤用（misuse）情況下可能出現(xiàn)的風(fēng)險(xiǎn)；（3）在上線后動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)所收集的數(shù)據(jù)，對(duì)其他可能的風(fēng)險(xiǎn)進(jìn)行評(píng)估；（4）其他適當(dāng)?shù)娘L(fēng)險(xiǎn)管理措施。

3.2.4 明確的透明度要求。《草案》要求人工智能系統(tǒng)的提供者要確保用戶知道他們正在與人工智能系統(tǒng)進(jìn)行互動(dòng)，并要求高風(fēng)險(xiǎn)人工智能系統(tǒng)告知以下信息：（1）提供者的身份和聯(lián)系方式；（2）系統(tǒng)的性能特征、功能和局限性，包括預(yù)期目的、準(zhǔn)確性、魯棒性和網(wǎng)絡(luò)安全級(jí)別等信息；（3）初評(píng)合格后系統(tǒng)及其性能的更改情況；（4）人為監(jiān)督措施，包括為便于解釋系統(tǒng)的輸出結(jié)果而采取的技術(shù)措施；（5）系統(tǒng)預(yù)期壽命以及確保該系統(tǒng)正常運(yùn)行（包括軟件更新）的任何必要維護(hù)措施。

3.2.5 編寫和留存詳細(xì)的運(yùn)行記錄。《草案》要求，高風(fēng)險(xiǎn)人工智能系統(tǒng)的設(shè)計(jì)和開發(fā)應(yīng)具有能夠在其運(yùn)行時(shí)自動(dòng)記錄日志的功能，這些記錄功能應(yīng)符合公認(rèn)的標(biāo)準(zhǔn)或通用規(guī)范，以確保全生命周期的可追溯性。

4 各方評(píng)價(jià)：可能存在的問題及創(chuàng)新

這部全球首例人工智能專門立法快速引發(fā)了業(yè)界的反彈聲浪。

4.1 批評(píng)該法案大幅提升企業(yè)成本，將遏制歐盟科技創(chuàng)新

歐洲數(shù)字行業(yè)協(xié)會(huì)表示，“將人工智能軟件納入歐盟的合規(guī)框架會(huì)給大量提供商帶來沉重負(fù)擔(dān)”，其董事西莉亞表示：“該法規(guī)之后，‘高風(fēng)險(xiǎn)’領(lǐng)域的企業(yè)是否會(huì)在歐洲繼續(xù)開展業(yè)務(wù)，是一個(gè)懸而未決的問題?！边€有擔(dān)心認(rèn)為，此監(jiān)管框架的推行會(huì)阻滯歐盟的科技創(chuàng)新進(jìn)程，為并未制定此類規(guī)則的國(guó)家或地區(qū)以發(fā)展“窗口期”。

4.2 條文內(nèi)容流于寬泛，預(yù)留大量解釋空間，容易導(dǎo)致適用困難

智庫(kù)歐洲監(jiān)管中心聯(lián)席主任Alexandre de Streel表示，保護(hù)和創(chuàng)新之間很難達(dá)到平衡，他對(duì)法新社表示，《草案》“設(shè)定了一個(gè)相對(duì)開放的框架，一切都將取決于如何解讀?！眰惗卮髮W(xué)學(xué)院計(jì)算機(jī)科學(xué)榮譽(yù)副教授、曾在谷歌擔(dān)任科學(xué)家的Julien Cornebise則認(rèn)為，新的人工智能法案未必能夠擁有與GDPR同等的廣泛影響力，因?yàn)榉ò笇?duì)人工智能的定義過于寬泛。他認(rèn)為，人工智能技術(shù)就像“移動(dòng)的球門柱”，包羅萬象，此次歐盟提出的監(jiān)管規(guī)則存在諸多晦澀不明的風(fēng)險(xiǎn)，“要么迷失在（對(duì)人工智能的）定義里，要么可能迅速過時(shí)?！?/p>

4.3 例外情形過多，有可能減損高風(fēng)險(xiǎn)人工智能的監(jiān)管力度

以歐洲數(shù)字權(quán)利組織（EDRi）為代表的機(jī)構(gòu)認(rèn)為，該法規(guī)對(duì)生物識(shí)別的限制不夠嚴(yán)格，尤其是“實(shí)時(shí)生物識(shí)別”（人臉識(shí)別）禁用場(chǎng)景中提到的幾項(xiàng)豁免情形，會(huì)讓歐洲人處于風(fēng)險(xiǎn)之中。歐洲數(shù)字權(quán)利組織高級(jí)政策顧問Sarah Chander認(rèn)為，《草案》規(guī)定的可豁免的情形過于寬泛，這樣一份豁免清單某種程度上違背了禁止或限制“不可接受風(fēng)險(xiǎn)”和“高風(fēng)險(xiǎn)”人工智能所要實(shí)現(xiàn)的目的。

與此同時(shí)，不乏支持聲音，臉書、亞馬遜、谷歌等多家美國(guó)科技巨頭在歐洲進(jìn)行游說的“計(jì)算機(jī)與通信行業(yè)協(xié)會(huì)”布魯塞爾辦公室負(fù)責(zé)人Christian Borggreen表示，歐盟委員會(huì)采取這種“基于風(fēng)險(xiǎn)的監(jiān)管辦法”是積極的。雖然距離草案通過生效還有可能長(zhǎng)達(dá)數(shù)年的審查程序，但該框架已經(jīng)具備了一定的規(guī)則示范效力。該法案著眼于技術(shù)風(fēng)險(xiǎn)，探索平衡風(fēng)險(xiǎn)管控與鼓勵(lì)創(chuàng)新的進(jìn)路值得肯定。歐盟委員會(huì)執(zhí)行副主席Margrethe Vestager認(rèn)為，歐盟正引領(lǐng)制定新的全球規(guī)范，以確保人工智能值得信賴。通過制定標(biāo)準(zhǔn)，歐盟可以為在世界范圍內(nèi)推廣符合倫理的技術(shù)鋪平道路，并確保歐盟在此過程中保持競(jìng)爭(zhēng)力。歐盟內(nèi)部市場(chǎng)專員Thierry Breton表示，人工智能存在諸多風(fēng)險(xiǎn)，歐盟的提議旨在提升其作為全球卓越樞紐的地位，確保和維護(hù)歐洲價(jià)值觀，并充分激發(fā)人工智能在工業(yè)領(lǐng)域的潛力。此外，《草案》專節(jié)規(guī)定了支持人工智能創(chuàng)新的措施，包括將“監(jiān)管沙盒”的機(jī)制引入人工智能開發(fā)應(yīng)用場(chǎng)景中，允許在沙盒內(nèi)測(cè)試人工智能新應(yīng)用，以改進(jìn)司法體系、醫(yī)療保健等，而不必?fù)?dān)心受到監(jiān)管處罰。

5 結(jié)束語(yǔ)

作為全球首部人工智能立法，《歐盟人工智能法案（草案）》體現(xiàn)歐盟利用規(guī)則確保人工智能可信可控，著力維護(hù)歐盟技術(shù)主權(quán)的思路。該法案以風(fēng)險(xiǎn)分析為區(qū)分方法，以分級(jí)分類監(jiān)管為主線，并對(duì)其采取不同層級(jí)義務(wù)規(guī)定的思路值得我國(guó)借鑒。我國(guó)要加強(qiáng)人工智能發(fā)展的潛在風(fēng)險(xiǎn)研判和防范，維護(hù)人民利益和國(guó)家安全，確保人工智能安全、可靠、可控。在當(dāng)前復(fù)雜國(guó)際大勢(shì)之下，我國(guó)應(yīng)同步推進(jìn)人工智能發(fā)展與立法監(jiān)管，處理好人工智能創(chuàng)新發(fā)展與有效治理的關(guān)系。在未來立法中，建議確立以風(fēng)險(xiǎn)為導(dǎo)向的分級(jí)分類治理理念，利用監(jiān)管沙箱等新型智慧監(jiān)管手段，考察重點(diǎn)場(chǎng)景下的人工智能風(fēng)險(xiǎn)，借此推動(dòng)人工智能領(lǐng)域標(biāo)準(zhǔn)、指南的出臺(tái)。建議以倫理規(guī)范引導(dǎo)先行、行業(yè)標(biāo)準(zhǔn)規(guī)范發(fā)展、法律法規(guī)明確底線，多管齊下的治理格局，及時(shí)引導(dǎo)科技向善、明確責(zé)任歸屬。充分凝聚社會(huì)共識(shí)，共同推動(dòng)人工智能發(fā)展與治理形成相互促進(jìn)的正向效應(yīng)，推動(dòng)實(shí)現(xiàn)靈活、敏捷治理。