鄭圣賢

(安徽師范大學(xué)法學(xué)院,安徽 蕪湖 241000)

0 引言

有關(guān)人工智能的研究最早開始于20世紀(jì)40年代。1939年,艾倫·圖靈(Alan Turing)為英國政府開發(fā)了一款稱為“Bombe”的密碼破譯機(jī),該密碼破譯機(jī)破解密碼的方法遠(yuǎn)超當(dāng)時(shí)最優(yōu)秀的人類數(shù)學(xué)家。圖靈由此開始思考這種機(jī)器背后的智能問題,并提出了著名的“圖靈測(cè)試”(The Turing test),即通過人機(jī)交互的結(jié)果來判斷一個(gè)機(jī)器是否具有智能。1956年,“人工智能”(Artificial Intelligent,AI)一詞正式被創(chuàng)造出來。20世紀(jì)的后幾十年里,早期人工智能系統(tǒng)如ELIZA和通用問題解決程序,受技術(shù)條件的限制,其所能解決的問題主要局限于容易形式化的領(lǐng)域,發(fā)展的進(jìn)度較慢,且一度陷入停滯。但隨著近些年計(jì)算機(jī)算力的提升和大數(shù)據(jù)、云計(jì)算的發(fā)展,人工智能系統(tǒng)可通過模仿人類神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)深度學(xué)習(xí)(Deep Learning,DL)［1］。

如今,人工智能已經(jīng)廣泛影響經(jīng)濟(jì)社會(huì)的方方面面,金融、交通、醫(yī)療、教育、公共行政和公安司法等公共領(lǐng)域都在積極運(yùn)用人工智能的研究成果。2017年7月,國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》,指出我國計(jì)劃總投資1478億美元,在2030年成為全球人工智能領(lǐng)域的創(chuàng)新引領(lǐng)者。但隨著人工智能在眾多領(lǐng)域的應(yīng)用,越來越多的學(xué)者開始注意到它所帶來的各種潛在風(fēng)險(xiǎn)。例如,國內(nèi)有學(xué)者指出,人工智能在運(yùn)行過程中可能會(huì)由于算法的缺陷或偏見導(dǎo)致有害的結(jié)果,在算法合理的情況下也可能由于數(shù)據(jù)質(zhì)量問題而造成決策偏差,用戶在運(yùn)行和使用人工智能系統(tǒng)時(shí)可能產(chǎn)生相應(yīng)風(fēng)險(xiǎn)［2］;也有國外學(xué)者研究發(fā)現(xiàn),人工智能應(yīng)用將會(huì)引發(fā)信息安全、問責(zé)難題、隱私問題、道德困境、算法歧視和失業(yè)問題等經(jīng)濟(jì)社會(huì)風(fēng)險(xiǎn)［3］。面對(duì)人工智能所引發(fā)的系統(tǒng)風(fēng)險(xiǎn),如何對(duì)其進(jìn)行有效監(jiān)管,以最大化減少人工智能所帶來的負(fù)外部效應(yīng),成為當(dāng)務(wù)之急。

1 文獻(xiàn)綜述與分析框架

1.1 文獻(xiàn)綜述

有關(guān)人工智能監(jiān)管的問題已經(jīng)引起了廣泛討論,縱觀已有的研究,關(guān)于該問題的討論通常圍繞人工智能的智能化程度和人工智能所產(chǎn)生的具體風(fēng)險(xiǎn)兩個(gè)維度展開。

人工智能的智能化程度方面,學(xué)界通常將人工智能劃分為狹義人工智能(ANI)、通用人工智能(AGI)和超級(jí)人工智能(ASI)。狹義人工智能通常能夠解決一個(gè)特定的問題,但需要由人類進(jìn)行編程;通用人工智能則能夠自主學(xué)習(xí),并在沒有任何人工幫助的情況下將其經(jīng)驗(yàn)和技能傳遞給其他對(duì)象;而超級(jí)人工智能則代表了軟件的發(fā)展,其先進(jìn)程度遠(yuǎn)超人腦,但目前這樣的人工智能還存在于理念中。人工智能的智能化水平及其運(yùn)行是相關(guān)風(fēng)險(xiǎn)和挑戰(zhàn)產(chǎn)生的源頭,數(shù)據(jù)存在瑕疵將導(dǎo)致數(shù)據(jù)失靈,形成潛在風(fēng)險(xiǎn);數(shù)據(jù)一旦被人為操控將會(huì)造成巨大危害;算法編制過程,在利益和惡意動(dòng)機(jī)的誘惑下,會(huì)產(chǎn)生偏見與歧視;隨著算法水平的提升,人們?cè)絹碓诫y以解釋算法的運(yùn)行結(jié)果,還會(huì)面臨著由“算法黑箱”帶來的未知風(fēng)險(xiǎn)［4］?？傮w而言,這方面的討論主要集中于對(duì)人工智能風(fēng)險(xiǎn)產(chǎn)生機(jī)制的分析。

人工智能產(chǎn)生的具體風(fēng)險(xiǎn)方面,研究主要集中于兩個(gè)子領(lǐng)域。一是人工智能風(fēng)險(xiǎn)類型。學(xué)者們對(duì)人工智能可能帶來的風(fēng)險(xiǎn)類型進(jìn)行了廣泛的討論,主要包括倫理風(fēng)險(xiǎn)、技術(shù)風(fēng)險(xiǎn)、法律風(fēng)險(xiǎn)和社會(huì)風(fēng)險(xiǎn)四個(gè)方面。二是人工智能風(fēng)險(xiǎn)級(jí)別。歐盟是較先對(duì)其進(jìn)行界定的世界主要經(jīng)濟(jì)體,2021年4月21日,歐盟發(fā)布了《人工智能法案》,將人工智能風(fēng)險(xiǎn)劃分為最小風(fēng)險(xiǎn)、有限的風(fēng)險(xiǎn)、高風(fēng)險(xiǎn)和不可接受的風(fēng)險(xiǎn)。在該風(fēng)險(xiǎn)體系中,最小風(fēng)險(xiǎn)是指那些提供簡單工具性功能的應(yīng)用;有限風(fēng)險(xiǎn)指具有特定透明義務(wù)的應(yīng)用;高風(fēng)險(xiǎn)意味著這些應(yīng)用可能危及公民人身安全及生活基本權(quán)利;不可接受的危險(xiǎn)是指那些對(duì)基本人權(quán)和社會(huì)公平構(gòu)成明顯威脅的應(yīng)用［5］。這也成為當(dāng)前人工智能風(fēng)險(xiǎn)劃分的重要標(biāo)準(zhǔn)。

立足于對(duì)這兩個(gè)維度的探討,學(xué)者們從不同學(xué)科的角度提出了相應(yīng)的監(jiān)管措施。有的學(xué)者認(rèn)為,對(duì)人工智能的監(jiān)管應(yīng)建立在對(duì)其風(fēng)險(xiǎn)產(chǎn)生機(jī)制和表現(xiàn)的分析基礎(chǔ)之上,進(jìn)而構(gòu)建全生命周期的監(jiān)管治理體制,強(qiáng)化使用者的責(zé)任并突出技術(shù)性方案的基礎(chǔ)作用。也有學(xué)者從人工智能科技屬性的角度提出要進(jìn)行區(qū)別立法,對(duì)專業(yè)科技和賦能科技采取不同的監(jiān)管措施［6］。還有學(xué)者認(rèn)為,人工智能的監(jiān)管難題源自其決策過程的不可解釋性,因此主張建立一個(gè)基于人工智能決策理由的法律監(jiān)管框架［7］。雖然已有研究從不同視角提出了相應(yīng)的監(jiān)管主張,但是這些監(jiān)管理論大多只建立在對(duì)某一維度探討的基礎(chǔ)上,缺乏交叉視野。

綜上,當(dāng)前國內(nèi)外學(xué)界對(duì)人工智能風(fēng)險(xiǎn)監(jiān)管的研究大多是沿著“風(fēng)險(xiǎn)來源—風(fēng)險(xiǎn)產(chǎn)生—風(fēng)險(xiǎn)監(jiān)管”的研究路線進(jìn)行探討的,但是仍存在以下兩個(gè)方面的不足。一是研究視角,已有的研究多只從某一個(gè)維度出發(fā),探討如何有效監(jiān)管人工智能,鮮有結(jié)合兩個(gè)維度進(jìn)行研究的文獻(xiàn);二是研究結(jié)果,目前學(xué)者們提出的監(jiān)管措施主要為一系列平行的舉措,缺乏分類監(jiān)管的主張,在具體實(shí)施監(jiān)管政策時(shí),可能會(huì)提高監(jiān)管成本。因此,本文將利用基于“兩維四分”的類型學(xué)研究方法建立分析框架,以人工智能在公共部門的部分應(yīng)用為例,探討構(gòu)建人工智能的分類監(jiān)管框架。

1.2 分析框架

1.2.1 “兩維四分”的類型學(xué)研究方法

在很多領(lǐng)域,通常學(xué)者們都要面對(duì)紛繁復(fù)雜的研究對(duì)象,因此,按照某些標(biāo)準(zhǔn)對(duì)復(fù)雜研究對(duì)象進(jìn)行分門別類,從而化繁為簡,降低研究難度。按照某個(gè)標(biāo)準(zhǔn)一分為二顯得比較簡單,按照某些外部特征分為一系列并列的類別則難得要領(lǐng),而按照某兩個(gè)標(biāo)準(zhǔn)進(jìn)行交叉,將研究對(duì)象分為四類,往往更利于研究。

學(xué)術(shù)史上存在很多成功應(yīng)用“兩維四分”法的案例。社會(huì)科學(xué)領(lǐng)域,馬克思·韋伯以非理性和理性、低級(jí)和高級(jí)兩個(gè)維度,將人的所有行動(dòng)分為四種理想類型,即習(xí)慣型行為、情緒型行為、工具理性行為和價(jià)值理性行為;工商管理領(lǐng)域,采用這種研究方法對(duì)領(lǐng)導(dǎo)行為進(jìn)行研究,以關(guān)注工作效率和關(guān)注人際關(guān)系兩個(gè)維度,將所有的領(lǐng)導(dǎo)行為劃分為四大類,并形成了“領(lǐng)導(dǎo)生命周期”理論。近年來,“兩維四分”法受到國內(nèi)學(xué)者的青睞,被用于多個(gè)領(lǐng)域的學(xué)術(shù)研究。例如,基于性質(zhì)和主體來研究我國應(yīng)急管理機(jī)構(gòu)的演進(jìn)與發(fā)展,按照不確定性高低和預(yù)期損失大小兩個(gè)維度來分析鄰避設(shè)施和鄰避型群體性事件,從價(jià)值創(chuàng)造和發(fā)展?jié)摿蓚€(gè)維度建立客戶評(píng)價(jià)體系等。因此,將這種研究方法應(yīng)用于人工智能監(jiān)管領(lǐng)域的研究具備一定的可行性。

1.2.2 基于“兩維四分”法的人工智能監(jiān)管框架

在人工智能監(jiān)管領(lǐng)域引入“兩維四分”法,需要明確“兩維”及其合理性,首要任務(wù)是明確其“兩維”。首先,受技術(shù)條件的限制,人工智能應(yīng)用目前主要停留在狹義人工智能向通用人工智能過渡階段。有學(xué)者提出,現(xiàn)階段的人工智能可劃分為強(qiáng)、弱兩種主要類型,前者主要是基于機(jī)器學(xué)習(xí)而具有在動(dòng)態(tài)環(huán)境中感知、理解、推理、學(xué)習(xí)和行動(dòng)的能力,并且心智水平達(dá)到人類水平的計(jì)算機(jī)程序,后者主要是基于邏輯運(yùn)算并且具有在靜態(tài)環(huán)境中模擬人類某些方面的思維能力,但心智水平尚未達(dá)到人類水平的計(jì)算機(jī)程序［8］。為了后續(xù)分析的需要,在相關(guān)學(xué)者觀點(diǎn)的基礎(chǔ)上,本文認(rèn)為弱人工智能是能夠模仿人類思維,但通常需要在人類指令的基礎(chǔ)上進(jìn)行運(yùn)作的機(jī)器;強(qiáng)人工智能則是具備一定的學(xué)習(xí)、推理和理解等類人能力,同時(shí)在一定程度上可以不依靠人類指令而進(jìn)行人機(jī)交互的機(jī)器。因而,智能化程度可以構(gòu)成其中的一個(gè)維度。其次,對(duì)于人工智能給人類社會(huì)帶來的風(fēng)險(xiǎn),當(dāng)前的主要監(jiān)管對(duì)象是會(huì)產(chǎn)生有限風(fēng)險(xiǎn)(即低風(fēng)險(xiǎn))和高風(fēng)險(xiǎn)的人工智能應(yīng)用,對(duì)于最小風(fēng)險(xiǎn)通常不作干預(yù),而對(duì)于不可接受的風(fēng)險(xiǎn)則需要明令禁止。因此,風(fēng)險(xiǎn)級(jí)別也可以構(gòu)成另一個(gè)分析維度。

那么,運(yùn)用這種劃分方法進(jìn)行交叉研究是否具有其合理性呢?首先,人工智能技術(shù)具有跨學(xué)科、融合性的特點(diǎn),能夠廣泛應(yīng)用于諸多領(lǐng)域。但是,在不同領(lǐng)域中,人工智能系統(tǒng)風(fēng)險(xiǎn)造成的影響程度和危害性質(zhì)存在很大差異。當(dāng)人工智能應(yīng)用到涉及基本人權(quán)的領(lǐng)域時(shí),如司法和醫(yī)療領(lǐng)域,它更可能帶來高風(fēng)險(xiǎn)。換言之,相同的人工智能系統(tǒng)應(yīng)用在不同的場景會(huì)產(chǎn)生不同的風(fēng)險(xiǎn),不同的人工智能系統(tǒng)應(yīng)用于同一個(gè)場景也會(huì)產(chǎn)生不同級(jí)別的風(fēng)險(xiǎn)。其次,政府在對(duì)充滿復(fù)雜性、不確定性和不斷發(fā)展的人工智能進(jìn)行監(jiān)管時(shí)需要遵循成本—收益原則,講求監(jiān)管的效益和效果。如果政府對(duì)所有人工智能系統(tǒng)進(jìn)行普遍監(jiān)管,其結(jié)果不僅是效率低下的,而且會(huì)阻礙人工智能技術(shù)的創(chuàng)新和發(fā)展。因此,采取分類的、差別化的監(jiān)管才能取得更好的監(jiān)管效果。

綜上所述,得出基于人工智能風(fēng)險(xiǎn)級(jí)別與智能化水平的人工智能監(jiān)管模型,如圖1所示。

圖1 人工智能監(jiān)管模型

1.2.2.1 弱人工智能、低風(fēng)險(xiǎn)

對(duì)于智能化程度較弱又具備較低風(fēng)險(xiǎn)的人工智能應(yīng)用,應(yīng)對(duì)其保持最小限度的監(jiān)管。其在公共部門的典型應(yīng)用如下：在教育領(lǐng)域中的教學(xué)資源推薦等智能備課系統(tǒng)和課堂實(shí)錄與數(shù)據(jù)分析等智能教研系統(tǒng)［9］;在城市交通治理中,公安部門利用人工智能分析由攝像頭和各種傳感器收集到的海量車輛運(yùn)行狀況數(shù)據(jù),形成實(shí)時(shí)反映整個(gè)城市交通狀況的動(dòng)態(tài)畫面,從而采取相應(yīng)措施緩解城市交通壓力;在司法領(lǐng)域中,審判機(jī)關(guān)利用人工智能將庭審過程中各方的陳述轉(zhuǎn)換成文字,形成庭審記錄,簡化記錄工作;在政務(wù)服務(wù)領(lǐng)域中,智能政務(wù)機(jī)器人將傳統(tǒng)的窗口服務(wù)與人工智能技術(shù)相結(jié)合,通過系統(tǒng)設(shè)置和數(shù)據(jù)錄入,達(dá)成信息共享,并利用簡單的語義分析、語音交互,實(shí)現(xiàn)多種業(yè)務(wù)辦理和政務(wù)服務(wù)事項(xiàng)查詢等功能;在醫(yī)療領(lǐng)域中,運(yùn)用人工智能技術(shù)診斷結(jié)腸息肉,據(jù)四川省人民醫(yī)院的一項(xiàng)臨床研究顯示,人機(jī)合作診斷病人的檢出率比只由一位專家進(jìn)行常規(guī)診斷的檢出率高20%。

1.2.2.2 弱人工智能、高風(fēng)險(xiǎn)

對(duì)于智能化程度較弱卻具備較高的風(fēng)險(xiǎn)的人工智能應(yīng)用,其主要風(fēng)險(xiǎn)來源并非機(jī)器,而是來自其背后的使用者或設(shè)計(jì)者。當(dāng)出現(xiàn)算法的錯(cuò)誤操作或系統(tǒng)故障時(shí),機(jī)器可能對(duì)人類造成嚴(yán)重的傷害和巨大的損失。這種類型的典型應(yīng)用如下：在司法領(lǐng)域中,人工智能幫助司法部門進(jìn)行刑事審判中的證據(jù)審查、事實(shí)認(rèn)定、法律判斷及審前程序中的逮捕社會(huì)危險(xiǎn)性評(píng)估,如上海市高級(jí)人民法院的“刑事案件智能輔助辦案系統(tǒng)”［10］。研發(fā)者在給人工智能系統(tǒng)輸入數(shù)據(jù)時(shí)可能存在數(shù)據(jù)采集偏差,或者研發(fā)者將自身價(jià)值觀念嵌入算法模型,從而帶來算法偏見［11］,最終影響司法活動(dòng)的公正性;在醫(yī)療領(lǐng)域中,主要是手術(shù)機(jī)器人——達(dá)·芬奇手術(shù)機(jī)器人,外科醫(yī)生可以在穩(wěn)定、高速的互聯(lián)網(wǎng)和屏幕的協(xié)助下,實(shí)時(shí)了解患者狀況,使用機(jī)械臂完成手術(shù),實(shí)踐中對(duì)機(jī)械的遠(yuǎn)程操作是否精準(zhǔn)及手術(shù)時(shí)細(xì)菌隔離和控制都是需要考慮的問題,一旦機(jī)器人發(fā)生故障,甚至?xí)＜安∪松?2］;在社會(huì)保障領(lǐng)域中,美國有關(guān)部門應(yīng)用融合數(shù)據(jù)自動(dòng)化系統(tǒng)(MIDAS)審核失業(yè)人員提交的補(bǔ)貼申請(qǐng),以監(jiān)測(cè)是否存在欺詐行為,但是該系統(tǒng)存在93%的出錯(cuò)率,導(dǎo)致大量失業(yè)人員受到錯(cuò)誤處罰［13］,算法缺陷是導(dǎo)致這一嚴(yán)重后果的重要原因。

1.2.2.3 強(qiáng)人工智能、低風(fēng)險(xiǎn)

智能化程度高意味著機(jī)器潛在地具備造成更大風(fēng)險(xiǎn)的能力,即便其程序設(shè)計(jì)合理,能夠預(yù)見的風(fēng)險(xiǎn)較低,或是其應(yīng)用的領(lǐng)域風(fēng)險(xiǎn)較小,也應(yīng)該對(duì)此類人工智能系統(tǒng)保持警惕,盡可能避免潛在風(fēng)險(xiǎn)的發(fā)生。其在公共部門的典型應(yīng)用如下：教育領(lǐng)域的智能導(dǎo)師系統(tǒng)(ITS),它由領(lǐng)域模型、導(dǎo)師模型和學(xué)習(xí)者模型三部分組成,能夠根據(jù)學(xué)習(xí)者當(dāng)前的知識(shí)技能水平和情感狀態(tài),做出適應(yīng)性決策,向?qū)W習(xí)者提供個(gè)性化推薦服務(wù)［14］;社會(huì)保障領(lǐng)域的智能養(yǎng)老服務(wù)系統(tǒng),它利用物聯(lián)網(wǎng)技術(shù),通過智能感知、識(shí)別技術(shù)與普適計(jì)算,實(shí)現(xiàn)對(duì)老人生活狀況的實(shí)時(shí)監(jiān)測(cè),還能與老人進(jìn)行互動(dòng),一旦發(fā)現(xiàn)老人跌倒或出現(xiàn)健康問題時(shí),能夠及時(shí)報(bào)警;社會(huì)治安領(lǐng)域的人工智能監(jiān)控系統(tǒng),這種系統(tǒng)使用計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù),通過對(duì)監(jiān)控視頻進(jìn)行實(shí)時(shí)分析和解析,自動(dòng)識(shí)別和處理監(jiān)控區(qū)域內(nèi)的信息,如人員、車輛、物品等,從而實(shí)現(xiàn)對(duì)目標(biāo)的監(jiān)控、跟蹤和警報(bào)等功能。

1.2.2.4 強(qiáng)人工智能、高風(fēng)險(xiǎn)

智能化程度強(qiáng)的同時(shí)具備高風(fēng)險(xiǎn)的人工智能應(yīng)用是當(dāng)前監(jiān)管的重點(diǎn),需要對(duì)其進(jìn)行持續(xù)的、多方位的監(jiān)管。杭州的“城市大腦”是這方面的代表性應(yīng)用,它以數(shù)據(jù)為核心,依托深度學(xué)習(xí)、科學(xué)算法、智能建模和快速分析,將數(shù)據(jù)分析結(jié)果實(shí)時(shí)呈現(xiàn),為政府決策提供參考。在將有關(guān)數(shù)據(jù)接入平臺(tái)后,通過數(shù)據(jù)的存儲(chǔ)、分類、融合和計(jì)算,最終實(shí)現(xiàn)城市中水電、道路、政務(wù)、醫(yī)療和警務(wù)等資源的優(yōu)化配置［15］。由于“城市大腦”與整個(gè)城市的運(yùn)行聯(lián)系密切,所以一旦出現(xiàn)故障,它所產(chǎn)生的風(fēng)險(xiǎn)也更加巨大,對(duì)社會(huì)造成的影響更是難以估量。此外,在交通領(lǐng)域,一些國家和地區(qū)已開始試行自動(dòng)化駕駛系統(tǒng),我國的深圳市也已推行了自動(dòng)駕駛巴士項(xiàng)目。該系統(tǒng)運(yùn)用傳感器、雷達(dá)和相機(jī)等技術(shù)來采集車輛周圍的相關(guān)信息,并使用人工智能和深度學(xué)習(xí)等來分析和判斷這些信息,最終實(shí)現(xiàn)自動(dòng)化駕駛。但該系統(tǒng)一旦失控很可能會(huì)危及駕駛員或行人的生命安全,從而產(chǎn)生相應(yīng)的技術(shù)風(fēng)險(xiǎn)、社會(huì)道德風(fēng)險(xiǎn)和法律風(fēng)險(xiǎn)。

2 公共部門人工智能監(jiān)管策略

依據(jù)“兩維四分”法確立了四種不同類型的人工智能應(yīng)用,探討具體監(jiān)管政策,提出針對(duì)性的監(jiān)管措施,以提高監(jiān)督效率,降低監(jiān)管成本。

2.1 對(duì)“弱人工智能、低風(fēng)險(xiǎn)”的監(jiān)管建議

此類應(yīng)用的風(fēng)險(xiǎn)小而收益大,對(duì)它的監(jiān)管應(yīng)當(dāng)保持最低限度。首先,建立日志溯源機(jī)制。人工智能的運(yùn)行日志由人工智能系統(tǒng)運(yùn)行產(chǎn)生,它詳盡描述了系統(tǒng)大規(guī)模內(nèi)部事件及用戶意圖。開發(fā)運(yùn)行日志的溯源功能可以在用戶有需要時(shí)提供相關(guān)信息,保障用戶的知情權(quán)。同時(shí),這一功能也有利于專業(yè)人員在此類人工智能應(yīng)用發(fā)生故障或產(chǎn)生風(fēng)險(xiǎn)時(shí)進(jìn)行溯源,盡快排除相關(guān)風(fēng)險(xiǎn)因素,提高安全保障能力。其次,保證信息的透明公開。一是AI系統(tǒng)須在收集用戶數(shù)據(jù)前履行告知義務(wù),保證用戶的知情權(quán)和選擇權(quán),確保數(shù)據(jù)采集的合法性;二是應(yīng)當(dāng)在用戶使用前說明設(shè)計(jì)者等相關(guān)信息,包括應(yīng)用可能存在的缺陷與不足。最后,確保應(yīng)用的合規(guī)性。雖然這類應(yīng)用可能產(chǎn)生的風(fēng)險(xiǎn)較低,但是仍然要確保它們符合國家設(shè)定的相關(guān)質(zhì)量要求,需要通過質(zhì)量和安全認(rèn)證工作才準(zhǔn)許其應(yīng)用于公共領(lǐng)域。

2.2 對(duì)“弱人工智能、高風(fēng)險(xiǎn)”的監(jiān)管建議

這類人工智能應(yīng)用主要側(cè)重于對(duì)有關(guān)設(shè)計(jì)者和使用者的監(jiān)督和問責(zé),以減小或控制風(fēng)險(xiǎn)發(fā)生的可能性。首先,要明確人工智能使用者的法律主體責(zé)任。因?yàn)槿斯ぶ悄艿娘L(fēng)險(xiǎn)主要產(chǎn)生于它的實(shí)際運(yùn)用過程,相比人工智能系統(tǒng)的開發(fā)者和系統(tǒng)用戶,它的使用者在數(shù)據(jù)的儲(chǔ)存與運(yùn)用和系統(tǒng)運(yùn)行等方面可以直接進(jìn)行操作與管理,所以人工智能使用者應(yīng)該明確為風(fēng)險(xiǎn)防范的主要責(zé)任人。具體而言,使用者的責(zé)任需要包括如下方面,一是使用者要保障用戶的知情權(quán),確保用戶能夠明確如何使用相關(guān)系統(tǒng)、知曉系統(tǒng)結(jié)果的產(chǎn)生方式、了解該系統(tǒng)的相關(guān)信息;二是使用者要履行數(shù)據(jù)治理義務(wù),數(shù)據(jù)的采用需要符合“相關(guān)性、代表性、完整性、正確性”標(biāo)準(zhǔn)、數(shù)據(jù)儲(chǔ)存要安全可靠,還要持續(xù)監(jiān)測(cè)并修正數(shù)據(jù)偏差;三是使用者要承擔(dān)人工智能全周期責(zé)任,即在人工智能的投入、運(yùn)行和產(chǎn)出等階段的風(fēng)險(xiǎn)管理責(zé)任均由使用者承擔(dān);四是使用者要對(duì)組織成員進(jìn)行技術(shù)培訓(xùn)和管理,落實(shí)組織保障。

其次,要建立設(shè)計(jì)者的算法問責(zé)機(jī)制。人工智能算法因?yàn)槠錆撛诘牟豢山忉屝院湍：远鴱V受學(xué)者們?cè)嵅?。因?加強(qiáng)算法問責(zé)也是有效規(guī)避風(fēng)險(xiǎn)的關(guān)鍵一環(huán)。相關(guān)設(shè)計(jì)者有義務(wù)減少算法所帶來的負(fù)面影響和潛在風(fēng)險(xiǎn),一旦算法在運(yùn)行過程中造成實(shí)際損失,開發(fā)者必須承擔(dān)相關(guān)的責(zé)任。算法責(zé)任機(jī)制包括如下內(nèi)容,一是研發(fā)者要在算法形成后對(duì)其運(yùn)行展開測(cè)試,評(píng)估算法可能存在的風(fēng)險(xiǎn)并確定可行的防范措施,符合相關(guān)的風(fēng)險(xiǎn)防控標(biāo)準(zhǔn)才可進(jìn)入應(yīng)用領(lǐng)域;二是算法的應(yīng)用需要以規(guī)范、公正的方式運(yùn)行,開發(fā)者要保證算法價(jià)值觀的客觀、中立,避免算法的偏見與歧視;三是算法在正式運(yùn)用過程中導(dǎo)致的任何風(fēng)險(xiǎn)或損失都需要設(shè)計(jì)者承擔(dān)相應(yīng)的連帶責(zé)任。

2.3 對(duì)“強(qiáng)人工智能、低風(fēng)險(xiǎn)”的監(jiān)管建議

對(duì)此類人工智能應(yīng)用進(jìn)行監(jiān)管的關(guān)鍵在于加強(qiáng)技術(shù)監(jiān)測(cè)以確保它的運(yùn)行安全可靠,可以采取三方面措施。一是統(tǒng)一算法技術(shù)標(biāo)準(zhǔn)。人工智能算法的設(shè)計(jì)是影響安全的基礎(chǔ),因此,要制定統(tǒng)一的程序設(shè)計(jì)標(biāo)準(zhǔn),以利于監(jiān)管和避免偏見。這一標(biāo)準(zhǔn)需要遵循安全性、透明性、公平性和問責(zé)性的基本原則,并由政府、企業(yè)與行業(yè)協(xié)會(huì)共同制定,以確?？尚行?。通過將相關(guān)價(jià)值要求嵌入人工智能算法的程序代碼設(shè)計(jì)中,提高人工智能的安全水平,盡可能規(guī)避各種潛在的風(fēng)險(xiǎn)。二是落實(shí)算法備案。為了在事前降低算法的“公共性”應(yīng)用引發(fā)風(fēng)險(xiǎn)的概率,有必要建立該類算法的備案制度［16］。首先,落實(shí)備案后,監(jiān)管機(jī)構(gòu)能及時(shí)、準(zhǔn)確掌握算法推薦服務(wù)基礎(chǔ)情況,便于開展后續(xù)監(jiān)管執(zhí)法工作;其次,算法備案能確保投入公共部門的算法按照統(tǒng)一的技術(shù)標(biāo)準(zhǔn)設(shè)計(jì),從源頭降低“公共性”算法可能存在的風(fēng)險(xiǎn);再次,算法備案可以提高算法的透明度和可解釋性,一旦發(fā)生風(fēng)險(xiǎn),監(jiān)管人員可以根據(jù)備案及時(shí)采取相應(yīng)的緊急措施。未經(jīng)備案或者備案時(shí)存在較高風(fēng)險(xiǎn)隱患的算法需要重新備案或調(diào)整相關(guān)算法,完成備案登記后即可將其投入應(yīng)用階段。三是提升算法的透明度。算法的風(fēng)險(xiǎn)很大程度上來自其“黑箱”模式,提升它的透明度無疑有助于使用者和用戶對(duì)其進(jìn)行監(jiān)管,及時(shí)發(fā)現(xiàn)相關(guān)安全隱患。根據(jù)國際計(jì)算機(jī)協(xié)會(huì)提出的關(guān)于算法透明度和責(zé)任原則的算法行業(yè)標(biāo)準(zhǔn),投入公共部門的人工智能系統(tǒng)應(yīng)當(dāng)滿足以下透明度標(biāo)準(zhǔn)。首先,算法設(shè)計(jì)者和其他利益相關(guān)者應(yīng)了解算法的設(shè)計(jì)、實(shí)施和使用中可能存在的偏差,以及偏差可能對(duì)個(gè)人和社會(huì)造成的潛在危害;其次,受到算法決策不利影響的個(gè)人和團(tuán)體能夠向監(jiān)管部門提出異議和申請(qǐng)糾正;再次,使用算法的公共部門應(yīng)盡量解釋算法的運(yùn)行程序和決策的產(chǎn)生過程;最后,完善用戶個(gè)人信息和隱私保護(hù),數(shù)據(jù)收集要獲得用戶同意并盡可能縮小收集范圍,數(shù)據(jù)的儲(chǔ)存要確保安全,數(shù)據(jù)使用要符合事先披露的收集目的。

2.4 對(duì)“強(qiáng)人工智能、高風(fēng)險(xiǎn)”的監(jiān)管建議

由于公民與政府之間的廣泛連接,政府存儲(chǔ)著大量公民隱私信息,政府的行為也關(guān)系到每個(gè)公民的基本權(quán)利。當(dāng)此類人工智能系統(tǒng)進(jìn)入公共事務(wù)領(lǐng)域時(shí),應(yīng)對(duì)其保持充分警惕,以免由于監(jiān)管不力導(dǎo)致巨大的損失和危害。

首先,設(shè)定嚴(yán)格的安全指標(biāo)。制定標(biāo)準(zhǔn)是審查各種產(chǎn)品安全系數(shù)的常用做法,同時(shí)也能提供合理的價(jià)值引導(dǎo),這同樣適用于人工智能系統(tǒng)。在開發(fā)者設(shè)計(jì)此類人工智能系統(tǒng)時(shí)便要求其嚴(yán)格遵守相關(guān)標(biāo)準(zhǔn),從而大大降低潛在的風(fēng)險(xiǎn)發(fā)生概率?？紤]到人工智能公共部門應(yīng)用的特殊性,這一指標(biāo)應(yīng)包含如下要求：一是數(shù)據(jù)安全,這項(xiàng)指標(biāo)要求開發(fā)者必須采用先進(jìn)的數(shù)據(jù)保存和隱私保護(hù)技術(shù)以避免用戶的數(shù)據(jù)泄漏,同時(shí)還要保證原始數(shù)據(jù)的客觀公正以避免“數(shù)據(jù)失靈”和“數(shù)據(jù)操控”;二是算法安全,算法運(yùn)行程序的設(shè)定不得帶有性別和種族的歧視與偏見,要保證算法價(jià)值的客觀中立,避免出現(xiàn)自動(dòng)化偏見、選擇偏見、集體歸因偏見和隱形偏見;三是有關(guān)人工智能的設(shè)計(jì)和應(yīng)用必須遵守國家法律法規(guī)及行業(yè)倫理規(guī)范,如我國2018年發(fā)布的《人工智能標(biāo)準(zhǔn)化白皮書》。

其次,為了防范風(fēng)險(xiǎn),可以通過實(shí)驗(yàn)進(jìn)行試錯(cuò),對(duì)高風(fēng)險(xiǎn)強(qiáng)人工智能系統(tǒng)實(shí)行必要的安全評(píng)估,在得到充分的安全性驗(yàn)證后,再將相關(guān)人工智能系統(tǒng)投入使用。監(jiān)管沙盒為此提供了可行路徑,監(jiān)管沙盒最早產(chǎn)生于金融領(lǐng)域,用于取代傳統(tǒng)的事后監(jiān)管模式并推動(dòng)了金融創(chuàng)新。在人工智能領(lǐng)域,監(jiān)管沙盒則是指“人工智能系統(tǒng)入市或投入使用前,主管機(jī)構(gòu)提供一個(gè)受控的環(huán)境,在指定時(shí)間內(nèi)對(duì)人工智能系統(tǒng)進(jìn)行開發(fā)、測(cè)試和驗(yàn)證”［17］。它的意義在于在對(duì)人工智能系統(tǒng)進(jìn)行沙盒實(shí)驗(yàn)時(shí),一旦發(fā)現(xiàn)系統(tǒng)對(duì)人的健康、安全和隱私等基本權(quán)利產(chǎn)生直接危害時(shí),可以立即要求開發(fā)者采取措施規(guī)避風(fēng)險(xiǎn),直至該系統(tǒng)達(dá)到相應(yīng)的風(fēng)險(xiǎn)防控要求。通過這樣的舉措能夠在可控的范圍內(nèi)檢驗(yàn)人工智能系統(tǒng)的安全性,防止這些系統(tǒng)將其風(fēng)險(xiǎn)擴(kuò)散到不可控的外部環(huán)境中。

最后,鑒于人工智能系統(tǒng)具有不斷學(xué)習(xí)和動(dòng)態(tài)變化的特性,需要對(duì)已經(jīng)投入使用的人工智能系統(tǒng)開展持續(xù)的監(jiān)管。一是在使用中,強(qiáng)化部門的風(fēng)險(xiǎn)管理責(zé)任并加強(qiáng)對(duì)相關(guān)系統(tǒng)的監(jiān)測(cè)與審查。使用此類人工智能系統(tǒng)的公共部門需要建立有效的風(fēng)險(xiǎn)管理措施,這包括采取先進(jìn)的風(fēng)險(xiǎn)管理技術(shù)、制定相關(guān)的風(fēng)險(xiǎn)應(yīng)急預(yù)案和開展組織成員的技術(shù)培訓(xùn);政府監(jiān)管機(jī)構(gòu)要開展持續(xù)的風(fēng)險(xiǎn)監(jiān)測(cè)與審計(jì),監(jiān)測(cè)與審計(jì)的內(nèi)容包括數(shù)據(jù)質(zhì)量、算法命令執(zhí)行是否存在偏見、數(shù)據(jù)與結(jié)果的相關(guān)性、是否存在使用者操控?cái)?shù)據(jù)問題和是否存在隱私泄漏等安全隱患。二是在使用后,強(qiáng)化對(duì)違法行為的問責(zé)。公職人員在照章辦事過程中所產(chǎn)生的風(fēng)險(xiǎn)和損失由相關(guān)部門承擔(dān)相應(yīng)責(zé)任;公職人員由于自身行為導(dǎo)致?lián)p害性后果的,依法追究相關(guān)人員的責(zé)任;對(duì)公民個(gè)人合法權(quán)益造成嚴(yán)重?fù)p害時(shí)由該人工智能系統(tǒng)使用部門承擔(dān)賠付責(zé)任;在人工智能系統(tǒng)使用過程中,部門責(zé)任與部門領(lǐng)導(dǎo)人的責(zé)任可以相互轉(zhuǎn)換。

3 結(jié)束語

人工智能在公共部門的應(yīng)用越來越廣泛,應(yīng)該加快制定相應(yīng)的監(jiān)管政策以盡可能地控制風(fēng)險(xiǎn),為其在公共部門的應(yīng)用保駕護(hù)航。本文運(yùn)用“兩維四分”的類型學(xué)研究方法,提出了基于智能化水平和風(fēng)險(xiǎn)級(jí)別的分類監(jiān)管模型,這是對(duì)相關(guān)研究的有益補(bǔ)充。需要指出的是,雖然本文提出了對(duì)四種類型的人工智能應(yīng)用采取不同的監(jiān)管舉措,但它們之間在一定程度上仍存在相同的監(jiān)管要求,只是側(cè)重點(diǎn)不同。