編者按：

隨著越來(lái)越多的政府部門采用自動(dòng)決策系統(tǒng)，公共機(jī)構(gòu)將需要一種方式來(lái)處理隨之而來(lái)的諸如公平、正義、法律正當(dāng)程序等風(fēng)險(xiǎn)，同時(shí)又要將受影響群體納入對(duì)話中。本文提出的算法影響評(píng)估為機(jī)構(gòu)提供了一個(gè)框架，幫助他們明白自己所應(yīng)用的自動(dòng)決策系統(tǒng)，并讓公眾更深入地了解自動(dòng)決策系統(tǒng)的工作原理。通過(guò)公開(kāi)通知、自我評(píng)估、研究人員和專家審核以及正當(dāng)法律程序機(jī)制，算法影響評(píng)估將幫助政府做好準(zhǔn)備，應(yīng)對(duì)自動(dòng)決策系統(tǒng)所帶來(lái)的風(fēng)險(xiǎn)。

2013年2月，艾瑞克·盧米斯因?yàn)橥当I了一輛曾被用于一起槍擊案的汽車被法院判處6年有期徒刑，對(duì)于他被控的罪名而言，這是相當(dāng)重的判罰。為此，盧米斯不服判決，提出上訴，理由是法官在量刑調(diào)查環(huán)節(jié)中使用了預(yù)測(cè)性算法COMPAS——一款基于大數(shù)據(jù)識(shí)別罪犯風(fēng)險(xiǎn)程度的評(píng)估工具。他認(rèn)為法院依據(jù)軟件對(duì)其“再次犯罪”進(jìn)行風(fēng)險(xiǎn)評(píng)估，并基于評(píng)估結(jié)果對(duì)其加大量刑的做法違背了正當(dāng)?shù)姆沙绦?，而且公眾并不知道軟件是依?jù)什么參數(shù)或指標(biāo)進(jìn)行的風(fēng)險(xiǎn)評(píng)估。這個(gè)案例一路打到美國(guó)最高法院。2016年7月13日威斯康辛州最高法院做出終審判決，維持一審法院的量刑意見(jiàn)。

實(shí)際上，這一起特殊案件的最終結(jié)果并沒(méi)有其提出的問(wèn)題重要，即在刑事司法系統(tǒng)中采用自動(dòng)決策系統(tǒng)（Automated decision systems 簡(jiǎn)稱ADS）對(duì)公平、正義是否有影響。有研究認(rèn)為看似客觀公平的COMPAS代替人進(jìn)行自動(dòng)化決策，雖然大大提升了效率，但它傾向于高估某些特定人群的再犯罪可能性，而這極可能因?yàn)橐延袛?shù)據(jù)不準(zhǔn)確或者設(shè)計(jì)者的固有偏見(jiàn)所致。此外，算法對(duì)于受影響人群來(lái)說(shuō)幾乎就是“黑盒子”，其保密性和不可解釋性更是讓人們無(wú)法知曉這些系統(tǒng)自行決策時(shí)究竟是不是比人類更加公平公正。

當(dāng)然，對(duì)于大數(shù)據(jù)和人工智能的冷思考并不代表對(duì)它們的排斥，因?yàn)樵谒痉I(lǐng)域自動(dòng)決策系統(tǒng)的運(yùn)用已是大勢(shì)所趨，并且在就業(yè)、保險(xiǎn)、教育等領(lǐng)域自動(dòng)評(píng)估工具和算法匹配的應(yīng)用也日益廣泛，比如由算法決定求職者是否適合這份工作，決定你是否應(yīng)該付更高的汽車保險(xiǎn)費(fèi)。但對(duì)于由機(jī)器做決策，外界也不乏質(zhì)疑，關(guān)于如何充分評(píng)估這些系統(tǒng)的影響，人們更是提出了諸多問(wèn)題：它們?yōu)槟男┤说睦娣?wù)？它們是否足夠“聰明”以對(duì)抗復(fù)雜的社會(huì)和歷史環(huán)境？除了公平正義，算法的透明度與可責(zé)性如何解決？這些問(wèn)題都是令人擔(dān)憂的，因?yàn)槿绻涣私猬F(xiàn)有自動(dòng)決策系統(tǒng)的使用情況，不知曉公共機(jī)構(gòu)如何使用這些系統(tǒng)以及這些系統(tǒng)會(huì)導(dǎo)致哪些意外后果，那么司法部門等使用自動(dòng)決策系統(tǒng)的公共機(jī)構(gòu)就不可能與公眾展開(kāi)對(duì)話，進(jìn)行明智的政策辯論。

為此，公共機(jī)構(gòu)迫切需要一個(gè)實(shí)用的框架來(lái)評(píng)估自動(dòng)決策系統(tǒng)來(lái)解決潛在問(wèn)題，并確保算法的可責(zé)性（accountability），即在對(duì)算法結(jié)果不滿意時(shí)，對(duì)算法進(jìn)行審核。2018年4月，由紐約大學(xué)、谷歌、微軟等組織的公共政策研究者組成的 AI Now研究院發(fā)布了一份報(bào)告“ALGORITHMIC IMPACT ASSESSMENTS： A PRACTICAL FRAMEWORK FOR PUBLIC AGENCY ACCOUNTABILITY”。報(bào)告為公共機(jī)構(gòu)提供了一種實(shí)用性的問(wèn)責(zé)框架，即算法影響評(píng)估（algorithmic impact assessment，簡(jiǎn)稱AIA），結(jié)合了機(jī)構(gòu)審核和公眾參與，幫助那些受影響的社區(qū)和利益相關(guān)方評(píng)估該系統(tǒng)的主張并確定系統(tǒng)在哪些情況可用或者是否可用。其實(shí)，不僅受影響群體缺乏必要的信息來(lái)評(píng)估自動(dòng)決策系統(tǒng)如何工作，政府部門自身也在努力評(píng)估這些系統(tǒng)的使用，探究它們是否產(chǎn)生了差異性影響以及思考如何讓算法承擔(dān)責(zé)任。

報(bào)告中提出的公共機(jī)構(gòu)算法影響評(píng)估的關(guān)鍵要素包括：

1.機(jī)構(gòu)應(yīng)對(duì)現(xiàn)有的和擬用的自動(dòng)決策系統(tǒng)進(jìn)行自評(píng)，評(píng)估其對(duì)公平、正義、偏見(jiàn)及其他方面的潛在影響；

2.機(jī)構(gòu)應(yīng)開(kāi)發(fā)外部研究員審核程序，發(fā)現(xiàn)、衡量或長(zhǎng)期追蹤系統(tǒng)的影響；

3.機(jī)構(gòu)應(yīng)向公眾披露他們對(duì)于“自動(dòng)決策系統(tǒng)”的定義（無(wú)論是現(xiàn)行的還是擬用的系統(tǒng)）、使用目的、范圍、時(shí)間、內(nèi)部使用策略等，同時(shí)還要披露在系統(tǒng)采用之前的任何相關(guān)自評(píng)和研究員審核過(guò)程；

4.機(jī)構(gòu)應(yīng)征求公眾意見(jiàn)，講清楚公眾的擔(dān)憂并就突出問(wèn)題進(jìn)行解答；

5.政府部門應(yīng)為受影響個(gè)人或群體提供正當(dāng)法律訴訟機(jī)制，以應(yīng)對(duì)評(píng)估不足、不公平、有偏見(jiàn)等挑戰(zhàn)以及其他的機(jī)構(gòu)未能減輕或糾正的有害的系統(tǒng)使用。

如果政府在沒(méi)有問(wèn)責(zé)框架的情況下部署自動(dòng)決策系統(tǒng)，他們很可能與制定決策的過(guò)程失聯(lián)，進(jìn)而很難識(shí)別或應(yīng)對(duì)偏見(jiàn)、錯(cuò)誤或其他問(wèn)題。公眾對(duì)機(jī)構(gòu)如何運(yùn)作了解較少，他們質(zhì)疑或訴諸決策的權(quán)利也會(huì)更小。

迫于這種擔(dān)憂的緊迫性，AI Now研究院呼吁停止在核心公共機(jī)構(gòu)使用未經(jīng)審核的“黑箱子”系統(tǒng)。他們認(rèn)為向自動(dòng)決策及預(yù)警系統(tǒng)的轉(zhuǎn)變不能妨礙機(jī)構(gòu)履行責(zé)任，保護(hù)公民諸如公平、正義、正當(dāng)法律程序的基本民主價(jià)值，防范諸如非法歧視或權(quán)利剝奪等威脅。

算法影響評(píng)估雖并不是解決自動(dòng)決策系統(tǒng)的“萬(wàn)靈丹”，但它確實(shí)提供了一種重要的機(jī)制來(lái)告知公眾，并讓決策者和研究人員參與到富有成效的對(duì)話中來(lái)，實(shí)現(xiàn)以下四個(gè)主要目標(biāo)：

1. 通過(guò)公開(kāi)列出并描述自動(dòng)決策系統(tǒng)對(duì)個(gè)人和社區(qū)的影響，既尊重了公眾的知情權(quán)同時(shí)也讓他們了解到了哪些系統(tǒng)在影響他們的生活；

2. 增加公共機(jī)構(gòu)內(nèi)部的專業(yè)知識(shí)和能力評(píng)估他們構(gòu)建或采購(gòu)的系統(tǒng)，這樣他們就能夠預(yù)見(jiàn)那些可能引起關(guān)注的問(wèn)題，例如差異性影響或?qū)φ?dāng)法律程序的違反；

3.通過(guò)為外部研究人員提供一個(gè)有意義的、持續(xù)的機(jī)會(huì)來(lái)審查、審計(jì)、評(píng)估這些系統(tǒng)，確保了自動(dòng)決策系統(tǒng)更大的可責(zé)性；

4.確保公眾有機(jī)會(huì)回應(yīng)并在必要時(shí)對(duì)某一特定系統(tǒng)的使用或機(jī)構(gòu)的算法問(wèn)責(zé)方法提出異議。

編輯|胡文娟 wenjuan.hu@wtoguide.net

部分內(nèi)容編譯自AI Now研究院報(bào)告“ALGORITHMIC IMPACT ASSESSMENTS： A PRACTICAL FRAMEWORK FOR PUBLIC AGENCY ACCOUNTABILITY”