李曉楠

(對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué) 法學(xué)院，北京 100029)

一、問(wèn)題的提出

“AI”在執(zhí)行特定任務(wù)，尤其是處理海量數(shù)據(jù)方面，不但具備了技術(shù)上的可能，而且在實(shí)際效果上也已經(jīng)超越了人類(lèi)。(1)谷歌的AlphaGo和AlphaGo Zero就是一個(gè)優(yōu)秀的數(shù)據(jù)處理者，通過(guò)計(jì)算機(jī)強(qiáng)大的計(jì)算能力，已經(jīng)戰(zhàn)勝了人類(lèi)優(yōu)秀的棋手。參見(jiàn)《人機(jī)大戰(zhàn)結(jié)束：AlphaGo 4：1擊敗李世石》，https://tech.qq.com/a/20160315/049899.htm，最后訪問(wèn)時(shí)間：2019年8月25日。信息搜集、算法運(yùn)算、形成結(jié)果、執(zhí)行任務(wù)，是AI的一般運(yùn)作模式，涉及到大數(shù)據(jù)挖掘與分析理論、自然語(yǔ)言處理理論、深度學(xué)習(xí)理論等復(fù)雜的問(wèn)題。(2)參見(jiàn)朱福喜：《人工智能》(第三版)，清華大學(xué)出版社2017年版，第1-13頁(yè)。從發(fā)展趨勢(shì)看，AI從擅長(zhǎng)單個(gè)方面，例如語(yǔ)音識(shí)別、圖像識(shí)別和翻譯等，逐步發(fā)展至可以進(jìn)行思考、計(jì)劃、抽象思維、理解復(fù)雜理念、從經(jīng)驗(yàn)中學(xué)習(xí)。(3)盡管有學(xué)者認(rèn)為現(xiàn)有的人工智能無(wú)法在抽象思維上獲得突破，參見(jiàn)劉亞?wèn)|、胡德文：《腦科學(xué)視角下的高性能計(jì)算》，載《計(jì)算機(jī)學(xué)報(bào)》2017年第9期。但新近的技術(shù)發(fā)展和研究表明，盡管人工智能在抽象思維上表現(xiàn)的不足夠好和穩(wěn)定，但是已經(jīng)具備了抽象思維的潛力和能力，具體參見(jiàn)David G.T.Barrett, Felix Hill, Adam Santoro, Ari S.Morcos, Timothy Lillicrap, Measuring Abstract Reasoning In Neural Networks, Proceedings of the 35th International Conference on Machine Learning, Stockholm, Sweden, PMLR 80, 2018, http://proceedings.mlr.press/v80/santoro18a/santoro18a.pdf(last visited Aug.25, 2019); Buckner, C., Empiricism without magic: transformational abstraction in deep convolutional neural networks, 195 SYNTHESE, 5339-5372.

法律實(shí)踐需要新的思維工具，以應(yīng)對(duì)日益繁雜的社會(huì)生活法律關(guān)系，卷帙浩繁的法律文獻(xiàn)，爆發(fā)式增長(zhǎng)的法律案件。AI在輔助司法裁判、促進(jìn)司法公正、輔助法律教育和培訓(xùn)方面都具有重要的現(xiàn)實(shí)意義。(4)參見(jiàn)張保生：《人工智能法律系統(tǒng)的法理學(xué)思考》，載《法學(xué)評(píng)論》2001年第5期。從現(xiàn)有的研究來(lái)看，關(guān)于 AI的法律研究更多集中在隱私與數(shù)據(jù)保護(hù)、算法歧視、知識(shí)產(chǎn)權(quán)、AI法律人格等方面，其中對(duì)算法歧視的討論最多。(5)參見(jiàn)徐琳：《人工智能推算技術(shù)中的平等權(quán)問(wèn)題之探討》，載《法學(xué)評(píng)論》2019年第3期；張凌寒：《算法規(guī)制的迭代與革新》，載《法學(xué)論壇》2019年第2期；姜野、李擁軍：《破解算法黑箱:算法解釋權(quán)的功能證成與適用路徑——以社會(huì)信用體系建設(shè)為場(chǎng)景》，載《福建師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)》2018年第5期；鄭志峰：《人工智能時(shí)代的隱私保護(hù)》，載《法律科學(xué)》2019年第2期。在應(yīng)對(duì)算法歧視的對(duì)策上，主要從嚴(yán)控?cái)?shù)據(jù)質(zhì)量、透明性、可解釋性等方面入手，以規(guī)制AI適用的倫理困境；(6)參見(jiàn)張凌寒：《算法規(guī)制的迭代與革新》，載《法學(xué)論壇》2019年第2期；劉友華：《算法偏見(jiàn)及其規(guī)制路徑研究》，載《法學(xué)雜志》2019年第6期。關(guān)于AI在司法領(lǐng)域的運(yùn)用及規(guī)制討論相對(duì)較少，且主要在宏觀角度探討人工智能可能對(duì)司法裁判帶來(lái)的沖擊及原則應(yīng)對(duì)，并未提出建立可信AI司法的具體路徑。(7)參見(jiàn)左衛(wèi)民：《關(guān)于法律人工智能在中國(guó)運(yùn)用前景的若干思考》，載《清華法學(xué)》2018年第2期；王祿生：《司法大數(shù)據(jù)與人工智能技術(shù)應(yīng)用的風(fēng)險(xiǎn)及倫理規(guī)制》，載《法商研究》2019年第2期；李飛：《人工智能與司法的裁判及解釋》，載《法律科學(xué)》 2018年第5期；於興中：《預(yù)測(cè)編碼在司法中的應(yīng)用簡(jiǎn)介》，載《經(jīng)貿(mào)法律評(píng)論》2018年第1期。

作為AI在法律行業(yè)運(yùn)用，AI司法不但存在著技術(shù)挑戰(zhàn)，同樣存在著倫理困境，面對(duì)深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)帶來(lái)的不可知性，簡(jiǎn)單地建立“AI司法負(fù)面清單”(8)人工智能僅能適用于類(lèi)型化的案件中，禁止或限制在非類(lèi)型化案件中適用。參見(jiàn)黃京平：《刑事司法人工智能的負(fù)面清單》，載《探索與爭(zhēng)鳴》2017年第10期。，排斥AI在復(fù)雜案件中的適用，并不能解決AI司法過(guò)程中可能存在的歧視、不公平或錯(cuò)誤等問(wèn)題，相反很容易導(dǎo)致放松對(duì)人工智能在處理類(lèi)型化案件時(shí)的監(jiān)督和警覺(jué)，導(dǎo)致產(chǎn)生不被發(fā)現(xiàn)的錯(cuò)誤。筆者認(rèn)為AI司法的構(gòu)建，不但提高法官審判效率，還有利于法律知識(shí)圖譜的構(gòu)建，促進(jìn)司法裁判尺度的統(tǒng)一。但如前所述，算法黑箱的存在必然引發(fā)對(duì)AI司法判決可信賴(lài)的質(zhì)疑。筆者結(jié)合法律適用的具體特點(diǎn)，試圖構(gòu)建AI司法運(yùn)用過(guò)程中的“信賴(lài)但必須驗(yàn)證”(9)參見(jiàn)[美]凱文·沃巴赫：《信任,但需要驗(yàn)證:論區(qū)塊鏈為何需要法律》，林少偉譯，載《東方法學(xué)》2018年第4期。的制度規(guī)則，通過(guò)技術(shù)保障、正當(dāng)程序要求等實(shí)現(xiàn)可控和可信賴(lài)的AI司法。

二、AI的司法運(yùn)用

將機(jī)器學(xué)習(xí)(Machine Learning, ML)訴諸法律實(shí)踐，如證據(jù)發(fā)現(xiàn)、評(píng)估，判例分析、論證挖掘、適用法律分析和定量法律預(yù)測(cè)，依賴(lài)多種ML技術(shù)，如自然語(yǔ)言處理，構(gòu)建輸入(證據(jù)、判例、法律等法規(guī))與期望的輸出(可適用的法律法規(guī))之間關(guān)系的算法模型。(10)參見(jiàn)Daniel Martin Katz, Quantitative Legal Prediction-or-How I Learned to Stop Worrying and Start Preparing for the Data Driven Future of the Legal Services Industry, 62 EMORY L.J.909(2013); Nikolaos Aletras et.al., Predicting Judicial Decisions of the European Court of Human Rights: A Natural Language Processing Perspective, https://peerj.com/articles/cs-93.pdf(last visited Aug.25, 2019); Daniel Martin Katz, Michael J.Bommarito Ii, Josh Blackman, A General Approach for Predicting the Behavior of the Supreme Court of the United States, https://arxiv.org/pdf/1612.03473.pdf(last visited Aug.25, 2019))

(一)可能性基礎(chǔ)

1.基于法律推理自身的特征。(1)盡管法律推理并非完全的線性單調(diào)推理，存在著可廢止性規(guī)則、可辯駁性推理等非經(jīng)典邏輯，但它有相對(duì)穩(wěn)定的對(duì)象(案件)、相對(duì)明確的前提(法律規(guī)則、法律事實(shí))及嚴(yán)格的程序規(guī)則，且須得出確定的判決結(jié)論；(2)法律推理特別是抗辯制審判中的司法推理，為AI觀察思維活動(dòng)的軌跡提供了可以記錄和回放的樣本；(3)法律知識(shí)的長(zhǎng)期積累、完備的檔案、豐富的案例、為模擬法律知識(shí)的獲得、表達(dá)和應(yīng)用提供了豐富、準(zhǔn)確的數(shù)據(jù)資料。

2.基于AI技術(shù)的發(fā)展。ML使AI理解數(shù)據(jù)，獲得信息，具備歸納推理和決策能力。(11)參見(jiàn)劉全、翟建偉、章宗長(zhǎng)、鐘珊、周倩、章鵬、徐進(jìn)：《深度強(qiáng)化學(xué)習(xí)綜述》，載《計(jì)算機(jī)學(xué)報(bào)》2018年第1期；曾毅、劉成林、譚鐵牛：《類(lèi)腦智能研究的回顧與展望》，載《計(jì)算機(jī)學(xué)報(bào)》2016年第1期。基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)技術(shù)使AI擺脫了淺層學(xué)習(xí)模型依賴(lài)人工經(jīng)驗(yàn)的局限，使AI在多次迭代中自主地重新修正算法，具有了人類(lèi)的自適性、自組織、自學(xué)習(xí)、遷移學(xué)習(xí)等能力。(12)參見(jiàn)奚雪峰、周?chē)?guó)棟：《面向自然語(yǔ)言處理的深度學(xué)習(xí)研究》，載《自動(dòng)化學(xué)報(bào)》2016年第10期。深度學(xué)習(xí)脫離了傳統(tǒng)ML數(shù)據(jù)輸入、特征提取、特征選擇、邏輯推理、預(yù)測(cè)的過(guò)程，直接從事物原始特征出發(fā)，自動(dòng)學(xué)習(xí)和生成高級(jí)的認(rèn)知結(jié)果。(13)參見(jiàn)周飛燕、金林鵬、董軍：《卷積神經(jīng)網(wǎng)絡(luò)研究綜述》，載《計(jì)算機(jī)學(xué)報(bào)》2017年第6期。

ML算法可以自動(dòng)檢測(cè)與過(guò)去法律場(chǎng)景相關(guān)的數(shù)據(jù)模式，然后可以對(duì)這些模式進(jìn)行外推，以預(yù)測(cè)未來(lái)法律場(chǎng)景的結(jié)果(見(jiàn)圖一)。即使在不理解法律、學(xué)說(shuō)或政策的潛在含義和目標(biāo)的情況下，通過(guò)啟發(fā)式算法(探試算法)的運(yùn)用，AI也能在法律這樣一個(gè)抽象的、充滿(mǎn)不確定性的領(lǐng)域中提供預(yù)測(cè)性。(14)參見(jiàn)Harry Surden, Machine Learning and Law, 89 WASH.L.REV.87, 116(2014).

AI+法律的結(jié)合已經(jīng)催生出輔助律師工作的人工智能ROSS(15)Ross是一個(gè)基于云計(jì)算的人工智能系統(tǒng)，它通過(guò)一個(gè)龐大的法律研究數(shù)據(jù)庫(kù)來(lái)搜索答案，幫助執(zhí)業(yè)律師更有效地執(zhí)行法律研究任務(wù)，http://www.rossintelligence.com(last visited Aug.25, 2019).，協(xié)助法官評(píng)估犯罪風(fēng)險(xiǎn)的系統(tǒng)COMPAS(16)COMPAS是一種基于人工智能技術(shù)的罪犯風(fēng)險(xiǎn)評(píng)估工具，已經(jīng)被引入到美國(guó)法院的審判中，以輔助罪犯風(fēng)險(xiǎn)評(píng)估工作，如暴力再犯、一般再犯、未出庭以及在押期間違規(guī)、潛逃等。參見(jiàn)Algorithms in the Criminal Justice System, https://perma.cc/M34D-9FE9(last visited Aug.25, 2019)(stating risk assessment tools such as COMPAS use data on socioeconomic status, family background, neighborhood crime, and employment status to calculate individual's criminal risk).等應(yīng)用。搜狗公司與北京互聯(lián)網(wǎng)法院聯(lián)合發(fā)布了全球首個(gè)“AI法官”，在線為用戶(hù)提供“智能導(dǎo)訴”服務(wù)，未來(lái)將實(shí)現(xiàn)同當(dāng)事人智能溝通，協(xié)助法官完成訴訟接待，基于司法“大數(shù)據(jù)”的案件審理等。(17)《搜狗聯(lián)合北京互聯(lián)網(wǎng)法院發(fā)布全球首個(gè)AI虛擬法官》，http://www.chinanews.com/business/2019/06-27/8876563.shtml，最后訪問(wèn)時(shí)間：2019年8月25日。

(二)應(yīng)用意義

1.提高司法工作效率。

(1)提高法律檢索的準(zhǔn)確度。當(dāng)法官使用AI查找相關(guān)的法源，并不斷將某些文件標(biāo)記為相關(guān)，AI就會(huì)知道應(yīng)該尋找哪種類(lèi)型的文件，以更準(zhǔn)確地識(shí)別其他相關(guān)文件，既避免法官在找法過(guò)程中的遺漏，又避免無(wú)關(guān)法律條款的干擾，大大簡(jiǎn)化了法官找法的過(guò)程。此外，計(jì)算機(jī)強(qiáng)大的運(yùn)用能力極大的縮短了找法的過(guò)程，Ross Intelligence 在一瞬間搜集到的類(lèi)似的案例幾乎與人工在10小時(shí)內(nèi)工作的案例相同。

(2)提高文檔管理效率。通過(guò)ML，AI擅長(zhǎng)找出符合人類(lèi)定義標(biāo)準(zhǔn)的項(xiàng)目(items)，并且可以發(fā)現(xiàn)數(shù)據(jù)中的模式(patterns)已執(zhí)行 “搜索和找到類(lèi)型”(search-and-find type)任務(wù)。

ML算法基于文檔文本和其他文檔特征(如法院書(shū)記員的描述性意見(jiàn))，自動(dòng)將給定的文檔分類(lèi)為特定的預(yù)定義類(lèi)別。例如，與訴訟有關(guān)的核心文件，包括起訴狀、證據(jù)、法院的裁定和判決等。AI可以將相關(guān)文檔自動(dòng)識(shí)別為“起訴狀”“證據(jù)”或“判決“，并自動(dòng)生成規(guī)范化的、可閱讀的電子卷宗文檔材料，以使法官更容易地找到重要的案卷文件(見(jiàn)圖二)。斯坦福知識(shí)產(chǎn)權(quán)訴訟清算所(Stanford Intellectual Property Litigation Clearinghouse)采用了類(lèi)似的ML技術(shù)，以自動(dòng)分類(lèi)繁冗復(fù)雜的案件文件，簡(jiǎn)化了法庭查找關(guān)鍵文件的難度。(18)參見(jiàn)Stanford IP Litigation Clearinghouse,STAN.L.SCH., http://www.law.stanford.edu/organizations/programs-and-centers/stanford-ip-litigation-clearinghouse(last visited Aug.25, 2019).

(3)提高證據(jù)審查效率。在特定類(lèi)型的案件中，法官往往要審查大量的書(shū)面證據(jù)，而只有極少數(shù)關(guān)鍵證據(jù)與案件處理有關(guān)。機(jī)器算法可以根據(jù)與特定問(wèn)題相關(guān)性的大小(通常稱(chēng)為預(yù)測(cè)編碼或技術(shù)輔助審查)對(duì)文檔進(jìn)行分類(lèi)，找到那些與該問(wèn)題實(shí)際相關(guān)的少數(shù)文檔。在達(dá)席爾瓦·摩爾訴陽(yáng)獅集團(tuán)(Da Silva Moore v.Publicis Groupe)案中，被告提供的電子證據(jù)多達(dá)300萬(wàn)份，主審裁判法官佩克同意采用預(yù)測(cè)編碼為一種文件審查方法，從大量文件中剔除不相關(guān)的文件，作為雙方電子證據(jù)開(kāi)示協(xié)議的一部分。(19)參見(jiàn)Da Silva Moore v.Publicis Groupe，287 F.R.D.182(S.D.N.Y.2012).

2.幫助進(jìn)行法律分析。AI可以對(duì)合同進(jìn)行分析，并通過(guò)預(yù)先設(shè)定的條件和變量清單，確定哪些條款和變體存在和缺失。(20)參見(jiàn)Lauri Donahue, A Primer on Using Artificial Intelligence in the Legal Profession, https://jolt.law.harvard.edu/digest/a-primer-on-using-artificial-intelligence-in-the-legal-profession(last visited Aug.28, 2019).在摩根大通，一個(gè)名為coin的AI驅(qū)動(dòng)程序被用于解釋商業(yè)貸款協(xié)議?；到y(tǒng)(Kira Systems)公司提供的AI平臺(tái)，可以識(shí)別、提取和分析合同中包含的業(yè)務(wù)信息，可以為并購(gòu)盡職調(diào)查創(chuàng)建合同摘要圖表。勞杰克斯(Lawgeex)公司使用的AI能識(shí)別出合同中哪些條款存在漏洞，以供律師進(jìn)一步審查和修訂。

3.預(yù)測(cè)判決結(jié)果。目前法律工作者通過(guò)運(yùn)用專(zhuān)業(yè)知識(shí)、經(jīng)驗(yàn)等認(rèn)知技能和直覺(jué)對(duì)案件的審判結(jié)果進(jìn)行評(píng)估?；谟?jì)算機(jī)的自動(dòng)化分析將會(huì)越來(lái)越多的介入到法律結(jié)果的預(yù)測(cè)中。(21)參見(jiàn)Daniel Martin Katz, Quantitative Legal Prediction-or How I Learned to Stop Worrying and Start Preparing for the Data-Driven Future of the Legal Services Industry, 62 EMORY L.J.909, 912(2013)(discussing legal applications such as automation in document discovery and quantitative legal prediction).AI通過(guò)數(shù)據(jù)挖掘可以獲得海量數(shù)據(jù)，在預(yù)測(cè)法律糾紛和訴訟結(jié)果上可能比人類(lèi)更好。在200年的美國(guó)最高法院判決記錄的訓(xùn)練下，AI已經(jīng)比許多人類(lèi)專(zhuān)家更好地預(yù)測(cè)美國(guó)最高人民法院的判決。(22)參見(jiàn)Andrew D.Martin et.al., Competing Approaches to Predicting Supreme Court Decision Making, 2 PERSP.ON POL.761, 761-68(2004).

監(jiān)督學(xué)習(xí)技術(shù)的應(yīng)用，使AI可以通過(guò)人類(lèi)對(duì)數(shù)據(jù)的標(biāo)注，找出數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。(23)參見(jiàn)Peter Flach, MACHINE LEARNING: THE ART AND SCIENCE OF ALGORITHMS THAT MAKE SENSE OF DATA 16-18(2012).在司法實(shí)踐中，同類(lèi)案例本身就構(gòu)成了可供訓(xùn)練AI的數(shù)據(jù)集，在學(xué)習(xí)足夠多的案例后，AI可以從案例中識(shí)別出自變量如主體身份、行為類(lèi)型、損害結(jié)果等與因變量判決結(jié)果之間的涵攝關(guān)系，并結(jié)合法律規(guī)則等構(gòu)建起預(yù)測(cè)案件結(jié)果的算法模型。當(dāng)同類(lèi)案件信息輸入AI時(shí)，AI將基于預(yù)測(cè)模型自動(dòng)得出裁判結(jié)果(見(jiàn)圖三)。

4.有利于實(shí)現(xiàn)同案同判。法官在判決書(shū)中需要詳細(xì)引用法律、事實(shí)、公共政策及其他考量因素以作為判決正當(dāng)化的理由。法官不應(yīng)依據(jù)判決載明以外的理由裁決案件。然而，在有些案件當(dāng)中，法官往往考慮判決書(shū)闡明理由以外的因素而做出與類(lèi)案不同的判決，例如，基于原、被告的身份，社會(huì)輿論壓力等。美國(guó)的一項(xiàng)研究表明，在影響案件判決結(jié)果的因素中，聯(lián)邦巡回法庭自身就舉足輕重，即便是同類(lèi)案件，不同的巡回法院卻極有可能做出不同的裁決。(24)參見(jiàn)Andrew D.Martin et.al., Competing Approaches to Predicting Supreme Court Decision Making, 2 PERSP.ON POL.761, 761-68(2004);在后果主義的司法裁判中，例如于歡案、江蘇龍哥反殺案，基于輿論的社會(huì)壓力，或者基于社會(huì)效果的考量，法官往往做出類(lèi)案異判的裁決，即便判決結(jié)果是正當(dāng)?shù)模捎谂袥Q書(shū)本身并未闡明法外因素對(duì)判決結(jié)果的影響，勢(shì)必帶來(lái)對(duì)判決合理性的懷疑。由于ML算法能夠很好地檢測(cè)出案例中某些變量與特定法律結(jié)果之間的模糊關(guān)聯(lián)。如果AI提供證據(jù)表明法官的判決不是基于他們所明確陳述的理由，而是基于其他考量，法官必須作出合理的解釋。從另一個(gè)層面來(lái)講，AI基于同一套算法模型作出裁決，在案件情況相同或類(lèi)似的情況下也即輸入相似的情況下，會(huì)得到相同的輸出。

三、AI司法的挑戰(zhàn)

AI司法的核心挑戰(zhàn)在于是否“可信賴(lài)”?！稓W洲AI道德準(zhǔn)測(cè)》(ETHICS GUIDELINES FOR TRUSTWORTHY AI)對(duì)“可信賴(lài)AI”提出了一個(gè)官方解釋?zhuān)紫龋鼞?yīng)該尊重基本權(quán)利、規(guī)章制度、核心原則及價(jià)值觀，以確?！暗赖履康摹?，其次，它應(yīng)該在技術(shù)上強(qiáng)健、可靠。因?yàn)榧词褂辛己玫囊鈭D，缺乏對(duì)技術(shù)的掌握也會(huì)造成無(wú)意的傷害。(25)參見(jiàn)High-Level Expert Group on AI : Ethics Guidelines For Trustworthy AI , April 8, 2019, https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai(last visited Aug.25, 2019)

(一)技術(shù)上的挑戰(zhàn)

1.抽象分析和高階認(rèn)知能力不足。人工之智能由硬件和軟件、數(shù)據(jù)和代碼組成，主要依賴(lài)于計(jì)算機(jī)科學(xué)與統(tǒng)計(jì)學(xué)獲取知識(shí)形成推論。AI依靠計(jì)算機(jī)的二進(jìn)制運(yùn)算做出決策，卻沒(méi)有自我意識(shí)、目的和立場(chǎng)，這也是AI在語(yǔ)言、思維和文化的高階認(rèn)知上遠(yuǎn)遜于人類(lèi)智能的重要原因。(26)參見(jiàn)蔡曙山、薛小迪：《AI與人類(lèi)智能——從認(rèn)知科學(xué)五個(gè)層級(jí)的理論看人機(jī)大戰(zhàn)》，載《北京大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)》2016年第4期。盡管ML可以設(shè)置反饋機(jī)制，不斷自主修正程序的偏差，但卻與人類(lèi)的自我反省不同。(27)參見(jiàn)Benjamin Alarie, The Path of the Law: Towards Legal Singularity, 66 UTLJ 454(2016), speaks of an artificial legal intelligence that achieves Rawls’s ‘reflective equilibrium.’ It can, however, only attempt to simulate this-whether such equilibrium is reached and how the algorithms should be trained to accomplish this will necessarily depend on human judgment.由于自我意識(shí)的缺乏，即使AI擅長(zhǎng)模擬人類(lèi)情緒，也無(wú)法體驗(yàn)到痛苦或羞辱。(28)參見(jiàn)Rosalind Picard, Affective Computing(Cambridge, MA: MIT Press, 1997).AI符號(hào)運(yùn)算的特征可能導(dǎo)致其抽象分析缺陷，進(jìn)而難以完全勝任復(fù)雜的司法活動(dòng)。

首先，在法律職業(yè)活動(dòng)中，抽象的法律推理、價(jià)值衡量、道德感是必不可少的要素，AI卻難以精確模擬和體會(huì)。盡管法律AI的設(shè)計(jì)者可以將價(jià)值觀、道德準(zhǔn)則等注入到AI中，但也是有限和僵化的。此外，法律問(wèn)題的處理，往往取決于對(duì)抽象概念的分析，例如理解法律的整體公共政策，公平正義理念、故意或過(guò)失的心態(tài)等，如果難以通過(guò)數(shù)據(jù)量化，那么就可能超出當(dāng)前AI處理的范圍。再有，法律問(wèn)題往往沒(méi)有唯一正確的答案，這是AI模擬法律推理的一個(gè)難題。選擇哪一個(gè)答案，往往取決于法律推理的目的標(biāo)準(zhǔn)和推理主體的立場(chǎng)和價(jià)值觀念，而這些又是AI所欠缺的。最后，法律規(guī)范中存在著大量細(xì)微差別的概念，例如涉及意思表示瑕疵的真意保留、虛偽表示、隱藏行為、戲謔表示、錯(cuò)誤等?；诙M(jìn)制代碼語(yǔ)言的局限性，AI能否做出如此精細(xì)的法律規(guī)范模擬值得懷疑。(29)參見(jiàn)James Grimmelmann, Note, Regulation by Softiware, 114 YALE L.J.1719, 1732(2005); Australian Administrative Review Council, AUTOMATED ASSISTANCE IN ADMINISTRATIVE DECISION MAKING ISSUES PAPER 46(2003).

2.算法“黑箱”的技術(shù)應(yīng)對(duì)不足。在強(qiáng)化學(xué)習(xí)下，算法模型的日趨復(fù)雜及動(dòng)態(tài)變化特性，導(dǎo)致數(shù)據(jù)科學(xué)家也無(wú)法完全理解AI預(yù)測(cè)背后的邏輯，使AI具有了“黑箱”性質(zhì)。盡管存在一些具體技術(shù)如“模型的最重要特征”“不同特征變量的作用”等來(lái)輔助理解AI模型然而還未達(dá)到建立非“黑箱”算法模型的能力。(30)打開(kāi)“黑盒”技術(shù)包括Permutation Importance, Partial Dependency Plots, SHAP Values, 具體可參見(jiàn)https://blog.csdn.net/qq_42793029/article/details/94459036.最后訪問(wèn)時(shí)間：2019年8月25日。在司法適用中，算法“黑箱”意味著AI可能存在模式識(shí)別錯(cuò)誤，推理錯(cuò)誤，而無(wú)法從技術(shù)上確保AI做出的判決滿(mǎn)足三段論的要求。AI進(jìn)入司法領(lǐng)域，要解決的不單是技術(shù)上AI能否勝任司法工作，包括法律推理尤其是可廢止推理、非單調(diào)推理，還要有足夠的手段防止AI滑向不可知性，建立公眾對(duì)AI司法的信賴(lài)，在算法“黑箱”存在的情況下，這顯然是個(gè)重大挑戰(zhàn)。

(二)算法偏見(jiàn)挑戰(zhàn)

AI研發(fā)者通過(guò)寫(xiě)入代碼的方式構(gòu)造AI算法，使用“訓(xùn)練”數(shù)據(jù)不斷完善算法模型。這意味著研發(fā)者的價(jià)值觀、偏見(jiàn)和人類(lèi)缺陷都會(huì)反映在軟件上。此外訓(xùn)練數(shù)據(jù)的選擇偏差，如訓(xùn)練數(shù)據(jù)不能完全代表自然情況變化；分類(lèi)偏差，如程序員對(duì)數(shù)據(jù)進(jìn)行了錯(cuò)誤分類(lèi)；均會(huì)導(dǎo)致決策模型都會(huì)秘密地嵌入偏見(jiàn)、錯(cuò)誤和歧視。此外數(shù)據(jù)本身也可能蘊(yùn)含歧視，如訓(xùn)練數(shù)據(jù)中所有的男性職業(yè)都是CEO，所有的女性職業(yè)都是秘書(shū)，盡管數(shù)據(jù)本身符合現(xiàn)實(shí)情況，AI卻可能得出女性天生不適合做CEO的結(jié)論，這實(shí)際上造成了性別歧視。

AI司法領(lǐng)域當(dāng)然也會(huì)出現(xiàn)算法偏見(jiàn)風(fēng)險(xiǎn)。最鮮明的例子是 COMPAS 算法，該算法被美國(guó)多個(gè)州政府的執(zhí)法機(jī)構(gòu)用于評(píng)估被告人再犯罪的風(fēng)險(xiǎn)，據(jù)ProPublica的一項(xiàng)調(diào)查顯示，黑人被錯(cuò)誤標(biāo)記為罪犯潛在分子的比例幾乎是白人的2倍。(31)參見(jiàn)Julia Angwin et.al., Machine Bias, PROPUBLICA(May 23, 2016), https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing(last visited Aug.25, 2019).然而算法偏見(jiàn)，尤其是數(shù)據(jù)本身造成的偏見(jiàn)是隱蔽的，難以察覺(jué)的，如何有效治理算法偏見(jiàn)無(wú)疑是充滿(mǎn)挑戰(zhàn)的。

(三)法律和法治的挑戰(zhàn)

AI司法導(dǎo)致從法律作為信息到法律作為計(jì)算的轉(zhuǎn)變，帶來(lái)對(duì)法律和法治的挑戰(zhàn)。具體表現(xiàn)在(1)AI技術(shù)的發(fā)展，可能造成法官?lài)?yán)重依賴(lài)，進(jìn)而無(wú)法挑戰(zhàn)AI判決；(2)從有意義的法律信息到符號(hào)計(jì)算的法律推理，導(dǎo)致了從理性(reason)到統(tǒng)計(jì)(statistics)、從論證(argumentation)到模擬(simulation)的轉(zhuǎn)變；(3)在開(kāi)發(fā)和測(cè)試數(shù)據(jù)驅(qū)動(dòng)AI的過(guò)程中，當(dāng)事人隱私可能會(huì)被侵犯。

1.法官過(guò)分依賴(lài)AI。法官可能基于AI的強(qiáng)大分析能力被迫依賴(lài)于AI得出的結(jié)論。法官對(duì)技術(shù)的依賴(lài)還可從其對(duì)司法鑒定的態(tài)度中發(fā)現(xiàn)端倪。以建設(shè)工程為例，由于專(zhuān)業(yè)知識(shí)的限制，法官往往過(guò)度依賴(lài)工程量鑒定作為工程價(jià)款確定的依據(jù)，甚至一旦發(fā)生工程款糾紛首先想到的就是工程量鑒定，而拒絕對(duì)施工合同進(jìn)行法律分析?？梢灶A(yù)見(jiàn)的是，如果AI能夠進(jìn)行證據(jù)評(píng)估、判例法分析、論證挖掘、適用法律分析和定量法律預(yù)測(cè)等任務(wù)，且總能保證高效、正確的情況下，法官可能會(huì)加重對(duì)AI的依賴(lài)。尤其是在法官的預(yù)判與AI結(jié)論相左但最終證明AI是正確時(shí)，可能會(huì)削弱法官的自信心，進(jìn)一步加強(qiáng)法官對(duì)AI建議的依賴(lài)，從而拒絕做出獨(dú)立判斷。

2.定量法律預(yù)測(cè)破壞了法律的張力。定量法律預(yù)測(cè)(Quantified legal prediction , QLP)是AI法律最明顯的特征。QLP基于統(tǒng)計(jì)學(xué)的數(shù)學(xué)函數(shù)來(lái)模擬進(jìn)行法律論證和決策，以消除法律的不確定性。然而，從本質(zhì)上來(lái)講，不確定性或模糊性也是法律發(fā)揮作用的重要工具。例如，法律的不確定性可以建立足夠的靈活性，以涵蓋目前存在或?qū)?lái)可能存在的意外情況。而 “簡(jiǎn)單”地運(yùn)用AI將司法活動(dòng)轉(zhuǎn)移到訓(xùn)練集、算法類(lèi)型和假設(shè)空間設(shè)計(jì)的數(shù)理層次上，在消除法官主體性及法律不確定的同時(shí)，以“唯一正解”來(lái)代替法官主體性的綜合權(quán)衡，可能導(dǎo)致法律僵化執(zhí)行，減弱了AI司法的張力及處理復(fù)雜案件的能力。

3.侵犯隱私權(quán)。AI司法也可能引起了重大的隱私問(wèn)題。為了開(kāi)發(fā)預(yù)測(cè)算法，需要大量詳細(xì)的案件信息數(shù)據(jù)，這些信息可能包括被強(qiáng)奸受害人身份信息，未成年人的犯罪信息等。在我國(guó)，為保護(hù)當(dāng)事人個(gè)人隱私，法律規(guī)定采用不公開(kāi)審判的方式進(jìn)行庭審或者要求封存未成年犯罪記錄信息，例如刑事訴訟法第188條、266條，民事訴訟法第134條均作出了明確規(guī)定。AI司法下，由于構(gòu)建算法需要，開(kāi)發(fā)者獲取了上述隱私信息，一旦發(fā)生泄露，就可能對(duì)訴訟參與人造成侵害。例如隱私的泄露可能造成就業(yè)歧視，企業(yè)可能不愿意雇傭有犯罪前科的員工；可能造成名譽(yù)受損，如被強(qiáng)奸受害人可能遭受社會(huì)非議，面臨恥辱。密歇根網(wǎng)絡(luò)法院失敗的一個(gè)重要原因就在于，證人和當(dāng)事方因擔(dān)心他們共享的信息無(wú)法得到適當(dāng)保護(hù)，而拒絕向網(wǎng)絡(luò)法院提交案件。(32)參見(jiàn)Anjanette H.Raymond, Scott J.Shackelford, Technology, Ethics, and Access to Justice: Should an Algorithm Be Deciding Your Case, 35 MICH.J.INT'L L.485(2014).

四、可信賴(lài)AI司法的構(gòu)建

司法裁決的合法性可由三個(gè)因素評(píng)估，即決策過(guò)程是否考慮了訴訟參與人的觀點(diǎn)；決策是否中立，所有意見(jiàn)是否得到平等考慮而沒(méi)有偏袒；訴訟參與人是否信任司法系統(tǒng)。(33)參見(jiàn)Amy Gangl, Procedural Justice Theory and Evaluations of the Lawmaking Process, 25 POL.BEHAV.119, 121(2003).鑒于AI司法潛在的挑戰(zhàn)，如何構(gòu)建合法的裁判，成為AI司法必須考慮的命題。美國(guó)部分學(xué)者提出透明度、公平性和適當(dāng)?shù)某绦驑?biāo)準(zhǔn)有助于網(wǎng)絡(luò)法院(ODR system)合法性的構(gòu)建。(34)參見(jiàn)Anita Ramasastry, Government-to-Citizen Online Dispute Resolution: A PreliminaryInquiry, 79 WASH.L.REV.159, 173(2004).美國(guó)計(jì)算機(jī)協(xié)會(huì)和歐盟計(jì)算機(jī)協(xié)會(huì)針對(duì)算法自動(dòng)決策可能帶來(lái)的危害，提出了AI利用的七大基本原則，即對(duì)算法歧視的意識(shí)，權(quán)利救濟(jì)，問(wèn)責(zé)，可解釋性，數(shù)據(jù)可追溯，可審計(jì)性，驗(yàn)證和測(cè)試。(35)參見(jiàn)ACM U.S.Public Policy Council, ACM Europe Policy Committee, Statement on Algorithmic Transparency and Accountability, https://www.acm.org/binaries/content/assets/public policy/2017_joint_statement_algorithms.pdf(last visited Aug.25, 2019).上述原則的背后也蘊(yùn)含著AI司法治理的可行路徑。結(jié)合司法適用的自身特點(diǎn)，筆者認(rèn)為可從技術(shù)保證、使用監(jiān)督、程序規(guī)制等方面實(shí)現(xiàn)可信賴(lài)的AI司法。

(一)技術(shù)保障

1.代碼中融入倫理和法律要求。在AI司法時(shí)代，AI充當(dāng)了證據(jù)分析、輔助審判的重要職能，即便法官依然要承擔(dān)最后裁判者地位，但在一定程度上來(lái)講，AI本身已經(jīng)充當(dāng)了部分裁判者的角色。因此從人工職能自身來(lái)講就必須滿(mǎn)足法官應(yīng)有的職業(yè)素養(yǎng)和道德要求。為此，作為AI核心組成部分的代碼本身應(yīng)當(dāng)滿(mǎn)足非歧視、忠實(shí)執(zhí)行憲法法律、以事實(shí)為依據(jù)以法律為準(zhǔn)繩等等。美國(guó)的部分學(xué)者將代碼與法律的融合稱(chēng)為“法律代碼化”及“代碼法律化”，通過(guò)“合約模塊化”、“合約融合”等技術(shù)手段及制度安排，實(shí)現(xiàn)在區(qū)塊鏈代碼體現(xiàn)法律要求，保證法律實(shí)施的目的。(36)參見(jiàn)[美]凱文·沃巴赫：《信任,但需要驗(yàn)證:論區(qū)塊鏈為何需要法律》，林少偉譯，載《東方法學(xué)》2018年第4期。“數(shù)據(jù)清洗”“情感計(jì)算”“因果網(wǎng)絡(luò)模型”等技術(shù)和方法的運(yùn)用已經(jīng)部分實(shí)現(xiàn)了AI的非歧視及是非觀的形成，也使有道德的AI成為了可能。(37)參見(jiàn)[美]肖恩·格里什：《智能機(jī)器如何思考》，張羿譯，中信出版社2019年版，第517-518頁(yè)；王峰：《人工智能的情感計(jì)算如何可能》，載《探索與爭(zhēng)鳴》2019年第6期；苗旺、劉春辰、耿直：《因果推斷的統(tǒng)計(jì)方法》，載《中國(guó)科學(xué)：數(shù)學(xué)》2018年第12期。算法設(shè)計(jì)人員在開(kāi)發(fā)AI司法系統(tǒng)時(shí)，應(yīng)當(dāng)將法律、道德等要求，并通過(guò) “法律代碼化”的方式嵌入代碼的運(yùn)轉(zhuǎn)邏輯，實(shí)現(xiàn)對(duì)AI的軟法規(guī)制，以避免其“任意性”。

2.充分的測(cè)試。軟件測(cè)試(Software Testing)，用來(lái)鑒定軟件的正確性、完整性、安全性和質(zhì)量的過(guò)程。軟件測(cè)試是一種實(shí)際輸出與預(yù)期輸出之間的審核或者比較過(guò)程。通過(guò)軟件測(cè)試以發(fā)現(xiàn)程序錯(cuò)誤，衡量軟件質(zhì)量，并對(duì)其是否能滿(mǎn)足設(shè)計(jì)要求進(jìn)行評(píng)估。AI司法在投入使用前必須進(jìn)行嚴(yán)格且充分的測(cè)試，以保證軟件實(shí)現(xiàn)正確的裁判結(jié)果，且以正確的邏輯實(shí)現(xiàn)。例如，AI應(yīng)當(dāng)可以實(shí)現(xiàn)對(duì)證據(jù)的校驗(yàn)、把關(guān)、提示、監(jiān)督。如果原告或公訴機(jī)關(guān)提供的證據(jù)存在形式上的瑕疵，AI應(yīng)當(dāng)具有識(shí)別出來(lái)的能力，并提請(qǐng)法官注意?？偟恼f(shuō)來(lái)，圍繞著AI司法系統(tǒng)的功能定位，開(kāi)發(fā)人員應(yīng)該采取廣泛而深入的測(cè)試手段，諸如白盒測(cè)試(諸如代碼審查等)，黑盒測(cè)試(等價(jià)類(lèi)劃分法，正交試驗(yàn)法等)以發(fā)現(xiàn)程序適用中可能存在的錯(cuò)誤，實(shí)現(xiàn)AI系統(tǒng)的魯棒性和安全性。

3.可解釋算法的構(gòu)建?？山忉屝灾杆惴鼙唤K端用戶(hù)理解，比如要求算法應(yīng)用者解釋其算法是如何工作的，或者要求他們使用能夠闡明決策依據(jù)的算法。實(shí)踐中，歐盟已將可解釋性作為評(píng)估算法決策潛在危害的一項(xiàng)基本指標(biāo)，從而保證人們能夠獲取與算法決策相關(guān)的有價(jià)值的信息——這是GDPR賦予人們的一項(xiàng)重要權(quán)利。(38)參見(jiàn)Lilian Edwards and Michael Veale, Slave to the Algorithm? Why a 'Right to an Explanation' is Probably Not the Remedy You are Looking For, 16 Duke L.& Tech.Rev.18(2017).考慮到AI將在證據(jù)審核、法律信息檢索、法律論證和證據(jù)推理等方面深入介入到案件審判流程，必將對(duì)當(dāng)事人的權(quán)利造成重大甚至是決定性的影響，可解釋性對(duì)構(gòu)建可信任AI至關(guān)重要，也是司法公信力的體現(xiàn)。然而強(qiáng)制要求算法具備可解釋性，可能會(huì)嚴(yán)重限制算法的潛在功效，因?yàn)樵贏I系統(tǒng)的可解釋性與其準(zhǔn)確性之間可能存在著不可避免的沖突。數(shù)據(jù)科學(xué)家Max Kuhn和Kjell Johnson認(rèn)為，“不幸的是，最強(qiáng)大的預(yù)測(cè)模型通常是最難解釋的?！?39)Max Kuhn and Kjell Johnson, APPLIED PREDICTIVE MODELING 50(New York: Springer-Verlag New York, 2013).算法的準(zhǔn)確度通常隨著其復(fù)雜性增加而提升，但是越復(fù)雜的算法，解釋起來(lái)就越困難。(40)參見(jiàn)Jason Brownlee, Model Prediction Accuracy Versus Interpretation in Machine Learning, https://machinelearningmastery.com/model-prediction-versus-interpretation-in-machine-learning/(last visited Aug.25, 2019).盡管隨著AI算法可解釋技術(shù)的不斷出現(xiàn)，例如，一種被稱(chēng)為“概念激活向量測(cè)試(Testing with Concept Activation Vectors)” 的算法可解釋性技術(shù)，能夠直觀顯示神經(jīng)網(wǎng)絡(luò)模型運(yùn)算所依據(jù)的概念及其比重，(41)參見(jiàn)王煥超：《如何讓算法解釋自己為什么“算法歧視”？》，https://mp.weixin.qq.com/s/4gjKvSB5acN_1evfTFyLkg算法的可解釋性與準(zhǔn)確性會(huì)同時(shí)得到提升；但在短期內(nèi)，AI系統(tǒng)的功能性與可解釋性之間需要達(dá)成一種動(dòng)態(tài)平衡。

(二)管理機(jī)制保障

1.建立AI司法許可制度。許可制度意味著經(jīng)過(guò)充分測(cè)試或驗(yàn)證的AI程序才可以得到正式使用，嚴(yán)格的批準(zhǔn)程序是AI有效性的保證，但是鑒于AI算法模型是動(dòng)態(tài)的，即算法可能通過(guò)不斷抓取新的數(shù)據(jù)或?qū)ν饨绛h(huán)境的反饋，更新預(yù)測(cè)模型。可以考慮更動(dòng)態(tài)的市場(chǎng)準(zhǔn)入，不是一次性的實(shí)施前批準(zhǔn)，而是在AI程序運(yùn)行過(guò)程中采取更為頻繁的功能驗(yàn)證和運(yùn)行監(jiān)控。此外，許可制度也意味著更廣泛對(duì)話的可能，實(shí)現(xiàn)通過(guò)充分的討論來(lái)確定模型的構(gòu)建，主要是各種變量的權(quán)重。例如，可以通過(guò)許可制度中的聽(tīng)證程序，廣泛聽(tīng)取社會(huì)大眾和專(zhuān)家學(xué)者的意見(jiàn)，確保算法模型中體現(xiàn)諸如公平正義、非歧視等公共價(jià)值。(42)Danielle Keats Citron; Frank Pasquale, The Scored Society: Due Process for Automated Predictions, 89 Wash.L.Rev.1(2014)

2.建立算法審計(jì)制度。算法審計(jì)制度作為AI算法的一種監(jiān)督方式，保障了AI司法系統(tǒng)穩(wěn)定運(yùn)行。有些學(xué)者認(rèn)為，針對(duì)自動(dòng)化決策系統(tǒng)，應(yīng)當(dāng)根據(jù)系統(tǒng)所涉事項(xiàng)的重要程度，確定審計(jì)的頻率和深度。一年兩次的審計(jì)對(duì)于大多數(shù)自動(dòng)化決策系統(tǒng)都是有意義的。(43)參見(jiàn)Helen Nissenbaum, Accountability in a Computerized Society, 2 SCI.& ENGINEERING ETHICS 25, 37(1996).美國(guó)聯(lián)邦貿(mào)易委員會(huì)(Federal Trade Commission)則認(rèn)為針對(duì)廣泛出現(xiàn)的人工智能預(yù)測(cè)系統(tǒng)，包括決定貸款額度的信用自動(dòng)評(píng)分系統(tǒng)，應(yīng)進(jìn)行更強(qiáng)有力的審計(jì)監(jiān)督。(44)參見(jiàn)Danielle Keats Citron, Frank Pasquale, The Scored Society: Due Process for Automated Predictions, 89 Wash.L.Rev.1(2014).建立算法審計(jì)制度，對(duì)AI司法進(jìn)行事中或事后預(yù)防，可以起到及時(shí)糾正瑕疵AI算法的功效。在算法審計(jì)的方式上，技術(shù)專(zhuān)家需要進(jìn)入AI司法系統(tǒng)，測(cè)試系統(tǒng)是否存在偏差，專(zhuān)橫和不當(dāng)?shù)谋碚?。在審?jì)的內(nèi)容上，即包括AI系統(tǒng)挖掘的數(shù)據(jù)集，還需要查看描述嵌入系統(tǒng)算法中的變量、相關(guān)性和推論的源代碼和程序員注釋?zhuān)宰R(shí)別不恰當(dāng)?shù)臄?shù)據(jù)分類(lèi)和相關(guān)性模式，例如種族、地域、性別等在案件結(jié)果影響中的不當(dāng)權(quán)重，檢測(cè)出程序設(shè)計(jì)人員潛在的偏差和Al進(jìn)化過(guò)程中產(chǎn)生的偏差。

3.透明度要求。在以算法驅(qū)動(dòng)的AI司法系統(tǒng)中，透明度不僅是一種“清晰可見(jiàn)的狀態(tài)”，更是一種觀察和了解甚至參與系統(tǒng)運(yùn)行的方式。(45)參見(jiàn)Phillips JWP, Secrecy and transparency: an interview with Samuel Weber.28 THEORY, CULTURE & SOCIETY 158-172(2011)透明度可以在平臺(tái)設(shè)計(jì)和算法機(jī)制層面，也可以更深入地在軟件系統(tǒng)邏輯層面。理想情況下，AI系統(tǒng)的源代碼、算法預(yù)測(cè)模型、數(shù)據(jù)集及邏輯應(yīng)該向公眾開(kāi)放。但基于隱私保護(hù)，商業(yè)秘密等方面的考量，在開(kāi)放的具體方式和程度上，還有待進(jìn)一步的商榷。

有些學(xué)者進(jìn)一步認(rèn)為，提高系統(tǒng)的透明度，將系統(tǒng)內(nèi)部的工作流程公示于眾，將有助于公眾理解系統(tǒng)，培養(yǎng)公眾信賴(lài)。(46)參見(jiàn)Hultman J., Axelsson B., Towards a typology of transparency for marketing management research, 36 INDUSTRIAL MARKETING MANAGEMENT 627-635(2007); Wehmeier S., Raaz O., Transparency matters: The concept of organizational transparency in the academic discourse, 1 PUBLIC RELATIONS INQUIRY 337-366(2012).例如通過(guò)構(gòu)建人機(jī)交互模型(interactive modeling)，讓訴訟參與人直觀感受到在輸入條件改變時(shí)，如影響案件裁判的各種因素，比如認(rèn)罪態(tài)度、數(shù)額、是否累犯等的輸入值發(fā)生變化時(shí)，AI的推論結(jié)果會(huì)發(fā)生怎樣的改變，以使人們更好的理解AI如何影響影響案件的裁判結(jié)果，從而消除當(dāng)事人“AI裁決如同賭博”的疑慮。

將透明性要求適用于AI司法系統(tǒng)，也是司法公開(kāi)的基本要求，有利于公眾監(jiān)督的實(shí)現(xiàn)。(47)參見(jiàn)Danielle Keats Citron, Technological Due Process, 85 WASH.U.L.REV.1249, 1308(2008)..正如李納斯定律，“只要有足夠多的眼睛，就可讓所有的問(wèn)題現(xiàn)形”。(48)Eric S.Raymond, THE CATHEDRAL AND THE BAZAAR 9(1999).這意味著，將AI算法透明的展示給足夠多的公眾，那么算法漏洞將變得容易發(fā)現(xiàn)，并且可以得到補(bǔ)救。通過(guò)代碼開(kāi)源并建立AI司法代碼開(kāi)源社區(qū)，吸引、鼓勵(lì)技術(shù)開(kāi)發(fā)人員對(duì)代碼進(jìn)行討論、測(cè)試、完善或許是透明度實(shí)現(xiàn)的可行方式。從美國(guó)的實(shí)踐來(lái)看，已經(jīng)存在公眾參與進(jìn)行算法監(jiān)督的例證。在軟件用于公共系統(tǒng)前，立法者將公開(kāi)代碼方便算法審查，公眾可以測(cè)試算法如何運(yùn)轉(zhuǎn)。(49)參見(jiàn)，e.g., Jim Dwyer, Showing the Algorithms Behind New York City Services, N.Y.TIMES(Aug.24, 2017), https://www.nytimes.com/2017/08/24/nyregion/showing-the-algorithms-behind-new-york-city-services.html(last visited Aug.25, 2019)(discussing a New York city councilman’s bill to mandate that computer code used for government decision making be open for inspection and testing).

透明度也意味著問(wèn)責(zé)的可能性。美國(guó)的法律和政策往往注重透明度要求，有時(shí)甚至將監(jiān)督等同于透明度。(50)參見(jiàn)，e.g., 5 U.S.C.§ 552(2012)(requiring agencies to make government records available to the public); 15 U.S.C.§ 6803(2012)(requiring financial institutions to provide annual privacy notices to customers as a transparency measure).缺乏透明度，監(jiān)管者往往難以開(kāi)展算法追責(zé)。(51)參見(jiàn)楊東：《監(jiān)管科技:金融科技的監(jiān)管挑戰(zhàn)與維度建構(gòu)》，載《中國(guó)社會(huì)科學(xué)》2018年第5期。透明度的問(wèn)責(zé)在AI司法當(dāng)然也具有實(shí)際意義。當(dāng)系統(tǒng)出現(xiàn)誤判時(shí)，諸如量刑中明顯考慮了被告的職業(yè)特征，或引用了錯(cuò)誤法條時(shí)，透明性有助于找出智能系統(tǒng)產(chǎn)生歧視或功能偏差的原因，如識(shí)別出AI出現(xiàn)的偏差，究竟是開(kāi)發(fā)人員或使用人員故意導(dǎo)致，還是AI系統(tǒng)深度學(xué)習(xí)的結(jié)果，以實(shí)現(xiàn)責(zé)任的準(zhǔn)確歸結(jié)。

(三)建立法律與技術(shù)的互動(dòng)機(jī)制

1.法官的技術(shù)培訓(xùn)及技術(shù)人員的法律培訓(xùn)。法官應(yīng)該了解AI運(yùn)行的基本原理，包括有監(jiān)督和無(wú)監(jiān)督的ML算法的簡(jiǎn)單原理。其中的偏見(jiàn)教育將有助于法官理解AI應(yīng)用中固有的算法偏見(jiàn)，及其在司法應(yīng)用上如何形成、體現(xiàn)及產(chǎn)生影響。進(jìn)而促使法官辯證看待AI，既不盲目排斥，又不過(guò)分依賴(lài)，保持法官的裁判獨(dú)立性。技術(shù)開(kāi)發(fā)人員應(yīng)當(dāng)了解基本的法律原則。在AI時(shí)代，代碼可能意味著法律本身，進(jìn)而實(shí)際賦予了技術(shù)開(kāi)發(fā)人員重新表達(dá)法律甚至填補(bǔ)法律漏洞的權(quán)力。美國(guó)學(xué)者甚至認(rèn)為，因?yàn)锳I系統(tǒng)決策系統(tǒng)本身實(shí)質(zhì)上起到了分配權(quán)利義務(wù)的作用，技術(shù)開(kāi)發(fā)人員編寫(xiě)代碼的過(guò)程等同于立法本身。即便在與法律專(zhuān)家的互相配合下，代碼的編寫(xiě)不至于偏離法治的軌道，然而技術(shù)人員至少應(yīng)當(dāng)了解法律的基本原則，才能更好的實(shí)現(xiàn)法律的技術(shù)表達(dá)，否則可能出現(xiàn)“各說(shuō)各話”的不利局面。

2.法律專(zhuān)家與開(kāi)發(fā)人工合作促進(jìn)法律代碼化。法律與代碼并不完全對(duì)立，法律同樣可以代碼化。然而，將法律規(guī)則轉(zhuǎn)化為技術(shù)規(guī)則的做法并非易事。法律規(guī)范是一種本質(zhì)上模棱兩可、用語(yǔ)言書(shū)寫(xiě)的一般規(guī)則；技術(shù)規(guī)范與法律規(guī)范相反，它只能通過(guò)代碼表達(dá)，也必然依賴(lài)算法形式和數(shù)字模型。所以，代碼規(guī)范比其包含的法律條款更為具體，也比較“刻板”。因此，將法律規(guī)則轉(zhuǎn)化為技術(shù)規(guī)則，將法律寫(xiě)入技術(shù)、硬件或軟件設(shè)備的過(guò)程，需要法律專(zhuān)家提取出抽象法規(guī)范中的具體要素，如主體、行為、后果，也需要技術(shù)人員用刻板的代碼表達(dá)出法律規(guī)范具體要素之間的關(guān)系模式。

區(qū)塊鏈及智能合約的發(fā)展，為法律的代碼化提供了注解。大多數(shù)商業(yè)合約本質(zhì)上都是由律師組織并自定義的模塊。有些部分對(duì)經(jīng)營(yíng)條款和特定情況下的應(yīng)為之事進(jìn)行闡述，其他部分就是非經(jīng)營(yíng)性或者法律條款，例如有關(guān)損害、賠償、保密、法律適用和法院選擇的規(guī)定。將商業(yè)合約轉(zhuǎn)化為智能合約正式編碼，需要從上述模塊中提取模板進(jìn)行數(shù)字化。合約的模塊化以適應(yīng)代碼化對(duì)法律工作者提出了新挑戰(zhàn)。

AI司法構(gòu)建的主要數(shù)據(jù)來(lái)源為法律規(guī)范及案例，數(shù)據(jù)質(zhì)量好壞將直接影響AI性能的發(fā)揮。在法律數(shù)據(jù)的篩選、分類(lèi)、標(biāo)記、清洗，法律文件的代碼化上，開(kāi)發(fā)人員應(yīng)當(dāng)與法律專(zhuān)家充分討論，形成共識(shí)，以防止在數(shù)據(jù)源頭出現(xiàn)的歧視和錯(cuò)誤。在涉及法律推理算法模型的構(gòu)建上，由于開(kāi)發(fā)人員往往缺乏法律專(zhuān)業(yè)知識(shí)，也應(yīng)與法律專(zhuān)家充分交流，法律專(zhuān)家應(yīng)當(dāng)參照合約模塊化的作法，具體化影響法律結(jié)果的要素(自變量)，如行為人的年齡、造成的后果、是否足額賠償受害人，是否認(rèn)罪等等，并幫助技術(shù)人員預(yù)設(shè)權(quán)重，以實(shí)現(xiàn)法律的代碼化，達(dá)成技術(shù)上可實(shí)現(xiàn)，又符合法律自身要求的AI司法系統(tǒng)。

3.建立法官與技術(shù)人員定期聯(lián)系機(jī)制。AI構(gòu)建完成后，即便法律發(fā)生變化，AI也可能不會(huì)更新軟件代碼。對(duì)法律變化或其他意外情況的擔(dān)憂(yōu)可以通過(guò)向軟件系統(tǒng)添加日落條款來(lái)緩解，也可以要求定期審查和重新考慮軟件。鑒于成本考慮，定期審查軟件可能是首要選擇，可以考慮建立開(kāi)發(fā)人員與法官定期聯(lián)系制度，以實(shí)現(xiàn)軟件的及時(shí)完善。

(四)建立AI司法的審判程序保障

AI如何融入司法裁判，其實(shí)就是進(jìn)一步回答法官將如何利用AI結(jié)論？是替代還是輔助？ 當(dāng)事人如何參與AI司法系統(tǒng)？應(yīng)該為當(dāng)事人提供哪些保護(hù)？這均涉及AI司法審判的程序選擇，也關(guān)系到可信賴(lài)AI司法的構(gòu)建。

1.AI是法官的延伸而非替代?！稓W盟AI倫理準(zhǔn)則》要求，AI系統(tǒng)應(yīng)以增強(qiáng)、補(bǔ)充人類(lèi)的認(rèn)知、社會(huì)和文化技能為目的，在功能分配應(yīng)遵循以人為中心，確保人對(duì)AI系統(tǒng)的監(jiān)督。以人為中心的人機(jī)關(guān)系，決定了在AI司法領(lǐng)域，案件的自動(dòng)化處理結(jié)果，不應(yīng)對(duì)當(dāng)事人發(fā)生終局效力。法官應(yīng)當(dāng)對(duì)自動(dòng)化結(jié)果擁有采納與否的權(quán)力，以應(yīng)對(duì)AI可能存在的算法霸權(quán)(arbitrariness by algorithm)，歧視(bias)，和不公正(unfair mischaracterizations)。完全的自動(dòng)化有助于提高裁判效率，然而合法性才是司法裁判的根本，AI司法必須在提高效率和確保改善司法途徑所固有的程序保護(hù)之間取得平衡。

此外，自由裁量權(quán)對(duì)實(shí)現(xiàn)實(shí)質(zhì)正義具有重要意義。盡管在大多數(shù)情況下，AI帶來(lái)的自動(dòng)化可能是比自由裁量權(quán)更好的選擇，但徹底根除一切自由裁量權(quán)將是錯(cuò)誤的。(52)參見(jiàn)Matthew Diller, The Revolution in Welfare Administration: Rules, Discretion, and Entrepreneurial Government, 75 N.Y.U.L.REV.1126(2000).(discussing problems with new discretionary model for administration of public benefits as eligibility workers lack professional norms they once possessed).在糾紛解決機(jī)制中，必要的自由裁量權(quán)是創(chuàng)造性的主要來(lái)源，是案件定性和定量的關(guān)鍵。(53)參見(jiàn)張軍：《法官的自由裁量權(quán)與司法正義》，載《法律科學(xué)》2015年第4期。

故而，在法官與AI融合方式上，必須得設(shè)置最后看門(mén)人機(jī)制，法官應(yīng)當(dāng)審查AI處理結(jié)果的理由及邏輯，形成AI預(yù)處理+法官最終決定的模式。只不過(guò)在法官介入的程度上應(yīng)視案件的復(fù)雜程度區(qū)別對(duì)待，對(duì)于標(biāo)準(zhǔn)化程度高、已經(jīng)形成穩(wěn)定有效裁判模式的案件，諸如交通肇事侵權(quán)案件、民間借貸案件，法官可能更容易直接采納AI結(jié)論；而對(duì)于需要價(jià)值判斷，綜合考量的案件，諸如死刑復(fù)核、正當(dāng)防衛(wèi)的認(rèn)定上，法官就需要從嚴(yán)核查AI的裁判結(jié)論，并得出自己的判斷。

2.當(dāng)事人應(yīng)當(dāng)獲得參與AI決策的程序保障。良好的法律秩序保證決策者對(duì)決策負(fù)責(zé)，并賦予受影響者抗辯的權(quán)利。(54)參見(jiàn)，e.g., Lori Andrews, I KNOW WHO YOU ARE AND SAW WHAT YOU DID: SOCIAL NETWORKS AND THE DEATH OF PRIVACY 189-91(2012)(concluding with a proposal for a "Social Network Constitution"); Rebecca Mackinnon, CONSENT OF THE NETWORKED 240-41(2012)(proposing ten principles of network governance).AI對(duì)訴訟參與人做出不利結(jié)論時(shí)，受影響的訴訟參與人應(yīng)當(dāng)被告知支持結(jié)論證據(jù)和決策的過(guò)程。并賦予當(dāng)事人針對(duì)AI的結(jié)果提出抗辯的權(quán)利，進(jìn)而降低法官采信錯(cuò)誤結(jié)論的可能性。換句話來(lái)講，在AI與當(dāng)事人的關(guān)系中，當(dāng)事人不只是被動(dòng)地接受AI的結(jié)論，而是應(yīng)當(dāng)賦予當(dāng)事人正當(dāng)程序保護(hù)，這實(shí)際也是“對(duì)抗式”訴訟的基本要求，對(duì)于發(fā)現(xiàn)真實(shí)、促進(jìn)公平、權(quán)利保障都具有重要的意義。在實(shí)現(xiàn)可抗辯的技術(shù)保障上，系統(tǒng)開(kāi)發(fā)人員應(yīng)當(dāng)在AI中建立審計(jì)線索(audit trails)，以記錄支持AI決策的事實(shí)和法律依據(jù)，包括得出相關(guān)性和推論的過(guò)程和依據(jù)。訴訟參與人或其委托的專(zhuān)家證人通過(guò)查閱審計(jì)線索，訪問(wèn)算法模型，以獲得挑戰(zhàn)誤判和錯(cuò)誤推斷的抗辯能力。當(dāng)然，對(duì)于AI在事務(wù)輔助上產(chǎn)生的錯(cuò)誤，比如遺漏了部分證據(jù)、未能正確反映訴訟請(qǐng)求，當(dāng)事人無(wú)需技術(shù)支持，當(dāng)庭就可以要求更改或者法官自覺(jué)更改。從這點(diǎn)來(lái)講，技術(shù)的意義更多在于保障對(duì)AI錯(cuò)誤推理產(chǎn)生的預(yù)判決結(jié)果的挑戰(zhàn)。

3.AI參與司法的形式選擇。就目前的司法實(shí)踐看，如由中央政法委委托，上海承建的“刑事案件智能輔助辦案系統(tǒng)”已經(jīng)應(yīng)用到刑事案件的庭審當(dāng)中，運(yùn)用AI對(duì)證據(jù)進(jìn)行校驗(yàn)、把關(guān)、提示、監(jiān)督。從形式上看，AI的司法運(yùn)用停留在事實(shí)認(rèn)定的角度，在程序上也并未脫離傳統(tǒng)庭審即線下審理的框架。實(shí)際上，即便AI的發(fā)展在技術(shù)上能夠完全代替法官做出法律推理和判決，基于前述理由，也不能直接將AI的處理結(jié)果適用在當(dāng)事人身上，而必須為法官和當(dāng)事人等構(gòu)建程序入口，以實(shí)現(xiàn)可監(jiān)督、可抗辯。在程序入口的構(gòu)建上，既可能是一問(wèn)一答的傳統(tǒng)糾紛式或?qū)故降耐彿绞剑部赡苁轻槍?duì)AI預(yù)判決結(jié)論的事后抗辯或監(jiān)督，或者是兩者之間的融合。關(guān)鍵在于AI的利用方式的選擇，法官既可能利用AI同步進(jìn)行庭審，AI在庭審過(guò)程中自動(dòng)完成證據(jù)分類(lèi)、法條檢索等，當(dāng)事人可以當(dāng)庭對(duì)AI的分類(lèi)或法條檢索結(jié)果提出異議，也可能在庭審后完成類(lèi)似工作，法官在決定是否采納時(shí)聽(tīng)取當(dāng)事人意見(jiàn)。但總的來(lái)說(shuō)，AI并不排除法官的當(dāng)庭利用或者事后利用，但不管采取哪種方式，既要保證發(fā)揮AI司法便捷、高效的信息優(yōu)勢(shì)，又要不排斥傳統(tǒng)的糾問(wèn)式查明方法，照顧當(dāng)事人維權(quán)習(xí)慣和偏好，服務(wù)于AI預(yù)處理+法官監(jiān)督+可抗辯的邏輯框架的作用的發(fā)揮。

(五)建立責(zé)任追究制度

法官承擔(dān)枉法裁判責(zé)任毋庸諱言，也是“讓審理者裁判，由裁判者負(fù)責(zé)”的司法責(zé)任制要求。AI責(zé)任主要包括使用人責(zé)任，開(kāi)發(fā)人責(zé)任。(55)參見(jiàn)[美]約翰·弗蘭克·韋弗：《AI也是人：AI時(shí)代的法律》，鄭志峰譯，元照出版集團(tuán)2018年版。在AI司法場(chǎng)景下，使用人責(zé)任應(yīng)是法官責(zé)任；開(kāi)發(fā)人責(zé)任，主要為算法設(shè)計(jì)人員責(zé)任。

在責(zé)任的性質(zhì)上，法官的責(zé)任隨著AI功能的不斷完善，可能最終轉(zhuǎn)化為監(jiān)督責(zé)任。換句話來(lái)講，當(dāng)AI具備獨(dú)立處理案件的能力時(shí)，法官可能就會(huì)僅僅扮演一個(gè)監(jiān)督者的角色。這意味著，當(dāng)法官對(duì)AI錯(cuò)誤裁判結(jié)果造成當(dāng)事人損害沒(méi)有過(guò)錯(cuò)時(shí)，不需要承擔(dān)責(zé)任。當(dāng)然，如前所述，在監(jiān)督的內(nèi)容和標(biāo)準(zhǔn)上，應(yīng)當(dāng)結(jié)合AI的技術(shù)實(shí)現(xiàn)能力、案件的復(fù)雜程度、對(duì)當(dāng)事人權(quán)利影響的重大性等綜合確定。通常來(lái)講，AI的智能化程度越高、案件越簡(jiǎn)單、處理結(jié)果偏差對(duì)當(dāng)事人影響越小，法官監(jiān)督內(nèi)容就越少，監(jiān)督必要性就越小，責(zé)任就越輕。在法官監(jiān)督責(zé)任的具體設(shè)定上，有待進(jìn)一步的研究和探討。

算法設(shè)計(jì)人員責(zé)任，主要表現(xiàn)若因設(shè)計(jì)原因?qū)е翧I出現(xiàn)偏差，對(duì)法官形成誤導(dǎo)，損害當(dāng)事人權(quán)益的，算法設(shè)計(jì)人員應(yīng)當(dāng)承擔(dān)責(zé)任。在具體義務(wù)的設(shè)定上，應(yīng)要求算法人員(1)與法律專(zhuān)家充分溝通，確保法律原則、規(guī)則，法律推理邏輯等在代碼設(shè)計(jì)層面得到體現(xiàn)；(2)充分的測(cè)試和代碼自查義務(wù)，以司法實(shí)踐功能為導(dǎo)向，滿(mǎn)足司法活動(dòng)需求；(3)充分提示AI算法的固有缺陷和使用風(fēng)險(xiǎn)，披露AI模型的主要參數(shù)以及法律推理的主要邏輯，以滿(mǎn)足算法審計(jì)需求及透明度要求?？煽紤]參照美國(guó)電氣電子工程師協(xié)會(huì)(IEEE)發(fā)布的《人工智能設(shè)計(jì)的倫理準(zhǔn)則》(Ethically Aligned Design)(56)參見(jiàn)Ethically Aligned Design, https://standards.ieee.org/content/dam/ieee standards/standards/web/documents/other/ead_v2.pdf(last visited Aug.25, 2019).建立適用于司法活動(dòng)的AI設(shè)計(jì)準(zhǔn)則，既為設(shè)計(jì)人員提供行為指引，約束算法設(shè)計(jì)過(guò)程中的不當(dāng)行為，又為追責(zé)提供參照標(biāo)準(zhǔn)?？傊?，建立算法設(shè)計(jì)人員責(zé)任有利于促使其勤勉謹(jǐn)慎的履行算法設(shè)計(jì)義務(wù)，從源頭實(shí)現(xiàn)可信賴(lài)的AI。