周翔

內(nèi)容摘要：將算法納入法治化的軌道，需要根據(jù)不同的場景設(shè)置差異化的規(guī)范路徑。以高風(fēng)險場景的算法產(chǎn)品使用效果實驗啟示，通過算法的解釋可以提升用戶的理解程度，并且可視化解釋的理解效果較公式法更好；算法信任的機制構(gòu)建，則更多取決于場景的信任基礎(chǔ)、人機判斷的一致性等因素。實證研究對算法規(guī)制如何場景化提供了諸多的啟示：一是需要考慮不同場景用戶特征的差異，根據(jù)用戶特點設(shè)置權(quán)利義務(wù)；二是應(yīng)強調(diào)場景中算法以及解釋的用途差異，結(jié)合考慮相關(guān)解釋技術(shù)的可行性；三是應(yīng)當(dāng)考慮不同場景的算法信任基礎(chǔ)，算法引入不同場景有不同難度，不同場景應(yīng)當(dāng)設(shè)置不同的人機分工關(guān)系和算法的任務(wù)范圍。

關(guān)鍵詞：算法規(guī)制 算法解釋 算法理解 算法信任 高風(fēng)險算法場景 人形機器人

中圖分類號：DF0 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-4039-（2024）02-0136-150

一、問題的提出

以算法技術(shù)驅(qū)動的自動化決策已然進(jìn)入人類社會的諸多決策領(lǐng)域，人形機器人“有望成為繼計算機、智能手機、新能源汽車后的顛覆性產(chǎn)品，將深刻變革人類生產(chǎn)生活方式，重塑全球產(chǎn)業(yè)發(fā)展格局”。〔1"〕由此引發(fā)的各類權(quán)益侵犯風(fēng)險引起了法學(xué)界的高度重視，比如自動駕駛汽車造成的生命健康侵權(quán)、智能投顧系統(tǒng)造成的投資人財產(chǎn)損失、新聞推送造成的信息繭房等?！?"〕這些不同場景中算法應(yīng)用的原理不盡相同，所造成的權(quán)利侵犯類型差異也很大。過去關(guān)于算法的研究，往往籠統(tǒng)地歸納算法領(lǐng)域的風(fēng)險并基于此提出應(yīng)對的方案，因此有學(xué)者認(rèn)為“傳統(tǒng)算法規(guī)制路徑面臨困境的根本原因在于忽視算法的場景性”，應(yīng)結(jié)合具體場景的特點設(shè)計算法規(guī)制的方案?！?"〕近年來，有很多針對醫(yī)療、交通、金融等專門場景展開的規(guī)范型研究，表明算法規(guī)制有關(guān)的學(xué)術(shù)討論正在走向“場景化”的下半場。

那么，場景化的算法規(guī)制理論究竟應(yīng)當(dāng)如何重塑呢？ 傳統(tǒng)的算法規(guī)制理論重在設(shè)計一系列的制度工具，以應(yīng)對上述的不同算法場景和風(fēng)險。其中，既有的規(guī)范體系十分依賴算法的解釋技術(shù)，它是賦予私主體“算法解釋權(quán)”、信息處理者的“說明義務(wù)”、行政機關(guān)“算法監(jiān)管”職權(quán)行使等各類制度設(shè)計方案的基礎(chǔ)。在人工智能應(yīng)用的不同階段算法的解釋發(fā)揮著不同類型的功能，〔4"〕可以說，當(dāng)前的算法規(guī)范理論主要是圍繞“算法解釋”展開的。通常認(rèn)為，不同的場景對算法解釋的需求往往是不同的，比如高風(fēng)險決策的場景（High-stakes.decision）就十分需要算法的解釋，典型的醫(yī)療和司法等關(guān)乎重大權(quán)利的重監(jiān)管領(lǐng)域（many.heavily"regulated"industries）即如此?！?"〕但是，目前我們對“算法解釋”在特定場景中功能的認(rèn)識依然停留于邏輯論證的層面，“算法解釋”究竟在特定場景中的效果如何，影響效果的重要因素是什么等，文獻(xiàn)層面都還論之甚少。

故而，本文的研究擬針對某一場景，首先實驗分析智能產(chǎn)品的使用中算法黑箱、算法解釋與算法理解、信任等效果間的相關(guān)性；接著根據(jù)算法使用中的有關(guān)實驗結(jié)論，展開分析并得出對算法規(guī)范場景化的研究啟示，包括場景化的用戶、用途和人機關(guān)系等幾個方面?！?"〕

二、算法解釋的有關(guān)機制和理論趨勢

“算法黑箱”問題堪稱算法風(fēng)險治理的關(guān)鍵，而算法解釋技術(shù)被認(rèn)為是算法治理制度的核心。結(jié)合學(xué)界當(dāng)前著力提倡的算法規(guī)范場景化思路，本文針對特定的算法場景，提出了提升算法理解和增強算法信任這兩個算法解釋的可預(yù)期效果。

（一）解釋是從黑箱到信任的橋梁

在算法有關(guān)風(fēng)險的學(xué)術(shù)研究里，最為突出的是“算法黑箱”問題，主要指自動化決策的運轉(zhuǎn)過程和結(jié)果不透明。〔7"〕由于算法黑箱的存在掩蓋了算法歧視、算法綁架等其他風(fēng)險，既有研究紛紛提出要“打開算法的黑箱，提升算法的透明度”?！?"〕算法的解釋技術(shù)，在提升算法透明度上被寄予厚望，被譽為算法治理制度的核心?！?"〕首先，有研究認(rèn)為算法解釋最直接和重要的功能就是化解算法的“黑箱”；其次，對化解自動化決策帶來的其他風(fēng)險亦有明顯效果，比如在算法歧視風(fēng)險研究中，有人提出算法解釋可以“展開包裹在算法中的決策過程，為數(shù)據(jù)主體、司法機關(guān)等判斷是否存在區(qū)別對待或造成區(qū)別影響提供具有法律意義的信息”?！?0.〕算法解釋技術(shù)，既可以“算法解釋權(quán)”等私權(quán)方式在不同場景中落實，〔11.〕也可以作為算法開發(fā)使用者的法定義務(wù)，〔12#〕或成為國家規(guī)制的工具?！?3#〕但無論是哪一種具體的制度路徑，通過解釋部分或全部地還原算法生成過程和結(jié)果，在技術(shù)層面都是一致的。

對算法應(yīng)用進(jìn)行法律規(guī)制，究竟能夠起到何種可期待的效果？ 當(dāng)前對算法規(guī)制的效果研究已經(jīng)初步形成體系，既有“公平、可責(zé)和透明（FAT）”的多角度歸納，〔14#〕亦有著重強調(diào)某一側(cè)面的，比如“算法的可信”；〔15#〕有研究認(rèn)為，只要增加人們對算法決策過程的掌控感，算法厭惡情緒就會得到明顯緩解。〔16#〕還有研究注意到規(guī)制目標(biāo)之間的邏輯關(guān)系，比如“相對于透明性，可理解性才是目的”?！?7#〕這明顯是一套以解決“算法黑箱”問題為主要目的，圍繞“算法解釋”技術(shù)構(gòu)建的制度工具體系，期待提升算法的可理解性和信任感等效果的出現(xiàn)。這些所提及的算法規(guī)制的效果目標(biāo)間是否具有關(guān)聯(lián)性和層次性是本文所關(guān)注的，當(dāng)前的研究雖有部分內(nèi)容涉及，〔18#〕但更系統(tǒng)的內(nèi)在機制還需要進(jìn)行更深入的挖掘。通過對這些文獻(xiàn)的梳理，可以發(fā)現(xiàn)：算法解釋與其預(yù)期的效果之間呈現(xiàn)一定的遞進(jìn)關(guān)系，可將之表示為“算法黑箱→算法解釋→算法理解→算法信任”的邏輯關(guān)系。

關(guān)于算法規(guī)制效果的實證檢驗，國內(nèi)外均有很多研究成果，比如算法信任的產(chǎn)生機制，將之解構(gòu)為有形性、透明度、可靠性和即時性等幾個信任來源的維度?！?9#〕國內(nèi)有關(guān)學(xué)術(shù)討論主要停留于主觀的邏輯構(gòu)想層面，還未就此設(shè)想的邏輯做過真實性的檢驗，特別是這一主觀構(gòu)造邏輯的客觀效果如何，該問題關(guān)系到和算法解釋技術(shù)相關(guān)的一系列制度工具是否行之有效。而這也正是本文希望有所貢獻(xiàn)的地方，即就某一特定算法應(yīng)用場景展開算法解釋效果的實驗，通過機制層面有效性檢驗，為制度設(shè)計方向提供具有參考價值的信息。

（二）算法研究場景化的趨勢

近期另一大趨勢也引起了筆者的關(guān)注，即算法規(guī)范化的研究開始著力提倡結(jié)合具體場景提出規(guī)范化方法的思路。之所以要求場景化，原因在于“一旦場景不同，算法的性質(zhì)就會非常不同”〔20#〕這一算法應(yīng)用規(guī)律。正是因為不同算法應(yīng)用場景在用戶畫像、面臨的風(fēng)險、所采用的算法、監(jiān)管的要求等各個方面的差異比較大，所以才不能一直停留于抽象層面的理論演繹，而是應(yīng)當(dāng)更加注重對不同場景的具體特征進(jìn)行分別歸納。當(dāng)前學(xué)術(shù)界正在有意識地就具體場景來發(fā)現(xiàn)風(fēng)險問題并提出解決方案，比如針對自動駕駛的場景，認(rèn)為是訓(xùn)練數(shù)據(jù)集的缺陷問題；〔21#〕再比如，在算法規(guī)范的對策方案中也開始考慮場景化，如算法審核的標(biāo)準(zhǔn)、強度等應(yīng)視具體應(yīng)用場景而定?！?2#〕然而，這些討論仍有不足，因其并非全篇針對某一類特定場景展開，仍是就算法的某一風(fēng)險、規(guī)制的方法展開論題。

真正開展場景化的研究，應(yīng)當(dāng)以某一特定的算法應(yīng)用場景為分析對象。本文選取了一類侵權(quán)風(fēng)險大、專業(yè)化程度強、透明性要求高的司法應(yīng)用場景（本文稱之為“高風(fēng)險場景”）展開研究。就發(fā)展階段而言，算法涉足此類場景的程度還十分初級，這些領(lǐng)域當(dāng)前還屬于典型的弱人工智能場景。就處分的權(quán)益而言，這些領(lǐng)域關(guān)乎生命健康等人身權(quán)利，因此也屬于監(jiān)管問責(zé)向來十分嚴(yán)厲的地帶，算法技術(shù)要進(jìn)入這些場景還有諸多挑戰(zhàn)需要回應(yīng)。本文所針對的場景有一定的泛化性，雖以司法場景為例展開，但具有這些共性特征的場景卻不限于此，醫(yī)療、交通等不少其他領(lǐng)域亦有很多相似的規(guī)律特征，比如都十分強調(diào)算法決策過程的可解釋性。因此，若將本文在司法場景的相關(guān)實驗中的發(fā)現(xiàn)推及更大范圍，大概率會具有規(guī)范層面的啟示價值。

（三）實證研究的兩個假設(shè)

基于以上討論的算法領(lǐng)域的邏輯和算法規(guī)制的場景化趨勢， 本文針對該特定的算法應(yīng)用場景，提出兩個算法解釋的可預(yù)期效果：一個是提升算法的理解，另一個是增強算法的信任。兩者有不同的側(cè)重點，算法的理解是算法解釋產(chǎn)生的直接效果，算法信任則是間接的，兩者都有助于推動算法產(chǎn)品的應(yīng)用落地?；谒O(shè)置的以上兩大因變量，本文提出兩個對應(yīng)的研究假設(shè)：

其一，不同的算法解釋技術(shù)，將產(chǎn)生不同的算法理解效果?；谟脩舻牧?，算法解釋的直接效果是有助于提升用戶對算法的自動化決策過程和結(jié)果的理解。在其他變量保持不變的前提下，以算法解釋所實現(xiàn)的理解程度為因變量，以算法的解釋技術(shù)類型為自變量，研究兩者的相關(guān)性。如果算法解釋的類型和用戶的理解程度之間呈顯著的相關(guān)性，則說明該假設(shè)成立，應(yīng)當(dāng)根據(jù)場景設(shè)置匹配的算法解釋技術(shù)類型。這里的用戶算法理解是廣義的，既是私主體“算法解釋權(quán)”的行使基礎(chǔ)，也是監(jiān)管機關(guān)行政執(zhí)法的事實依據(jù)。因此，這一命題的檢驗具有探討算法規(guī)制方向是否科學(xué)的參考價值。

其二，算法的解釋技術(shù)，有助于提升算法的信任。就邏輯關(guān)系來看，“算法的理解在前，算法的信任在后”。就算法的法律規(guī)制而言，兩者具有不同的意義。之前關(guān)于解釋的效果論述十分強調(diào)構(gòu)建信任的意義，算法的解釋在高風(fēng)險場景中究竟能否對算法的信任構(gòu)建產(chǎn)生顯著的影響？ 算法信任的效果機制是否有別于算法理解的效果機制，其中的關(guān)鍵變量有什么差別？ 高風(fēng)險場景的用戶普遍缺乏對算法的信任，在該場景中開發(fā)算法解釋技術(shù)的一大動因，即在促使場景用戶能夠放心且充分地使用本算法產(chǎn)品。上述機制層面的檢驗，也有助于我們反思規(guī)范層面的制度路徑是否選取得當(dāng)。

三、高風(fēng)險場景的算法解釋效果實驗

為進(jìn)一步驗證以上兩個假設(shè)，本文將通過開發(fā)智能實驗產(chǎn)品、通過問卷調(diào)研用戶反饋的方式收集實驗數(shù)據(jù)，并采用交叉列表和回歸分析相結(jié)合的方法分析實驗數(shù)據(jù)，驗證算法解釋技術(shù)、用戶專業(yè)背景等對算法理解程度的影響，歸納算法解釋和算法理解、算法信任兩大后置效果間的機制規(guī)律。

（一）實驗用智能產(chǎn)品開發(fā)

為有效地檢驗以上提出的有關(guān)算法解釋和算法理解、算法信任間的效果機制，本實驗開發(fā)了一款高風(fēng)險場景的智能產(chǎn)品。產(chǎn)品提供的服務(wù)場景為司法領(lǐng)域決定采取強制措施的類型，產(chǎn)品的內(nèi)核是由數(shù)據(jù)訓(xùn)練得到的模型，該模型能夠基于一系列的輸入來確定應(yīng)當(dāng)對犯罪嫌疑人采取何種強制措施?；谶@類技術(shù)原理所開發(fā)的智能化產(chǎn)品，將是某一場景產(chǎn)品步入強人工智能時代后的必然形態(tài)，也是國內(nèi)學(xué)者在算法規(guī)制領(lǐng)域所應(yīng)當(dāng)指向的規(guī)制對象含義。正因如此，本文的如下研究設(shè)計，能夠契合研究假設(shè)和目的。

第一步：設(shè)計預(yù)測模型。測試用的智能產(chǎn)品，是一款預(yù)測刑事案件犯罪嫌疑人被采取強制措施類型的智能輔助產(chǎn)品。產(chǎn)品的算法采用較強可解釋性的對數(shù)回歸（logistics）算法，模型的輸入為案件的當(dāng)事人、案件事實的基本情況，采用文本的輸入形式；模型的輸出為犯罪嫌疑人被采取的強制措施類型，采取二分類標(biāo)簽，標(biāo)簽0為取保候?qū)彛瑯?biāo)簽1為逮捕。

第二步：采集相關(guān)數(shù)據(jù)。為訓(xùn)練上述的預(yù)測模型，實驗采集了國內(nèi)三省一市（云南省、浙江省、廣東省和北京市）的起訴和不起訴文書數(shù)據(jù)，共計約14萬份文書。較之于采用判決書的優(yōu)勢在于，檢察院的（不）起訴文書中包括了不起訴的案件，能更好地反映刑事案件庭前強制措施的類型分布。

第三步：訓(xùn)練預(yù)測模型。通過模型的訓(xùn)練和測試，我們得到了一個性能較為優(yōu)秀的輔助預(yù)測模型。接著，選取了1個未出現(xiàn)在訓(xùn)練集和數(shù)據(jù)集的案例，作為本實驗的研究個案，輸入模型并得到預(yù)測的結(jié)果。

第四步：算法解釋技術(shù)。我們采用了兩種算法解釋的方法，第一種是直接給出算法公式的解釋方法，第二種是可視化的解釋方法?！?3$〕模型公式的方法分別列出了決定強制措施類型的主要參考依據(jù)，比如x1代表“罪名的類型”；熱力圖則用“紅色”代表和預(yù)測結(jié)論相關(guān)，顏色的“深淺”代表該詞語特征和預(yù)測結(jié)果間的權(quán)重大小，紅色深度越強的要素，比如“販賣毒品罪”“有期徒刑”等要素，對采取強制措施的類型影響越大。

（二）問卷設(shè)計發(fā)放和回收

在獲得以上測試用的模型和解釋方法后，根據(jù)研究假設(shè)，實驗需要獲取用戶對上述智能產(chǎn)品及其解釋的理解程度、信任程度等相關(guān)數(shù)據(jù)。為此，實驗將本模型包裝為一款法律智能產(chǎn)品，采取電子問卷的方式分發(fā)給各種類型的用戶，要求用戶在使用該模型后反饋評價。

第五步：問卷設(shè)計。電子問卷采取翻頁逐頁回答模式，依次的內(nèi)容為：（1）對產(chǎn)品基礎(chǔ)功能的介紹；（2）采集用戶的基本信息，包括年齡、是否具備計算機技術(shù)背景和法律職業(yè)背景；（3）介紹案情的基本事實，并要求用戶先作判斷；（4）頁面嵌入模型計算過程，得出機器預(yù)測的結(jié)果；（5）計算用戶對該結(jié)果的初始信任度（1-10分計）；（6）隨機給出對該預(yù)測結(jié)果前述兩種解釋方法之一；（7）計算用戶對該結(jié)果的理解程度（1-10分計）；（8）二次計算用戶在閱讀完產(chǎn)品對結(jié)果的解釋后的信任程度（1-10分計）。通過以上設(shè)計，計劃獲得用戶對該智能產(chǎn)品在算法解釋前的信任程度、對算法解釋的理解程度和解釋后的算法信任程度。

第六步：問卷發(fā)放。實驗將該問卷在以下人群中進(jìn)行了發(fā)放：有法律學(xué)位和司法工作經(jīng)驗者、有計算機學(xué)位和人工智能知識背景者、無法律和計算機知識背景者。選擇以上人群，主要考慮在真實的未來場景中，任何一款智能產(chǎn)品都可能面對具有技術(shù)知識背景、領(lǐng)域知識背景和無相關(guān)知識背景的三類用戶。產(chǎn)品受眾廣泛的特點，使得不同人群對智能產(chǎn)品的理解上存在差異，將這一因素納入問卷發(fā)放時考慮將有助于控制該變量。

第七步：回收問卷。經(jīng)過近半年的問卷發(fā)放，研究小組共計回收有效問卷511份，實驗對象的最小年齡為18歲，最大為87歲，平均年齡為29歲，將凡是具備法律或技術(shù)知識、實踐背景的受試者分為有領(lǐng)域背景一組，占比55.56%。本實驗的受試者在專業(yè)背景分布上具有較好的代表性，既有法律專業(yè)背景的受試者，亦有非法律背景人士；在法律專業(yè)背景中，還區(qū)分了專業(yè)性背景和是否有相關(guān)實踐工作經(jīng)驗；同時區(qū)分了受試者是否具有人工智能等技術(shù)基礎(chǔ)知識背景。

（三）實驗數(shù)據(jù)的回歸分析

本文采取交叉列表和回歸分析相結(jié)合的方法對實驗數(shù)據(jù)進(jìn)行處理。交叉列表分析是一種描述性的分析，回歸分析是對規(guī)律的深化。在交叉列表的分析中，本文突出強調(diào)特定場景的用戶屬性，采取兩個維度的分類標(biāo)準(zhǔn)，其一為是否從事刑事司法的工作，其二為是否具備人工智能有關(guān)的基礎(chǔ)知識?；貧w分析主要檢驗了算法解釋和算法理解、算法信任兩大后置效果間的機制規(guī)律。

1.不同算法解釋技術(shù)對用戶理解效果的影響

如上所述，本文重視專家型用戶背景、不同算法解釋技術(shù)對算法理解程度的影響。通過分組分別計算多組用戶對算法解釋的理解度、對兩種不同算法解釋技術(shù)的理解度，〔24$〕我們能夠清晰地看到如下的特點：

其一，專家組對算法解釋的理解程度更高。專家組對算法解釋的理解程度總體得分最高（6.6分），這不僅是較之于對照組而言的，而且比具備人工智能知識的技術(shù)組得分（5.9分）也要高出12%。究竟是什么原因使得專家組的得分更高，該現(xiàn)象是否說明“司法實踐的業(yè)務(wù)經(jīng)驗”能夠提升用戶對算法解釋的理解，其中的機制如何還有待后續(xù)的回歸分析。

其二，可視化的解釋方法，在提升用戶理解方面具有本場景下的相對優(yōu)勢。當(dāng)以算法的解釋技術(shù)作類型分組時發(fā)現(xiàn)，采取可視化熱力圖的方式能夠起到更好的理解效果，這點不論是從專家組、技術(shù)組還是對照組的平均值都能得出一致的結(jié)論。這說明，從提升用戶主觀認(rèn)知層面的理解程度而言，在高風(fēng)險場景的普通用戶中，更適合的也許是更形象的算法解釋方法。進(jìn)一步回顧可視化的解釋方法，其通過顏色的深淺標(biāo)識了影響強制措施類型的因素，從專家角度也許得到了和經(jīng)驗上的印證，因此可視化的解釋不僅整體得分最高，而且專家組的平均分也是最高的（7.7分）。當(dāng)這一結(jié)論基本成立時，研究假設(shè)一成立。

其三，專家組對公式解釋方法的理解程度最低。和其他各組相比，特別是和技術(shù)組相比，專家組的得分明顯偏低（4.2分）。這需要結(jié)合專家組的構(gòu)成情況分析，專家組主要是由刑事司法經(jīng)驗的辦案人員組成，他們既具有法律專業(yè)的知識背景，又多年從事實踐工作，也許對需要有一定的數(shù)理基礎(chǔ)才能理解的公式型算法解釋技術(shù)具有一定的心理排斥。這一點和技術(shù)組比較時更顯突出，技術(shù)組在該方法上的得分（5.7分）較高，說明具有一定人工智能技術(shù)背景的用戶，不犯難于公式型的算法解釋技術(shù)，反而從中獲得了對算法更好的理解。

交叉分組的主要發(fā)現(xiàn)可歸納為：專家組對算法解釋技術(shù)的理解程度最高，并且其中主要是由可視化解釋技術(shù)所貢獻(xiàn)的；不同的算法解釋技術(shù)類型具有明顯的得分差距，公式型解釋方法在司法場景下不具有良好效果，特別是就專家組用戶而言尤其明顯。

為進(jìn)一步挖掘關(guān)于算法解釋后的用戶理解機制，本文采取線性回歸進(jìn)行相關(guān)性分析，模型的自變量為算法解釋的類型，模型的因變量為算法解釋后的用戶對算法的理解程度，其余變量為控制變量。〔25，〕從回歸分析看，有以下數(shù)據(jù)發(fā)現(xiàn)：

其一，算法解釋的類型，對算法解釋后的用戶理解有顯著的相關(guān)性。當(dāng)加入更多的控制變量后，算法解釋技術(shù)的類型和算法的理解程度間依然顯著相關(guān)， 說明在選取何種算法解釋技術(shù)的問題上，應(yīng)當(dāng)結(jié)合場景和用途慎重決定。由此，本研究的假設(shè)基本是成立的。針對具體的算法解釋類型而言，可視化的算法解釋方法更具優(yōu)勢。

其二，算法解釋前用戶對算法既有的信任，對算法的理解產(chǎn)生了顯著影響。這一點需要結(jié)合后文關(guān)于算法解釋前的信任構(gòu)建機制進(jìn)行討論，但就算法解釋后的理解機制構(gòu)建而言，在解釋前對算法決策結(jié)論的信任基礎(chǔ)也是影響算法理解的重要因素。與算法解釋前就對決策系統(tǒng)信任度較低的情況相比，對算法系統(tǒng)信任程度比較高的用戶自然也能夠較好地理解系統(tǒng)給出的解釋說辭。由于回歸模型中控制了專業(yè)領(lǐng)域知識和技術(shù)知識背景兩類變量，因此將對算法解釋的主觀理解認(rèn)知歸因于解釋前既有的用戶信任感，具有較強的可信度。換言之，較之于信任基礎(chǔ)好的算法決策，高風(fēng)險場景的用戶如果原本已經(jīng)不信任算法作出決策，算法的解釋技術(shù)能夠提升和改觀的空間就十分有限。

其三，有專業(yè)知識的一組，上述兩大機制更加被放大。當(dāng)把分析的單元限定于具有法律知識、技術(shù)知識、司法工作經(jīng)驗等任何一種情況時，分組后發(fā)現(xiàn)算法解釋的技術(shù)方法、算法解釋前的信任感，兩者對被解釋變量的相關(guān)系數(shù)變得更強。這也許說明，在具有一定專業(yè)背景的用戶群體中，更為強調(diào)解釋的技術(shù)方法和對算法的既存信任感。

2.解釋前后的算法信任機制比較分析

研究采取交叉聯(lián)表的方法歸納出了算法解釋前后的信任程度變化，〔26$〕由此引發(fā)了一些值得算法規(guī)制的制度設(shè)計層面反思的問題：

其一，算法的解釋，不能提升反而降低了對自動決策系統(tǒng)的信任。初步看這一數(shù)據(jù)結(jié)論令人驚訝，即通過算法的解釋后，各組用戶對算法的信任感普遍下降。由此，本實驗的第二個假設(shè)就難以得到認(rèn)可了，而有必要探尋構(gòu)建算法信任的更為特殊的機制原理。

其二，在算法的解釋前，專家組的信任程度最高（7.2分），有必要進(jìn)一步探尋專家組對算法的信任基礎(chǔ)來源，是什么造成了在算法解釋前專家組具有較高的算法信任基礎(chǔ)。

其三，在算法的解釋后，專家組的信任程度下降最快（下降13%）。從事刑事司法工作者對算法的信任下降最多，其次是具有技術(shù)知識背景的一組。有必要通過回歸分析，探尋是什么樣的關(guān)鍵變量導(dǎo)致了算法解釋前后的信任程度有如此明顯的下降變化。

同樣，為進(jìn)一步挖掘算法解釋前后的用戶信任機制，本文采取線性回歸的方式對算法信任的構(gòu)建過程作了相關(guān)性分析。模型的自變量為“算法解釋的技術(shù)類型”和“算法解釋的理解程度”，模型的因變量分別為算法解釋前和解釋后的“用戶的算法信任程度”，其余變量為控制變量?！?7$〕從回歸模型結(jié)果看，有以下分析發(fā)現(xiàn)：

其一，算法解釋前的信任基礎(chǔ)，主要的影響因素是用戶的前見。所謂前見，集中體現(xiàn)為自我的判斷和算法的判斷是否一致。本實驗采取的是串聯(lián)式的逐一回答模式，首先是案件基本情況，接著是用戶的回答，然后是算法給出的判斷，此時再要求用戶給出對算法的解釋前信任程度。這種提問和回答架構(gòu)下，用戶對案件應(yīng)當(dāng)采取何種強制措施的“自我判斷”和“算法的判斷”是否一致，對算法解釋前的信任基礎(chǔ)起到了重要影響。

其二，算法解釋后的信任構(gòu)建，主要的影響因素是用戶對解釋的理解程度。與之相比較，算法解釋的技術(shù)類型代表的是中間變量，而用戶對解釋的理解程度才是實質(zhì)性的最終變量，后者與算法信任程度間的相關(guān)性更強。因此，從中可以得到的初步結(jié)論是，在算法信任構(gòu)建的諸多要素中，具有關(guān)鍵意義的是用戶對算法的既有理解程度。

3.算法理解的補充隨機對照實驗

前述的實驗設(shè)計中沒有考慮到“沒有算法解釋”的情形，因此難以直接得出算法解釋是否有助于提升算法理解的結(jié)論。為進(jìn)一步驗證這點，本文又完成了二次補充實驗，采用相同的實驗設(shè)計，以控制對照的方式對110名法學(xué)在校研究生進(jìn)行了分組實驗。結(jié)果表明，較之于不采取解釋的黑箱對照組得分（5.31），解釋實驗組的平均得分（7.21）提升了36%，其中可視化實驗組得分仍然高于公式組13%?？紤]到受試者為隨機座位的同班同學(xué)，該實驗結(jié)果具有很強的信服力，即可以認(rèn)為“算法解釋技術(shù)，的確能夠提升用戶對算法的理解”。

（四）實驗結(jié)論的規(guī)范研究價值

以上的實驗數(shù)據(jù)分析結(jié)論，對規(guī)范層面進(jìn)一步開展算法規(guī)制方法的研究提供了諸多啟示：

其一、注意不同場景下用戶的特征差異。實驗結(jié)果已表明，以刑事司法為代表的高場景中，具有不同背景的算法用戶，因為具有不同的學(xué)歷、從業(yè)、年齡等背景，導(dǎo)致他們對算法解釋方法的理解能力、固有的信任基礎(chǔ)等各方面存在顯著差異。算法規(guī)制的場景化規(guī)范方案設(shè)計，必須考慮基于特定場景中的用戶畫像才有希望實現(xiàn)“一場景一方案”。

其二、應(yīng)當(dāng)強調(diào)算法的解釋技術(shù)和場景化用途的匹配性。實驗結(jié)果已表明，在本場景中不同的算法解釋方式會產(chǎn)生明顯的算法理解差異。算法的解釋技術(shù)本質(zhì)上是為算法產(chǎn)品的應(yīng)用落地、滿足特定場景的用戶需求所服務(wù)的。有必要對照高風(fēng)險場景在決策過程的透明度、可理解性等方面的需求，進(jìn)一步分析算法規(guī)制路徑中解釋技術(shù)的可行性。

其三、需要考慮算法決策在特定場景中的應(yīng)用限度。從實驗對信任度的計算結(jié)果看，算法并沒有很明顯地提高在以司法為代表的高風(fēng)險場景中的信任程度。要考慮高風(fēng)險場景下的算法解釋為什么沒有推動算法信任的構(gòu)建，信任程度甚至不升下降了？ 這說明算法決策在高風(fēng)險場景中并不具有天然的正當(dāng)性及可接受性，同時單純地寄希望于通過算法的解釋技術(shù)，也許并不能改善這一點。

作為一種算法應(yīng)用的技術(shù)，算法解釋的提出和發(fā)展在于滿足特定場景下的用戶需求，它主要提供的是一種“盡可能還原決策過程事實材料”的功能。〔28#〕不同場景的用戶對算法解釋的需求程度應(yīng)該是有差異的，比如在短視頻、商品和新聞等推薦算法中，用戶對算法決策的過程可能并不十分關(guān)注；在交通領(lǐng)域的自動駕駛決策中，用戶更為關(guān)注算法決策的及時性和準(zhǔn)確性，只在事后歸責(zé)時可能關(guān)心算法決策是否恰當(dāng)；只有在司法、醫(yī)療等場景中，算法解釋技術(shù)才受到諸多關(guān)注，并將之視為人工智能技術(shù)在該場景中能否順利落地的關(guān)鍵。

四、基于用戶畫像的算法規(guī)范場景化

不同實驗場景具有不同的用戶畫像。以本文所重點關(guān)注的以司法為代表的高風(fēng)險場景中為例，即涉及算法產(chǎn)品的直接用戶、高侵權(quán)風(fēng)險的實際承擔(dān)者、算法產(chǎn)品的開發(fā)者、該領(lǐng)域的傳統(tǒng)監(jiān)管者四類利害關(guān)系者，每類主體的算法解釋需求不完全相同，應(yīng)該為不同的場景用戶提供針對性的算法解釋。

（一）用戶畫像影響解釋的效果

從“算法解釋”和“算法理解”“算法信任”的實驗中，我們至少可以得出以下幾條值得算法規(guī)范場景化重視的有關(guān)“用戶”方面的實證發(fā)現(xiàn)：

其一，特定場景的用戶具有前置性的背景。這里的用戶背景既包括學(xué)歷專業(yè)方面的，也包括年齡上的，還可以指從業(yè)經(jīng)歷方面的。本實驗發(fā)現(xiàn)，以上各方面的背景都將顯著地影響用戶對算法的解釋效果的理解程度。這些影響包括專業(yè)型背景用戶具有更好的算法理解能力，用戶的知識背景決定了其對算法解釋的方法類型具有很強的偏好性。在特定的場景中，用戶的年齡和對算法解釋的理解能力之間還具有一種反向關(guān)系。

其二，特定場景的用戶具有很強的固有前見。這里指的前見包括兩類，一類是用戶原本對該算法產(chǎn)品有一定基礎(chǔ)的信任前值，另一類是用戶對算法的預(yù)測結(jié)果有自己的預(yù)期，算法決策的結(jié)論要么與自己一致，要么不一致。本實驗發(fā)現(xiàn)，以上兩類前見均會對算法解釋的效果產(chǎn)生顯著的影響，比如算法在解釋前的信任基礎(chǔ)將影響用戶對算法的理解，算法的預(yù)測結(jié)論是否和自己的預(yù)期保持一致與算法的信任之間有顯著的相關(guān)性。

以上用戶畫像方面的發(fā)現(xiàn)，完全可能隨著場景的變更而使得統(tǒng)計學(xué)意義上的顯著性消失，或者產(chǎn)生其他新的機制。這恰恰說明，不同的場景具有不同的用戶畫像，以上方面在不同場景中的差別很大，這正是算法的規(guī)范化方案應(yīng)當(dāng)結(jié)合場景開展的重要理由之一。

（二）實驗場景的用戶結(jié)構(gòu)分析

不同的場景具有不同的算法使用和算法解釋的需求者，內(nèi)在的主體結(jié)構(gòu)差異很大，本文以實驗的場景為例予以分析。算法產(chǎn)品的直接使用者可能只有一類，但算法解釋的使用者卻一定是多元化的，因此有必要從算法解釋的需求方角度全面理解高風(fēng)險場景中的主體結(jié)構(gòu)。以司法為代表的高風(fēng)險場景，有以下幾類利害關(guān)系者：（1）算法產(chǎn)品的直接用戶。他們是該領(lǐng)域的專家。（2）高侵權(quán)風(fēng)險的實際承擔(dān)者。我們發(fā)現(xiàn)算法決策系統(tǒng)的直接用戶和權(quán)利侵犯風(fēng)險承擔(dān)者往往并不是同一主體。這就面臨著法律責(zé)任歸屬的制度抉擇，即當(dāng)風(fēng)險成為實害之時，究竟由誰來承擔(dān)相應(yīng)后果。（3）算法產(chǎn)品的開發(fā)者。他們面臨產(chǎn)品責(zé)任的問題。（4）該領(lǐng)域的傳統(tǒng)監(jiān)管者。他們并未在該場景引入算法決策后自行消失。在以上四類主體的基礎(chǔ)上形成高風(fēng)險場景的用戶畫像和利害關(guān)系。

第一類主體是算法產(chǎn)品的直接用戶，在實驗場景中是該領(lǐng)域的專家。就算法在司法領(lǐng)域的應(yīng)用現(xiàn)狀看，當(dāng)前主要是在審判、檢察等公權(quán)力機關(guān)中應(yīng)用較為廣泛。算法產(chǎn)品雖然也包含法律服務(wù)市場中的部分算法應(yīng)用， 但主要還是在公權(quán)力機關(guān)的智能辦案中作為輔助辦案人員的工具存在較多，比如本實驗中用模型輔助判斷犯罪嫌疑人被采取的強制措施的類型最具有代表性。與之相似的場景有醫(yī)療領(lǐng)域，算法應(yīng)用的主要用戶是醫(yī)生。這類以法官、醫(yī)生為代表的領(lǐng)域?qū)＜覙?gòu)成的主要用戶群體具有鮮明的人物畫像特征，比如本身具有該領(lǐng)域的判斷能力，具有算法決策過程的一定理解基礎(chǔ)。他們擅長各自領(lǐng)域的知識，同時又帶有一定的局限性，比如司法場景中的用戶往往是文科背景，對數(shù)理知識較為陌生。通過該視角，得以解釋為什么實驗中專家用戶對公式型解釋方法的得分最低。

第二類主體是風(fēng)險的實際承擔(dān)者。高風(fēng)險場景的風(fēng)險承擔(dān)者并不是專家用戶自己，而是第三人。當(dāng)我們把高風(fēng)險場景下被侵害的權(quán)益確定為生命、健康、自由等高位階的個體權(quán)利時，這些權(quán)利的確會因為司法裁判、醫(yī)療診斷等行為面臨失權(quán)的風(fēng)險，這些風(fēng)險雖然是通過算法的自動決策并借領(lǐng)域?qū)＜抑肿鞒龅模亲罱K的不利結(jié)果卻是由犯罪嫌疑人、患者等他者所承擔(dān)的。就風(fēng)險承擔(dān)方和使用者的關(guān)系而言，不利風(fēng)險的承擔(dān)者并不愿意區(qū)分是由機器還是人作出的決策，他們更愿意相信這是由專家統(tǒng)一作出的理性決策。

第三類主體是算法產(chǎn)品的開發(fā)者。由此該場景的算法應(yīng)用需要處理算法的開發(fā)者、算法的使用者（專家）和最終的風(fēng)險承擔(dān)者間的關(guān)系，開發(fā)者和使用者需要共同對最終的風(fēng)險承擔(dān)者負(fù)責(zé)。在當(dāng)前的法律體系構(gòu)造中，前者負(fù)有產(chǎn)品質(zhì)量責(zé)任，后者負(fù)有業(yè)務(wù)行為責(zé)任。兩者間則是一種委托和受委托開發(fā)的關(guān)系，從司法和醫(yī)療的實際建設(shè)和運行情況看，算法系統(tǒng)開發(fā)者只是某一智能產(chǎn)品的承建方，算法產(chǎn)品的運行和使用權(quán)限基本掌握在法院、醫(yī)院等使用者手中。故而，高風(fēng)險場景中，從主體格局的視角來看，該領(lǐng)域?qū)＜易鳛樗惴ǖ氖褂谜哒紦?jù)了主導(dǎo)者的地位，算法的機器決策其實很難和人工的決策割裂開來。

第四類主體是該領(lǐng)域的監(jiān)管者。他們始終在場，而且較之傳統(tǒng)時代的監(jiān)管強度并未減弱。在司法領(lǐng)域本身即有一套嚴(yán)格的職業(yè)倫理要求和嚴(yán)密的司法責(zé)任制度體系， 監(jiān)管者包括法官懲戒委員會、司法員額及其責(zé)任制，制度設(shè)計上包括行政處分等行政法，枉法裁判罪等刑事法作為監(jiān)管的依據(jù)。〔29&〕醫(yī)療領(lǐng)域的監(jiān)管力度并不亞于司法，在醫(yī)療器械投放使用事前和事中有食藥監(jiān)局的行政監(jiān)管，〔30&〕在出現(xiàn)醫(yī)療事故時有民事侵權(quán)、醫(yī)療事故罪等司法追究機制。

（三）基于場景用戶的算法規(guī)范

從算法黑箱到算法理解、再到算法信任，根據(jù)權(quán)利（力）主體，既有的算法規(guī)范可以劃分為兩類：一類是公權(quán)力的行政監(jiān)管者，另一類則是代表私權(quán)的主體。兩者的共性在于都是基于“算法的解釋”構(gòu)造具體的權(quán)能內(nèi)容，兩者的差異則在于行權(quán)的主體、基于部門的法理等方面。

場景化的算法規(guī)范，應(yīng)當(dāng)考慮不同場景對行業(yè)監(jiān)管者的職責(zé)要求不同。本實驗的高風(fēng)險場景中，從該場景固有的較高監(jiān)管要求、風(fēng)險造成實害的重大權(quán)利侵害等方面考慮，規(guī)范應(yīng)當(dāng)賦予行政監(jiān)管者更大的權(quán)限和自由空間，目的是為高風(fēng)險場景發(fā)現(xiàn)監(jiān)管的線索、確定監(jiān)管審查的內(nèi)容、制定處罰定性的依據(jù)等提供便利。用戶畫像對算法使用、算法解釋的效果實驗表明，就高風(fēng)險場景下的算法規(guī)制而言，應(yīng)當(dāng)事前建立一套分類分級的算法解釋內(nèi)容細(xì)則，以針對日常檢查、個案追責(zé)、算法備案等不同執(zhí)法任務(wù)和執(zhí)法層級，規(guī)范研究應(yīng)當(dāng)設(shè)計不同的解釋方案。

場景化的算法規(guī)范還應(yīng)當(dāng)考慮不同場景中賦予私權(quán)利主體多大范圍的權(quán)利。當(dāng)算法解釋技術(shù)為保障個人權(quán)益所用時，既有文獻(xiàn)往往在“算法解釋請求權(quán)”的概念之下討論，認(rèn)為這是一種當(dāng)對相對人有法律上或者經(jīng)濟上的顯著影響時， 相對人向算法使用人提出異議， 要求解釋和更正錯誤的權(quán)利?！?1#〕對此，學(xué)界將之歸納為算法技術(shù)倫理、技術(shù)性正當(dāng)程序以及算法運行危害成本內(nèi)化三個層面的理由?！?2#〕就本實驗的高風(fēng)險場景而言，規(guī)范層面可精細(xì)化地考慮在幾對不同的私主體間構(gòu)造救濟權(quán)。首先是風(fēng)險的實際承擔(dān)者面向算法的專家用戶請求權(quán)，其次是風(fēng)險的實際承擔(dān)者面向算法的開發(fā)者請求權(quán)，最后是算法的專家用戶面向算法開發(fā)者的請求權(quán)。在具體的算法規(guī)范內(nèi)容設(shè)計中，又應(yīng)當(dāng)體現(xiàn)出面向?qū)＜倚陀脩艉兔嫦蚱胀ǖ膶嶋H風(fēng)險承擔(dān)者，在解釋方式、解釋程度等方面的差異性。

五、技術(shù)供需匹配的算法規(guī)范場景化

實驗的司法場景是一類高風(fēng)險的場景，處置的權(quán)利類型比較重大（比如生命健康權(quán)），利害關(guān)系非常復(fù)雜（比如涉及多方主體），傳統(tǒng)對該領(lǐng)域的監(jiān)管也比較嚴(yán)厲（典型如本文經(jīng)常用于舉例的司法和醫(yī)療領(lǐng)域）。這些方面共同決定了高風(fēng)險場景對算法解釋的類型需求較多元化。與此同時，在實驗中我們也看到算法的解釋技術(shù)所能提供的解釋內(nèi)容十分有限， 它并不是完全為某一場景量身定制的。這就導(dǎo)致通用的算法解釋相關(guān)技術(shù)并不能夠直接恰如其分地滿足場景中的個性化用途。

（一）解釋有關(guān)技術(shù)的能力限度

在實驗中觀察到算法解釋的有關(guān)技術(shù)不是無限的，通用的解釋技術(shù)并不一定能夠滿足特定場景的需要。正因如此，我們看到公式型的算法不能為用戶很好理解，算法的解釋不能提高實驗場景中信任的效果等問題。因此從實然的角度，還需要分析算法解釋的前沿技術(shù)，是否能夠在實驗的高風(fēng)險場景中滿足以上的用途。結(jié)論主要有兩點：

其一，并非全部的算法都有對應(yīng)的解釋技術(shù)。本實驗選擇的是對數(shù)回歸這一較為傳統(tǒng)的機器學(xué)習(xí)算法，故而既可以表達(dá)出算法的公式以及參數(shù)，又可以針對個案呈現(xiàn)和輸出結(jié)果相關(guān)的輸入信息以及相關(guān)程度。但這是由于這類算法比較簡單，而當(dāng)下有很多的深度學(xué)習(xí)算法模型就不能夠用“公式”表達(dá)，即使可以用數(shù)學(xué)公式說明也無法確定其詳細(xì)的參數(shù)。對于深度學(xué)習(xí)等較為復(fù)雜的算法，在解釋方式的選擇上就必然是受限的，因為只能選擇個案化的可視化解釋等部分解釋技術(shù)。

其二，可視化等部分解釋技術(shù)，不能全面地反映算法決策過程的全貌?？梢暬惴m然在本實驗中對提升算法理解的表現(xiàn)要優(yōu)于公式法，不過這種方式的弊端亦十分明顯，即它只是針對個案、事后型的。算法解釋不論是在公、私兩條路徑中的哪一條中都不限于事后，可能在算法決策的事前和事中亦需要提供說明。與此同時，可視化等個案解釋方法所呈現(xiàn)的模型信息是很不全面的，在完成算法實害歸責(zé)、審查算法開發(fā)中是否存在違規(guī)等任務(wù)時，這種解釋技術(shù)所還原的信息是不夠全面的。

以上兩點說明，當(dāng)前的算法解釋技術(shù)至少難以滿足實驗場景的需求，同時也限定了算法規(guī)范的可設(shè)計空間。

（二）實驗場景的解釋用途分析

進(jìn)一步分析高風(fēng)險場景的參與主體，可以發(fā)現(xiàn)一些鮮明的場景特點，比如該領(lǐng)域決策的專業(yè)化、算法使用者對決策結(jié)果負(fù)主要責(zé)任、行業(yè)傳統(tǒng)監(jiān)管比較嚴(yán)格等。這些行業(yè)專業(yè)規(guī)律，決定了在該領(lǐng)域應(yīng)用算法決策時有特別的需求。不論是事前備案、事中監(jiān)管還是事后追責(zé)，都離不開對算法決策運轉(zhuǎn)機制的理解。正因如此，算法高度透明性自然成為司法、醫(yī)療等場景中對算法應(yīng)用提出的一種近乎苛責(zé)的要求。也因此，在文獻(xiàn)中一旦提到算法解釋的技術(shù)問題時，所預(yù)設(shè)的主要是司法、醫(yī)療等高風(fēng)險的場景?！?3"〕這是一個值得追問的現(xiàn)象，即高風(fēng)險場景為什么對算法決策過程透明性有如此多的要求。

強調(diào)決策過程的說理，可能原本即是此類場景的傳統(tǒng)。司法的場景中體現(xiàn)為對裁判說理的重視，〔34"〕這種司法實踐和理論學(xué)說的共識傳導(dǎo)至法律人工智能的討論中，就衍生出相似的觀點，即“裁判的精華是裁判理由而不是裁判結(jié)論”。〔35"〕無獨有偶，我們發(fā)現(xiàn)醫(yī)療領(lǐng)域的算法應(yīng)用發(fā)展也十分強調(diào)過程的說理，因此在醫(yī)療場景的算法應(yīng)用產(chǎn)品中訓(xùn)練語料最多的是病歷記錄，除給出病情診斷的主輸出結(jié)果外還要求有結(jié)論的依據(jù)?！?6"〕由此，我們姑且可得到的結(jié)論為，當(dāng)前對高風(fēng)險領(lǐng)域下算法應(yīng)用過程透明性的高要求，可能不是對機器決策所新創(chuàng)的，而是傳統(tǒng)中該場景就對人類的決策也提出過較高的過程透明性要求。那么這些場景所要求的算法透明性，具體有哪些用途呢？筆者認(rèn)為主要在于三個方面：

其一，強調(diào)算法決策的透明性，在于和使用者的判斷形成印證。本研究的實驗中已經(jīng)發(fā)現(xiàn)可視化的算法解釋呈現(xiàn)方法受試者更易于接受，特別是面向?qū)＜矣脩魰r更為明顯。這一現(xiàn)象背后的機制在實驗中并未得到闡釋，但根據(jù)可視化解釋的方法主要呈現(xiàn)的內(nèi)容，可以推斷其完成了人類決策者和機器決策的一種印證過程。當(dāng)機器決策的結(jié)果所依據(jù)的基本事實要素和人類決策比較相似的時候，會產(chǎn)生提高人工決策者對算法信任的效果，這在實驗數(shù)據(jù)中能夠得到一定的反映。如前所述，高風(fēng)險場景的算法使用者原本即是領(lǐng)域?qū)＜?，這一特點決定了用戶自身就有判斷結(jié)果的能力，當(dāng)要求他們使用算法機器決策的工具，用戶就會產(chǎn)生一種需求，即了解機器決策的依據(jù)能否得到自身經(jīng)驗的印證。

其二，算法決策過程的還原，還可能是為了在事中說服高風(fēng)險的實際承擔(dān)者。如前所述，本文所關(guān)注的司法、醫(yī)療領(lǐng)域的直接用戶一般都不是風(fēng)險的承擔(dān)者，這些場景真正需要承擔(dān)生命健康、人身自由等權(quán)利侵犯不利風(fēng)險和后果的主體另有其人。因此，算法決策的直接使用者就負(fù)有向高風(fēng)險實際承擔(dān)者說明和解釋的法律上或道義上義務(wù)，能夠讓風(fēng)險承擔(dān)者認(rèn)同算法決策是可信任的，該智能應(yīng)用才能夠在該場景中真正得以直接適用，比如在醫(yī)療的手術(shù)場景若采用算法決策，可能有必要向患者說明手術(shù)的決策機制、過程與效果?！?7#〕這實際上是醫(yī)師職責(zé)的一部分，因為在醫(yī)療中患者知情同意是醫(yī)療行為正當(dāng)化的核心根據(jù)，醫(yī)師負(fù)有說明義務(wù)?！?8#〕

其三，對算法決策依據(jù)的留痕，成為事中監(jiān)管和事后歸責(zé)的依據(jù)。在高風(fēng)險場景中已經(jīng)出現(xiàn)過很多個風(fēng)險變?yōu)閷嵑Φ陌咐?，?dāng)出現(xiàn)這些侵權(quán)和違法事件后自然存在如何歸責(zé)的問題。司法場景中有法律職業(yè)倫理的一般要求，而且在當(dāng)法官依據(jù)人工智能輔助作出錯誤決策時，還有法官是否需要對該案承擔(dān)責(zé)任的問題。〔39#〕司法責(zé)任的追究機制包括基于法官法、公務(wù)員法的懲戒處分機制，嚴(yán)重者可至刑事法中的徇私枉法罪、民事行政枉法裁判罪等相關(guān)罪名。醫(yī)療領(lǐng)域與之很類似，出現(xiàn)實害后要在患者、生產(chǎn)商、醫(yī)療者三方之間分配醫(yī)療事故的責(zé)任?！?0#〕既然要求歸責(zé)，就要有明確的事實依據(jù)，正是這些高風(fēng)險場景中的嚴(yán)格歸責(zé)需要，使這些場景下不論是人類決策還是算法決策，其過程都必須能留痕備查。實驗設(shè)置了可理解和可信任兩類效果，而實驗結(jié)果發(fā)現(xiàn)了算法的解釋和算法的理解有統(tǒng)計學(xué)上的相關(guān)性，事后歸責(zé)即對應(yīng)算法解釋及其理解效果的具體實際用途。

（三）由規(guī)范回應(yīng)場景化的需求

算法的有關(guān)解釋技術(shù)還需依賴于具體的制度設(shè)計加以落實。既有的算法解釋研究文獻(xiàn)主要從解釋的內(nèi)容、程度、時間與方式等方面對算法解釋的具體細(xì)節(jié)展開描述?！?1#〕這幾點也許可以成為分析某一場景下算法解釋具體用途時的框架。首先，算法解釋的內(nèi)容和程度，內(nèi)容是指還原的算法決策信息量，這取決于解釋的方法，不同解釋方式含有不同程度的信息量，客觀上解釋的最大可能范圍可歸結(jié)為“算法的可解釋性”?！?2#〕其次，解釋的時間，主要分為算法是否正在運轉(zhuǎn)，是決策中還是決策后等。再次，從解釋的技術(shù)角度，個案解釋的方法只能是在事后，就模型本身的解釋可以在事后也可以在事中。從高風(fēng)險場景的實際需求看，既有在事前事中說服風(fēng)險實際承擔(dān)者的理解需求，亦有事后歸責(zé)的理解需求，因此解釋貫徹于事前中后。最后，算法解釋的方式，可分為由人作出解釋還是由機器作出解釋兩類，從技術(shù)角度，機器解釋應(yīng)當(dāng)是一手信息，人工解釋是對資料的二次組織。在高風(fēng)險場景中，對算法決策過程進(jìn)行解釋，主要為呼應(yīng)以上提到的幾點用戶需求，因此既有面向?qū)＜矣脩舻臋C器解釋，亦有專家面向?qū)嶋H風(fēng)險承擔(dān)者的人工解釋。

用途一的算法解釋主要是算法開發(fā)者面向?qū)＜矣脩?，這方面的解釋從內(nèi)容看應(yīng)當(dāng)盡可能全面和專業(yè)，契合特定場景的需要；從解釋的程度看應(yīng)當(dāng)偏向于全局的解釋，且時機上應(yīng)當(dāng)是在正式投入使用前；從解釋的方式看應(yīng)當(dāng)既有機器直接輸出解釋，也應(yīng)當(dāng)包括技術(shù)專家和領(lǐng)域?qū)I(yè)用戶間的直接對話。

用途二的算法解釋是風(fēng)險的實際承擔(dān)者面向?qū)＜矣脩舻恼埱髾?quán)，從權(quán)利的性質(zhì)看應(yīng)當(dāng)屬于程序性的權(quán)利，權(quán)利的內(nèi)容包括對算法決策有知情、參與和提出異議的權(quán)利；從解釋的內(nèi)容看主要是算法判斷的依據(jù)、可能承擔(dān)的后果等方面的說明；從算法解釋的時機看主要應(yīng)當(dāng)是事中的；解釋的方式應(yīng)當(dāng)以專家用戶的人工解釋為主。

用途三有兩個方面，分別對應(yīng)“私權(quán)保障”和“監(jiān)督管理”。第一種是私權(quán)主體尋求救濟時的需要，此時的權(quán)利主體應(yīng)當(dāng)是風(fēng)險的承擔(dān)者，屬于一種救濟性的權(quán)利。在高風(fēng)險場景法律歸責(zé)時，需要一些“查明事實真相、分配不利后果”的素材，作為司法訴訟或行政執(zhí)法的證據(jù)。以這個用途來說，解釋的內(nèi)容和程度要求都比較高。第二種是滿足監(jiān)管的需要，個案追責(zé)和算法備案兩種最具代表性。從解釋的內(nèi)容看，高風(fēng)險場景中個案追責(zé)所需要的算法信息最廣，其次是算法備案；從解釋的程度看，對應(yīng)的個案追責(zé)應(yīng)當(dāng)以個案能夠得到解釋為前提，算法備案則基本對應(yīng)于全局解釋的技術(shù)；從解釋的方式看，機器提供原日志原材料，人工可編輯摘要同時保留元數(shù)據(jù)。此種用途需求，對算法解釋在內(nèi)容的廣度和深度上要求都將比較高。

六、考慮信任基礎(chǔ)的算法規(guī)范場景化

從實驗中算法解釋的實際效果來看，算法解釋并不能夠化解高風(fēng)險場景中的全部風(fēng)險，能化解的甚至只是其中很有限的一部分。因此，從該場景的風(fēng)險規(guī)范角度，除了基于算法的解釋技術(shù)設(shè)置算法解釋權(quán)、算法規(guī)制的一系列制度外，還應(yīng)當(dāng)在算法進(jìn)入該領(lǐng)域的門檻、人機間的分工等更基礎(chǔ)的方面作出規(guī)定。這類規(guī)范實際上是著眼于技術(shù)的局限性。

（一）算法的信任影響人機的分工

基于場景化設(shè)計算法法治化的規(guī)范方法，第三個具有啟發(fā)性的方面是算法在該場景中的用戶信任基礎(chǔ)，這將根本性地決定算法進(jìn)入該領(lǐng)域的難度。某一場景中算法的應(yīng)用程度，根本上是由該場景中主要參與者的態(tài)度決定的。從實驗中可以發(fā)現(xiàn)，當(dāng)前高風(fēng)險場景下的算法應(yīng)用，在用戶信任方面有兩個不容樂觀的現(xiàn)象。其一，算法的信任基礎(chǔ)并不高，本實驗場景下的測量數(shù)值為7分左右（10分制）。其二，在實驗中插入算法的解釋后，算法的用戶信任甚至不升反降，降低了13%。除了考慮結(jié)合場景作解釋方法的改進(jìn)之外，更加值得反思的是，算法進(jìn)入各應(yīng)用場景的難度也許本身就是不一樣的。

這一實驗中的發(fā)現(xiàn)和算法的規(guī)制方法之間的啟示，則是究竟應(yīng)該如何定位某一場景算法決策中人類用戶和算法機器間的關(guān)系，即在不同場景下人機間應(yīng)當(dāng)如何分工。不同的算法應(yīng)用場景表現(xiàn)出的分工特點和差異已然很大，比如短視頻的推送已經(jīng)基本實現(xiàn)全自動化，自動駕駛汽車也正在邁向更加脫離人的自動駕駛狀態(tài)，而以本實驗舉例的司法、醫(yī)療等領(lǐng)域，則仍難以放手交由機器自主作出決策。

（二）實驗場景中的人機關(guān)系分析

在實驗的高風(fēng)險司法場景中，哪怕是最為堅定的法律人工智能支持者，也偏向于認(rèn)為人機關(guān)系中機器處于輔助的地位?！?3'〕究竟為什么該領(lǐng)域的法律專家普遍對算法的接受程度偏低，甚至很多人質(zhì)疑呢？ 梳理之下，部分專家學(xué)者對算法過程方面缺乏足夠的、適合司法場景的解釋產(chǎn)生質(zhì)疑。他們認(rèn)為，法律預(yù)測算法的不可解釋性、機器判斷壓縮了法律議論?！?4'〕以上基于場景的批判，卻并不能夠得到技術(shù)上完全有力的回應(yīng)，由此便造成當(dāng)下該場景中人機分工的局面，而以上批判無法得到技術(shù)上回應(yīng)的原因卻是多層次且復(fù)雜的。

第一個方面的原因是算法解釋技術(shù)的應(yīng)用，不能過多地犧牲模型的性能。算法的解釋技術(shù)主要在高風(fēng)險場景中興起，原因就在于這些領(lǐng)域的專家用戶要求只有當(dāng)算法決策具有可解釋性時，才會同意這些智能應(yīng)用的落地?！?5'〕由此，算法開發(fā)者才不得不考慮如何實現(xiàn)算法的解釋問題，有一定的可解釋性勢必要求選擇算法類型時要有所受限，某些算法類型很難找到有效的解釋技術(shù)。換言之，其中必然有一方面要有犧牲，算法模型的性能和可解釋性間存在不可避免的交易（trade-off）關(guān)系，〔46+〕即在要求高透明性的場景中算法類型選擇受限，算法決策作出解釋和模型預(yù)測的準(zhǔn)確性之間存在此消彼長的關(guān)系。因此，從算法開發(fā)者的角度這里存在“兩難”問題，一個預(yù)測精確度堪憂的模型肯定不能投入應(yīng)用，而一個難以解釋的黑箱算法同樣無法被高風(fēng)險場景的用戶所理解和信任。

第二個方面的原因是關(guān)于算法的解釋，在技術(shù)能呈現(xiàn)的內(nèi)容和用戶所期待的決策過程的說明程度之間有理解上的差異。從算法解釋的初衷看，主要的方法是用一定的技術(shù)勾連起人類可理解的“表征”（representations）和算法輸入用的“特征”（features）間的關(guān)聯(lián)性?！?7+〕而從具體的呈現(xiàn)方式看，可以是一段說明的文字、一個帶有參數(shù)的公式、一個輸入特征相關(guān)性數(shù)值的表格或者是一張圖片等。不論是以上哪種形式，都和高風(fēng)險場景中人類決策的說理有些差別。在司法決策中主要是一種解釋規(guī)范大前提、歸納事實小前提的三段論式說理，但當(dāng)下的解釋技術(shù)是做不到的，正因如此才有學(xué)者提出最新建議，“這種高標(biāo)準(zhǔn)的法律論證在技術(shù)上也無法實現(xiàn)，實事求是地將論證的要求‘降維成解釋”?！?8+〕在醫(yī)療場景中的情況也很相似，當(dāng)前的算法解釋技術(shù)主要應(yīng)用于診斷環(huán)節(jié)，采取的典型方式是將和結(jié)果正相關(guān)的因素用紅色標(biāo)出、負(fù)相關(guān)的因素用藍(lán)色標(biāo)出，呈現(xiàn)在醫(yī)生面前，〔49+〕這種方式和傳統(tǒng)的人工醫(yī)療診斷方式也并不一致。

第三個方面的原因是當(dāng)前的法律歸責(zé)體系。在高風(fēng)險的場景中，都較為統(tǒng)一地認(rèn)為算法決策較為初級。在醫(yī)療中，醫(yī)療AI+并非要替代人類醫(yī)生，只是輔助醫(yī)生工作，主導(dǎo)權(quán)仍掌握在人類醫(yī)生手中，主要目標(biāo)是通過人機協(xié)作提升醫(yī)療的準(zhǔn)確率和效率；〔50+〕在司法中當(dāng)前的機器輔助也主要是側(cè)重于效率提升的一面，涉及實體裁判的不多?！?1+〕而且一個突出的現(xiàn)象是，司法等高風(fēng)險領(lǐng)域的法律責(zé)任是否會被數(shù)字技術(shù)所沖淡，領(lǐng)域?qū)＜覍Υ吮３謽O高的警惕性。〔52+〕正因如此，從對機器智能的法律定性上來講，當(dāng)前也是以否定論占多數(shù)。〔53+〕這自然可以推導(dǎo)出一個結(jié)論，機器不會就所產(chǎn)生的實害負(fù)責(zé)，高風(fēng)險場景的責(zé)任主要在各參與主體間分配，專家用戶面臨較重的注意義務(wù)。在醫(yī)療領(lǐng)域，既有的司法裁判和學(xué)說觀點較一致地認(rèn)為，專家用戶應(yīng)對算法決策的結(jié)果負(fù)注意義務(wù)，僅在一般過失下才能免責(zé)?！?4+〕而在司法領(lǐng)域情況相似，即假使這是一項關(guān)系當(dāng)事人實體權(quán)利的司法判斷，不論是否借由算法決策作出，擔(dān)負(fù)司法問責(zé)風(fēng)險的仍然是辦案的司法官。既然如此，當(dāng)解釋的方式、內(nèi)容并不能令其確信時，他們自然有權(quán)拒絕算法決策。

（三）規(guī)范限制場景中的算法任務(wù)

在實驗的高風(fēng)險場景下，應(yīng)當(dāng)在行業(yè)性規(guī)范中確立人機之間堅持以人工決策為主、機器為輔的原則，這是由用戶的信任基礎(chǔ)、解釋技術(shù)的局限性、法律責(zé)任的分配方式等以下幾個方面所共同決定的。在該場景中應(yīng)當(dāng)更進(jìn)一步推演的是，算法的場景化規(guī)范應(yīng)當(dāng)設(shè)置算法應(yīng)用的正面和負(fù)面任務(wù)清單。算法及其解釋技術(shù)的局限性、高風(fēng)險場景的固有規(guī)律，決定了這些場景中不是每一個任務(wù)都適合引入算法決策，哪怕只是承擔(dān)輔助角色。誠然，我們難以阻止人工智能的浪潮席卷這些高風(fēng)險的場景，但是法律規(guī)范依然有必要劃定一些禁用算法決策的任務(wù)清單，引導(dǎo)算法技術(shù)向正確的任務(wù)方向發(fā)展。根據(jù)既有的算法應(yīng)用所嘗試的場景任務(wù)類型，我們可以作如下取舍：

程序輔助型任務(wù)，更適合高風(fēng)險場景的算法任務(wù)。司法領(lǐng)域希望用信息化和智能化區(qū)別數(shù)字技術(shù)應(yīng)用。程序性事項更偏向于形式任務(wù)，比如辦案無紙化、全流程線上辦公等，并將之和信息化等同。但其實在程序性事項中也有很多可算法輔助判斷的事項， 只是這些判斷不涉及重大的實體權(quán)利處分，屬于適合算法決策的內(nèi)容，比如案卷的歸類、是否滿足管轄的條件、文書是否已經(jīng)送達(dá)。與之相對應(yīng)的是一系列涉及終局性的實體權(quán)利處分，比如刑事領(lǐng)域的定罪和量刑等，這些任務(wù)才有更高的決策透明度要求。

知識輔助型任務(wù)，更適合高風(fēng)險場景的算法任務(wù)。所謂知識輔助型主要是指算法決策所處的是實體判斷過程的中間環(huán)節(jié)，最終的實體判斷依然由專家完成，但就司法中尋找參考案例、文書寫作，醫(yī)療中尋找相似病例、處方寫作等，提供更精準(zhǔn)的模板匹配。這種輔助不能直接形成實體判斷的結(jié)論，但是能夠讓算法的使用者減少尋找依據(jù)、資料的工作量，故而稱之為知識輔助型任務(wù)。與之相對的則是實體判斷型，包括司法中確定賠償金額、醫(yī)療中確定治療的用藥方案等。

以上任務(wù)的分類可能還有很多其他標(biāo)準(zhǔn)，需要對之加以體系化構(gòu)建，并同樣需要用行業(yè)規(guī)范的方式予以確立。哪些任務(wù)是鼓勵算法應(yīng)用的白名單，哪些任務(wù)是算法禁入的黑名單，都應(yīng)當(dāng)清晰地在行業(yè)的算法應(yīng)用規(guī)范中列明，并結(jié)合算法技術(shù)的動態(tài)發(fā)展予以調(diào)整。從當(dāng)下計算機科學(xué)發(fā)展、法律人工智能的學(xué)術(shù)前沿來看，卻并未受到此種指引，計算機科學(xué)的研究人員仍以研發(fā)定罪量刑、法條預(yù)測等任務(wù)為研究重點，〔55！〕而這些任務(wù)卻被本文稱作“慎入”的任務(wù)清單。

由此看來，本文雖以研究算法解釋的效果作為原點，但得出的結(jié)論卻略顯意外，即算法的解釋技術(shù)在高風(fēng)險場景中往往陷入效果不佳的困境。因此在設(shè)計算法規(guī)制的方案時，要結(jié)合具體的場景，不限于算法解釋這一種方法，而是與人機間的分工關(guān)系、任務(wù)的負(fù)面清單等其他路徑形成合力。

本文系第三屆“數(shù)字法治與社會發(fā)展”研討會征文一等獎作品。

本文系2021年國家社會科學(xué)基金“智慧司法背景下犯罪嫌疑人社會風(fēng)險的大數(shù)據(jù)評估方法研究”（項目批準(zhǔn)號：21CFX068）、國家重點研發(fā)計劃“基層社會網(wǎng)格治理數(shù)字化關(guān)鍵技術(shù)研究與應(yīng)用示范”（項目批準(zhǔn)號：2021YFC3300300）、2024年浙江省哲學(xué)社會科學(xué)規(guī)劃之江青年專項課題“數(shù)字法治背景下生成式大模型技術(shù)對裁判說理的輔助價值”（項目批準(zhǔn)號：24ZJQN064Y）的階段性研究成果。