裴煒

關(guān)鍵詞：算法推論；輔助決策；合理推論權(quán)；實質(zhì)正當(dāng)程序

摘 要：刑事訴訟中的算法運用主要集中在以推論支撐公安、司法機(jī)關(guān)決策方面，這與當(dāng)前相關(guān)立法關(guān)注的算法決策存在差異。算法推論一方面因其損害結(jié)果的非顯性和推論過程的不透明性而面臨規(guī)制障礙，但另一方面又會產(chǎn)生實際的權(quán)益損害風(fēng)險，尤為典型地體現(xiàn)在與平等保護(hù)原則的沖突對公民社會生活穩(wěn)定性的干擾?；趪倚塘P權(quán)的嚴(yán)厲性及刑事訴訟活動的高強(qiáng)制性，有必要基于正當(dāng)程序要求對算法推論進(jìn)行規(guī)制。同時，正當(dāng)程序不應(yīng)當(dāng)僅停留在形式層面，也需要推進(jìn)算法推論應(yīng)用中的實質(zhì)正當(dāng)程序建設(shè)，從整體宏觀的系統(tǒng)層面和具體微觀的個案層面，充分保障相對人獲得合理推論的權(quán)利。

中圖分類號：D915.3文獻(xiàn)標(biāo)識碼：A文章編號：1001-2435（2022）06-0107-09

On Algorithmic Inference in Criminal Proceedings and Its Regulation

PEI Wei （Law School，Beihang University，Beijing 100191，China）

Key words：algorithmic inferences；assisting judicial decisions；right to reasonable inferences；substantial due process

Abstract：In criminal justice system，instead of making automated decisions，which is at the center of the relevant algorithmic regulations，algorithms are mainly applied to support judicial decisions by profiling and drawing inferences. The harms caused by algorithm inferences are normally intangible and the inferring process is highly opaque，both of which increase the regulation difficulty. However，the use of algorithm inferences is not only in tension with the principle of equal protection，but also highly intrusive against the private life of people. Given the severity of the state penal power and the compulsory nature of criminal justice measures，and considering the urgent need to safeguard relevant rights and interests of citizens，it is necessary to regulate algorithm inference and its application in criminal proceedings in accordance with procedural as well as substantial due process requirements.

在網(wǎng)絡(luò)信息技術(shù)與刑事司法不斷深入融合的背景下，控辯雙方未能得到同步的技術(shù)賦能。相較而言，以大數(shù)據(jù)分析和人工智能為依托的新興技術(shù)在助力打擊犯罪的同時，亦在一定程度上沖擊著辯護(hù)權(quán)的有效行使，進(jìn)而影響著控辯平等對抗基礎(chǔ)上數(shù)字正義的實現(xiàn)。這一沖擊集中體現(xiàn)在算法在刑事司法決策過程中的介入，其中又以犯罪風(fēng)險預(yù)測和社會危險性評估為典型。但需要注意的是，在刑事司法過程中，算法的運用通常并非止步于預(yù)測和評估，而是會進(jìn)一步影響后續(xù)的處置措施和司法決策。鑒于刑事訴訟活動高度的強(qiáng)制性，這些處置措施往往會對相對人特別是犯罪嫌疑人、被告人的相關(guān)權(quán)益形成嚴(yán)重干預(yù)，甚至?xí)绊懽罱K裁判結(jié)果的公正性。基于此，能否及時、有效、充分地審查算法推論是算法推論相對人有效維護(hù)其實體權(quán)利和程序權(quán)利的前提，更是犯罪嫌疑人、被告人獲得有效辯護(hù)的前提。

近年來，我國已經(jīng)有許多學(xué)者關(guān)注到新興網(wǎng)絡(luò)信息技術(shù)與司法結(jié)合過程中可能產(chǎn)生的制度問題，相關(guān)研究成果廣泛涉及到司法運行機(jī)制中的技術(shù)運用、1司法裁判與事實認(rèn)定中的技術(shù)運用2及證據(jù)和證明規(guī)則中的技術(shù)運用等多個方面。3這些研究從法律、倫理、政策、技術(shù)等多個角度深入分析司法語境下人工智能、算法、大數(shù)據(jù)等技術(shù)的定位和介入邊界，并在強(qiáng)化技術(shù)規(guī)制、提升算法可信度和透明度、明確人工智能責(zé)任分配等方面形成了一系列基礎(chǔ)共識。但是，現(xiàn)有研究成果更多地從算法決策的角度出發(fā)，而較少關(guān)注到刑事司法領(lǐng)域的算法運用目前主要停留在算法推論階段，即以算法標(biāo)識、畫像、評價來支撐后續(xù)決策。

這種對于算法決策和算法推論的關(guān)注不平衡亦體現(xiàn)在近些年的相關(guān)立法之中。例如，2021年出臺的《個人信息保護(hù)法》主要就自動化決策進(jìn)行了規(guī)定，“通過自動化決策方式作出對個人權(quán)益有重大影響的決定，個人有權(quán)要求個人信息處理者予以說明，并有權(quán)拒絕個人信息處理者僅通過自動化決策的方式作出決定”（第24條第3款）。鑒于我國《個人信息保護(hù)法》同時適用于公私領(lǐng)域的信息處理活動，這一規(guī)定原則上也適用于刑事司法活動。特別是考慮到這一領(lǐng)域國家機(jī)關(guān)處理個人信息時的強(qiáng)制性和強(qiáng)干預(yù)性，其完全可以落入到“對個人權(quán)益有重大影響”之中。問題在于，現(xiàn)有規(guī)則一方面將其規(guī)制重點放置在個人信息的收集和處理而非解釋和推斷方面，4另一方面又難以為相對人提供可行且有效的審查和控制相關(guān)推論的法律工具。更重要的是，《個人信息保護(hù)法》制定的相關(guān)規(guī)則尚未與刑事訴訟法形成有效銜接，使得刑事司法這一特定場景下算法推論的正當(dāng)性與合理性難以判斷和救濟(jì)。本文正是由此出發(fā)，試圖探索刑事司法中運用算法推論的規(guī)制機(jī)制，以促進(jìn)算法推論合理性從而保障公民的合法權(quán)益。

一、概念區(qū)分：算法推論與算法決策

大數(shù)據(jù)分析和人工智能等新型數(shù)字技術(shù)在司法領(lǐng)域的一大應(yīng)用功能在于對個人的行為和偏好等進(jìn)行推斷和預(yù)測，進(jìn)而支撐甚至直接作出具有法律意義和效果的決策。在進(jìn)一步探討刑事司法中的算法推論問題之前，有必要對上述功能進(jìn)行細(xì)化分類，區(qū)分算法推論和基于算法的自動化決策。在廣義層面，凡是利用技術(shù)輔助或替代人工決策的活動均可以納入到算法決策的概念之下。例如，加拿大于2020年生效的《自動決策指令》（Directive on Automated Decision-Making）將自動化決策定義為“以任何技術(shù)協(xié)助或取代人類決策者的活動”。在狹義層面，自動化決策的核心則指向取代而非協(xié)助人工決策的情形。例如，歐盟通過的《通用數(shù)據(jù)保護(hù)條例》（General Data Protection Regulation，GDPR）中將自動化決策定義為“僅基于自動過程做出的決策”。其后，29條工作組（Article 29 Working Party）進(jìn)一步明確了“僅基于自動過程”的具體含義，即在決策過程中沒有任何有意義（meaningful）的人工參與；至于利用技術(shù)自動處理數(shù)據(jù)以評估自然人的特定屬性，GDPR將其定義為“畫像”（profiling）。1

如前所述，目前我國針對算法自動決策的法律規(guī)制主要體現(xiàn)在2021年《個人信息保護(hù)法》的相關(guān)條文之中。根據(jù)該法第73條，“自動化決策”是指“通過計算機(jī)程序自動分析、評估個人的行為習(xí)慣、興趣愛好或者經(jīng)濟(jì)、健康、信用狀況等，并進(jìn)行決策的活動”。這一定義事實上同時涵蓋了GDPR中“自動化決策”和“畫像”兩個概念，但是并未說明前半段的畫像活動與后半段的決策活動之前是相互獨立還是支撐關(guān)系。結(jié)合該法第24條關(guān)于自動化決策的具體規(guī)制思路可以看出，我國《個人信息保護(hù)法》在規(guī)制此類活動時，其重心仍然在于最終的決策部分，特別是對個人權(quán)益有重大影響的決策，一方面要保障決策的過程透明和結(jié)果公平公正，另一方面賦予相對人獲得解釋和拒絕自動化決策的權(quán)利。從這個角度來看，之所以將畫像與狹義自動化決策進(jìn)行聯(lián)合規(guī)定，在于狹義自動化決策本身不可避免地會基于畫像產(chǎn)生。但這一點反過來未必成立，即基于算法所形成的對于相對人特定特征的分析、標(biāo)識或推斷，并不必然最終導(dǎo)向自動化決策，而是可能僅僅作為標(biāo)識，或者僅僅作為人工決策或其他自動化決策系統(tǒng)的依據(jù)。換言之，二者盡管存在聯(lián)系，但在規(guī)制思路和重點、行為主體、涉及的自然人權(quán)益、救濟(jì)路徑等方面均存在較大差異?；诖?，本文所探討的算法推論僅指向前一階段，即，利用算法對自然人的特定個人特征進(jìn)行分析、畫像和評估的活動。

區(qū)分算法推論與算法決策的主要原因在于，相對于商業(yè)領(lǐng)域自動化決策的快速推進(jìn)，刑事司法對于算法運用的態(tài)度相對謹(jǐn)慎，新興數(shù)字技術(shù)的運用更多起到的是輔助作用而非替代人工決策。例如，上?！?06”系統(tǒng)的全稱即是“刑事案件智能輔助辦案系統(tǒng)”，其強(qiáng)調(diào)該系統(tǒng)的功能是“提示、指引”，是“為法官、檢察官、偵查人員配備‘智能辦案助手”，而非“機(jī)器辦案”。2這種避免由算法作出最終決策的機(jī)制是當(dāng)前算法規(guī)制的重要策略和工具之一，前述關(guān)于自動化決策的法律規(guī)定也往往通過引入人工決策作為矯正或救濟(jì)算法錯誤的主要方式。從這個角度講，刑事司法領(lǐng)域的算法運用盡管更為謹(jǐn)慎，但在背后的算法規(guī)制邏輯上與私領(lǐng)域并無二致。

由此，我們可以進(jìn)一步梳理出運用算法時由數(shù)據(jù)到?jīng)Q策的大致過程，該過程主要包含四個核心環(huán)節(jié)：數(shù)據(jù)收集、數(shù)據(jù)分析或挖掘、標(biāo)識或評價、決策。其中，數(shù)據(jù)收集是大數(shù)據(jù)分析、人工智能等技術(shù)的應(yīng)用前提；數(shù)據(jù)分析或挖掘旨在發(fā)現(xiàn)目標(biāo)對象的特定特征；標(biāo)識或評價是基于前一步驟的特征分析作出的，核心在于將機(jī)器語言轉(zhuǎn)化為社會語言、數(shù)字身份轉(zhuǎn)化為社會身份；決策步驟則直接作用于目標(biāo)對象并可能引發(fā)相應(yīng)的法律效果。在自動化決策的語境下，算法的應(yīng)用可能貫穿了上述四個環(huán)節(jié)，特別是在最終的決策環(huán)節(jié)發(fā)揮主導(dǎo)作用。而在算法推論的語境下，算法的運用停止在第三個環(huán)節(jié)即“標(biāo)識或評價”環(huán)節(jié)，其后的決策既可能由人工作出，亦可能由其他算法作出。

二、刑事司法中算法推論的主要場景

如前所述，刑事司法領(lǐng)域?qū)τ谒惴ǖ倪\用目前最多涉及到第三個環(huán)節(jié)，這也形成了在這一領(lǐng)域探討算法推論的獨特重要性。通過分析算法推論在刑事司法中應(yīng)用的主要場景，可以進(jìn)一步觀察到算法推論對于刑事司法決策的影響，以及該影響對控辯雙方關(guān)系乃至最終的司法公正形成的沖擊。當(dāng)前刑事司法中算法推論主要有三個運用場景：其一是作為大數(shù)據(jù)證據(jù)的證明機(jī)制，其二是作為社會危險性或再犯罪風(fēng)險的評估機(jī)制，其三是基于同案同判的裁判指引機(jī)制。

（一）場景一：大數(shù)據(jù)證據(jù)與證明

就算法推論支撐大數(shù)據(jù)證明這一場景而言，大數(shù)據(jù)分析本身與算法具有緊密聯(lián)系。以大數(shù)據(jù)分析為基礎(chǔ)的大數(shù)據(jù)證據(jù)并非刑事司法的最終裁判本身，卻是最為典型的以算法推論支撐決策的應(yīng)用場景。

近年來，多名學(xué)者對大數(shù)據(jù)證據(jù)進(jìn)行了系統(tǒng)且深入的研究，逐步明晰此類證據(jù)的概念、性質(zhì)、特征和規(guī)則。1劉品新將“大數(shù)據(jù)證據(jù)”定義為“基于海量電子數(shù)據(jù)形成的分析結(jié)果或報告”，并將其技術(shù)過程歸納為三個環(huán)節(jié)：第一是數(shù)據(jù)匯總和清洗，第二是建構(gòu)分析模型或算法，第三是運算形成分析結(jié)論。2元軼從大數(shù)據(jù)概念出發(fā)，認(rèn)為“大數(shù)據(jù)證據(jù)”應(yīng)當(dāng)由“大數(shù)據(jù)集”和“大數(shù)據(jù)算法結(jié)論”兩部分構(gòu)成，“算法結(jié)論”是大數(shù)據(jù)證據(jù)的客觀反映。3徐惠和李曉東則將大數(shù)據(jù)證據(jù)界定為“兼具證明案件事實材料和分析思維、方法、技術(shù)的綜合體”。從上述定義可以看出，在大數(shù)據(jù)證據(jù)的運用場景下，最終作為證據(jù)證明案件事實的并非數(shù)據(jù)本身，而主要是基于數(shù)據(jù)通過算法推論后形成的結(jié)論。

（二）場景二：風(fēng)險評估

刑事司法中算法推論的第二個主要應(yīng)用場景是社會危險性或再犯罪風(fēng)險評估。刑事訴訟從啟動到最終裁判，充斥著大量的針對犯罪嫌疑人、被告人、罪犯的危險性評估程序，4例如，在我國刑事訴訟程序中涉及此類評估的程序包括但不限于是否及采取何種強(qiáng)制措施、審查起訴決定、是否使用戒具、是否采取或解除強(qiáng)制醫(yī)療、未成年被指控人社會調(diào)查、社區(qū)矯正調(diào)查評估5、寬緩量刑6、減刑假釋等刑罰執(zhí)行決定7等。這類措施往往具有較強(qiáng)的保安處分性質(zhì)，是對犯罪嫌疑人、被告人或罪犯未來行為的評估和預(yù)測，但會切實地影響刑事司法權(quán)力機(jī)關(guān)的相關(guān)決策，并現(xiàn)實干預(yù)相對人的實體或程序權(quán)利。

鑒于預(yù)測本身即為大數(shù)據(jù)分析的核心功能，其與社會危險性或再犯風(fēng)險預(yù)測具有高度的契合性，因而可以看到算法在這一場景中的廣泛應(yīng)用。例如，有學(xué)者通過研究美國運用算法進(jìn)行危險性評估的實踐經(jīng)驗發(fā)現(xiàn)，算法運用于危險評估已經(jīng)貫穿預(yù)測警務(wù)、審前拘留、起訴、判決、刑罰執(zhí)行等各個環(huán)節(jié)。8

（三）場景三：裁判預(yù)測與指引

算法推論運用于刑事司法的第三個主要場景涉及到審判環(huán)節(jié)的裁判指引機(jī)制。與通過算法進(jìn)行危險性分析進(jìn)而影響個案量刑相比，裁判指引機(jī)制盡管影響的也是審判環(huán)節(jié)，但卻是對裁判行為而非被指控人或罪犯行為的預(yù)測，尤其典型地體現(xiàn)為類案推送、量刑建議、裁判預(yù)測等實踐應(yīng)用。此類算法應(yīng)用的實質(zhì)是試圖以算法模擬法官裁判，并以模擬的整體結(jié)果作為現(xiàn)實司法運行中裁判的參照。9

可以看出，這一場景是司法深度智能化的初步圖像和過渡階段，是諸如“AI法官”“電腦審判”“機(jī)器人法官”等概念的理想狀態(tài)在技術(shù)階段的現(xiàn)實運用。一方面，此種場景成為當(dāng)前眾多司法裁判算法應(yīng)用開發(fā)的重點領(lǐng)域之一，并且成為同案同判原則在新時代的適用探索；另一方面，這種階段性也將其實際功能限定于“輔助”層面。1也正是在這個意義上，現(xiàn)階段該場景只能納入算法推論而非算法決策的范圍。

三、算法推論的損害風(fēng)險及規(guī)制障礙

當(dāng)前關(guān)于算法的規(guī)制重心更多在于上文論及的四個環(huán)節(jié)中的首尾部分，而針對中間環(huán)節(jié)的制度關(guān)注則相對較弱。以我國剛剛出臺的《個人信息保護(hù)法》為例，可以看到其一方面著重強(qiáng)調(diào)數(shù)據(jù)收集過程中的知情同意和最少收集原則，強(qiáng)調(diào)在處理個人信息時保障其質(zhì)量；另一方面針對自動化決策設(shè)置了相應(yīng)的說明義務(wù)。但是針對由數(shù)據(jù)到?jīng)Q策的中間過程，特別是針對用以支撐人工決策的算法推論方式、質(zhì)量、評估和救濟(jì)機(jī)制等方面，本法并未涉及。問題在于，盡管當(dāng)前刑事司法領(lǐng)域算法的運用更多地停留在推論而非直接決策階段，但這并非意味著算法推論不會干預(yù)公民的基本權(quán)利，由此形成現(xiàn)實問題與保障機(jī)制之間的錯位。因此，在具體探討算法推論規(guī)制之前，需要認(rèn)識其對公民基本權(quán)利的干預(yù)風(fēng)險。

（一）算法推論的權(quán)益損害風(fēng)險

如前所述，算法推論的核心功能在于標(biāo)識和評價。由此出發(fā)，算法推論的質(zhì)量特別是錯誤標(biāo)識主要在以下兩個層面對公民基本權(quán)利形成不當(dāng)干預(yù)的風(fēng)險：其一是錯誤標(biāo)識本身對于平等保護(hù)原則的違反；其二是錯誤標(biāo)識可能引發(fā)的后續(xù)歧視性待遇對于社會生活秩序穩(wěn)定性的破壞。

第一個層面的風(fēng)險是基于法律平等保護(hù)的考量。平等保護(hù)是憲法規(guī)定的基本原則。1948年的《世界人權(quán)宣言》和1966年的《公民權(quán)利和政治權(quán)利國際公約》將其確立為國際社會公認(rèn)的基本原則；我國《憲法》第33條第2款規(guī)定，“中華人民共和國公民在法律面前一律平等”，這也是對平等保護(hù)原則的明確闡述。平等保護(hù)原則是對公民遭遇歧視性對待的反對，而歧視的基礎(chǔ)則是對相對人的不當(dāng)分類。在國家權(quán)力運行中，“分類”這一概念描述的是國家機(jī)關(guān)針對特定個體所屬群體進(jìn)行識別，并以該識別結(jié)果為基礎(chǔ)，對被識別的特定個體進(jìn)行權(quán)利或義務(wù)的分配。2

分類是否正當(dāng)，在實質(zhì)層面取決于其采用標(biāo)準(zhǔn)的適當(dāng)性，在形式層面取決于其是否與法律的明確規(guī)定相違背。就實質(zhì)正當(dāng)性而言，典型的例證是對特定識別標(biāo)準(zhǔn)的否定。例如，我國《憲法》第34條禁止以“民族、種族、性別、職業(yè)、家庭出身、宗教信仰、教育程度、財產(chǎn)狀況、居住期限”來限制或剝奪公民的選舉權(quán)和被選舉權(quán)。此時，分類標(biāo)準(zhǔn)是否正當(dāng)取決于國家權(quán)力運行的目的，分類標(biāo)準(zhǔn)需要以能夠?qū)崿F(xiàn)該目的為前提，這是比例原則適當(dāng)性要求的題中之義，也是《憲法》第34條以成年年齡作為選舉權(quán)和被選舉權(quán)權(quán)利主體劃分標(biāo)準(zhǔn)的正當(dāng)性基礎(chǔ)。就形式正當(dāng)性而言，主要關(guān)注的是與現(xiàn)有法律制度及相關(guān)概念的匹配度。對此，典型的反面例證是近些年引發(fā)廣泛熱議的美國再犯風(fēng)險預(yù)測系統(tǒng)CAMPUS，其中再次逮捕（rearrest）是該系統(tǒng)判斷再犯風(fēng)險的重要標(biāo)準(zhǔn)。但逮捕明顯與最終定罪并非同一法律概念，二者在事實和證據(jù)的確定性上相去甚遠(yuǎn)，這意味著被算法標(biāo)識為高再犯風(fēng)險的相對人很可能并未再次實施犯罪。3與之類似的是，近些年歐洲人權(quán)法院的一系列案件也牽涉到未被定罪人員的個人數(shù)據(jù)被存入罪犯數(shù)據(jù)庫或被標(biāo)識為罪犯的情形，法院認(rèn)為這種錯誤存留本身亦構(gòu)成對《歐洲人權(quán)公約》第8條的違反。4

近年來，算法歧視的問題已經(jīng)引起理論界和實務(wù)界的廣泛關(guān)注，1其運用于國家權(quán)力層面將直接與法律的平等保護(hù)原則形成沖突。需要看到的是，這種歧視不僅存在于算法決策的領(lǐng)域，同時也存在于輔助后續(xù)決策的算法推論領(lǐng)域。當(dāng)分類標(biāo)準(zhǔn)缺乏正當(dāng)性時，特別是在分類本身存在歧視的情況下，基于分類的標(biāo)識不可避免地會產(chǎn)生偏差乃至錯誤，進(jìn)而影響后續(xù)的決策正當(dāng)性。

第二個層面的風(fēng)險關(guān)注的是法律所保護(hù)的社會生活秩序的穩(wěn)定性。如果說平等保護(hù)問題關(guān)注的是錯誤標(biāo)識行為本身，那么，社會生活秩序的穩(wěn)定性則關(guān)注的是錯誤標(biāo)識的潛在后果。算法推論與算法決策的重要區(qū)別在于，前者并不直接導(dǎo)向?qū)窕緳?quán)利的現(xiàn)實干預(yù)。但是基于算法推論的識別和評價本身預(yù)示著未來形成決策的可能性，特別是在形成負(fù)面標(biāo)識的情況下。因為這意味著相對人的正常生活和相關(guān)權(quán)益未來遭受干預(yù)的現(xiàn)實風(fēng)險，進(jìn)而對法律所保護(hù)的社會生活秩序的穩(wěn)定性產(chǎn)生負(fù)面影響。例如在2011年歐洲人權(quán)法院審理的Dimitrov-Kazakov v. Bulgaria案2中，申請人因一起強(qiáng)奸案被警方訊問，盡管之后其未被起訴，但在警方記錄系統(tǒng)中被標(biāo)識為“強(qiáng)奸犯”。因為該標(biāo)識，申請人之后在一系列涉及強(qiáng)奸或少女失蹤案件中被警方反復(fù)盤問，其日常生活受到嚴(yán)重擾亂。歐洲人權(quán)法院最終認(rèn)定該標(biāo)識違反了《歐洲人權(quán)公約》第8條對私人生活的保護(hù)。

近年來，國際層面逐漸開始產(chǎn)生此類爭議案件，典型的情形是通過算法將特定人員標(biāo)識為潛在罪犯。例如，2021年美國最高法院審理的TransUnion LLC v. Ramirez案。3該案中，征信巨頭TransUnion錯誤地將8185人標(biāo)識為潛在恐怖分子和販毒分子，并將其中1853人的此類信息提供給第三方機(jī)構(gòu)，以便后者進(jìn)行信用評價，作出是否雇傭等決定。該案的表層爭點是集團(tuán)訴訟的當(dāng)事人資格問題，背后的核心焦點在于錯誤標(biāo)識本身是否構(gòu)成對公民權(quán)利的“實質(zhì)損害”（concrete harm）。盡管法院在本案中作出了否定評價，并據(jù)此否定了標(biāo)識信息未被使用的人員的當(dāng)事人地位，但5：4的票數(shù)比也反映出爭議的激烈程度。所以，有學(xué)者提出，是否侵犯隱私權(quán)不應(yīng)當(dāng)以傳統(tǒng)的“實質(zhì)損害”為標(biāo)準(zhǔn)。4

我國當(dāng)前關(guān)于刑事司法領(lǐng)域錯誤標(biāo)識的相關(guān)研究和報道相對稀缺，但是現(xiàn)實中已然暴露出采用不合理標(biāo)簽的現(xiàn)象，例如，2019年湖南湘潭市發(fā)生的將失獨家庭列入“掃黑除惡重點監(jiān)管對象”的事件就引發(fā)了廣泛的輿論爭議。5可以預(yù)想的是，如果將類似“失獨”的指標(biāo)納入到犯罪風(fēng)險預(yù)測模型中去，不僅會擾亂風(fēng)險預(yù)測本身，而且這一錯誤標(biāo)簽會借由算法黑箱而難以被察覺和規(guī)制，由此形成規(guī)制障礙問題。

（二）算法推論的規(guī)制障礙

算法推論盡管區(qū)別于最終決策，但并非與公民的基本權(quán)利無涉。其不僅可能直接影響甚至決定后續(xù)決策的質(zhì)量，同時，標(biāo)識本身就足以干擾相對人日常生活的穩(wěn)定性。鑒于刑事司法活動的高強(qiáng)制性和刑罰權(quán)的高嚴(yán)厲性，算法推論之于相對人的權(quán)益干預(yù)將更為嚴(yán)重。如前所述，在由數(shù)據(jù)收集到最終決策的四個階段中，當(dāng)前立法主要關(guān)注的是首尾部分，中間涉及算法推論的部分則缺少必要的規(guī)則建設(shè)。這一點在司法實踐中也有所體現(xiàn)，例如，在2020年的攜程酒店大數(shù)據(jù)殺熟案件中，盡管媒體熱議的是“殺熟”行為，但最終裁判的重點主要集中于非必要數(shù)據(jù)收集以及虛假宣傳、價格欺詐兩個事項。前者指向的是數(shù)據(jù)收集環(huán)節(jié)，后者指向的是最終價格決策的正當(dāng)性。事實上并沒有真正涉及算法的評估問題。1這種現(xiàn)象背后的成因主要涉及兩個方面：一是損害結(jié)果的非顯性；二是過程的不透明性。

就損害結(jié)果的非顯性而言，這一點從上文提及的TransUnion案中已經(jīng)可以看出。具體來講，這種非顯性主要表現(xiàn)在兩個方面：其一在于算法推論的損害往往是無形權(quán)益，不僅使得權(quán)利主體難以及時和充分察覺損害的發(fā)生，同時也使得該損害結(jié)果難以在具體案件中進(jìn)行審查和衡量；其二在于算法推論損害后果的非即時性，即所形成的不利后果之一是一種未來因相關(guān)決策而遭受實質(zhì)侵害的風(fēng)險，是對未來損害的預(yù)期，而非案發(fā)時已經(jīng)產(chǎn)生的損害結(jié)果。

就推論過程的不透明性而言，這是近年來算法普受詬病的共性之處，其核心在于將算法運行過程描述為難以從外部進(jìn)行觀察、評估和控制的“黑箱”（blackbox）。這種不透明性使得算法推論的規(guī)制存在三個層面的障礙：第一，難以在事前認(rèn)定算法本身包含偏見或歧視，更多地只能依賴實際不利決策發(fā)生后的結(jié)果評價；第二，即便能夠認(rèn)定推論本身存在偏見或歧視，由于干預(yù)因素或參與主體的多元性，難以有效地進(jìn)行責(zé)任認(rèn)定，特別是難以將責(zé)任歸于算法本身；2第三，權(quán)益主體難以有效地對上述情形的存在以及與損害的因果關(guān)系舉證和證明，進(jìn)而加大了事后救濟(jì)的難度。

四、刑事訴訟的應(yīng)對：獲得合理推論的權(quán)利

回歸到刑事司法的語境下，算法推論引發(fā)的權(quán)利損害風(fēng)險更為嚴(yán)重和棘手。一方面，算法推論可能轉(zhuǎn)化為強(qiáng)制措施、具體偵查措施、案件事實認(rèn)定以及刑罰執(zhí)行的主要依據(jù)，從而形成對相對人特別是犯罪嫌疑人、被告人和罪犯權(quán)益的重大減損；另一方面，刑事訴訟中固有的控辯能力差異會借由算法推論的規(guī)制障礙而被進(jìn)一步放大，從而實質(zhì)性損及辯方獲得有效辯護(hù)的權(quán)利。3對此，刑事訴訟制度需要對算法推論的損害風(fēng)險予以充分認(rèn)知，在此基礎(chǔ)上針對相對人的數(shù)字劣勢，通過賦予其獲得合理推論的權(quán)利，并為決策機(jī)關(guān)設(shè)置對應(yīng)的訴訟義務(wù)，從而最大限度確保算法推論的正當(dāng)性和合理性。

刑事訴訟中獲得合理推論權(quán)的核心在于確保算法推論的合理性。其權(quán)利主體指向的是因算法推論而導(dǎo)致基本權(quán)益遭受減損或面臨減損風(fēng)險等不利后果的訴訟參與人，其中又以犯罪嫌疑人、被告人為主要關(guān)注對象。獲得合理推論權(quán)的要素既包含程序的合理性，又包含實體的合理性。就前者而言，規(guī)制算法推論的首要思路仍然在于盡可能確保推論過程的透明可見，這不僅是后續(xù)審查的基礎(chǔ)，同時也是相對人進(jìn)行權(quán)利救濟(jì)的前提。就后者而言，其一方面取決于算法推論所依賴的技術(shù)和數(shù)據(jù)的可靠性、完整性、準(zhǔn)確性，另一方面也取決于對推論本身合理性的及時、有效的識別、矯正及救濟(jì)。

之所以強(qiáng)調(diào)程序和實體兩個層面的合理性，其原因在于單純的程序?qū)用娴囊?guī)制盡管易于實現(xiàn)，但也容易將權(quán)利保障這一目的異化為程序合規(guī)本身。而這正是Lauren B. Edelman所描述的“符號結(jié)構(gòu)驅(qū)動”（mobilization of symbolic structures）現(xiàn)象，即通過采用符號、流程、程序、政策等方式使合規(guī)標(biāo)準(zhǔn)（compliance metric）取代法律程序，進(jìn)而使得法律原先設(shè)定的實質(zhì)目標(biāo)無法達(dá)成。4也正是在這個意義上，在規(guī)制算法推論應(yīng)用的過程中需要采取的是實質(zhì)正當(dāng)程序（substantive due process）的視角，5將重心放在“發(fā)生了什么”而非“怎么發(fā)生”之上。6這種視角的轉(zhuǎn)變意味著當(dāng)算法推論運用于輔助刑事司法決策時，我們不僅需要關(guān)注推論如何做出，即算法推論過程本身的可解釋性問題，同時也更需要關(guān)注算法推論如何作用于最終決策。上述目標(biāo)不僅取決于算法規(guī)制的整體規(guī)制體系，也取決于個案訴訟程序中的保障機(jī)制。

（一）合理推論權(quán)的系統(tǒng)保障

借用Margot Kaminski關(guān)于人工智能可歸責(zé)性的理論框架，1算法推論合理性的保障主要涉及三個層面：一是針對推論背后算法自身的技術(shù)規(guī)制；二是針對與該算法開發(fā)、評測、認(rèn)證、運行等相關(guān)的主體的規(guī)制；三是對算法推論應(yīng)用主體的規(guī)制。當(dāng)前數(shù)據(jù)立法更多關(guān)注的是第一個層面，即強(qiáng)調(diào)算法背后技術(shù)原理的可靠性，對于算法可解釋性的要求也主要指向的是這一點。但是，技術(shù)的可靠性并不等同于技術(shù)應(yīng)用的合理性。作為一種價值判斷，后者在前者的基礎(chǔ)上更依賴于對技術(shù)運用中的人的規(guī)制，由此形成算法推論系統(tǒng)保障的后兩個層面。

就算法開發(fā)、運行、評測相關(guān)主體的規(guī)制而言，其核心關(guān)注的是算法形成過程中的倫理嵌入。例如，隱私設(shè)計（privacy by design）等概念的提出體現(xiàn)的即是這一要求。當(dāng)涉及到倫理問題，就意味著相關(guān)算法規(guī)制機(jī)制需要與特定應(yīng)用場景相契合。一方面，算法開發(fā)、運行、評測等活動應(yīng)當(dāng)有熟悉該特定場景的專業(yè)人員參與，這進(jìn)一步意味著需要設(shè)置相應(yīng)的主體資質(zhì)門檻；另一方面，相關(guān)活動應(yīng)當(dāng)在實質(zhì)性上與該特定場景的價值、原則、概念和規(guī)則相契合。

具體到刑事訴訟場景，這一層面的規(guī)制應(yīng)當(dāng)至少包含以下三方面內(nèi)容：第一是參考隱私設(shè)計的整體思路。在算法開發(fā)中嵌入“數(shù)字無罪”理念，將“未經(jīng)法院判決不得認(rèn)定有罪”的原則貫穿算法開發(fā)始終，一方面，需要關(guān)注模型開發(fā)過程中對于有利于辯方的指標(biāo)的探索，特別是增加數(shù)據(jù)與技術(shù)中立性的審查標(biāo)準(zhǔn)，同時形成辯方視角下的電子證據(jù)評估方法；另一方面，在計算結(jié)果存疑時做有利于辯方的解釋。第二是針對刑事訴訟程序設(shè)置類似于司法鑒定的算法技術(shù)開發(fā)資質(zhì)。其目的在于形成具體行業(yè)標(biāo)準(zhǔn)與規(guī)范以適應(yīng)本場景中算法推論的專業(yè)性要求，同時為事后相應(yīng)法律責(zé)任的分配提供依據(jù)。第三是圍繞該資質(zhì)形成定期的算法更新、評測、審查機(jī)制，以確保算法開發(fā)、運行過程中存在的錯誤、偏見或歧視等缺陷能夠被及時發(fā)現(xiàn)和矯正。2

就算法推論的應(yīng)用主體而言，其主要指向的是依靠算法推論進(jìn)行最終決策的刑事司法權(quán)力機(jī)關(guān)。對此類主體加以規(guī)制的目的在于，鑒于當(dāng)前階段刑事司法對于算法應(yīng)用所保有的必要的謹(jǐn)慎態(tài)度，這種謹(jǐn)慎應(yīng)當(dāng)反映在整體規(guī)制體系的設(shè)計之中。首先，算法推論的應(yīng)用應(yīng)當(dāng)以必要性和比例原則為框架，保證其適用符合實質(zhì)正當(dāng)程序的要求。其次，應(yīng)當(dāng)在刑事訴訟制度中建立起應(yīng)用算法推論的明確的法律依據(jù)，劃定算法推論的適用情形、范圍和條件。再次，原則上應(yīng)當(dāng)存在其他實質(zhì)性依據(jù)以支持決策，特別是在相關(guān)決策可能嚴(yán)重限制或剝奪公民人身和財產(chǎn)權(quán)利的情況下，應(yīng)當(dāng)禁止以算法推論作為決策的唯一實質(zhì)性依據(jù)。最后，建立算法推論應(yīng)用的司法審查機(jī)制，強(qiáng)化刑事司法的程序監(jiān)督與制約。

（二）合理推論權(quán)的個案保障

合理推論權(quán)的系統(tǒng)保障在于盡可能在事前建立起相關(guān)機(jī)制，并相應(yīng)地預(yù)防和降低算法推論在后續(xù)應(yīng)用中的錯誤風(fēng)險。但系統(tǒng)保障不足以避免算法推論在個案中的誤用，因此，合理推論權(quán)仍然需要進(jìn)一步在具體案件的訴訟程序中予以落實。考慮到算法推論相對人往往居于訴訟中的弱勢地位，特別是犯罪嫌疑人、被告人，其與控方的力量差異是刑事訴訟的基本假設(shè)，因此需要強(qiáng)化國家積極保護(hù)義務(wù)。

首先，合理推論權(quán)以相對人的知情權(quán)保障為前提，也是其獲得救濟(jì)的基礎(chǔ)。在依據(jù)算法推論進(jìn)行決策的情形中，應(yīng)當(dāng)強(qiáng)調(diào)決策者的告知義務(wù)。原則上，刑事司法機(jī)關(guān)基于算法推論作出不利于辯方的決策時，應(yīng)當(dāng)承擔(dān)告知義務(wù)?？紤]到前文論及的算法推論損害后果的非顯性和非即時性等特征，告知的啟動不以相對人申請為前提，而是需要由決策機(jī)關(guān)主動履行。在告知可能妨礙訴訟順利進(jìn)行時，立法可以允許對告知進(jìn)行限制，典型的情形是在偵查階段告知可能妨礙偵查。但是這種限制需要有明確的法律授權(quán)，同時需要分層級、分場景進(jìn)行階梯設(shè)置。

其次，合理推論權(quán)的核心在于評價推論的合理性。鑒于相對人的技術(shù)能力弱勢，合理性的判斷對應(yīng)的是決策機(jī)關(guān)的釋明義務(wù)，即刑事司法權(quán)力機(jī)關(guān)應(yīng)當(dāng)對利用算法推論推進(jìn)刑事訴訟程序、作出決定等承擔(dān)前置的說明義務(wù)，這種說明義務(wù)的啟動既可以依職權(quán)又可以依申請。但在以其作為剝奪人身自由決定、措施或判決的依據(jù)時，原則上應(yīng)當(dāng)將推論說明設(shè)置為法定義務(wù)。其他情況下，該項義務(wù)可以基于申請而啟動。

再次，合理推論權(quán)的重要功能之一在于平衡控辯雙方的數(shù)字能力差異。由此，我們提出以下兩個方面的制度設(shè)計。第一，針對上文論及的系統(tǒng)保障機(jī)制，應(yīng)當(dāng)明確其違反足以構(gòu)成相對人質(zhì)疑算法推論合理性并啟動相應(yīng)救濟(jì)程序的充分依據(jù)。此時，關(guān)于算法推論合理性的證明義務(wù)轉(zhuǎn)移至決策方。第二，基于控辯平等武裝原則的基本要求，有必要強(qiáng)化有專門知識背景的人員積極參與庭審并對算法推論的技術(shù)原理進(jìn)行解釋和評估的制度設(shè)計，并且針對嚴(yán)重干預(yù)公民基本權(quán)利的算法推論強(qiáng)制要求專家參與庭審。

最后，合理推論權(quán)的實現(xiàn)依賴于救濟(jì)機(jī)制，其重心在于對推論可解釋性的檢驗，以及在檢驗不能的情況下對該推論的法律效力的重新認(rèn)定。就可解釋性的檢驗而言，一方面意味著多模型下推論結(jié)果的可重復(fù)，另一方面意味著不可重復(fù)情況下的算法說明。通過多種算法模型形成的推論不一致時，針對可能嚴(yán)重干預(yù)甚至剝奪公民人身權(quán)、財產(chǎn)權(quán)的措施，從保障人權(quán)的角度出發(fā)，應(yīng)選取最有利于被指控人的解釋。就無法通過類似模型復(fù)檢的情形而言，對于使用第三方技術(shù)形成的算法推論，一則應(yīng)建立特定類型犯罪中的算法強(qiáng)制披露義務(wù)，該義務(wù)應(yīng)當(dāng)嵌入上文提及的刑事司法算法開發(fā)主體資質(zhì)和行業(yè)規(guī)范之中；二則應(yīng)當(dāng)建立起第三方技術(shù)人員的出庭說明義務(wù)，主要適用于控辯雙方對推論的合理性存在爭議，但無法通過算法本身進(jìn)行外部評價，并且所涉事項對于定罪和量刑具有重要意義的情形。

五、結(jié) 論

在網(wǎng)絡(luò)信息時代，社會治理的各個領(lǐng)域可能面臨一些共同的挑戰(zhàn)，算法治理便是其中的典型。不同場景中算法的具體運用方式、程度均存在差異，算法治理所要達(dá)到的目的亦存在差異。因此，算法規(guī)制的探討不僅要著眼于宏觀層面，還應(yīng)結(jié)合具體場景的具體需要。在當(dāng)前刑事司法的場景中，算法的應(yīng)用尚未進(jìn)展到?jīng)Q策階段，但并不意味著對其進(jìn)行規(guī)制的緊迫性更低。相反，恰恰因為算法更多地以推論的形式隱藏于最終決策之后，在可能嚴(yán)重干預(yù)乃至減損公民基本權(quán)利時，其危害性反而不易察覺，規(guī)制難度反而更高。對此，算法治理的相關(guān)研究需要關(guān)注到刑事司法領(lǐng)域的特殊性，同時刑事司法研究和制度建設(shè)也需要對當(dāng)前廣泛運用的算法推論予以及時回應(yīng)。在這一過程中，國家刑罰權(quán)的高度強(qiáng)制性和嚴(yán)厲性使得形式意義上的正當(dāng)程序已經(jīng)難以滿足需求，算法推論的規(guī)制不能僅僅停留在可解釋性上，而是要進(jìn)入到實質(zhì)性與合理性的判斷層面。這種合理性不僅僅是案件真實的需要，更是刑事訴訟運行中相對人重要權(quán)利得到有效保障的需要，是實質(zhì)正當(dāng)程序的題中應(yīng)有之義。

責(zé)任編輯：張昌輝