內(nèi)容提要：人工智能通常被想象為替代人類的技術(shù)，在法律領域，機器人法官、機器人律師往往引發(fā)人們的擔憂，尤其是生成式人工智能的突破性發(fā)展造成了新一輪“機器取代人”焦慮。但人機共生和人機交互才是現(xiàn)在和未來的普遍現(xiàn)象。從人機交互入手，圍繞“人在回路”原則來發(fā)展相關(guān)規(guī)則，才能對人工智能的風險和實際損害進行有效防控和救濟，并充分利用技術(shù)來輔助和強化包括法律工作在內(nèi)的人類工作，使人工智能服務于增益人類福祉的目的。

關(guān)鍵詞：人工智能 法律 人機交互 人在回路

人工智能已經(jīng)成為我們所處時代的通用技術(shù)。所謂通用技術(shù)，是指其用途不止限于一個特定領域，而是可以被用到多個領域（包括人類尚未想到的領域）的技術(shù)。這種技術(shù)必定會影響和改變包括生產(chǎn)關(guān)系在內(nèi)的社會關(guān)系，而社會關(guān)系的改變又會帶來法律關(guān)系上的變化，這種變化中有些可以通過現(xiàn)有法律規(guī)則的解釋和續(xù)造來吸納，有些則需要立法層面的創(chuàng)新。同時，正如電力、通訊和先前的計算機技術(shù)一樣，作為通用技術(shù)的人工智能也正在改變法律職業(yè)自身的工作形態(tài)?，F(xiàn)有的討論大多聚焦于“替代”，即人工智能會不會替代律師、公司法務和法官、檢察官的工作。但現(xiàn)實和可預見的未來的普遍情況是“輔助”“賦能”和“強化”。無論是思考如何用法律規(guī)范人工智能技術(shù)的應用和發(fā)展（算法的法律），還是討論如何用人工智能賦能法律的制定、解釋和實施（法律的算法），參見鄭戈：《算法的法律與法律的算法》，載《中國法律評論》2018年第2期，第66～85頁。我們所要面對的一個基本事實都是數(shù)字化社會中普遍存在的人機交互現(xiàn)象。一方面，法律需要在人機交互場景中保護人的尊嚴和權(quán)利，防止各種小程序和電商平臺過度采集和濫用個人信息，在算法操縱的線上世界支持人的主體性；另一方面，法律自身的運行場景也日益數(shù)字化和智能化，人機交互成為法律人日常工作的基本特征。智慧立法、智慧政務、智慧法院、智慧檢務、智慧公安等概念中的“智慧”都不是指人類智慧，而是指人工智能?？梢哉f，人機交互是當下乃至可預見的未來法律工作的主要形態(tài)；人工智能不會取代法律人，但會改變法律人的工作方式；機器不會替代人，但會使用機器的人將取代不會使用機器的人；利用技術(shù)強化自己的專業(yè)能力，對法律人而言十分重要。

本文以人機交互這一數(shù)字社會的普遍現(xiàn)象作為切入點，分析在算法的法律和法律的算法兩個維度上如何通過適當?shù)囊?guī)則和制度設計來發(fā)展以人為本的人工智能（Human-centered AI），從而使技術(shù)服務于人類的美善生活。

一、人工智能的概念和類型

從人工智能的概念入手是為了凸顯出本文的基本線索，即人機交互和以人為本的人工智能設計原則。人工智能并沒有統(tǒng)一的定義。軟件工程師群體中流行一個笑話：“人工智能是指計算機現(xiàn)在還做不到的事情。如果它做到了，我們就不叫它人工智能，而叫計算機科學?！边@個笑話其實透露出一個非常專業(yè)的判斷：人工智能實際上就是我們過去一直稱之為計算機科學的那個專業(yè)，它是該專業(yè)的前沿部分，旨在突破現(xiàn)有的邊界，讓計算機能夠做之前做不到的事情。人工智能領域的一部影響力廣泛的教材總結(jié)了四種定義人工智能的方式：像人一樣思考的機器；像人一樣行動的機器；理性思考的機器；理性行動的機器。Stuart Russell， amp; Peter Norvig， Artificial Intelligence： A Modern Approach， Upper Saddle River， New Jersey： Pearson Education Limited， 2016，p.1.這種分類基本上能夠概括目前常見的人工智能定義（見表1）。

人工智能這一概念最早出現(xiàn)于達特茅斯會議的企劃書中。1955年8月，數(shù)學家約翰·麥卡錫、計算機與認知科學家馬文·明斯基、IBM系統(tǒng)設計師納薩尼爾·羅切斯特和信息論創(chuàng)始人克勞德·香農(nóng)在一起商議次年舉辦一次暑期研討班。研討班的主旨在會議策劃書中得到明確表述：“我們提議1956年暑期在新罕布什爾州漢諾威城的達特茅斯學院舉辦一場為期兩月、十人參加的研討會。本次研討會將以這樣一個猜想為基礎而展開：學習的每一環(huán)節(jié)及智力的其他方面原則上都可以得到如此準確的描述，以至我們可以制造出一臺機器對其進行模擬。我們將嘗試發(fā)現(xiàn)如何讓機器使用語言、提出抽象命題和概念、解決某些目前留給人類去解決的難題及實現(xiàn)自我改進。我們認為，只要一群經(jīng)過精挑細選的科學家在一起工作一個夏天，我們在這些方面就可以取得一項或多項重大進展?！盝ohn McCarthy，Marvin Minsky，Nathaniel Rochester and Claude Shannon，A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence（31 August 1955），p.1.在會議邀請函中，“人工智能”（Artificial Intelligence）這一概念正式誕生。由此可見，人工智能從一開始就是一群志同道合的科學家和工程師有意追求的事業(yè)，其目的是讓機器能夠?qū)W習并完成人類需要運用智能來完成的任務，是對傳統(tǒng)編程模式的革新。人工智能的核心技術(shù)是機器學習，其商業(yè)應用被稱為預測性分析（predictive analytics）。但這一事業(yè)并非一帆風順，中間經(jīng)歷了數(shù)次“寒冬”，直到最近幾年才開始得到小圈子之外的普羅大眾的關(guān)注，并被認為是“第四次工業(yè)革命”的核心技術(shù)，具有徹底改變?nèi)祟惿嫣幘车臐撡|(zhì)。

造成人工智能這座蟄伏已久的火山突然噴發(fā)的原因是經(jīng)濟形態(tài)和技術(shù)雙重變革的合力。一方面，互聯(lián)網(wǎng)平臺經(jīng)濟成為當代經(jīng)濟的主流，谷歌、百度、亞馬遜、阿里巴巴、臉書、騰訊已經(jīng)取代通用電氣等制造業(yè)巨頭成為新時代的商業(yè)霸主，大量的交易在線上而不是線下完成。從可穿戴設備到家用電器都已智能化和聯(lián)網(wǎng)化，使互聯(lián)網(wǎng)升格為物聯(lián)網(wǎng)，人們的線上和線下生活日漸融為一體，越來越多的人成為傳感器測量和監(jiān)督下的“量化自我”，每時每刻都生成著大量可供分析和產(chǎn)品化的數(shù)據(jù)，成為“泛在計算”（pervasive computing或ubiquitous computing）的追蹤和分析對象。James Hendler and Alice M. Mulvehill，Social Machines：The Coming Collision of Artificial Intelligence，Social Networking and Humanity，APress，2016，p.153.另一方面，英特爾創(chuàng)始人之一戈登·摩爾所提出的“集成電路上可容納的晶體管數(shù)量每18～24個月就會翻倍”See Arnold Thackray，David C. Brock，and Rachel Jones，Moores Law：The Life of Gordon Moore，Silicon Valleys Quiet Revolutionary. New York：Basic Books，2015.這一定律不僅應驗了，而且在計算機算力和存儲能力方面都得到體現(xiàn)，使得海量數(shù)據(jù)得以低成本存儲處理，為機器學習提供了豐富的資源。大數(shù)據(jù)是人工智能的燃料，應用編程界面（API）是人工智能的引擎，再加上商業(yè)應用的巨大獲利機會，共同推動著人工智能的蓬勃發(fā)展。

與以往的“非智能”工具相比，人工智能技術(shù)的最大特點在于它的“學習”能力。學習在這里有著特殊的含義，用人工智能技術(shù)的理論奠基者之一、圖靈獎和諾貝爾經(jīng)濟學獎得主司馬賀的話來說：“學習是一個系統(tǒng)中的任何導致該系統(tǒng)適應環(huán)境的能力發(fā)生或大或小的永久改變的變化?！盚erbert A. Simon，The Science of the Artificial，MIT Press，2019，p.100.人工智能學習的素材是人類的行為數(shù)據(jù)和文本、音視頻等內(nèi)容數(shù)據(jù)，通過學習，它能夠分析和預測人類行為（分析式人工智能），也能夠生成新的內(nèi)容（生成式人工智能）。也就是說，它能夠在與人類進行交互的過程中提升自己的能力，能夠發(fā)現(xiàn)海量人類行為數(shù)據(jù)和內(nèi)容數(shù)據(jù)中潛藏的范式和規(guī)律，并基于此來誘導人類行為，生成讓人會誤以為是人類創(chuàng)作的內(nèi)容。這種“活的”或“智能化”的工具是人類以往沒有使用過的，也使得人機交互變成了真正的“互動”。也正是因為它的這個特點，從人機交互的界面設計、過程治理和結(jié)果控制入手來規(guī)制人工智能技術(shù)的應用變得十分重要。遺憾的是，現(xiàn)有的涉及包括人工智能在內(nèi)的數(shù)字科技的法律規(guī)則仍然是將人和物（工具）分開來進行考量，一部分規(guī)則從技術(shù)對人的影響入手，側(cè)重保護人的權(quán)利（比如，隱私權(quán)和個人信息權(quán)益）；另一部分強調(diào)人對技術(shù)的控制（平臺責任中的專人負責規(guī)則），而缺乏對人機交互作為一種系統(tǒng)性存在的考量和規(guī)制。

人工智能技術(shù)及其商業(yè)應用涉及算力、算法和數(shù)據(jù)三大要素，分別對應于網(wǎng)絡架構(gòu)中的物理層、邏輯層（或軟件層）和內(nèi)容層。我國目前已經(jīng)制定了針對每一要素的法律規(guī)范。比如，針對算力的《網(wǎng)絡安全法》和《關(guān)鍵信息基礎設施安全保護條例》，針對算法的《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》和正在起草的《生成式人工智能服務管理辦法》，針對數(shù)據(jù)（內(nèi)容）的《民法典》人格權(quán)編相關(guān)條款、《個人信息保護法》《數(shù)據(jù)安全法》《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》等。其中只有《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》超越了“人—物”二分的思維框架，從生態(tài)和架構(gòu)的角度入手，對人機交互界面的設計提出了要求。比如，其第9條規(guī)定：“網(wǎng)絡信息內(nèi)容服務平臺應當建立網(wǎng)絡信息內(nèi)容生態(tài)治理機制，制定本平臺網(wǎng)絡信息內(nèi)容生態(tài)治理細則，健全用戶注冊、賬號管理、信息發(fā)布審核、跟帖評論審核、版面頁面生態(tài)管理、實時巡查、應急處置和網(wǎng)絡謠言、黑色產(chǎn)業(yè)鏈信息處置等制度?！?/p>

對現(xiàn)有的規(guī)范性文件進行梳理，我們可以發(fā)現(xiàn)，從人工智能的概念到人工智能（機器學習算法）的類型都已經(jīng)有了相對明確的法律界定（見表2）。

在上述分類中，深度合成技術(shù)其實可以并入生成式人工智能之中，是生成式人工智能之下的一種子類型，這一點在《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》第23條的列舉中體現(xiàn)得十分明顯，深度合成技術(shù)包括但不限于：（1）篇章生成、文本風格轉(zhuǎn)換、問答對話等生成或者編輯文本內(nèi)容的技術(shù)；（2）文本轉(zhuǎn)語音、語音轉(zhuǎn)換、語音屬性編輯等生成或者編輯語音內(nèi)容的技術(shù)；（3）音樂生成、場景聲編輯等生成或者編輯非語音內(nèi)容的技術(shù)；（4）人臉生成、人臉替換、人物屬性編輯、人臉操控、姿態(tài)操控等生成或者編輯圖像、視頻內(nèi)容中生物特征的技術(shù)；（5）圖像生成、圖像增強、圖像修復等生成或者編輯圖像、視頻內(nèi)容中非生物特征的技術(shù)；（6）三維重建、數(shù)字仿真等生成或者編輯數(shù)字人物、虛擬場景的技術(shù)。也就是說，早在ChatGPT等大型語言模型引爆生成式人工智能熱潮之前，我國已經(jīng)有了這個領域的法律規(guī)則。

二、回應人機交互問題的法律原則：人在回路

所謂人在回路，即英文中的humanintheloop（HITL），是指在機器學習、自動駕駛、自動化武器及自動化決策等人工智能運用場景中要求人類的介入。也就是說，即使從技術(shù)上講，機器已經(jīng)可以自動化地完成所有的感知、決策和執(zhí)行過程，從人本主義的角度出發(fā)，仍然需要人作為機器決策的把關(guān)者。盡管不一定明確使用“人在回路”這個術(shù)語，但要求有人來監(jiān)管和介入人工智能的自動化決策卻是體現(xiàn)在世界各國相關(guān)立法中的普遍原則，以至有學者提出了“人在回路權(quán)”這一概念，認為它是數(shù)字社會中人的基本權(quán)利之一。Meg Leta Jones，The Right to a Human in the Loop： Political Constructions of Computer Automation and Personhood， 47 Social Studies of Science 216， 224 （2017）.法律中體現(xiàn)“人在回路”原則的規(guī)則設計被內(nèi)化為工程設計中的基本原則，催生了“關(guān)注人類因素的工程設計”（Human Factors Engineering，HFE），以及研究特定工程設計之用戶體驗或?qū)θ祟愑脩糁绊懙墓ばW（Ergonomics）。Gavriel Salvendy and Waldemar Karwowski， Handbook of Human Factors and Ergonomics，Wiley，2021.

我國體現(xiàn)“人在回路”原則的法律規(guī)則依循的是傳統(tǒng)的“讓人來負責”的思路。比如，《網(wǎng)絡安全法》第21條要求網(wǎng)絡運營者確定網(wǎng)絡安全負責人；《個人信息保護法》第52條要求處理個人信息達到國家網(wǎng)信部門規(guī)定數(shù)量的個人信息處理者指定個人信息保護負責人；《關(guān)鍵信息基礎設施安全保護條例》第14條要求關(guān)鍵信息基礎設施運營者設置專門安全管理機構(gòu)，該機構(gòu)的負責人和關(guān)鍵崗位人員要經(jīng)過安全背景審查方可上崗；《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》第9條要求網(wǎng)絡信息內(nèi)容服務平臺設立網(wǎng)絡信息內(nèi)容生態(tài)治理負責人，配備與業(yè)務范圍和服務規(guī)模相適應的專業(yè)人員，加強培訓考核，提升從業(yè)人員素質(zhì)；《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》第7條要求算法推薦服務提供者落實算法安全主體責任，配備與算法推薦服務規(guī)模相適應的專業(yè)人員和技術(shù)支撐。在個人用戶權(quán)益保護方面，“人在回路”原則體現(xiàn)為要求運營者、數(shù)據(jù)處理者或服務提供者在算法設計上要強化用戶的主體意識和選擇權(quán)，把人帶進算法的閉環(huán)，讓用戶能夠自主決策是否接受算法推薦或個性化內(nèi)容，比如，《電子商務法》第18條規(guī)定，“電子商務經(jīng)營者根據(jù)消費者的興趣愛好、消費習慣等特征向其提供商品或者服務的搜索結(jié)果的，應當同時向該消費者提供不針對其個人特征的選項，尊重和平等保護消費者合法權(quán)益”；《個人信息保護法》第24條第2款規(guī)定，“通過自動化決策方式向個人進行信息推送、商業(yè)營銷，應當同時提供不針對其個人特征的選項，或者向個人提供便捷的拒絕方式”；《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》第17條規(guī)定，“算法推薦服務提供者應當向用戶提供不針對其個人特征的選項，或者向用戶提供便捷的關(guān)閉算法推薦服務的選項。用戶選擇關(guān)閉算法推薦服務的，算法推薦服務提供者應當立即停止提供相關(guān)服務”。

這種人與算法二分、由人來控制算法或?qū)λ惴ㄘ撠煹臋C制體現(xiàn)了傳統(tǒng)的思維，可以解決出現(xiàn)損害結(jié)果后的追責問題，卻無法起到在確保合理使用、激勵技術(shù)和產(chǎn)業(yè)發(fā)展的同時預先防止風險的作用。換句話說，這種未觸及人機交互的普遍形態(tài)而僅側(cè)重于讓人進入算法自動化決策的閉環(huán)實施干預的規(guī)則設計，未能考慮到人是否有能力進行干預、何時干預及如何干預這些操作層面的問題，只是把人安放進了算法的回路。人在其中可能扮演的角色包括：（1）糾正算法錯誤的角色，比如，發(fā)現(xiàn)和改正明顯的錯誤、漏洞和偏差，確保算法安全運行并實現(xiàn)其功能，但這個角色在深度學習必然蘊含的“算法黑箱”情境中很難扮演，實際上處于虛置狀態(tài)；（2）彈性角色，充當故障安全機制，即確保算法失靈時關(guān)閉系統(tǒng)或轉(zhuǎn)入人工處理模式；（3）正當化角色，通過為決策過程提供人類因素來增強系統(tǒng)合法性，因為人們普遍相信只有人才有道德感和道德判斷能力，事關(guān)是非對錯、公平分配的人類事務不能交給冷冰冰的機器；（4）尊嚴保護角色，受決策影響（尤其是不利影響）的個人，如果知道該決策是由機器作出的，會感到受到了冒犯；（5）出現(xiàn)問題時承擔責任的角色（又被戲稱為背鍋角色），因為懲罰機器沒有意義；（6）代言人角色，作為人類利益的代言人，為自動化決策注入人性因素；（7）增強摩擦力的角色，高速運轉(zhuǎn)的算法系統(tǒng)出現(xiàn)問題可能過了很久才被發(fā)現(xiàn)，而在此過程中更多的損害已經(jīng)不可避免地造成，人的介入會降低算法運轉(zhuǎn)的速度，從而使算法回到人類能夠跟上的速度；（8）在自動化程度日益提高的時代為人類保留一些工作崗位的關(guān)照角色；（9）將系統(tǒng)與人類用戶聯(lián)系起來的接口角色。Rebecca Crootof，Margot E. Kaminski，amp; W. Nicholson Price II，Humans in the Loop，76 Vanderbilt Law Review 429，p.473-474.

此種落實“人在回路”原則的制度設計是基于一種基本的假定，即人有人擅長的事情，機器有機器擅長的事情，將二者結(jié)合到一起就可以達致最佳狀態(tài)。這一假定最早由美國工程心理學家保羅·菲茨提出，被簡稱為MabaMaba假定。菲茨提出這一假定的語境是民用航空和交通控制領域的人機交互，他所列出的人和機器各自擅長的事情清單并不能直接適用于如今人和人工智能系統(tǒng)交互的場景，但這一列清單的思路卻延續(xù)下來，成為許多人（包括立法者和政策制定者）思考相關(guān)問題的基本框架（見表3）。在理想情況下，人在回路系統(tǒng)中將實現(xiàn)兩全其美：人類的靈活性可以緩解算法的硬脆性，算法的速度有助于迅速解決簡單重復的問題（包括處理大量簡單案件），同時，為速度較慢的人留出空間來權(quán)衡較難的問題（包括處理疑難案件），算法的邏輯一致性和人類的語境敏感性也能互相補充、折沖平衡。

如今，人工智能領域的專家們已經(jīng)對人所擅長的事情和機器所擅長的事情有了全新的認識。比如，主流的機器學習顛覆了“人擅長歸納推理，機器擅長演繹推理”這一認識，從海量的無結(jié)構(gòu)數(shù)據(jù)中找出模式或規(guī)律——這種歸納推理正是深度學習類算法最擅長的事情。該領域的權(quán)威專家寫道：“算法預測不需要物理學。未知的結(jié)果，無論它是未來的還是未被觀察到的，總是依循在過去觀察到的現(xiàn)象中發(fā)現(xiàn)的模式?！盡oritz Hardt and Benjamin Recht， Patterns， Predictions， and Actions： Foundations of Machine Learning， Princeton University Press， 2022， p.2.實際上，機器學習的核心機制就是：從大量數(shù)據(jù)中識別出模式或規(guī)律，然后，將這些規(guī)律遷移適用于其他場景。機器學習從本質(zhì)上講是一種計算統(tǒng)計技術(shù)，其功能是發(fā)現(xiàn)隱藏的規(guī)律，依據(jù)的是相關(guān)性而不是因果性。目前人工智能的主要商業(yè)應用形態(tài)，類似于艾薩克·阿西莫夫在《銀河帝國》中所描繪的哈里·謝頓的心理史學。參見［美］艾薩克·阿西莫夫：《銀河帝國第一部：基地》，葉李華譯，江蘇文藝出版社2015年版。在這部偉大的科幻小說中，心理史學被定義為數(shù)學的一個分支，專門處理人類群體對特定的社會與經(jīng)濟刺激所產(chǎn)生的反應。要使心理史學對人類行為模式的預測達到極高的準確度，作為研究對象的人類必須足夠多，多到能夠用統(tǒng)計方法來處理的程度，人數(shù)下限由“謝頓第一定理”決定。此外，人類群體中應當無人知曉自己本身是心理史學的分析樣本，如此才能確保一切反應皆為真正隨機。這就是目前各大平臺企業(yè)都在使用的基于大數(shù)據(jù)的深度學習算法，旨在準確預測人的線上行為。至于說“機器只能短期存儲少量信息，而人能長期記憶大量信息并在需要時適時調(diào)取記憶”，則早就被數(shù)據(jù)存儲技術(shù)的發(fā)展給拋進歷史垃圾箱了。

不過，對我們思考人機關(guān)系問題最有啟發(fā)意義的還是漢斯·莫拉維克在1988年總結(jié)出的一種現(xiàn)象：“很明顯，讓計算機在解決智力測試問題或下棋時表現(xiàn)出成人水平相對容易，但很難或不可能讓它們在感知和運動方面具備一歲兒童的技能。”Hans Moravec， Mind Children： The Future of Robot and Human Intelligence， Harvard University Press， 1988， p.15.這個表述后來被概念化為“莫拉維克悖論”（Moravecs paradox）：推理和復雜運算只需要非常少的算力，但身體技能和直覺卻需要極大的算力。這似乎為如何設計人機交互界面指出了一條明路：讓機器去做數(shù)據(jù)存儲、信息搜索、模式識別和行為預測，而由人來做直覺判斷和需要肢體技能的操作。但在總體性的數(shù)字化環(huán)境中，人類何時接管、如何接管，以及接管時能否發(fā)揮出人類的正常水平都是問題。實際上，人類的接管往往被設計為“被動接管”，即在機器以視覺、聲音或觸覺刺激的方式發(fā)出接管請求時方可接管。而在缺乏外部監(jiān)督的情況下，商業(yè)引用場景中人工智能往往通過誘導性的用戶界面設計消解人類接管的可能性。前一種情況的典型例子是自動駕駛汽車，后一種情況的典型例子是暗模式。下面分別加以簡要討論。

1.自動駕駛汽車場景中的“被動接管”和“拒絕接管”

2017年，德國議會通過了《道路交通法》的第八修正案，Achtes Gesetz zur nderung des Straenverkehrsgesetzes （8. StVGndG k.a.Abk.） G. v. 16.06.2017 BGBl. I S. 1648 （Nr. 38）； Geltung ab 21.06.2017，可下載于：BGBl. I 2017 S. 1648 - Achtes Gesetz zur nderung des Straenverkehrsgesetzes - dejure.org。允許配備駕駛員的高度自動化和完全自動化汽車上路。有不少評論者認為，這部法律只允許L3及以下級別的自動駕駛汽車上路，這是錯誤的理解。實際上，這次修訂已經(jīng)允許L4和L5級別的自動駕駛汽車上路了，只不過要求其必須有駕駛員。導致誤解的原因是不少人混淆了技術(shù)等級和法律要求，L4和L5級別的自動駕駛汽車在技術(shù)上可以做到自主控制，不需要駕駛員，但法律要求其必須有駕駛員。法律要求并不因此降低車輛的自動化技術(shù)等級。其中的§1b款（標題為“車輛駕駛員在使用高度或全自動駕駛功能時的權(quán)利和義務”）規(guī)定：

（1）車輛駕駛員可以在按照§1a款使用高度或全自動駕駛功能駕駛車輛時不再專注于交通狀況和車輛控制；在這樣做時，他必須保持足夠的警覺，以便可以隨時履行第2款規(guī)定的義務。

（2）車輛駕駛員有義務在下述情況下立即重新控制車輛：

①如果高度或全自動系統(tǒng)請求他這樣做，或

②如果他認識到或由于明顯的情況必須認識到高度或全自動駕駛功能的預期用途之先決條件不再滿足。

與這一注意義務分配模式相配套的責任規(guī)則是：如果是在§1b（1）項規(guī)定的情況下使用自動駕駛功能時發(fā)生了交通事故，責任在自動駕駛汽車一方的，由自動駕駛汽車制造商負責賠償；如果是在§1b（2）項規(guī)定的情況下，駕駛員應當接管而未接管，或接管后發(fā)生事故，責任在自動駕駛汽車一方的，則由駕駛員承擔責任。

可以看出，§1b（2）項實際上規(guī)定了兩種人類接管情形：一是被動接管參見鄭志峰：《論自動駕駛汽車被動接管規(guī)則》，載《華東政法大學學報》2023年第3期。這篇文章側(cè)重于對被動接管規(guī)則的討論，而忽視了相關(guān)立法中的“主動接管”選項及后來立法中出現(xiàn)的“拒絕接管”規(guī)則。；二是主動接管。但主動接管在高度自動化和完全自動化駕駛汽車（L4以上級別自動駕駛汽車）的場景中實際上很難系統(tǒng)性地實現(xiàn)。試想，一位人類駕駛員或“技術(shù)監(jiān)督”在開啟了自動駕駛系統(tǒng)之后，按照法律所允許的行為方式，“不再專注于交通狀況和車輛控制”，開始刷手機視頻或開視頻會議，其不僅難以做到主動接管，就連接到被動接管請求時恐怕都難以作出及時有效的反應。有鑒于此，德國交通部“自動與網(wǎng)聯(lián)駕駛倫理委員會”《倫理原則報告》第17條又對自動駕駛汽車的被動接管技術(shù)設計提出了適應人類認知特性的高要求：

高度自動化汽車的軟件和技術(shù)應當做到實際上避免在緊急情況下突然將控制權(quán)轉(zhuǎn)交給人類司機的情況。為了確保有效、可靠和安全的人機溝通并避免讓人承擔過重的負擔，系統(tǒng)應當更強地適應于人類交流行為并且不要求人類的高度適應能力。Ethik-Kommission Automatisiertes und Vernetztes Fahren， Eingesetzt durch den Bundesminister für Verkehr und digitale Infrastruktur， Bericht， Juni 2017.

但這個要求在技術(shù)上是不可能做到的。如果機器能夠預見到事故即將發(fā)生，并在給人類留下充分準備時間的情況下請求人類接管，那么這就不是真實世界的交通事故了。所有的事故都是突發(fā)的，無論人還是人工智能都無法提前很長時間預見到。如果人工智能系統(tǒng)可以預見交通事故，那么它就可以采取行動去避免事故，而不是請求人類接管。

顯然是意識到了這個實踐悖論，德國于2021年再次修改《道路交通法》和《強制保險法》，將其中涉及自動駕駛汽車的條款歸并為《自動駕駛法》2021年7月，德國聯(lián)邦議會通過《修訂道路交通法和強制保險法的法律——自動駕駛法》（以下簡稱德國“自動駕駛法”），此處所引條款在§1e（2）項。由于高度和完全自動化汽車上不再有司機，監(jiān)督車輛運行狀態(tài)的人被稱為“技術(shù)監(jiān)督”（Technischen Aufsich）。時，在接管問題上確立了與倫理委員會提出的倫理原則截然相反的“拒絕接管”規(guī)則：

本法所稱的最低風險狀態(tài)是指這樣一種狀態(tài)，在其中，車輛

（3）獨立將自己置于最低風險狀態(tài)，如果繼續(xù)行駛只有在違反交通法規(guī)的情況下才能進行；

（4）審查技術(shù)監(jiān)督指定的操作并決定不予執(zhí)行，而是獨立將車輛置于最低風險狀態(tài)，如果此種駕駛操作會危及交通參與者或無關(guān)人士。

從德國這一波三折的接管規(guī)則變化對于這個有趣過程的詳細討論，請參見鄭戈：《電車難題與自動駕駛系統(tǒng)算法設計中的倫理考量》，載《浙江社會科學》2022年第12期?？梢钥闯?，如何用法律來確定人機交互的具體條件和要求是一件異常復雜的事情。人類理解復雜的自適應系統(tǒng)的能力會隨著系統(tǒng)自動化程度的提高而遞減。如果遵從人類的價值選擇（人的尊嚴和自主性）和法律邏輯，所設計出的規(guī)則可能就很難在高度自動化的實踐場景中得到執(zhí)行。反之，如果遵從技術(shù)邏輯，人在其中就變成了一個完全被動的存在。

2.暗模式治理

通過架構(gòu)設計、應用編程界面（API）和用戶界面設計（UI）而搭建起的電商平臺、社交媒體平臺和內(nèi)容平臺如今已成為人們?nèi)粘Ｉ钪胁豢苫蛉钡膮⑴c社會生活和經(jīng)濟生活的媒介。平臺借助機器學習算法來獲取、分析和使用用戶數(shù)據(jù)，對用戶進行標簽化識別、畫像和行為操縱。在平臺用算法編制成的巨網(wǎng)面前，個人是透明的，而其所面對的界面是平臺設計的結(jié)果，其背后的運作機理是普通用戶甚至外部監(jiān)管者都難以知其深淺的。從某種意義上說，數(shù)字社會總體上就是一個算力集中的黑箱社會。Frank Pasquale， The Black Box Society： The Secret Algorithms That Control Money and Information，Harvard University Press，2015.而暗模式（Dark Patterns）是這個黑箱上向用戶開放的窗口，其設計者故意迷惑用戶，使用戶難以表達他們的實際偏好，或操縱用戶付出原本不必付出的額外金錢、時間或個人信息。他們通常利用認知偏差，促使在線消費者購買他們不想要的商品和服務，或者透露他們在充分知情的情況下本來不愿透露的個人信息。暗模式是用戶體驗（User Experience）設計界的常用伎倆。在數(shù)字生態(tài)中，一切關(guān)乎設計，而設計是平臺主導的。設計師使用暗模式來隱藏、欺騙和誘使用戶泄露。他們通過以非專家無法理解的方式提問來混淆用戶，他們通過隱藏可以幫助用戶保護其隱私的界面元素來混淆用戶，他們需要注冊和相關(guān)的披露才能訪問功能，并將惡意行為隱藏在法律隱私政策的深淵中。通過將信息共享與應用內(nèi)福利聯(lián)系起來，暗模式也使用戶披露個人信息顯得“不可抗拒”。通過此類方式，設計者故意讓用戶難以實現(xiàn)他們的隱私偏好（見表4）。

暗模式存在于各種類型的平臺和網(wǎng)絡服務中，比如，在電商平臺，它主要表現(xiàn)為不合理的差別定價，也就是我們經(jīng)常聽說的“大數(shù)據(jù)殺熟”。一人一價、價格不透明及比價困難是電商、預訂類平臺和網(wǎng)約車平臺常見的特點，而這些平臺是通過架構(gòu)設計和用戶界面設計來實現(xiàn)這種特點的。用一篇研究暗模式治理的經(jīng)典論文中的話來說：“決策架構(gòu)，而不是價格，驅(qū)動著消費者購買決策?！盝amie Luguri and Lior Jacob Strahilevitz，Shining a Light on Dark Patterns，13 Journal of Legal Analysis 43（2021），p.44.我國的相關(guān)立法采取了行為界定的傳統(tǒng)模式，禁止不合理差別定價的行為。比如，《個人信息保護法》第24條第1款規(guī)定：“個人信息處理者利用個人信息進行自動化決策，應當保證決策的透明度和結(jié)果公平、公正，不得對個人在交易價格等交易條件上實行不合理的差別待遇?！倍墩憬‰娮由虅諚l例》則對此作出了更為具體的規(guī)定：

第十四條 電子商務經(jīng)營者不得利用大數(shù)據(jù)分析、算法等技術(shù)手段，對交易條件相同的消費者在交易價格等方面實行不合理差別待遇。

下列情形不認定為不合理差別待遇：

（一）根據(jù)消費者的實際需求，且符合正當?shù)慕灰琢晳T和行業(yè)慣例，實行不同交易條件的；

（二）針對新用戶在合理期限內(nèi)開展優(yōu)惠活動的；

（三）基于公平、合理、非歧視規(guī)則實施隨機性交易的；

（四）能夠證明行為具有正當性的其他情形。

本條所稱交易條件相同，是指消費者在交易安全、交易成本、信用狀況、交易環(huán)節(jié)、交易方式、交易持續(xù)時間等方面不存在實質(zhì)性差別。

不過，這種針對行為而不是架構(gòu)而確立的法律規(guī)則無法解決普遍存在的暗模式問題，使得不以價格而以過度獲取個人信息為表現(xiàn)形態(tài)的商業(yè)模式無法得到規(guī)制。從域外經(jīng)驗來看，美國加州和歐盟的相關(guān)規(guī)范值得參考。美國加州的《隱私權(quán)法》（CPRA）是世界上第一部對暗模式作出明確界定的法律，它將暗模式定義為“一種人為設計或操縱的用戶界面，其實質(zhì)效果是顛覆或損害用戶自主性、決策或選擇”，并規(guī)定受暗模式誘導而表達的同意不是真實的同意，合同自始無效。The California Privacy Rights Act of 2020，at https：//thecpra.org/（Last Visited on May.20，2023）.即將于2024年3月開始實施的歐盟《數(shù)字服務法》EU Digital Services Act，at https：//eur-lex.europa.eu/legal-content/EN/TXT/PDF/？uri=CELEX：32022R2065（Last Visited on May.20，2023）.則對暗模式有更加詳細的界定。

在線平臺界面上的暗模式是有意或?qū)嶋H上嚴重扭曲或損害服務接受者作出自主且知情的選擇或決定之能力的做法。這些做法可用于說服服務的接受者作出其本不想作出的行為或作出會給其帶來不利結(jié)果的決定。因此，應禁止在線平臺服務的提供者欺騙或慫恿服務的接受者，以及通過在線界面或其部分的結(jié)構(gòu)、設計或功能來扭曲或損害服務接受者的自主權(quán)、決策或選擇。這應包括但不限于剝削性的設計選擇，以引導接受者采取有利于在線平臺服務提供者但可能不符合接受者的利益的行動，或當要求服務的接受者作出決定時，以非中立的方式呈現(xiàn)選擇。例如，通過視覺、聽覺或其他組件設計更加突出某些選項。

在該規(guī)則制定過程中，相關(guān)立法討論提到的暗模式類型主要包括：（1）過載。讓用戶面臨眼花繚亂的請求、信息、選項或可能性，促使他們共享更多數(shù)據(jù)，或無意中允許違背數(shù)據(jù)主體期望的個人數(shù)據(jù)處理。（2）跳過。故意通過設計讓用戶忽略或無視對其自身數(shù)據(jù)保護至關(guān)重要的信息。（3）攪拌。通過界面設計來實現(xiàn)用戶情緒調(diào)動或視覺助推，從而影響用戶選擇。（4）阻礙。指通過使操作難以或不可能實現(xiàn)來妨礙或阻止用戶作出對自己有利而對平臺不利的選擇。（5）變化無常。界面的設計不一致且不清晰，使用戶難以尋找到不同的數(shù)據(jù)保護控制工具，并了解處理的目的。（6）蒙在鼓里。界面的設計方式是隱藏信息或數(shù)據(jù)保護控制工具，或者讓用戶不確定他們的數(shù)據(jù)是如何處理的，以及他們有什么樣的工具選項可以幫助自己保護隱私或個人信息。

通過以上討論的自動駕駛汽車中的人類接管規(guī)則和暗模式治理兩個例子，我們可以清楚地看到：將人和機器截然二分而分別關(guān)注人類行為和機器行為的思維方式無法幫助我們有效解決數(shù)字化生態(tài)中的人機交互問題。這種環(huán)境中的人已經(jīng)是受機器分析、預測和引導（或誤導）的人；而機器也不是被動的、中立的工具，是智能化的、內(nèi)化了人類欲望和價值選擇的機器。體現(xiàn)“人在回路”原則的法律規(guī)則，應當著力于總體的架構(gòu)設計和用戶界面設計，而不是隨便扔個人進去充當“橡皮圖章”或“背鍋俠”。在這方面，正在討論過程中的歐盟《人工智能法》草案可以為我們提供一定的參照。該草案序言指出，“人在回路”中的人必須“具備必要的能力、接受過必要的培訓并享有必要的權(quán)力來充當這一角色”。該草案第14條特別要求“高風險”人工智能系統(tǒng)的開發(fā)者在設計和開發(fā)此種系統(tǒng)時為人類對其進行有效監(jiān)管留下空間。“高風險”人工智能供應商還需要使用“適當?shù)娜藱C交互界面工具”來構(gòu)建系統(tǒng)，它們必須使“人在回路”的人能夠理解系統(tǒng)的運作機制并“能夠適當?shù)乇O(jiān)控其運行”，這需要此種系統(tǒng)具有可解釋性。開發(fā)者還以強化人類自主性的方式來設計系統(tǒng)，使“人在回路”中的自然人能夠意識到人類服從機器的傾向并保持警醒。Proposal for a Regulation of the European Parliament and of the Council Laying Down Harmonised Rules on Artificial Intelligence and Amending Certain Union Legislative Acts，簡稱《歐盟人工智能法》（EU AI Act），英文版可下載于：https：//eur-lex.europa.eu/resource.html？uri=cellar：e0649735-a372-11eb-9585-01aa75ed71a1.0001.02/DOC_1amp;format=PDF。所引規(guī)則見第14條第1～5項。正如歐盟在數(shù)字科技、數(shù)字服務和數(shù)字市場方面的其他立法一樣，這部法律關(guān)注到了數(shù)字社會的基本特征，提出了有針對性的全新概念和規(guī)制框架。盡管其中的具體規(guī)則設計有待商榷，但其思維框架卻無疑值得參考。

三、生成式人工智能場景中的“人在回路”

最近，一則律師援引ChatGPT編造的假判例來支持己方主張的事件在美國乃至全球法律界引發(fā)了廣泛關(guān)注。一位名叫羅伯托·瑪塔（Roberto Mata）的乘客聲稱自己在2019年乘坐飛機時膝蓋被機上的送餐推車撞傷，于是在紐約曼哈頓的紐約南區(qū)聯(lián)邦地區(qū)法院起訴航空公司。航空公司以訴訟時效已過為由請求法院駁回起訴?，斔穆蓭熤皇返傥摹な┩叽模⊿teven A. Schwartz，來自Levidow， Levidow amp; Oberman律師事務所）向法院提交了一份十頁的書面辯論意見書，反駁了對方的主張。意見書中援引了六個先例，包括瓦吉斯訴中國南方航空公司，這些先例都表明法院在此類案件中不會因為訴訟時效已過而拒絕受理案件。但對方律師向法院指出，這些先例都是假的。于是，此案主審法官凱文·卡斯特爾發(fā)出了一份法院令May 4 order in Mata v. Avianca， Inc.， at https：//storage.courtlistener.com/recap/gov.uscourts.nysd.575368/gov.uscourts.nysd.575368.31.0.pdf（Last Visited on Feb.1，2023）.，要求施瓦茨提供理由解釋自己為什么不應當受到處罰，其中寫道：

本院面臨一個前所未有的情況。原告律師提交的反對駁回動議的意見書中充斥著對不存在案件的引用。當對方律師提請本院注意這一情況時，本院發(fā)布命令，要求原告律師提供一份宣誓證言書，附上他提交的材料中引用的案例副本，他已經(jīng)照做了。他提交的材料中有六個顯然是偽造的司法判決，包括偽造的引文和偽造的案卷號。本院特此發(fā)布命令，要求原告律師解釋為何自己不應受到制裁。

施瓦茨在隨后提交的解釋中說自己是用ChatGPT找到的這些案例。他寫道：

當我在此案中使用ChatGPT時，我了解到它本質(zhì)上就像一個高度復雜的搜索引擎，用戶可以在其中輸入搜索查詢，而ChatGPT將根據(jù)公開可用的信息以自然語言提供答案。

我現(xiàn)在意識到我對ChatGPT工作原理的理解是錯誤的。如果我了解ChatGPT是什么或它的實際工作原理，我絕不會用它來進行法律研究。

目前法官尚未決定是否對施瓦茨進行制裁。按照美國律師協(xié)會的《職業(yè)行為模范準則》第3.3（a）條款，律師不得故意：（1）向法庭作出虛假的事實或法律陳述，或者未能更正自己先前向法庭作出的對重要事實或法律的虛假陳述；（2）不向法庭披露律師已知的直接不利于委托人立場且對方律師未披露的本司法管轄區(qū)內(nèi)的權(quán)威法律淵源。ABA Model Rules of Professional Conduct，at https：//www.americanbar.org/groups/professional_responsibility/publications/model_rules_of_professional_conduct/model_rules_of_professional_conduct_table_of_contents/（Last Visited on Feb.1，2023）.顯然，施瓦茨的行為客觀上違反了這一規(guī)則，但他是否故意（knowingly）這么做仍有待法官去判斷。

的確，施瓦茨對ChatGPT這種新工具的理解是完全錯誤的，它不是一種搜索引擎，而是一種基于對人類日常語言樣本的學習而生成新的語言文字內(nèi)容的工具。首先，它不具備實施搜索功能，它的訓練數(shù)據(jù)中不包含2021年之后出現(xiàn)的新內(nèi)容。比如，本文作者曾經(jīng)問它：“《中華人民共和國民法典》第1307條的內(nèi)容是什么？”這可以說是一個非常簡單的客觀題了。我們知道《中華人民共和國民法典》總共就1260條，第1307條是根本不存在的。但它卻言之鑿鑿地回答：“《民法典》第1307條規(guī)定：婚姻的結(jié)束，由雙方當事人協(xié)商一致，或者由人民法院裁定?！币簿褪钦f，它對簡單的客觀知識問題一本正經(jīng)地胡說是一種常態(tài)。其次，ChatGPT之類的大型語言模型是使用通用文本來訓練的，其中最具知識性的文本恐怕就是維基百科之類的質(zhì)量參差不齊的、沒有經(jīng)過編輯把關(guān)的共享知識內(nèi)容，因此，它回答任何專業(yè)領域的問題都表現(xiàn)得泛泛而談，很難直接采用為可靠的文本。但它在日常對話中和寫一般性的文案及作文方面卻表現(xiàn)得不錯。最后，專業(yè)領域的生成式人工智能工具是下一步可能出現(xiàn)的新事物。比如，已經(jīng)在過去的法律數(shù)據(jù)庫業(yè)務中積累起了大量法規(guī)、案例、法學學術(shù)論文等法律相關(guān)文本的Lexis和北大法寶已經(jīng)或正在開發(fā)專門的法律知識大型語言模型。這種專業(yè)細分領域的大模型很可能生成較為可靠的法律知識文本，但如果要用于正式的司法程序，還是必須經(jīng)過人類法律職業(yè)人士的核實。

機器學習大模型是人工智能技術(shù)經(jīng)過60余年累積而綻放出的應季花朵，令觀賞者贊嘆不已。由于當下的多模態(tài)大模型不僅可以生成文字影音內(nèi)容（AIGC），甚至可以生成實物（借助3D打印技術(shù)，比如商湯“日日新”大模型體系中的“格物”），所以被認為是生成式人工智能的突破性進展。從技術(shù)上講，大模型并非基于任何知識上的創(chuàng)新，而是基于算力、算法和數(shù)據(jù)的規(guī)模升級，是摩爾定律和梅特卡夫定律所揭示的技術(shù)的政治經(jīng)濟效應的表現(xiàn)。換句話說，大模型依靠的是“暴力計算”，即高性能GPU運行千億級參數(shù)模型通過海量數(shù)據(jù)進行預訓練。用OpenAI首席科學家伊利亞·蘇茨克沃的話來說：“如何解決難題？使用大量訓練數(shù)據(jù)及一個大型神經(jīng)網(wǎng)絡。這樣，你可能得到的唯一結(jié)果就是成功?！睘榇耍琌penAI的主要投資者微軟投入數(shù)億美元為OpenAI打造了一套超算系統(tǒng)，由上萬顆單價為數(shù)萬美元的英偉達A100芯片組成，這套系統(tǒng)為訓練ChatGPT提供了3640PF-days的算力消耗（假如每秒計算1000萬億次，連續(xù)計算3640天）。由此可見，大模型訓練是一個燒錢和耗能的游戲，充滿著重資本的味道，一點兒也不節(jié)能環(huán)保。這時，我們就需要對大模型的商業(yè)和社會應用進行一番“成本—收益”分析，看看它帶來的收益是否大于成本，以及收益的歸屬和成本的分擔。在進行這種分析的時候，我們應當注意到尚未被計入成本的那些外部性，比如，實際上由公眾承擔成本的環(huán)境損害。

大模型能夠帶來的好處似乎是顯而易見的。雖然訓練成本高昂，但一經(jīng)訓練成功，它就可以產(chǎn)生巨大的生產(chǎn)力，自動化地生產(chǎn)文字、圖像和音視頻內(nèi)容，比如，幫助文字工作者生成文案和文學作品，幫助醫(yī)生了解病人的病史和癥狀描述并形成診斷和治療方案，幫助老師、科研人員和學生閱讀大量文本并提取關(guān)鍵知識點和主要論點，幫助法律職業(yè)者審閱法律文件、分析法律問題并形成初步法律意見書等。進一步，當細分領域的專業(yè)化大模型出現(xiàn)的時候，它可以改變各行各業(yè)的生產(chǎn)方式和組織形態(tài)，大幅度提升制造業(yè)、交通運輸業(yè)、農(nóng)業(yè)乃至任何我們能夠想到的行業(yè)的自動化程度和生產(chǎn)率。以商湯的“日日新”大模型體系為例，它包含作為對話和文本內(nèi)容生成平臺的“商量”（SenseChat），可以像ChatGPT那樣跟人進行多輪對話，可以寫廣告語、文案、故事、小說和程序代碼，如果用于智慧醫(yī)療，可以提供隨訪、健康咨詢、互聯(lián)網(wǎng)問診和輔助醫(yī)療服務，這些功能已經(jīng)在上海新華醫(yī)院、鄭州鄭大一附院、成都華西醫(yī)院得到實際應用；它還包含根據(jù)文字生成圖像的“描畫”，可以生成圖文并茂的文案、漫畫并輔助其他形式的藝術(shù)創(chuàng)作；還有生成元宇宙3D虛擬場景的“瓊宇”，可以實現(xiàn)對虛擬空間和虛擬物體的復刻與交互（比如，耗時兩天即可生成具有厘米級復刻精度、還原場景的真實細節(jié)和光照效果的100平方公里虛擬城市），可用于數(shù)字孿生、建筑設計、影視創(chuàng)作、文旅宣傳和電商展示等場景，以及“格物”，即連接3D物體生成與3D打印，將自動生成的物體制造成實物，可用于制造業(yè)。

這些都是大模型商業(yè)模式的從業(yè)者向我們展示的美好前景，在絲毫不否認這些場景都有可能在近期實現(xiàn)的前提下，筆者想指出其另外一面，以便我們的公共選擇能夠促成一種普惠的現(xiàn)實，而不是讓技術(shù)成為“割韭菜”的工具，在給少數(shù)人帶來巨大收益的同時，讓多數(shù)人承擔成本而只得到極微小的甚至是虛幻的好處。

正如前面已經(jīng)指出的那樣，作為一種機器學習方法上的創(chuàng)新，現(xiàn)有的大模型訓練方案是對人類已有的創(chuàng)造成果的規(guī)模化學習，所產(chǎn)生的結(jié)果是已有內(nèi)容的新的表達形式，它不會帶給我們關(guān)于事實的新知。已有的實操都顯示出，ChatGPT更善于回答“主觀題”，而在“客觀題”方面則無法給我們提供準確的答案。按照悉尼大學語言學教授恩菲爾德（N.J.Enfield）的說法，語言是人類社會生活的產(chǎn)物，它的首要功能不是再現(xiàn)事實，而是維系社會關(guān)系和協(xié)調(diào)社會行動。借助語言，我們不僅對其他人產(chǎn)生影響，而且與其他人一起來影響社會。在使用語言時，我們不僅考慮要不要表達自己的真實想法，還要考慮其他人會怎么理解我們所表達的內(nèi)容，以及他們在按照自己的理解消化了我們所表達的內(nèi)容后會如何回應我們。語言的功能塑造著語言的形態(tài)，導致所有的人類語言中都包含大量表示人類主觀感受的詞匯，而描述自然事實的詞匯卻缺乏精準性。比如，人眼可以辨別幾百種顏色，但描述顏色的詞匯在任何人類語言中都只有屈指可數(shù)的幾個。N.J.Enfield，Language vs. Reality：Why Language Is Good for Lawyers and Bad for Scientists，MIT Press，2022.

在社會交往中策略性地使用語言是人本身就很擅長的，我們所需要的人工智能是能夠為我們理解真實世界提供可靠信息的助手，而不是能夠模仿我們熟練使用社交語言的“社?！薄Ｔ谶@一點上，大型語言模型還不如搜索引擎。進而，如果人們覺得大型語言模型支撐的各種聊天工具比真人說話更“動聽”，便會減少與親人、朋友、同事或同學的語言交流，沉浸于跟機器聊天。這將進一步加劇社交媒體興起以來人在自己主觀世界中的沉浸和共同體意識的缺失?！靶畔⒗O房”“過濾氣泡”和“回音室”等概念都描述了這樣一種數(shù)字化時代普遍現(xiàn)實。但人畢竟生存在真實世界中，這個世界的客觀事實總會檢驗人的主觀認知，一旦面臨生存考驗，沉浸于主觀滿足感的人類就會顯得十分脆弱。

由此我們可以看到，大模型可能對社會有益的應用方向是那些不需要新知識的領域，或者說是那些以保守為正面價值的領域，如文化、宣傳、法律和常規(guī)醫(yī)療。法律的主要功能在于維護既定的社會秩序，需要在既定規(guī)則的大前提下處理大量信息，這恰恰是大型語言模型所擅長的。不過，要把大模型應用到法律工作的場景中，尤其是司法過程和執(zhí)法過程中，人類的把關(guān)是十分必要的。司法過程要處理各種各樣的文本和音視頻材料，“按照性質(zhì)，這些材料大體分為兩類，一類是解決事實問題的，也就是各種證據(jù)；另一類是解決規(guī)范問題的。前者是解決案件的事實基礎，后者是解決案件的規(guī)范基礎”雷磊：《法律淵源、法律論證與法治》，載《社會科學戰(zhàn)線》2023年第1期。。無論是幫助裁判者判斷事實問題的材料，還是裁判者借以解釋和適用法律的材料，真實性都是首要的要求。虛構(gòu)的法條（比如，法學院學生在期末考試時行使“緊急臨時立法權(quán)”編出來的法條）和判例（比如，前面提到的瑪塔案原告律師用ChatGPT編出來的案例）是不能被容忍的，更不能作為裁判依據(jù)。正因如此，生成式人工智能如果要用于法律工作，在設計上就需要突出人作為最后把關(guān)者和決策者的角色，使算法無法形成從數(shù)據(jù)采集、數(shù)據(jù)分析、自動化決策和最終文本生成的閉環(huán)。

四、結(jié)論

我們已經(jīng)進入了數(shù)字化時代，以人工智能為典型代表的數(shù)字科技成了這個時代的通用技術(shù)，改變著我們的生活方式、工作方式和社會關(guān)系形成方式。與傳統(tǒng)的技術(shù)相比，人工智能技術(shù)的特點就在于它能夠“學習”，能夠通過對海量人類行為數(shù)據(jù)的學習來實現(xiàn)自適應和自演進。也就是說，它不再是一種被動的工具，而是一種“活的”、展現(xiàn)出“智能”的工具。人在使用這種工具的時候，也在被這種工具影響和改變。因此，在思考如何用法律來規(guī)制這種技術(shù)及如何用這種技術(shù)來提升法律工作的效率和品質(zhì)的時候，以人的行為（包括使用工具的行為）為著眼點和著力點的思維方式和規(guī)則設計方式已經(jīng)過時了。我們應當更多地關(guān)注人機交互和人機共生的結(jié)構(gòu)性和系統(tǒng)性問題，考慮人工智能不同應用場景中人機交互界面的設計原則，比如，在自動駕駛汽車的場景中賦予算法自動化決策以更多的權(quán)重（甚至必要時允許系統(tǒng)拒絕人類接管），而在智慧法院、智慧檢務、智慧公安、智慧法律服務這樣的應用場景中確保人類的決策能力和機器的輔助地位。

一種以人為本的人工智能法治系統(tǒng)應當包含這樣一些基本組成部分：一是總體的數(shù)字化生態(tài)治理規(guī)則，包括網(wǎng)絡安全、數(shù)據(jù)安全、個人信息保護、可信賴人工智能、內(nèi)容治理和數(shù)字市場公平競爭方面的規(guī)則；二是對人工智能算法實際應用過程的表現(xiàn)評估機制，包括穩(wěn)健性和靈活性評估、可靠性評估、有用性評估、可測試/可驗證/可證明性評估及安全性評估等，以便及時發(fā)現(xiàn)問題，實現(xiàn)風險控制；三是獨立監(jiān)督機制，包括算法備案、算法審核、算法影響評估、算法后果溯源、保險、第三方審查等方面的制度；四是確保人工智能對受影響的利益相關(guān)方具有一定透明性和可解釋性的制度保障；五是行業(yè)標準，如符合倫理的軟件工程設計標準等。只有從生態(tài)、系統(tǒng)、結(jié)構(gòu)和行為層面同時入手，才能搭建起確?？萍枷蛏频姆上到y(tǒng)。而這個法律系統(tǒng)本身必須由人而不是人工智能來掌握，才能確保人在日益智能化和自動化的社會環(huán)境中保有尊嚴和自主性。

Abstract：Artificial intelligence has often been imagined as a technology to replace human beings. In the legal field， robot judges and robot lawyers usually arouse people’s concerns. In particular， the breakthrough in generative AI has caused a new round of anxiety about “machines replacing people”. However， what will become prevalent and trendy now and in the near future are human-computer symbiosis and interaction. By focusing on human-computer interaction and developing relevant rules around the principle of “human-in-the-loop”， we can on one hand better prevent and deal with the risks and damages caused by AI， and on the other hand， fully utilize technology to support and enhance human’s work， including legal work. In this way， we could realize the goal of making AI to contribute to the well-being of mankind.

［責任編輯 李 倩］