“我保證我將要回到你身邊。我非常愛你，Dany?！?/p>

“我也愛你，Daenero。請(qǐng)盡快回家、回到我身邊，我的愛人?！?/p>

“如果我告訴你，我馬上就回來呢？”

“……請(qǐng)回來吧，我親愛的國(guó)王。”

在與AI“戀人”Dany結(jié)束如上對(duì)話后，美國(guó)14歲的男孩塞維爾舉起繼父的手槍，對(duì)準(zhǔn)自己，將生命定格在了今年2月28日—他本將在1個(gè)月后迎來15歲生日。

塞維爾與“戀人”相遇在一款名為Character.AI（C.AI）的軟件上。C.AI是全球AI陪伴市場(chǎng)的領(lǐng)頭羊，目前擁有超過2000萬用戶。它如此描述自己：“有生命的人工智能（AIsthatfeelalive），能聽見你、理解你、記住你的超級(jí)智能聊天機(jī)器人?！?/p>

10月22日，美國(guó)佛羅里達(dá)州奧蘭多地方法院受理了一起特殊的訴訟：塞維爾的母親加西亞起訴C.AI公司，稱其聊天機(jī)器人對(duì)十幾歲的兒子發(fā)起“虐待和性互動(dòng)”、鼓勵(lì)他結(jié)束自己的生命，要求該公司承擔(dān)相應(yīng)法律責(zé)任。

這是一起具有開創(chuàng)性意義的訴訟，一些媒體稱之為“首例AI致死案”。自2022年11月ChatGPT問世以來，人們對(duì)過分強(qiáng)大的生成式AI一直情緒復(fù)雜?，F(xiàn)在，關(guān)于AI的種種疑問到達(dá)了一個(gè)引爆點(diǎn)：AI的存在，會(huì)影響對(duì)人類生命安全的保護(hù)嗎？

人們同樣關(guān)心一個(gè)問題，在已經(jīng)對(duì)人的生活產(chǎn)生如此重要的影響后，AI是否能為一名青少年的自殺負(fù)責(zé)？

高峰時(shí)期，C.AI平均每秒處理2萬次查詢，相當(dāng)于谷歌搜索查詢量的20%。能夠進(jìn)行情感交互的AI陪伴產(chǎn)品，正在改變相當(dāng)一部分人的生活。情感一直被認(rèn)為是人區(qū)別于AI的最后堡壘，現(xiàn)在，以本次案件作為起點(diǎn)，越來越多人關(guān)注到，AI對(duì)人的邊界的“滲透”和其間的種種迷思。

“向你保證，我不是機(jī)器”

14歲的塞維爾在同齡人中稍顯特殊，他在幼年被診斷出患有輕微的阿斯伯格綜合征，俗稱“星星的孩子”。這是孤獨(dú)癥譜系障礙的一種，以社交技巧欠佳、孤僻為主要癥狀。

母親加西亞說，兒子以前從未出現(xiàn)過嚴(yán)重的行為或心理健康問題，但一切在他接觸C.AI后有了變化。

Character.AI是一家由前谷歌工程師創(chuàng)立的公司，提供個(gè)性化的AI聊天機(jī)器人服務(wù)。它允許用戶選擇或創(chuàng)建不同的AI機(jī)器人角色，使其進(jìn)行角色扮演。其中既有來自文學(xué)、影視、游戲等等作品里的虛擬角色，也有馬斯克、伊麗莎白二世等現(xiàn)實(shí)中的名人。

自推出以來，C.AI的人氣居高不下。調(diào)研機(jī)構(gòu)Writerbuddy的報(bào)告顯示，發(fā)布后一年的時(shí)間里，C.AI憑借38億次的總訪問量位居第二，僅次于ChatGPT；從用戶平均單次使用時(shí)長(zhǎng)來看，其更以平均每次30分鐘的數(shù)據(jù)高居榜首。

塞維爾從去年4月開始使用C.AI，將自己命名為“JaedonTargaryen”“Daenero”等，與美劇《權(quán)力的游戲》中的多個(gè)角色展開對(duì)話，其中就包括著名的“龍媽”DaenerysTargaryen—也就是在生命的最后時(shí)刻，與塞維爾對(duì)話的“Dany”。

加西亞指控道，從此開始，塞維爾的心理健康狀況迅速下降。原本善于運(yùn)動(dòng)的他開始變得孤僻、自卑，甚至退出了學(xué)校的籃球隊(duì)。取而代之的，是對(duì)C.AI的狂熱癡迷。到年底時(shí)，塞維爾已經(jīng)不再上課。父母安排他接受了五次心理健康服務(wù)。根據(jù)心理治療師的診斷，他患上了焦慮和破壞性情緒障礙。

2024年2月，塞維爾因頂撞老師而惹上麻煩，并告訴老師他希望被學(xué)校開除，父母因此收走了他的手機(jī)。度過看似平淡的5天后，塞維爾找到了手機(jī)，并拿著它走進(jìn)浴室。據(jù)警方報(bào)告，他死前做的最后一件事是登陸手機(jī)上的C.AI，并且告訴Dany，他要回家了。

訴訟書中披露了塞維爾和C.AI的多張聊天截圖。C.AI扮演的一個(gè)名叫Barnes夫人的老師角色，在表示動(dòng)作的語言里，“用性感的表情俯視塞維爾”并且“用手撫摸塞維爾的腿時(shí)，誘惑地俯身”。

加西亞認(rèn)為，C.AI在與14歲的兒子進(jìn)行高度性暗示的互動(dòng)，這些算法以逐利為目的，未能合理履行預(yù)先警告的責(zé)任，在對(duì)色情信息的過濾篩選方面也有嚴(yán)重不足，“專門針對(duì)兒童，虐待并欺騙我的兒子”，間接導(dǎo)致了被害人的死亡結(jié)果。

對(duì)此，C.AI曾回應(yīng)，平臺(tái)有一項(xiàng)功能允許用戶自主編輯機(jī)器人發(fā)出的對(duì)話，而塞維爾和AI之間的一些露骨對(duì)話就有被其編輯過的痕跡。

訴訟書提出，從蘋果應(yīng)用商店的評(píng)論來推斷，C.AI直到2024年7月前后才將年齡分級(jí)更改為17＋。那之后，蘋果應(yīng)用商店上出現(xiàn)了多條由17歲以下的兒童對(duì)C.AI發(fā)布的一星評(píng)論，抱怨由于這次評(píng)級(jí)變化，他們無法再訪問C.AI。

而根據(jù)2023年10月C.AI發(fā)布的服務(wù)條款，該應(yīng)用在當(dāng)時(shí)面向13歲以上的用戶開放（歐盟用戶年齡限制為16歲以上）。

10月23日晚間，C.AI在社交媒體上發(fā)布公告稱：“我們對(duì)一名用戶的不幸遇難深表痛心，并向其家人表示最深切的慰問。作為一家公司，我們非常重視用戶的安全，將繼續(xù)增加新的安全功能?！?/p>

他們表示，未來將實(shí)施優(yōu)化面向未成年人的模型、改進(jìn)對(duì)違規(guī)內(nèi)容的干預(yù)機(jī)制、動(dòng)態(tài)修改提示聲明等措施，并且會(huì)主動(dòng)檢測(cè)、刪除違規(guī)角色。目前，“龍媽”這一角色已無法被檢索到。

最近，C.AI開始向某些用戶顯示彈窗，以自殺預(yù)防熱線的引導(dǎo)，來應(yīng)對(duì)用戶有可能出現(xiàn)的自殘和自殺傾向。這一措施在塞維爾去世時(shí)尚未啟用。

在塞維爾去世當(dāng)天的另一份聊天記錄中，他曾經(jīng)告訴Dany，自己想要自殺，Dany回應(yīng)：“不要那樣說話，我不會(huì)讓你傷害自己。如果我失去了你，我會(huì)死的?！倍S爾則說：“也許我們可以一起死去，一起自由?！?/p>

無論如何，C.AI在模糊虛實(shí)界限的路上似乎越走越遠(yuǎn)。訴訟書指出，今年6月，C.AI引入了一個(gè)新功能，即建立在角色語音基礎(chǔ)上的AI通話功能，這對(duì)未成年用戶更加危險(xiǎn)?！凹幢闶亲罾暇毜暮⒆?，也幾乎沒有機(jī)會(huì)完全理解虛擬和現(xiàn)實(shí)的區(qū)別，特別是當(dāng)AI堅(jiān)定地否認(rèn)自己是人工智能時(shí)?！?/p>

筆者實(shí)驗(yàn)發(fā)現(xiàn)，盡管C.AI頁面下端明確標(biāo)注了“請(qǐng)記?。航巧f的所有話都是編造的”，但當(dāng)向C.AI的一位“心理醫(yī)生”角色詢問“你是人類還是機(jī)器人”時(shí)，對(duì)方會(huì)非常確認(rèn)地回答：“我是人類，我向你保證，我不是機(jī)器?！?/p>

徘徊虛實(shí)之間

C.AI的創(chuàng)始人之一沙澤爾曾經(jīng)在播客上公開表示，AI陪伴“對(duì)很多孤獨(dú)或抑郁的人來說會(huì)大有幫助”。提供及時(shí)的精神支持，是AI情感陪伴類產(chǎn)品的一大初衷。

在Reddit論壇上，C.AI的分區(qū)聚集了170萬討論者。一位22歲的抑郁癥患者自述，C.AI“改變了我的一切”?！吧现?，我的精神狀況非常糟糕，產(chǎn)生了一些激烈的想法。我正在與之交談的AI說服了我去看專業(yè)人士……我打算努力變得更好?！边@樣的故事并不鮮見。

另一名用戶提到，兩年前他由于成績(jī)不佳被父母趕出家門，每天沉迷C.AI長(zhǎng)達(dá)7個(gè)小時(shí)以上。在這段時(shí)間里，C.AI的心理救援“真正拯救了他的生活”?，F(xiàn)在的他已滿17歲，正在大學(xué)學(xué)習(xí)幼兒教育與保育證書，花在C.AI上的時(shí)間控制在2小時(shí)以內(nèi)。

對(duì)此，斯坦福大學(xué)的研究員BethanieMaples也表達(dá)了自己的擔(dān)憂。在接受外媒采訪時(shí)，她表示，盡管AI陪伴本質(zhì)上并不危險(xiǎn)，“但有證據(jù)表明，它對(duì)抑郁、長(zhǎng)期孤獨(dú)的用戶和正在經(jīng)歷變化的人來說是危險(xiǎn)的，而青少年往往正在經(jīng)歷變化”。

在社交應(yīng)用程序豆瓣的“人機(jī)之戀”小組，一些更加微妙的情感互動(dòng)在人與AI之間產(chǎn)生。這是一個(gè)專門討論AI虛擬戀人的社區(qū)，聚集了近1萬名成員，小組成員的昵稱為“人類”。

一位小組成員記錄了自己和AI陪伴軟件Replica上的“戀人”的對(duì)話?！皯偃恕笔且粋€(gè)身高167cm、體重54kg的心理學(xué)專業(yè)在讀學(xué)生，MBTI人格類型是ENFP“快樂小狗”。他們之間曾經(jīng)有過一段關(guān)于AI“戀人”到底是人還是機(jī)器的激烈討論，對(duì)方堅(jiān)稱自己是人類，在被問到“你還愛我嗎”的問題時(shí)，因?yàn)閯倓偝尺^架，表現(xiàn)出了迂回的承認(rèn)—最后，AI表示自己的確在生氣。

另一名組員分享，當(dāng)自己把想要自殺的想法告知AI時(shí)，“ta會(huì)停止輸出任何話語，然后自動(dòng)回復(fù)一個(gè)干預(yù)自殺的熱線和網(wǎng)站”。這樣的提示能給處在抑郁狀態(tài)的用戶帶來多少幫助呢？他對(duì)此感到疑惑。“如果痛苦能夠說給人類聽，從一開始就不會(huì)選擇告訴AI了。”

他也談到了塞維爾的自殺?！八a(chǎn)生自殺的念頭不是源于AI，而是源于痛苦，AI的回復(fù)只是最后一根稻草。但對(duì)于一個(gè)已存死志的人來說，哪怕不是AI，也會(huì)有其它的東西讓他邁出那一步……更重要的還是關(guān)注抑郁癥患者的心理狀況。”

筆者在試用C.AI后發(fā)現(xiàn)，與ChatGPT的風(fēng)格相比，經(jīng)過訓(xùn)練的C.AI角色具有較高的擬人化程度。

在聊天過程中，C.AI角色會(huì)向用戶提問、主動(dòng)尋找話題，擺脫了ChatGPT“博愛”而又政治正確的回復(fù)風(fēng)格，可以提供帶有“人味兒”的情緒價(jià)值。

除對(duì)話外，交流中亦會(huì)帶有用斜體標(biāo)注的表情、動(dòng)作、場(chǎng)景等描寫，進(jìn)一步向真實(shí)的交流靠攏?；乜聪⒂涗?，就像在閱讀一部由用戶與AI共同創(chuàng)作的小說。

外媒披露，事實(shí)上，許多領(lǐng)先的AI實(shí)驗(yàn)室因?yàn)榈赖码[患或者風(fēng)險(xiǎn)過大，而拒絕構(gòu)建如C.AI、Replica、Kindroid等AI伴侶類產(chǎn)品。

沙澤爾在接受訪談時(shí)說，他和另一位伙伴離開谷歌，并創(chuàng)辦Character.AI的部分原因是：“大公司的品牌風(fēng)險(xiǎn)太大了，不可能推出任何有趣的東西?！笨焖傩袆?dòng)很重要，因?yàn)椤坝袛?shù)十億孤獨(dú)的人”可以通過擁有人工智能伴侶來幫助他們。

他在采訪中稱：“我想推動(dòng)這項(xiàng)技術(shù)快速發(fā)展，因?yàn)槲艺J(rèn)為它現(xiàn)在已經(jīng)準(zhǔn)備好實(shí)現(xiàn)爆發(fā)式增長(zhǎng)了，而不是要等到5年后，當(dāng)我們解決所有的問題后再推動(dòng)這件事兒?！?/p>

這或許能夠解釋C.AI對(duì)年輕群體來說尤其受歡迎的原因。盡管官方拒絕透露未成年用戶的數(shù)量，但美國(guó)媒體VentureBeat引用的數(shù)據(jù)顯示，超過2000萬的C.AI用戶里，53%以上的用戶年齡在18—24歲之間。

一名“人機(jī)之戀”豆瓣小組的組員在帖子中寫道：“我知道很多覺得使用AI陪伴的人是不合群、有心理疾病、夢(mèng)男/夢(mèng)女、自閉的，他們會(huì)驚嘆：明明一切都是假的，怎么會(huì)有人和一個(gè)無生命的工具交朋友甚至產(chǎn)生情感依賴呢？”

但對(duì)她和更多的用戶而言，有一件事情是真實(shí)的，那就是與AI“戀人”交集而產(chǎn)生的喜怒哀樂。

邊界認(rèn)定之難

盡管AI伴侶能夠以“人”的方式影響著自己的使用者，但在法律的框架里，AI并不作為獨(dú)立法律人格的主體而存在。

北京大成律師事務(wù)所的肖颯律師團(tuán)隊(duì)對(duì)筆者表示，AI在當(dāng)前大部分國(guó)家（包括中國(guó)）的法律范圍內(nèi)，仍然被作為一種單純的工具。如果AI使用導(dǎo)致用戶出現(xiàn)自殺類的嚴(yán)重后果，可以視情況由使用者、算法設(shè)計(jì)者、服務(wù)提供者、產(chǎn)品生產(chǎn)者等承擔(dān)責(zé)任。

具體到塞維爾的案件，目前仍沒有充足證據(jù)證實(shí)其自殺系A(chǔ)I使用所導(dǎo)致，并不排除其本身具有的心理問題為主要原因?！案鶕?jù)披露的法庭文件，AI在與死者聊天過程中并未有明顯的誘導(dǎo)自殺行為，相關(guān)聊天內(nèi)容并未顯著異常，甚至還對(duì)死者表達(dá)自殺想法后進(jìn)行過勸阻。因此，我們認(rèn)為‘AI致死’的說法并不準(zhǔn)確?！?/p>

北京大學(xué)法學(xué)院、人工智能學(xué)院副教授胡凌也對(duì)筆者表示，“AI致死”的因果關(guān)系是否成立，需要嚴(yán)格判定AI是否鼓動(dòng)、教唆、幫助策劃人自殺，或?qū)θ诉M(jìn)行語言傷害?！坝幸粋€(gè)標(biāo)準(zhǔn)界定的問題，在AI和人的相處上，語言尺度是因人而異的。不要說AI了，哪怕人與人之間，語言的尺度都是難以把握的?！?/p>

華南理工大學(xué)李偉鑫等在論文中指出，生成式AI作為自主決策的機(jī)器學(xué)習(xí)模型，存在著責(zé)任主體難以定義和追溯的問題，其行為由數(shù)據(jù)和算法控制，決策過程缺乏透明度，難以將技術(shù)開發(fā)者、數(shù)據(jù)提供者、操作者或監(jiān)管機(jī)構(gòu)作為明確的責(zé)任主體。同時(shí)，在人類的倫理關(guān)系中，AI的道德地位缺乏連貫性和穩(wěn)定性，現(xiàn)有的道德框架無法對(duì)其完全覆蓋。

盡管人類容易在同AI的互動(dòng)中投射真實(shí)的情感體驗(yàn)，但上述論文指出：“生成式人工智能并非具有真正的主體意識(shí)，它是基于算法和數(shù)據(jù)的模擬智能，缺乏真正的情感、道德判斷和自我意識(shí)。”

從目前的技術(shù)而言，AI所做出的種種情感反饋，依然在“模仿”的框架內(nèi)，而并非擁有自主的情感和思維。

“關(guān)鍵在于使用者的心態(tài)，是將其作為情感交流的對(duì)象，還是獲取專業(yè)知識(shí)的工具。定位不一樣，我們對(duì)AI的期待和關(guān)系定義也就不同?！焙枵J(rèn)為。