朱利安·弗里德蘭(Julian Friedland)

在網(wǎng)上為母親搜索禮物時，我常常猶豫不決。是選擇縫有特殊字樣的抱枕，還是選擇毛絨浴袍抑或其他？最終，我縮小了范圍并鎖定了目標。不過，這是我本人的決定嗎？還是掌握了我永遠都無法處理的海量數(shù)據(jù)，旨在為我提供最“貼心”服務的人工智能算法替我做出的決定？要是最后媽媽不喜歡我為她“精挑細選”的繡花周末旅行包怎么辦？是我的錯嗎？還真不好說。畢竟，讓人工智能替我們思考，既省去了我們自己做的麻煩，也免去了本應由我們承擔的后果。

人工智能（AI）的確是一種強大的工具。它通過調(diào)動海量信息讓我們的生活更舒適，工作更高效。有了它，我們不用再為很多費時傷神的瑣事煩心。問題是這些煩心事能提高我們的適應能力。沒有了它們，我們無法學會調(diào)整人與人之間的關系，更無法學會調(diào)整人與周圍世界之間的關系。例如，與食品超市裝袋員的直接接觸，能促使我們加深對他的了解。有了這樣的了解，當結賬的隊伍挪動得比預想速度慢的時候，我們也許就不會那么急躁。在你來我往的相互讓步中，我們心存善意，竭力克制，學會了化解一時的沖動。人與人之間的摩擦互動可以不斷提醒我們進行道德自省。

同樣的道理，與大干世界的互動能夠迫使我們不斷適應新的環(huán)境。在擁擠的城市里步行、騎車或開車教會了我們?nèi)绾慰朔恍┲T如路況變化、突發(fā)極端天氣等不可預知的障礙。每天，我們就在無數(shù)次地改變我們自己以適應世界與無數(shù)次地改變世界以適應我們之間尋求最佳平衡。這種相互適應能夠激發(fā)反思，促進道德自省并提升思想境界。

過度依賴人工智能使得上述互動成為多余，溝通中的摩擦也不復存在。因此，我們的認知能力逐漸下降，情感體驗不斷鈍化，進而導致人類適應能力的萎縮，以及倫理價值觀的退化。例如，讓人工智能來挑選禮物，我們就無需考慮在與親朋好友的日常接觸中他們有什么樣的需求，并花心思為他們挑選真正貼心的禮物。無論身處哪種社會環(huán)境、個人環(huán)境和職業(yè)環(huán)境，很多趨勢表明，我們正在把認知、情感和道德方面的負擔轉移給人工智能。慢慢地，我們可能會失去批判性反思的意愿和能力，在認知和情感方面變得更加脆弱，更容作者簡介：喬治朱利安弗里德蘭，都柏林圣三一大學商學院（Trinity Business School，Trinity CollegeDublin）倫理學助理教授。易焦慮并受到虛假新聞、欺騙性廣告和政治話語的操縱。

針對上述問題，本文試圖借助方興未艾的物聯(lián)網(wǎng)市場中的智能手機以及其他產(chǎn)品和服務的系統(tǒng)升級，為人工智能設計者提供解決方案。這一方案基于兩大理論支撐：一是心理學家丹尼爾·卡內(nèi)曼（Daniel Kahneman）的認知雙系統(tǒng)（cognitive dualprocess），二是道德自省。后者是我和福特漢姆大學加貝利商學院（Gabelli Schoolof Business.FordhamUniversity）的本杰明·科爾（Benjamin M.Cole）教授共同開發(fā)出的道德認同的四層模式。（參見剮欄“人工智能時代的心智理論”）

便捷導致疏離

人工智能一個最顯著的特征是它能夠游刃有余地處理日常生活中的瑣事。有了它，我們就會將越來越多的時間和注意力投入到我們認為更有意義的活動中來。當然，把這些瑣事交給人工智能，就意味著我們在一定程度上放棄了對它們的控制權。當你對這樣的放棄安之若素，新的習慣性行為便得以強化，而這種新習慣里包含著某種程度的疏離，即人與人之間的疏離，人與物質(zhì)世界之間的疏離，甚至人自身的疏離。我們每放棄一分人為的控制，就增加了一分對人工智能系統(tǒng)的信任。在這一過程中，我們將不再依賴卡內(nèi)曼所說的“反思心智”（reflective mind），而是轉向“自主心智”（autonomous mind）。前者做出的決定經(jīng)過了深思熟慮，后者做出的決定則是條件反射使然。自主心智固然簡化了繁瑣的日常事務，但不斷強化自主心智會導致我們的行為總體上趨向自動化，無需太多思考。這種疏離主要體現(xiàn)在下列六個方面。

1.被動接受 由于我們在完成任務的過程中接受了人工智能的幫助，無需付出太多努力，因此我們有可能成為被動的旁觀者而不是積極的參與者。例如，奈飛（Netflix）、亞馬遜Prime會員以及臉書（Facebook）所采用的人工智能系統(tǒng)已經(jīng)幫我們事先設定了娛樂和新聞選項。而當我們習慣于依賴人工智能系統(tǒng)替我們做出決定時，我們便很少接觸新的視角，偏見和誤解因此根深蒂固。慢慢地，我們不愿花費精力進行深層次的批判性思考，長期記憶逐漸退化。

2.情感疏遠 沒有了人的參與，情感也會逐漸疏遠。最終，我們的行為失去了誠意，甚至具有欺騙色彩。試想，如果客戶呼叫中心服務或銷售平臺的客服在關注客戶情緒變化時，不斷受到人工智能的實時“指導”會怎樣？這樣的人工智能系統(tǒng)本意是幫助接線員提高對客戶訴求的敏感性，其結果卻適得其反。由于過度依賴人工智能，他們在捕捉情感線索方面的訓練減少了，興趣也減弱，反而對客戶的情緒變化熟視無睹。

3.主動性喪失 人工智能淡化了我們采取行動的意識，從而削弱了我們做決定的能力。設想一下，一輛事先設計好程序的無人駕駛汽車在發(fā)生事故時，會不會從倫理道德的角度權衡不同選擇，例如撞人還是撞車？當然不會。車輛保險費是提前設定的，它的高低取決于自動駕駛系統(tǒng)在多大程度上將他人的利益考慮在內(nèi)。當類似這樣的車禍發(fā)生時，我們便喪失了自己做決定的主動性。

4.責任減輕 在決策過程中把控制權拱手讓給人工智能，我們對于結果（無論是好是壞）所承擔的責任也會相應減輕。這是因為從軟件設計到交付使用，整套人工智能系統(tǒng)將責任進行了分散。設想一下，你有一款節(jié)食軟件，它能夠根據(jù)人工智能所設定的減肥計劃為你提供訂餐和送餐服務。如果減肥成功，你應該感謝誰？如果減肥失敗，你又歸咎于誰？

5.無知加深 人工智能技術將我們的需求轉換為算法速記或機械化程序，其結果有可能與人為操作大相徑庭。當然，這種轉換有助于填補我們的知識盲區(qū)，但也可能因此強化了這些盲區(qū)。諸如位智（Waze）和佳明（Garmin）這樣的虛擬導航應用軟件無需你識別周圍環(huán)境。因此，出于對人工智能系統(tǒng)的盲目信任，你有可能在一個地圖軟件尚未更新的錯誤地方繞來繞去，而不是依賴你的直覺和判斷。到了目的地以后，你也許都不知道自己走的是哪條路。缺少了，人工智能的幫助，你可能回都回不去。

6.技能弱化 借助人工智能這一媒介完成日常事務，會弱化很多我們與物質(zhì)世界接觸時所掌握的技能。一些基本的工作做起來會感覺生疏，至少在沒有幫助的情況下顯得不那么得心應手。例如，完全依賴導航軟件，我們便會忘了如何查看傳統(tǒng)地圖。將來，自動駕駛技術得以推廣，我們在沒有應用軟件的情況下甚至會忘了怎么開車。不僅如此，我們還會失去掌握新技能的動力，把希望越來越多地寄托在人工智能所提供的外包服務上。

人工智能所帶來的上述發(fā)展趨勢勢必會引發(fā)道德危機。由于這些行為在我們的一生中不斷重復，如果過度依賴人工智能，有可能造成社會關系的疏遠和沖突的加劇，扼殺自我反思能力，從而阻礙道德進步。耍緩解這些危機，人工智能系統(tǒng)的設計者應該通過一些內(nèi)置功能和界面定期激活我們的反思心智。

激活反思心智不能只靠“助推”

在頗具影響力的《助推》（Nudge） 一書中，行為經(jīng)濟學家理查德·塞勒（Richard Thaler）和法學家卡斯·桑斯坦（Cass Sunstein）認為，通過情感刺激（如激發(fā)同理心或私欲），認知助推可以促使我們采取行動。然而，這樣的助推在實踐中的作用其實非常有限。它們只是促使了某些行為的改變，并沒有激發(fā)人們的反思心智。在對1，509位心臟病人所進行的調(diào)查中，各種促使他們謹遵醫(yī)囑按時服藥的努力（包括智能電子藥瓶和求助親朋好友就可獲得5～ 50美元不等的獎勵）并沒有顯著改善病人的服藥情況。

人工智能時代，只有激活人們的反思心智，才更有可能解決上述疏離問題并防范能力喪失的風險。人工智能系統(tǒng)的研發(fā)者不妨引入“摩擦互動”體驗，通過設計“認知減速帶”迫使我們思考一些值得深度思考的決定。例如，母親生日快到的時候，人工智能系統(tǒng)可以提醒我們找一個合適的時間給媽媽打個電話，或者去看看媽媽，而不只是提出購物建議。只有這樣，親子關系才能得以改善，甚至還能借此機會挑選到真正貼心的禮物。

這一做法意義深遠。人工智能輔助平臺之所以具有吸引力，借用技術倫理學家香農(nóng)·瓦勒（Shannon Vallor）的話來說，就在于它推進了無摩擦互動。這種無摩擦互動巧妙避免了傳統(tǒng)交際，特別是現(xiàn)實空間里面對面交流時常常容易產(chǎn)生的一些負面情緒，如厭煩、尷尬、沖突、恐懼、誤解、惱怒以及過度親呢，等等。這里的互動，瓦勒主要是指社交媒體上的實時對話，但也可以擴展到生活中所有繁雜的瑣事，如看地圖、開車、關注周圍環(huán)境、列購物清單、購物以及做飯。盡管大多數(shù)人仍然經(jīng)歷著這樣的摩擦互動，人工智能輔助平臺卻承諾將我們的生活體驗優(yōu)化到極致，從而減少用戶負面情緒的產(chǎn)生。久而久之，我們的道德意識將逐漸退化，這當中就包括轉移重心的能力、延遲滿足的能力、控制情感沖動的能力以及避免未經(jīng)大腦思考就做出反應的能力。

我們需要通過人工智能選擇架構（AIchoice architecture）的助推遏制這種趨勢。它能夠維系用戶與廣闊世界之間積極健康的摩擦互動。

摩擦互動促進道德自省

大量的摩擦互動有非常大的價值。例如，一項有關兒童自我控制的最新研究表明，一個人想要培養(yǎng)果敢堅毅這些與日后事業(yè)成功息息相關的品質(zhì)，其成長的文化和社會經(jīng)濟環(huán)境比遺傳因素重要得多。只有學會處理互動中的摩擦，我們才能充分發(fā)揮對自我意識的控制。

摩擦互動也能促進道德自省。當我們不斷經(jīng)歷摩擦，應對各種刺激的方式便會發(fā)生改變，道德身份逐漸形成：對自己行為的意義開始有了不同的思考和感知。

社會心理學的文獻研究已經(jīng)厘清了道德身份的自我認同與符合道德準則的思想和行動之間的關系。更多有關公民意識的文獻資料表明，自尊是公民行為最有效的道德推動器。也有證據(jù)顯示，當遵循道德準則的消費者受到自我道德形象的驅(qū)使而不是諸如內(nèi)疚和同理心這些情緒驅(qū)使的時候，幸福感更強，再次購買的意愿也更強。

上述所有這些和人工智能有什么關系？人工智能系統(tǒng)的設計者可以用下述道德自省的四個層面作為指導，設計出鼓勵反思行為的應用程序。通過吸納產(chǎn)生摩擦互動的誘因，這些應用程序能夠促使人工智能的用戶對他們的行動如何反映個人價值進行思考，同時幫助他們提升道德自省的層次。

第一層次：社會反思 在這個層次，人們的行為改變主要依賴從其他觀察者中獲得的負面反饋。研究表明，負面反饋能夠遏制自私自利的行為。例如，公用品悲?。╰ragedy of thecommons）實驗中原本自私自利的參與者，在遭到譴責后才逐漸學會約束自己的貪念，將更多的資源留給后來者。最終，所有人都愿意減少個人獲利，以保證資源分配的公平公正和長期可持續(xù)性。

第二層次：自我反思 在這個層次，人們不再依賴他人的負面反饋來審視自己的行為。他們開始轉向自身，進行自我反思。他們這么做通常是看到了別人行為的結果或考慮到自己行為的即時影響。例如，一個人如果注意到房間里的垃圾被清理得干干凈凈，自己隨地亂扔垃圾的可能性就會大大降低。相反，如果房間里垃圾遍地，他也不大可能保持屋內(nèi)清潔。

第三層次：預期性自我反思在這個層次，人們無需他人提示便開始對其行為可能產(chǎn)生的負面結果進行了預測。之所以如此，是因為人們對先前行為的自我反思已經(jīng)導致了內(nèi)心的負罪感和羞恥感。在公用品悲劇出現(xiàn)的關鍵時刻，其中一個參與者大聲問道：“難道我們都是壞人嗎？”提出這樣的問題并不是指責其他參與者，讓他們羞愧難當，而是為了修正自私自利的觀念，樹立理想的自我道德形象。這樣的反思至關重要，它顯示出個體希望通過重塑自我以適應世界并實現(xiàn)理想的道德責任。

第四層次：前瞻性自我反思 作為道德自省的最高境界，在這個層次，人們的前瞻性越來越強，既考慮到正面影響也考慮到負面影響。他們有目的地采取一些合適的行動以期達到正面結果。他們內(nèi)心開始樹立起英雄而不是惡棍的自我理想形象。最佳情況是，這些決定的形成是一個習慣成自然的過程，以此推動人們不斷靠近他們的理想人格。這樣的心理狀態(tài)直接關系到能否在個體的自我概念的基礎上獲得更大的幸福。

激活反思心智

在傳統(tǒng)的面對面互動過程中，外部的物質(zhì)世界和社會環(huán)境提供了必要的摩擦，能夠促使人們通過反思改善行為。由于人工智能消除了溝通中的摩擦，因此設計者需要開發(fā)一種能夠激發(fā)用戶道德自省的工具，那就是“展示性提示”（showing notices）。人工智能系統(tǒng)可以用激發(fā)本能反應的展示性提示來影響用戶的決定，從而有效彌補摩擦互動缺失的問題。（參見副欄“人工智能時代的心智理論”有關展示性提示的詳細介紹）

展示性提示為用戶快速展示了其行為的結果，如一天的步行數(shù)和上網(wǎng)時長。它可以提升人工智能的應用水平，鼓勵用戶從道德自省的前三個層次，即行為的改善主要依賴內(nèi)疚和羞愧等負面情緒作為動力，提升到第四個層次，即行為的改善主要依賴正面的預期，行為人清楚地意識到他們的選擇不僅會讓自身也會讓整個社會發(fā)生改變。同時，讓人工智能用戶與社交群體中其他人分享某件事的進度，也能進一步挖掘一個應用軟件的潛力。

根據(jù)目前的預測，2021年全球物聯(lián)網(wǎng)花費將達到1.4萬億美元，這為人工智能在展示性提示方面的研究和發(fā)展提供了巨大機遇。其中，五種和生活方式有關的人工智能系統(tǒng)在這種創(chuàng)新嘗試中發(fā)展?jié)摿ψ畲螅鼈兎謩e涉及身心健康、社會責任、媒體和公民參與、技能維護以及個人啟迪。

身心健康身心健康類的應用軟件在提供展示性提示方面已經(jīng)取得了重大突破。它們中有的推動健身，有的訓練專注力，有的管理睡眠，還有的控制手機使用時長。智能冰箱為該應用軟件開辟了一個全新領域。它可以每天顯示用戶的膳食結構，如攝入的精加工食品、高糖食品、罐頭食品、冷凍食品以及新鮮食品的數(shù)量以及每天的卡路里消費量，從而幫助用戶平衡營養(yǎng)。這樣的應用軟件和食品配送服務數(shù)據(jù)相結合，指導用戶根據(jù)更健康的食譜進行采購，同時盡量選擇當?shù)氐目沙掷m(xù)來源的食品。

社會責任人工智能系統(tǒng)的另一個潛在應用領域是幫助人們深思熟慮，做出符合其社會價值觀的品牌和投資選擇?，F(xiàn)在的一些應用軟件開始關注金融投資組合中可能出現(xiàn)的倫理問題，根據(jù)顯示的偏好（例如酒、石油和煙草），標注一些用戶可能希望避免的行業(yè)，并為公司可能會涉及的倫理困境提供更加細致的提示。例如，智能冰箱能夠為所購買的食品提供“碳足跡”的提示（人們可以得到碳標簽）。這些提示可以延伸至其他領域，提醒用戶注意空氣和水污染、資源枯竭以及環(huán)保包裝等問題。

媒體和公民參與媒體應用軟件可以使用展示性提示提醒人們注意一些具有誤導性或有失公允的新聞來源。這種提示可以逐一進行，也可以統(tǒng)一進行。新工具可以逐漸引入一些其他觀點，鼓勵用戶打破意識形態(tài)回音室效應，傾聽不同的聲音。智慧市民手機應用軟件能夠讓用戶繪制本地化的眾包地圖，從而暴露城市發(fā)展過程中的一些問題，如亂扔垃圾、損壞路燈和窗戶、蓄意破壞公共財產(chǎn)以及道路坑洼等等。精心設計的此類應用軟件能夠跟蹤用戶對于上述問題的介入程度，鼓勵市民提高公民意識，積極參與本地以及國際國內(nèi)事務，在他人需要幫助的時候挺身而出。

技能維護在與外部世界打交道的過程中，主動將一些枯燥的體力活外包給人工智能系統(tǒng)，將在很大程度上導致我們?nèi)粘＜寄艿膯适?。GPS地圖和無人駕駛技術便是兩個典型的例子。用戶在開車時只需注意導航系統(tǒng)的圖像和語音提示，無需關注路標，自然也就記不清走過的線路。展示性提示為用戶提供了自我矯正的可能性。人工智能導航系統(tǒng)不妨模擬路人指路的場景，但在必須轉彎的地方設有關鍵路標和參照點的三維圖像。這樣一來，用戶便有機會熟悉周圍環(huán)境并依靠自己的記憶到達目的地，而不是一味機械地聽從語音提示。其他的一些人工智能設計則鼓勵司機保持警醒，不要過度依賴自動駕駛系統(tǒng)，以防駕駛技術退化，

個人啟迪總而言之，精心設計的展示性提示讓人工智能系統(tǒng)不再是冷冰冰的技術，而是能夠幫助用戶挖掘其最大潛能的朋友。例如，人工智能系統(tǒng)能夠幫助人們在藝術、美食、時尚和娛樂方面培養(yǎng)更敏銳的眼光。推薦引擎直接讓公眾接觸最能引起共鳴的產(chǎn)品，人工智能系統(tǒng)則不僅基于受歡迎程度，而且根據(jù)專家意見以及個人和共同的社會偏好展示具有優(yōu)質(zhì)評級的其他產(chǎn)品。包括奈飛視頻在內(nèi)的一些人工智能系統(tǒng)已經(jīng)開始提供這樣的服務，但還缺少一種功能，即顯示用戶總體觀看選擇和觀看時間如何反映質(zhì)量評級。

人工智能輔助平臺為消費者管理日常生活、從事日常活動和進行人際交往提供了一種超級強大的工具。不僅如此，如果以負責任的態(tài)度精心研發(fā)這樣的技術，還能普遍改善人們的行為習慣。然而，如果設計者較為短視，幾乎沒有考慮到融入一些應對人工智能負面影響的元素，人性的弱點就會得以滋生，如被動性、依賴性、無知以及脆弱。一旦這樣的人工智能輔助平臺在普羅大眾間得以廣泛應用，當今的一些制度將會遭到破壞。

從事人工智能領域開發(fā)的企業(yè)必須制定一套明確清晰、切實可行的設計方案，讓消費者就自己的網(wǎng)上行為模式做出明智的選擇。真正的人工智能輔助平臺是在維護個人主動性以提升集體福祉的同時，與顧客建立牢固的關系。

人工智能時代的心智理論

認知雙系統(tǒng)理論描述了兩種主要的決策過程：第一種是直覺，即自主心智，源自對刺激的自動反應;第二種是理性，即反思心智，源自深思熟慮后做出的有意識的反應。

對于任何符合個人興趣或吸引個人注意力的活動，大多數(shù)人工智能輔助平臺的存在將我們從反思心智中解放出來。和沒有人工智能幫助的直接互動相比，人們能更有效地完成每一個外包給人工智能的新任務。因此，人工智能讓我們輕松提高了有效處理外部世界信息的水平。

在研究者看來，人工智能系統(tǒng)通常為用戶提供三種類型的提示。

●聯(lián)想提示 利用用戶對某一技術的熟悉和了解，提醒他們注意另一種技術的存在，如智能手機上的相機拍照聲和電話撥號音。

●心理反應提示 利用共同的心理反應塑造消費者對于產(chǎn)品或服務的概念。例如，代表誠實與開放的友好“化身”等界面設計。

●展示性提示 通過為用戶顯示活動結果的方式提升其自我意識，如蘋果手機iOS 12系統(tǒng)內(nèi)顯示的屏幕運行時間。

聯(lián)想提示和心理反應提示激發(fā)的都是自主心智，只有展示性提示才能促使摩擦互動，從而激發(fā)反思心智。蘋果手機操作系統(tǒng)里的屏幕運行時間軟件能夠提醒自己使用社交、娛樂以及效率應用軟件的頻率有多高，這有助于用戶更好地理解并控制自己的行為。

翻譯：張宇