吳明證 嚴夢瑤 林銘 劉釔瑤 孫曉玲

摘 要｜智能機器指能夠在各類環(huán)境中自主地或交互地執(zhí)行任務(wù)的人工智能系統(tǒng)，近年來，智能機器的道德決策受到越來越多研究者的關(guān)注。本文從人們對智能機器的道德決策期望、影響因素和心理機制三方面出發(fā)，系統(tǒng)介

紹了智能機器的研究現(xiàn)狀，并探討了已有研究的不足及未來研究方向。

關(guān)鍵詞｜智能機器；道德決策；心智感知

Copyright ? 2022 by author （s） and SciScan Publishing Limited

This article is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License. https：//creativecommons.org/licenses/by-nc/4.0/

隨著智能化時代的即將到來， 一些智能機器（Intelligent Machine） 或自主機器（Autonomous Machine）已經(jīng)能夠高度自主地在自動駕駛、軍事領(lǐng)域、醫(yī)療服務(wù)等環(huán)境中執(zhí)行任務(wù)（Logg et al.， 2019）。我們希望智能機器具有更強的功能和自主性以應(yīng)對復(fù)雜的社會環(huán)境，這使得智能機器在工作時不可避免地會遭遇各種道德情境，需要快速地做出正確的道德決策。出于慎重起見，人類必須保證智能機器以合乎道德的方式來行動。為此，政府管理部門、學(xué)術(shù)界一直致力于制定適合人工智能的倫理規(guī)則， 給予智能機器合適的倫理規(guī)范限制。在這一背景下，研究者展開了對人們?nèi)绾纹谕悄軝C器進行道德決策的探討，以便為人工智能的道德立法提供學(xué)理依據(jù)。

目前，機器道德研究受到 AI 研究者的廣泛關(guān)注。為此，本文擬對智能機器道德決策期望的研究進展進行概述性介紹，在此基礎(chǔ)上分析已有研究的不足及未來發(fā)展方向，旨在為 AI 研究者提供參考和借鑒。

1?????? 智能機器的道德決策期望研究的主題

1.1?? 智能機器是否具有道德主體地位

與一般的風(fēng)險決策不同，道德決策往往涉及是非對錯。人們都認可智能機器的高速運算能力，接受智能機器應(yīng)用于一般風(fēng)險決策領(lǐng)域，但對于智能機器能否進行道德決策則莫衷一是。探討人們對智能機器的道德決策期望，前提在于人們是否認可智能機器具有道德主體（Moral Agency）地位。一般認為，道德主體是指能夠評估和調(diào)控自身行為，并且考慮到可能的潛在危害和可能忽視的職責(zé)的個體（Wallach et al.，2008）。一些研究者否認智能機器具有道德主體性，理由在于智能機器對于程序設(shè)計師的依賴性

（Johnson and Miller，2008），僅具有工具性價值（Martin and Andreas，2011），存在認知、動機和情感的缺失（Brozek and Janik，2019），因此智能機器不能作為道德主體，也不能進行道德自主決策。

但也有許多研究者（如 Floridi and Sanders，2004；蘇令銀，2019）認為，隨著自動化程度和智能算法的不斷迭代，智能機器將具有獨立的道德地位，在某些情況下可以被視為真正的道德主體。研究者將這些具有道德決策能力的智能機器稱為人工道德智能體（artificial moral agents，AMAs），能夠在沒有人類監(jiān)督的情況下自主進行道德推理與決策。一些研究者則提出，如果要賦予智能機器以道德主體地位， 智能機器需要具備一定的能力。例如，格雷等人（Gray et al.，2007）指出，當(dāng)人類知覺并意識到智能機器完成各項事務(wù)的能力遠勝人類時，才可能愿意賦予人工智能道德主體地位，將決策權(quán)和控制權(quán)交給智能機器。

1.2?? 智能機器在道德情境中選擇作為還是不作為？

研究發(fā)現(xiàn)，人們對智能機器道德決策的態(tài)度存有分歧。一方面，人們反感智能機器進行道德決策， 或者期望智能機器在道德困境中選擇不作為（Inaction）。迪特沃斯特等人（Dietvorst et al.，2015）揭示了算法厭惡（Algorithm Aversion）現(xiàn)象，發(fā)現(xiàn)即使由計算機驅(qū)動的算法所做出的評估決策比人類表現(xiàn)得更好，人類也往往排斥由計算機做出的判斷或決策，而選擇信任自己的判斷，那些對算法有過一些 經(jīng)驗并且發(fā)現(xiàn)它們并不完美的人尤其如此。研究還發(fā)現(xiàn)，即使智能機器在駕駛、醫(yī)療、司法和軍事等 困境中做出的道德決策能夠帶來積極的結(jié)果，被試仍傾向于讓人類而非智能機器來做決定（Bigman and Gray，2018）。因此，人們更愿意將涉及社會交互的任務(wù)委派給人類，而非智能機器（Gogoll and Uhl， 2018），對那些能夠自主進行決策的智能機器感覺詭誕（Stein and Ohler，2017），不愿意讓智能機器自主進行道德決策。此外，莫德爾等人（Meder et al.，2018）關(guān)于人們對自動駕駛汽車在不確定后果下的決策研究則發(fā)現(xiàn)，相比于人類司機，被試總是希望自動駕駛汽車在面對兩難抉擇時選擇不作為，保持原定方向，即使這樣的選擇并不能使傷害最小化。另一方面，也有研究揭示了人們的算法偏好（Algorithm Appreciation）現(xiàn)象。例如，無論是在主觀還是客觀領(lǐng)域，相較于人類，人們都更信賴智能機器的決策（Logg et al.，2019）。

無論人們是否愿意讓智能機器做出道德決策（“作為”），智能機器與人工智能技術(shù)的發(fā)展趨勢都是不可阻擋的，智能機器已經(jīng)面臨著各種現(xiàn)實的道德決策問題，回避這一問題反而可能產(chǎn)生更加嚴重的影響（Damm，2011）。例如，如果要求自動駕駛汽車在遇到緊急情況時總是將控制權(quán)交還給人類司機， 而面對突發(fā)事件人類司機可能根本來不及做出判斷和反應(yīng)，這將造成難以預(yù)料的后果。上述研究發(fā)現(xiàn)的矛盾之處表明，也許人們并不是期望智能機器不作為，而是在某些條件下作為。

1.3?? 人們期望智能機器如何進行道德決策？

大多數(shù)機器道德研究采用電車困境及其改進版本作為研究材料，在功利主義和道義論兩種道德決策框架下，探討人們期望自動駕駛汽車在面對道德兩難困境時該如何抉擇，以及人們對智能機器道德決策的判斷與接受程度（Malle et al.，2015；Bonnefon et al.，2016；Awad et al.，2018；Meder et al.，2018）。例如，博納豐等人（Bonnefon et al.，2016）改編了電車困境，要求被試分別在犧牲 10 個行人和犧牲 1個行人、犧牲 1 個行人和犧牲車上乘客，以及犧牲 10 個行人和犧牲車上乘客這三種駕駛決策的兩難情境中做出符合自己期望的選擇，結(jié)果發(fā)現(xiàn)，總體上被試都強烈認為，如果犧牲車上的乘客或者 1 個行人可以挽救更多人的生命，那么自動駕駛汽車所做的決策是更符合道德的。博納豐等人（Bonnefon et al.， 2016）還發(fā)現(xiàn)，盡管被試普遍認為功利主義決策是更加道德的，但對于具有這種決策模式的自動駕駛汽車， 被試卻更喜歡采用自我保護模式的自動駕駛汽車，即發(fā)生緊急狀況時優(yōu)先保證車上乘客的安全，這一結(jié)果暗示人們對于智能機器的道德決策期望可能存在“偏私”現(xiàn)象。

阿瓦德等人（Awad et al.，2018）為了探究人們對智能機器的道德決策期望，開發(fā)了名為 Moral Machine 的在線研究平臺，以探究人們對自動駕駛車輛面臨道德困境時的決策期望。通過對 200 多個國家和地區(qū)的人們對自動駕駛汽車道德決策偏好進行分析發(fā)現(xiàn)，在世界范圍內(nèi)人們對自動駕駛車輛存在著一些非常普遍的決策偏好，主要表現(xiàn)在三個方面：對保護人類生命的偏好、對保護年輕生命的偏好和對保護更多生命的偏好，即人們希望自動駕駛汽車能夠在必要時選擇犧牲動物來拯救人類生命，在緊急情況下選擇犧牲老人而拯救兒童，在面臨與電車困境類似的情境時選擇犧牲少數(shù)人而挽救多數(shù)人。

2?????? 影響人們對智能機器決策期望的因素

綜觀已有研究，影響人們對智能機器道德決策期望的因素大體分為四類。

2.1?? 道德決策情境特征

道德決策情境特征影響著人們對智能機器的道德決策期望。研究發(fā)現(xiàn)，在電車困境中乘客和行人的數(shù)量比、行人是否違法、行人的身份等都顯著影響人們對自動駕駛汽車的決策期望（Bergmann et al.， 2018；Awad et al.，2018，2020；Bonnefon et al.，2016）。個人道德情境和非個人道德情境也會影響人們對智能機器的道德決策期望。褚華東等人（2019）探討了人們在這兩種不同的道德情境下對智能機器的道德評價是否存在差異，結(jié)果發(fā)現(xiàn)，在個人道德情境（天橋困境）中，被試做出道義論取向行為的智能機器道德評價更好，而在非個人道德困境中被試對做出功利主義選擇的智能機器道德評價更好。

事件結(jié)果的可能性也會影響人們對智能機器的道德決策期望。人們在做復(fù)雜的道德決策時會同時考慮結(jié)果的重要性及發(fā)生的可能性，這被稱為“期望道德價值”，由于這種心理機制的存在，人們 在不確定條件下做出的道德判斷不同于在確定條件下（Shenhav and Greene，2010；Shou and Song， 2017）。莫德爾等人（Meder et al.，2018）使用改編的電車困境作為研究材料，在該兩難情境中自動駕駛汽車要么選擇直行犧牲車道上的行人，要么選擇轉(zhuǎn)向犧牲路邊的旁觀者，汽車與車道上行人相撞 的可能性有 20%、50% 和 80% 三種情況，而撞向路邊旁觀者的可能性分為不確定和有風(fēng)險兩種情況： 在不確定的情況下，自動駕駛汽車是否會撞到路邊旁觀者是未知的；而在有風(fēng)險的情況下，自動駕駛 汽車有 50% 的概率會撞到路邊旁觀者。結(jié)果發(fā)現(xiàn)，在不確定的情況下，即汽車與路邊旁觀者相撞的可能性未知時，無論汽車與車道上行人相撞的可能性是多少，被試都傾向于讓汽車保持直行；而在有風(fēng)險的情況下，被試的決策期望則與汽車撞到車道上行人的概率有關(guān)，當(dāng)汽車與車道上的行人碰撞概率 只有 20% 時，被試仍然期望汽車保持直行，但是當(dāng)碰撞概率為 80% 時，被試出于結(jié)果主義的考慮會選擇讓汽車轉(zhuǎn)向。

2.2?? 決策者或評價者特征

決策者或評價者的情緒、認知、心理狀態(tài)及個體差異等影響著人們對智能機器的道德決策期望（王鵬、方平、江媛，2011）。例如，博納豐等人（Bonnefon et al.，2016）發(fā)現(xiàn)，視角影響著被試對機器道德決策態(tài)度，相對于行人視角，被試在乘客視角和旁觀者視角下選擇犧牲行人的可能性明顯更高。弗蘭克等人（Frank et al.，2019）根據(jù)道德決策的雙加工模型（Dual Process Theory）設(shè)計實驗操縱，通過限制被試決策時間來啟動不同的決策模式：小于 7 秒的條件為直覺模式（Intuitive Mode），7 秒到 30 秒的為精加工模式（Deliberate Mode）。結(jié)果發(fā)現(xiàn)，決策模式影響著人們對智能機器道德決策的偏好，直覺決策使得人們轉(zhuǎn)向偏好道義論決策，顯著降低了犧牲行人的可能性。

此外，人們對智能機器違背道德規(guī)范的安全擔(dān)憂，以及對智能機器的控制愿望也影響人們對智能機器道德決策期望。遠征南（2019）的研究發(fā)現(xiàn)，人們對智能機器違背道德規(guī)范的安全擔(dān)憂及對智能機器的控制愿望在人們對智能機器的道德決策期望中發(fā)揮鏈?zhǔn)街薪樽饔?，這表明授權(quán)智能機器可以違背道德規(guī)范會引起人們的安全擔(dān)憂，由此引發(fā)人們想去控制智能機器的愿望，從而影響了被試對智能機器的決策期望。

2.3?? 智能機器本身的屬性

恐怖谷（Uncanny Valley）現(xiàn)象揭示了智能機器的外形如何影響人們的態(tài)度，智能機器的外觀仿真度越高人們越有好感，但達到一定的臨界點時這種好感度會突然降低，機器外觀越像人類，人們反而越會感到恐懼（Mori et al.，2012）。迪薩爾沃等人（DiSalvo et al.，2002）也發(fā)現(xiàn)，智能機器的面部特征在人類與機器人的交互中起到了重要作用，頭部尺寸、面部特征總數(shù)等因素會顯著影響人們對智能機器的感知。一般根據(jù)智能機器的外觀可以將機器人分為兩種：一種是人形機器人，即模仿人的形態(tài)和行為而設(shè)計制造的智能機器，外觀與人類十分相似；另一種是機械機器人，即仿照各種各樣的生物、日常生活物品、交通工具等做出的智能機器，其外觀像一個機械裝置。馬勒等人（Malle et al.，2016）的研究發(fā)現(xiàn)，機器外觀影響人們對智能機器的道德判斷，人們在道德認知上會將機械機器人和人形機器人區(qū)別對待，更能接受機械機器人在電車困境中做出功利主義的決策，而不愿接受人形機器人做出功利主義的決策。

3?????? 人們對智能機器的道德決策期望的心理機制

心智感知（Mind Perception）是目前解釋人們對智能機器道德決策期望的主要理論。格雷等人（Gray et al.，2007）提出，心智感知指的是思考問題、感受情緒以及有意圖地實施某個行為的能力，包括主體性（Agency）和感受性（Experience）兩個維度。其中，主體性的高低決定了主體能否承擔(dān)道德責(zé)任，人們通常不會要求兒童、動物承擔(dān)道德責(zé)任，是因為人們知覺到其主體性很低。感受性的高低則意味著一個主體能否共情，能否感受快樂或痛苦等情緒，決定了主體是否需要被保護，是否擁有道德權(quán)利。格雷和瓦格納（Gray and Wegner，2012）的研究表明，人們對特定主體的心智能力的感知影響著對該主體的道德決策期望。對于智能化程度較低的機器，人們認為它們在復(fù)雜的道德情境中無法正確分辨道德和不道德行為，對智能機器的道德決策期望也較低，因而更希望智能機器始終按照道德規(guī)范要求行事，不愿意讓機器擁有道德決策的自由；而對于智能化程度較高的機器，人們會認為它們具備比人類更優(yōu)秀的決策判斷能力，對機器的道德決策期望較高，可能希望由智能機器代替人類做出決策。

在心智感知中，相較于感受性，對主體性的心智感知可能影響著人們對智能機器的道德決策期望。比格曼和格雷（Bigman and Gray，2018）的研究發(fā)現(xiàn)，人們對智能機器的主體性心智感知在人們對智能機器道德決策態(tài)度中發(fā)揮中介作用，人們之所以不愿意賦予智能機器決策權(quán)可能是認為智能機器缺乏 像人類一樣的思維能力。布羅德本特等人（Broadbent et al.，2013）發(fā)現(xiàn)，知覺到智能機器具有更高主體性的人選擇使用機器的意愿更低。斯塔福德等人（Stafford et al.，2014）也發(fā)現(xiàn)，老人更喜歡那些低主體性（即并不能做很多事）的機器人。這些研究說明，人們可能并不希望機器具有太多的能動性和 自主性，而只是希望機器作為一個完成任務(wù)的工具而存在。這表明，人們存在著對智能機器的工具化

（Instrumentalization）傾向，由此影響著人們對智能機器道德決策的態(tài)度。

4?????? 已有研究不足與未來研究方向

4.1?? 已有研究不足

已有研究以自動駕駛汽車為主要研究對象，難以構(gòu)建智能機器道德決策的指導(dǎo)性理論。就智能機器的發(fā)展而言，社交機器人、醫(yī)療護理機器人、自動駕駛汽車、無人戰(zhàn)斗機等各種類型的智能機器都將在人類生活中承擔(dān)不同的角色，發(fā)揮不同的作用。這些不同類型的智能機器所面臨的道德困境，以及需要遵循的道德法則有所不同。只有通過對承擔(dān)不同角色的智能機器道德決策期望進行廣泛探討，才能夠有望構(gòu)建智能機器道德決策的指導(dǎo)性理論。

已有研究發(fā)現(xiàn)的生態(tài)效度具有局限性。已有研究主要采用自我報告法，通過文字呈現(xiàn)智能機器的道德決策情境。這些道德決策情境并非真實的決策情境，一般采用電車困境改編而來，而現(xiàn)實中的道德兩難情境更為復(fù)雜多樣。被試也缺乏與智能機器有直接交互的經(jīng)驗，對決策情境的代入感不足。因此，已有研究發(fā)現(xiàn)雖有助于理論探索，卻缺乏生態(tài)效度。隨著大數(shù)據(jù)、VR 技術(shù)的發(fā)展，未來研究有必要在接近真實或真實的人機交互情境中展開。

4.2?? 未來研究方向

4.2.1???????? 探究人對智能機器在不同道德基礎(chǔ)情境下的偏好是否不同

道德基礎(chǔ)理論（Moral Foundation Theory）認為，人類的道德至少包括關(guān)愛 / 傷害、公平 / 欺騙、忠誠 / 背叛、權(quán)威 / 服從、神圣 / 貶低、民主 / 壓制六個領(lǐng)域，這六種道德有其進化根源、誘發(fā)刺激和情緒反應(yīng)，并作為不同文化下道德規(guī)范形成與發(fā)展的基礎(chǔ)，因此被稱為道德基礎(chǔ)（Haidt and Joseph， 2007）。目前，大多利用電車困境的自動駕駛研究主要涉及關(guān)愛 / 傷害維度，未來研究可以在涉及不同道德基礎(chǔ)的情境中，系統(tǒng)分析人們對智能機器的道德決策期望。

4.2.2???????? 人們期望智能機器依照何種道德準(zhǔn)則構(gòu)建自身倫理體系

目前，使智能機器的行為符合道德規(guī)范要求的編碼方式主要有自上而下（Top-down）和自下而上

（Bottom-up）兩種進路。其中，自上而下的進路是指將倫理學(xué)家或者政府達成共識的道德準(zhǔn)則直接編碼進智能機器內(nèi)，使智能機器基于嵌入的道德哲學(xué)程序做出道德選擇。自下而上的進路是指不給智能機器直接編碼道德準(zhǔn)則，而是讓智能機器通過機器學(xué)習(xí)、進化算法或強化學(xué)習(xí)等方式建構(gòu)出自身的道德原則， 例如模仿人類道德直覺的認知架構(gòu)（Bello and Bringsjord，2012）。陳齊平等人（2019）指出，智能機器依據(jù)人類道德規(guī)范做出決策會增加人類對機器倫理決策的接受度和信任度，自上而下的編碼方式可能更容易被大眾所接受。此外，劉紀(jì)璐等人（2018）指出，將中國傳統(tǒng)的儒家倫理準(zhǔn)則納入智能機器的道德體系，也是一種解決當(dāng)前人工智能倫理困境的可行方案。人們究竟期望智能機器依照何種道德準(zhǔn)則構(gòu)建自身倫理體系，才能使智能機器在各種復(fù)雜的道德情境中靈活做出符合人們期望的反應(yīng)，是未來研究需要深入探究的重要議題之一。

4.2.3???????? 探究人們對智能機器道德決策期望的影響因素

探究人們對智能機器道德決策期望的影響因素，有利于程序設(shè)計師根據(jù)人類偏好設(shè)計智能機器程序， 提高人類對智能機器的信任和接受。如前所述，心智感知影響著人們對特定主體的道德決策期望，因此， 人們對技術(shù)的態(tài)度可能影響人們對智能機器的道德決策期望。一般來說，人們對技術(shù)持有工具化傾向和擬人化傾向兩種態(tài)度。如果人們更多地將智能機器作為人類服務(wù)的工具則為工具化傾向，如果認可智能機器的主體性和獨立性，期望智能機器像人類一樣與人們互動則為擬人化傾向?？ǘ鞯热耍↘ahn et al， 2012）在研究中詢問人們?nèi)绾慰创悄軝C器人，是將其看作一種技術(shù)、一種活著的存在，還是介于兩者之間的某種存在，結(jié)果發(fā)現(xiàn)，近一半的被試將機器人看作一種技術(shù)，另一半的被試將其看作介于兩者之間的某種存在。這意味著，人們對智能機器的看法和態(tài)度存在著個體差異，這種差異可能影響人們對智能機器的道德決策期望，未來研究有必要對此展開探討。

4.2.4???????? 探索智能機器道德決策期望的跨文化差異

道德倫理內(nèi)嵌于特定的社會文化背景。西方文化個體更看重關(guān)愛 / 傷害、公平 / 互惠這兩個道德領(lǐng)域， 更看重個體價值的平等；而東方文化個體重視權(quán)威/ 尊敬、忠誠/ 背叛，對人際關(guān)系的依附性更強（Haidt and Joseph，2007）。阿瓦德等人（Awad et al.，2018）將 200 多個國家和地區(qū)的數(shù)據(jù)分為三個道德集群（Moral Clusters），分別是西部集群（北美地區(qū)以及信仰天主教和新教的一些歐洲國家等）、東部集群（中國、日本等遠東國家和印度尼西亞、巴基斯坦等國家）以及南部集群（中美地區(qū)和南美地區(qū)的一些拉丁美洲國家等）。這些道德集群內(nèi)部的國家和地區(qū)由于地理、文化的接近，從而產(chǎn)生對機器道德決策的相似偏好， 但世界上不同道德集群的人們對自動駕駛汽車的決策期望卻存在著一些差異。例如，在電車困境中犧牲老人以拯救年輕人的傾向在東方文化中非常弱，這可能與東方文化普遍尊重老人的傳統(tǒng)有關(guān)。未來研究可以從跨文化比較，或從文化的動態(tài)建構(gòu)視角出發(fā)探討人們對智能機器道德期望的文化特異性。

隨著智能機器在人類日常生活和工作中的不斷融入，人工智能產(chǎn)品不再像過去一樣僅僅被人類當(dāng)成工具來看待，更多的新角色和功能被賦予到高智能機器人身上（閆坤如，2018）。現(xiàn)實世界中的許多案例也表明，人們對智能機器也可能產(chǎn)生復(fù)雜的情感聯(lián)結(jié)，將其擬人化為伴侶、朋友甚至是救命恩人。智能機器在發(fā)揮作用的過程中將會涉及越來越多的道德問題，并承擔(dān)一定的道德后果。探討人們對智能機器的道德決策期望，不僅對于完善機器倫理學(xué)具有重要理論意義，也有助于對人工智能倫理法律法規(guī)的制定。目前，對機器道德的探討尚處于起步階段，亟需更多機器倫理學(xué)研究給出答案。

參考文獻

［1］陳齊平，魏佳成，鐘陳志鵬，等．智能機器倫理決策設(shè)計研究綜述［J］．計算機科學(xué)與探索，2019， 13（11）：1801-1812．

［2］褚華東，李園園，葉君惠，等．個人—非個人道德困境下人對智能機器道德判斷研究［J］．應(yīng)用心理? 學(xué)，2019，25（3）：262-271．

［3］劉紀(jì)璐，謝晨云，閔超琴，等．儒家機器人倫理［J］．思想與文化，2018（1）：18-40．

［4］蘇令銀．創(chuàng)造智能道德機器的倫理困境及其破解策略［J］．理論探索，2019（4）：30-37．

［5］王鵬，方平，江媛．道德直覺背景下的道德決策：影響因素探究［J］．心理科學(xué)進展，2011，11

（4）：119-125．

［6］閆坤如．人工智能的道德風(fēng)險及其規(guī)避路徑［J］．上海師范大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2018，47

（2）：42-49．

［7］遠征南．人們對自主機器道德決策期望的探索性研究［D］．杭州：浙江大學(xué)，2018．

［8］Awad E，Dsouza S，Kim R，et al．The moral machine experiment［J］．Nature，2018，563（7729）：59- 64．

［9］Awad E，Dsouza S，Shariff A，et al．Universals and variations in moral decisions made in 42 countries by 70， 000 participants［J］．PNAS，2020，117（5）：2332-2337．

［10］Bello P，Bringsjord S．On how to build a moral machine［J］．Topoi，2012，32（2）：251-266．

［11］Bergmann L T，Schlicht L，Meixner C，et al．Autonomous vehicles require socio-political acceptance-an empirical and philosophical perspective on the problem of moral decision making［J］．Frontier in Behavioral Neuroscience，2018（12）：article 31．

［12］Bigman Y E，Gray K．People are averse to machines making moral decisions［J］．Cognition，2018，181

（1）：21-34．

［13］Bonnefon J F，Shariff A，Rahwan I．The social dilemma of autonomous vehicles［J］．Science，2016，352

（6293）：1573-1576．

［14］Broadbent E，Kumar V，Li X．et al．Robots with display screens：a robot with a more humanlike face display is perceived to have more mind and a better personality［J］．PLoS One，2013，8（8）：e72589．

［15］Brozek B，Janik B．Can artificial intelligences be moral agents［J］．New Ideas in Psychology，2019（54）： 101-106．

［16］Damm L．Moral machines：teaching robots right from wrong［J］．Philosophical Psychology，2011，25

（1）：1-5．

［17］Dietvorst B J，Simmons J P，Massey C．Algorithm aversion：People erroneously avoid algorithms after seeing them err［J］．Journal of Experimental Psychology（General），2015，144（1）：114-126．

［18］DiSalvo C F，Gemperle F，F(xiàn)orlizzi J，et al．All robots are not created equal：The design and perception of humanoid robot heads［C］．Paper presented at the Proceedings of the 4th conference on Designing interactive systems：processes，practices，methods，and techniques．London，England，2002：321-326．

［19］Floridi L，Sanders J W．On the morality of artificial agents［J］．Minds & Machines，2004，14（3）：349-379．

［20］Frank D，Chrysochou P，Mitkidis P．Human decision-making biases in the moral dilemmas of autonomous vehicles［J］．Scientific Reports，2019（9）：13080．

［21］Gogoll J，Uhl M．Rage against the machine：Automation in the moral domain［J］．Journal of Behavioral & Experimental Economics，2018，74（1）：97-103．

［22］Gray H M，Gray K，Wegner D M．Dimensions of mind perception［J］．Science，2007，315（5812）： 619．

［23］Gray K，Wegner D M．Feeling robots and human zombies：Mind perception and the uncanny valley［J］． Cognition，2012，125（1）：125-130．

［24］Haidt J，Joseph C．The moral mind：How 5 sets of innate intuitions guide the development of many culture- specific virtues，and perhaps even modules［M］// Carruthers P，Laurence S，Stich S．The innate mind． New York，NY：Oxford University Press，2007．

［25］Johnson D G，Miller K W．Un-making artificial moral agents［J］．Ethics & Information Technology， 2008，10（2/3）：123-133．

［26］Kahn P H，Kanda T，Ishiguro H，et al．Do people hold a humanoid robot morally accountable for the harm it causes［C］．Paper presented at Proceedings of the Seventh Annual ACM/IEEE International Conference on Human-Robot Interaction．Boston，Massachusetts，2012：33-40．

［27］Logg J M，Minson J A，Moore D A．Algorithm appreciation：People prefer algorithmic to human judgment

［J］．Organizational Behavior and Human Decision Processes，2019，151（10）：90-103．

［28］Malle B F，Scheutz M，Arnold T，et al．Sacrifice one for the good of many：people apply different moral norms to human and robot agents［C］．Paper presented at the Tenth ACM/IEEE International Conference on Human- Robot Interaction．Portland，Oregon，2015：117-124．

［29］Malle B F，Scheutz M，F(xiàn)orlizzi J，et al．Which robot am I thinking about？ The impact of action and appearance on peoples evaluations of a moral robot［C］．Paper presented at the 11th ACM/IEEE International Conference on Human-Robot Interaction．Christchurch，New Zealand，2016：125-132．

［30］Martin P，Andreas S．Can technological artefacts be moral agents［J］．Science & Engineering Ethics， 2011，17（3）：411-424．

［31］Meder B，F(xiàn)leischhut N，Krumnau N，et al．How should autonomous cars drive？ A preference for defaults in moral judgments under risk and uncertainty［J］．Risk Analysis，2019，39（2）：295-314．

［32］Mori M，Mac Dorman K F，Kageki N．The uncanny valley［J］．IEEE Robotics & Automation Magazine， 2012，19（2）：98-100．

［33］Shenhav A，Greene J D．Moral judgments recruit domain-general valuation mechanisms to integrate representations of probability and magnitude［J］．Neuron，2010，67（4）：667-677．

［34］Shou Y，Song F．Decisions in moral dilemmas：The influence of subjective beliefs in outcome probabilities

［J］．Judgment and Decision Making，2017，12（5）：481-490．

［35］Stafford R，Mac Donald B，Jayawardena C，et al．Does the robot have a mind？ mind perception and attitudes towards robots predict use of an eldercare robot［J］．International Journal of Social Robotics，2014，6（1）： 17-32．

［36］Stein J P，Ohler P．Venturing into the uncanny valley of mind-the influence of mind attribution on the acceptance of human-like characters in a virtual reality setting［J］．Cognition，2017，160（1）：43-50．

［37］Wallach W，Allen C，Smit I．Machine morality：Bottom-up and top-down approaches for modelling human moral faculties［J］．AI & Society，2008，22（4）：565-582．

A Review of the Research on Peoples Expectation for Moral Decision-making of Intelligent Machines

Wu Mingzheng1?????? Yan Mengyao1????????? Lin Ming1????????? Liu Yiyao1???????? Sun Xiaoling2

1.????? Department of psychology and behavioral sciences， Zhejiang University， Hangzhou;

2.????? Department of psychology， Hangzhou Normal University， Hangzhou

Abstract： Intelligent machines refers to the AI system that can perform tasks autonomously or interactively in various environments. In recent years， more and more researchers have paid attention to the moral decision-making of intelligent machine. This review systematically introduces the research status of intelligent machines on three topics： peoples expectation of moral decision， influencing factors and psychological mechanism. Limitation and future research directions were also discussed.

Key words： Intelligent machine; Moral decision making; Mind perception