張語嫣 許麗穎 喻 豐 丁曉軍 鄔家驊 趙 靚

算法拒絕的三維動機理論*

張語嫣1許麗穎2喻 豐1丁曉軍3鄔家驊1趙 靚4

(1武漢大學哲學學院心理學系, 武漢 430072) (2清華大學社會科學學院心理學系, 北京 100084) (3西安交通大學人文社會科學學院哲學系, 西安 710049) (4武漢大學信息管理學院出版科學系, 武漢 430072)

算法拒絕意指盡管算法通常能比人類做出更準確的決策, 但人們依然更偏好人類決策的現(xiàn)象。算法拒絕的三維動機理論歸納了算法主體懷疑、道德地位缺失和人類特性湮沒這三個主要原因, 分別對應信任、責任和掌控三種心理動機, 并對應改變算法拒絕的三種可行方案: 提高人類對算法的信任度, 強化算法的主體責任, 探索個性化算法設(shè)計以突顯人對算法決策的控制力。未來研究可進一步以更社會性的視角探究算法拒絕的發(fā)生邊界和其他可能動機。

算法決策, 算法拒絕, 心理動機, 人?機器人交互

1 引言

決策在生活中普遍存在。傳統(tǒng)上, 決策過程的主體是人類自身(當事人或他人)。但由于人類決策能力存在局限(如受決策者經(jīng)驗和情緒影響), 容易導致決策失誤, 造成不良決策后果。隨著算法技術(shù)的發(fā)展與普及, 為了克服人類決策的局限性, 基于信息整合和理性計算原則的算法決策被廣泛引入工作甚至日常生活中。算法決策(algorithmic decision making)是一系列相關(guān)概念的總稱, 包含增強決策、決策輔助、決策支持系統(tǒng)、專家系統(tǒng)、決策公式和計算機輔助等(Burton et al., 2020), 新近研究也將算法決策概念擴展于機器決策、機器人決策和人工智能決策等(Malle et al., 2015)。相較于人類決策, 算法決策具有快速(Bonnefon et al., 2016)、準確(Donnelly, 2017; Lohr, 2016)、客觀(Andrews et al., 2006)、普適(Esteva et al., 2017)和低耗(Common Cents Lab, 2017)等優(yōu)點。憑借這些特點, 算法決策在社會生活的各領(lǐng)域, 包括醫(yī)療(Biró et al. 2021; van den Berg et al., 2017)、經(jīng)濟(Harvey et al., 2017; Kaya et al., 2017)、司法(Angwin et al., 2016)、交通(Badue et al., 2020; Fournier, 2016)、軍事(Horowitz, 2016; Shin et al., 2019)以及日常生活(Roberts, 2017)中的應用都日益增多。

物理功能的算法技術(shù)早已將人類從許多費時費力的活動中解放出來(Parasuraman & Riley, 1997); 判斷、規(guī)劃和創(chuàng)造性思維等認知功能的算法決策技術(shù)也越來越普及(Chouard, 2016;Luo et al., 2019; Oliveira, 2017)。可以說, 算法技術(shù)的進步給社會帶來了革命性的變化。然而, 算法決策的諸多優(yōu)勢似乎并沒有讓人們喜歡上它。哲學家Bostrom (2014)認為機器代表人類做決定可能會導致災難, Elon Musk稱自動機器的崛起是人類“最大的生存威脅” (McFarland, 2014)。普通民眾也更偏好人類決策而非算法決策。研究表明, 算法通常能比人類更準確地完成決策任務, 然而, 人們還是會選擇人類決策或遵循人類建議做出決策。Dietvorst等人(2015)將這種人們偏好人類決策而回避更準確的算法決策的現(xiàn)象稱為算法拒絕(algorithm aversion)。算法拒絕并非只發(fā)生于人們了解到算法決策可能出錯后, 更多發(fā)生于人們并不了解算法表現(xiàn)之前, 因此算法拒絕實際上就是對算法的偏見評估, 即對算法的負面行為和態(tài)度(Jussupow et al., 2020)。

算法拒絕表現(xiàn)于知、情、行諸方面, 即人們在認知上不認同算法決策, 在情感上不喜歡算法決策, 進而外顯在行為上拒絕算法決策。首先是認知拒絕, 主要體現(xiàn)在人們對算法能力的不信任(Prahl & van Swol, 2017)。如盡管在司法體系中引入算法決策可以幫助對抗法律體系中人類固有的主觀性和一些潛在錯誤(Andrew et al., 2006), 但在皮尤民意調(diào)查中, 56%的受訪者依然認為使用算法進行假釋決定的風險評估是不可接受的(Smith, 2018)。在醫(yī)療上, 病人也會更嚴厲地評判從算法而不是從同僚那里尋求建議的醫(yī)生(Shaffer et al., 2013)。其次, 情感拒絕體現(xiàn)在人們對算法決策的使用或其決策結(jié)果產(chǎn)生負面情緒(Lee, 2018; Leyer & Schneider, 2019)甚至道德責備(Voiklis et al., 2016)。如讓人們評估完全相同的藝術(shù)作品, 人們會更喜歡由人類而非算法創(chuàng)作的藝術(shù)作品(Jago, 2019)。當人類法官決策或算法司法決策出現(xiàn)錯誤時, 人們對算法決策錯誤有更多的負面情感反應, 也更可能在法庭失敗時采取法外措施來干擾司法秩序(Ireland, 2020)。再次是行為拒絕, 即相比人類決策, 人們會更少的選擇算法決策或?qū)ζ淅贸潭雀? 甚至以消極行為反抗算法決策的結(jié)果(Filiz et al., 2021)。如在股市決策實驗中, 人們更相信人類專家給出的相同預測, 也更愿意接受人類而非算法建議(?nkal et al., 2009)。在醫(yī)療中, 與人類提供的醫(yī)療服務相比, 消費者更不愿意使用人工智能提供的醫(yī)療服務, 并且愿意為此支付的費用也更少(Longoni et al., 2019)。

為什么人類會表現(xiàn)出在各個心理層面上對算法的拒絕？我們認為, 面對算法決策這種新的決策形式, 人類大略會問這樣三個遞進的問題：第一, 算法是否真的可以以及有能力進行決策？對這一問題的回答往往是負面的, 人類通常情況下懷疑算法的能力, 對算法產(chǎn)生懷疑和不信任, 因此造成算法拒絕。第二, 哪怕算法可以以及有能力進行決策, 那么我們是否真的需要用算法進行決策, 或者說算法決策對于人類個體有何益處嗎？當然, 對這一問題的回答通常也是負面的, 因為人類在決策時有推脫責任的傾向, 而算法作為決策主體, 其道德主體地位和承擔責任的能力缺失, 導致人類采用算法決策無益, 從而引起算法拒絕。第三, 假使算法有能力且人類信任其進行決策, 其也能進行道德責任的分擔, 這種決策模式對人類自身真的有良好影響嗎？實際上對于這個問題的回答通常也是負面的, 因為人類會因算法決策而缺失掌控, 造成人類對于自己個性特征湮沒而人將非人的感受, 以此最終拒絕算法。為此我們提出算法拒絕的三維動機理論以說明算法拒絕的成因, 并在此基礎(chǔ)上探索其改變(見表1)。

表1 算法拒絕的三維動機理論

2 算法拒絕之原因

算法決策實際上是一個人機交互的過程, 造成算法拒絕的原因也必不可少地出現(xiàn)在人、算法以及算法和人的交互中。但究其深層次原因, 我們認為是三點, 即算法主體懷疑、道德地位缺失以及人類特性湮沒。這分別表現(xiàn)為人們傾向于認為算法作為新生事物而對其產(chǎn)生能力懷疑、人們傾向于認為算法無法作為道德主體而承擔責任、以及人們傾向于認為算法普遍化的決策傾向減少了人類獨特性。這回答了人類知覺算法決策時“能不能” (不了解算法決策也不覺得算法有能力決策)、“用不用” (算法決策之后無法歸責也無用)以及“好不好” (算法決策反而消解個體作為人的獨特性)的問題, 也對應了信任/懷疑、擔責/推責、掌控/失控這三種動機。

2.1 算法主體懷疑

算法決策能不能有效是第一個問題, 實際上人們對這個問題的回答是傾向于否定的, 表現(xiàn)出對算法的懷疑。這種算法主體懷疑的第一個原因可能是人們對算法并不熟悉。很少有技術(shù)在引入工作場所后立即被接受(Parasuraman & Riley, 1997)。一開始人們并不了解新技術(shù), 就很可能不喜歡或不信任一個新的自動化系統(tǒng)。但是隨著算法決策的應用普及或人們與其接觸日益增多, 人們會對算法決策越來越了解, 也會更接受算法決策。這種現(xiàn)象可用單純曝光效應解釋。一旦圖像和聲音等的外部刺激信息經(jīng)常暴露在人的面前, 人們對其喜愛程度就可能提高(Zajonc, 1968)。例如, 大多數(shù)人已經(jīng)習慣了來自氣象模型而不是來自鄰居的天氣預報, 因為氣象模型幾十年來一直被廣泛使用; 相反, 關(guān)于時尚潮流的算法建議仍然相對較新, 可能會面臨更大的阻力(Logg et al., 2019)。日本人在日常生活中可能更熟悉機器人, 因而更接受機器道德決策(Komatsu, 2016)。Ireland (2020)也認為, 一般來說, 隨著人們越來越習慣于算法, 在司法系統(tǒng)中, 算法拒絕的現(xiàn)象可能會減弱或完全消失, 算法可能會變得司空見慣, 算法的錯誤會被視為人類法官犯下的錯誤。

兩種因素影響人們對算法決策的熟悉度。其一是算法本身的透明度, 其二是人們自身的專業(yè)度。首先, 算法決策的不透明可能是阻礙人們熟悉算法決策的原因之一。算法決策是由黑箱方法產(chǎn)生的(Castelvecchi, 2016), 人們并不了解其內(nèi)部工作方式(Kroll et al., 2017; 林少偉, 唐林垚, 2020), 統(tǒng)計預測背后的推理對于沒有接受過統(tǒng)計學訓練的人來說可能是不可及或神秘的(?nkal et al., 2009)。例如有研究發(fā)現(xiàn), 數(shù)學能力較差的人對算法決策的認同程度更低(Logg et al., 2019)。實際上, 算法決策和人類決策都是不透明的, 但人們以為可以通過自省(introspection)的方式了解其他人類決策的心理過程, 這種耦合效應(Coupling effect)使人們對人類決策的不透明感知較低, 卻放大對算法決策的不透明感知。這種對透明度的感知不對稱會削弱人們理解算法決策的信心, 使人們在客觀上本就不熟悉算法決策的情況下, 在主觀上也更低估自己對算法決策的理解, 卻因人類決策是非黑箱過程產(chǎn)生的錯覺而高估自己對人類決策的理解, 這種對算法決策和人類決策的透明度感知與主觀理解不對稱則會強化算法拒絕(Cadario et al., 2021)。因此關(guān)于算法是如何執(zhí)行的解釋既可以提高人們對算法決策的客觀理解亦可以提高他們主觀上對算法決策理解的信心, 從而提高算法決策利用率 (Cadario et al., 2021; Yeomans et al., 2019)。其次, 對應用領(lǐng)域的熟悉度與專業(yè)度也會影響人們對算法決策的接受度。研究發(fā)現(xiàn), 受過金融教育的人更善于處理財務信息, 因此更容易接受算法建議(Lusardi & Mitchell, 2011), 而受教育程度較低的人則更少意識到其需要建議(Lee & Moray, 1992)。投資知識較少的人更拒絕算法幫助自己投資(Niszczota & Kaszás, 2020)。但也有研究發(fā)現(xiàn), 對自己能力過于自信的個體也可能排斥算法決策(Soll & Mannes, 2011)。例如, 從一開始Meehl (1954)提出算法在某些決策上表現(xiàn)得比人類更好時, 就遭到了專家們的強烈質(zhì)疑, 相關(guān)領(lǐng)域的專家們不愿相信線性模型可以超越他們的判斷, 他們甚至對該結(jié)論持敵意態(tài)度。在預測任務中, 專家沒有意識到算法建議的價值, 對算法提供給他們的信息充耳不聞并且堅持自己最初的判斷, 但不接受算法建議的專家的預測準確率甚至不如外行人(Logg et al., 2019)。這些研究結(jié)果提示, 對應用領(lǐng)域的熟悉度和專業(yè)度與算法拒絕間可能存在著非線性關(guān)系, 過弱或過強的熟悉度和專業(yè)度都會強化算法拒絕, 未來的研究可通過比較熟悉度和專業(yè)度的不同水平, 進一步考察二者間的關(guān)系。

算法主體懷疑的第二個原因可能是人們認為算法不具有良好的決策能力。人們通常對算法的專業(yè)能力表示懷疑, 認為算法決策的表現(xiàn)不如人類決策(Dzindolet et al., 2002; Prahl & van Swol, 2017)。例如, 人們不愿遵循醫(yī)療算法建議的原因是他們不相信算法具備做出好建議的專業(yè)醫(yī)學能力(Promberger & Baron, 2006); 即使是讓人們評估完全一樣的藝術(shù)作品, 人們也更喜歡被告知是由人類而不是算法創(chuàng)造的作品(Jago, 2019)。這表明人們的確對算法決策存在一種其專業(yè)能力不如人類的偏見。即使在算法決策與人類決策準確度相近或犯同等程度錯誤時, 人們依然更偏好人類決策(Gogoll & Uhl, 2018), 只有在算法具有相對于人類的明顯優(yōu)越表現(xiàn)時, 人們才可能會選擇算法決策(Bigman & Gray, 2018)。甚至有時人們明知算法決策的表現(xiàn)優(yōu)于人類決策, 仍不會選擇算法決策(Grove & Lloyd, 2006)。專業(yè)能力欠缺還可以通過大量學習過程來進行彌補, 但遺憾的是人們甚至傾向于認為算法決策不具備學習能力(Highhouse, 2008)。即人們通常會認為算法錯誤是系統(tǒng)性的, 算法不能從它們的錯誤中學習并調(diào)整, 但人類錯誤是隨機的, 人類能夠從以往的錯誤中吸取教訓并隨著時間的推移而改進而機器不能。所以當算法產(chǎn)生錯誤時, 人們可能會更傾向于繞過算法, 不再使用算法決策(Filiz et al., 2021)。加之有些算法決策是不透明的, 人們不清楚其來龍去脈(Angwin et al., 2016; O’Neil, 2017), 認為算法無法學習或調(diào)整的看法可能會更強烈。

2.2 道德地位缺失

算法拒絕的第二個原因是算法的道德地位缺失, 因此算法無法承擔決策后的責任。許多時候, 人們遵從他人決策的目的是為了轉(zhuǎn)移和削弱自己承擔的責任, 而如果算法缺失道德主體地位, 則其在承擔責任或者廣義的決策上便顯得無用, 造成人們的算法拒絕。從實際表現(xiàn)上來說, 相對于非道德決策領(lǐng)域, 一旦決策涉及道德領(lǐng)域, 人們的算法拒絕傾向則更為明顯。對于涉及人類生死問題的道德決策, 即使機器決策帶來了積極的結(jié)果, 人們也寧愿選擇一個普通水平的人類而不愿選擇一個高水平的機器(Bigman et al., 2019)。同時, 在經(jīng)濟博弈任務中, 人們更喜歡將與他人報酬有關(guān)的決策任務委托給人類而非機器, 因為人們認為與他人有關(guān)的任務涉及道德, 而大多數(shù)人本能地不喜歡在道德領(lǐng)域使用機器(Gogoll & Uhl, 2018)。在投資方面, 人們也更喜歡人類基金經(jīng)理幫自己投資, 尤其是當投資類型涉及到道德時, 人們會表現(xiàn)出更強的算法拒絕, 因為人們認為需要由道德能力(moral competence)水平更高的基金經(jīng)理來判斷投資一些在道德上有爭議的公司是否是恰當?shù)? 而人們認為機器不具備這種能力(Niszczota & Kaszás, 2020)。這可能是因為與其他決策不同, 道德決策深深植根于情感之中, 需要由具有完全道德地位的主體做出決策(Gray et al., 2017; Haidt, 2001)。而人們基于感知到的心智差異來判斷誰擁有(或缺乏)完全的道德地位(Bastian et al., 2012; Gray et al., 2012)。心智是通過兩個維度被感知的, 即能動性(agency)和體驗性(experience; Gray et al., 2007)。能動性是指思考、推理、計劃和實現(xiàn)意圖的能力; 而體驗性是指感受情緒和諸如疼痛等感覺的能力(Gray et al., 2012)。

算法通常被認為具有一定程度的道德主體地位, 但這種道德主體地位感知又遠弱于人類。比如, 算法有一定的能動性(Gray & Wegner, 2012), 如它們可以進行復雜的計算; 但完全意義的能動性不僅局限于原始的復雜計算, 還應包括自我控制、計劃、溝通和思考等能力(Gray et al., 2007)。也有其它研究認為, 做出道德決策的主體應具有交互性(interactivity)、自主性(autonomy)和適應性(adaptability; Floridi & Sanders, 2004), 以及道德推理(moral reasoning)、自主行為(autonomous action)、溝通和判斷行為后果(Cushman, 2008)等能力(Malle, 2016; Malle & Scheutz, 2014)。而機器不具備這些能力, 因此人們也認為機器不具備做出道德決策的能力。除了能動性以外, 體驗性對于道德決策也很重要。情緒對道德決策至關(guān)重要(Greene et al., 2001; Haidt, 2001; Haidt et al., 1993; Koenigs et al., 2007), 尤其是移情的能力, 即感受他人痛苦的能力, 似乎是道德判斷的核心要素(Aaltola, 2014; Decety & Cowell, 2014)。而機器似乎缺乏感受真實情感的能力(Reinecke et al., 2021)。因此, 盡管機器具有一定程度的能動性, 但它們?nèi)狈w驗性(Brink et al., 2019), 缺乏感受道德情緒的能力(Malle & Scheutz, 2014), 它們依然不具備道德決策能力。

最為重要的是, 若算法的道德主體地位不足, 其便無法很好地承擔道德責任。一旦算法無法承擔道德責任, 則人類在決策中便缺乏將責任轉(zhuǎn)移給算法的可能, 從道德責任分擔意義上來說, 算法決策便無可取之處(Bonaccio & Dalal, 2006)。換句話說, 當遵循或納入人類決策者的建議時, 人們會感覺自己對該決策的責任轉(zhuǎn)移到了建議者身上, 但若遵循或納入算法決策, 這種責任則不會轉(zhuǎn)移, 因為人們認為算法沒有承擔責任的能力(Bonaccio & Dalal, 2006)。Armstrong (1980)發(fā)現(xiàn), 即使有壓倒性的證據(jù)表明專家的判斷和建議有時并不比普通人更準確, 人們?nèi)匀桓嘈胚@些專家。這種現(xiàn)象在政治預測、沖突結(jié)果預測和股市預測等不同領(lǐng)域都有發(fā)現(xiàn)(Green & Armstrong, 2007; Tetlock, 2009)。Armstrong (1980)認為, 這種對專家依賴的一個原因是責任轉(zhuǎn)移, 即如果預測結(jié)果不準確, 專家會受到更多的責備, 人們就可以轉(zhuǎn)移自己決策失誤的責任。而Bonaccio和Dalal (2006)認為, 只有當決策建議者是人類的時候, 分擔和推卸責任這樣的動機才起作用, 若建議來自算法, 這種動機便不起作用了。因為人類被認為有能力承擔責任, 而算法則沒有(Promberger & Baron, 2006)。例如, 在醫(yī)療上, 當患者不得不決定重要的醫(yī)療程序時, 他們不愿承擔該決策的責任, 而是將其轉(zhuǎn)移給其他人——人類醫(yī)生, 因為遵循醫(yī)生的建議可以讓病人感覺自己不需要承擔太多責任, 但是遵循算法建議不會以同樣的方式減少他們的責任感知(Promberger & Baron, 2006)。

2.3 人類特性湮沒

人類特性湮沒是算法拒絕的第三個原因, 即人類感知到算法決策對人類身份或獨特性的更具象征性的威脅, 因無法展示出自身的獨特性而失去控制感。首先, 從人類個體來看, 通常情況下, 人們傾向于認為自己是獨特而不同于他人的, 這種獨特性尋求在個體主義文化下尤甚(Brewer, 1991)。而算法相對理性, 在沒有個人數(shù)據(jù)的情況下只能以標準化和模式化的方式操作, 以同樣的方式處理每一種情況(Haslam, 2006), 這兩種基本信念的不匹配使人們抵觸算法決策。研究發(fā)現(xiàn), 與人類醫(yī)療服務者相比, 消費者更不愿意使用人工智能醫(yī)療服務, 因為人工智能醫(yī)療服務引發(fā)了人們的一種擔憂, 即一個人的獨特特征、環(huán)境和癥狀將被忽視, 這種擔憂被稱為獨特性忽視(Longoni et al., 2019)。即例如, 在消費領(lǐng)域, 產(chǎn)品特征和消費者需求的信息不對稱會傷害企業(yè)與消費者之間的關(guān)系(van Swol, 2009)。人們在更主觀的任務中更不愿意使用算法(Castelo et al., 2019), 如人們更依賴朋友而不是算法推薦電影與書籍或講笑話, 因為這些決策任務受個人品味支配(Yeomans et al., 2019); 相反, 在體育預測等具有具體外部準確性標準的領(lǐng)域, 人們可能會對算法建議感到更信任(Logg et al., 2019)。

算法決策帶來的個性消失更深層次的原因可能是對整個人類群體身份與獨特性湮沒的擔憂, 即人們感知到算法決策對人類內(nèi)部群體的獨特性和價值觀的威脅, 甚至感覺自己被非人化(dehumanization)。人類認為自己與其它群體截然不同, 但算法決策尤其是高自主性的算法決策對環(huán)境的掌控可能會模糊“人類”與“工具”之間的界限。例如人們更討厭不聽人類指令而能自主根據(jù)環(huán)境而做出判斷與決策的機器人, 感知到的威脅也更高(Z?otowski et al., 2017)。申請研究生時僅通過數(shù)據(jù)信息而不是面對面的交談也被認為是不人道的(Dawes, 1979)。因此, 提高主體參與或許能夠提高算法認同。相比單獨使用算法決策, 人們更偏好算法與專家的共同決策, 只要算法輔助的使用不取代人類的判斷; 對于不使用算法輔助決策的專家和使用算法輔助共同做決策的專家, 人們甚至更傾向于后者(Palmeira & Spassova, 2015)。Pezzo和Pezzo (2006)的研究也表明, 與沒有算法支持的醫(yī)生相比, 使用算法支持的醫(yī)生犯錯時, 人們對其負面評價更小。即使是一個不完美的專家加入決策過程中, 也可能會更輕松地排除障礙, 做出更好的決策(Kuncel, 2008)。當然, 研究也發(fā)現(xiàn), 如果算法決策不是替代而只是輔助, 最終決策還是由人來決定, 人們則不會感受到人類特性的湮滅, 此時算法拒絕便會減弱。例如, 相對于執(zhí)行算法, 人們更容易接受和喜歡咨詢算法, 也就是說, 相比算法代替自己決策, 人們更能接受算法給出決策建議(Dietvorst et al., 2015)。將機器限定在從屬于人類的角色, 而由人類做出最終決定, 可以在一定程度上減輕人們對算法決策的拒絕(Bigman & Gray, 2018)。Longoni等人(2019)也發(fā)現(xiàn), 當醫(yī)療人工智能只是輔助而不是替代人類醫(yī)生做決策時, 并沒有出現(xiàn)對醫(yī)療人工智能的抵制。若人們能自主修改算法決策結(jié)果以掌握最終決策權(quán), 人們也會更接受算法決策(Dietvorst et al., 2018)。

3 算法拒絕之改變

算法和算法決策在人工智能時代不可避免地滲入人類生活, 且實際上已有大量算法在驅(qū)動人類的信息獲取及理解(如網(wǎng)站推薦算法), 只是人們尚未意識到。算法決策不可避免地在未來會獲得越來越多的應用。雖算法決策還在迅速發(fā)展的階段, 在一些領(lǐng)域還不夠成熟, 但其在許多問題上的決策能力已然超越人類, 而人類出于種種原因尚未接受它, 若能使人們欣賞其效用, 提高對算法決策的認同與接受度, 或許能為許多個人實際問題的解決帶來事半功倍的效果, 同時為社會帶來經(jīng)濟效益。因此, 針對算法主體懷疑、道德地位缺失以及人類特性湮沒三種算法拒絕的原因——實際上, 這三種原因?qū)祟惖娜N心理動機, 即信任、責任和掌控, 我們提出提高算法認同的三種方式：提高人類對算法的信任度、強化算法的主體責任, 以及探索個性化算法設(shè)計以突顯人對算法決策的控制力。

3.1 提高對算法的信任度

對抗算法主體懷疑的核心因素可能是信任。不難發(fā)現(xiàn), 信任貫穿于算法拒絕的大部分原因之中。人類自身的認知特征如在算法方面的經(jīng)驗不足、對算法能力的感知不足, 以及在算法決策中的參與度不足都可能導致對算法決策的不信任或信任脆弱, 從而拒絕算法決策。對算法決策的不信任體現(xiàn)在兩方面。第一, 人們對算法決策的信任本就不如人類決策。相比人類決策, 人們在了解到算法決策不完美或經(jīng)歷其失誤之前, 就已經(jīng)不那么信任算法決策(Longoni, et al., 2019)。第二, 人們對算法決策的信任更脆弱, 這意味著, 與人類相比, 一兩次算法方面的糟糕經(jīng)歷對其信任造成的傷害更大(Prahl & van Swol, 2017)。因此人們能容忍人類的失誤, 卻不接受算法的失誤。Dietvorst等人(2018)就發(fā)現(xiàn), 人們對算法決策錯誤的容忍度更低, 當他們看見算法決策錯誤時, 對其信心會陡然下降, 之后的選擇也會避開算法決策。因此, 人們拒絕算法決策的很大一部分原因是人們沒有建立起對算法決策的信任(Lee & Seppelt, 2006), 或者說算法沒有“說服”人類相信其決策能力。

就算法拒絕研究來說, 提高信任以減少對算法主體及算法能力的懷疑, 最簡單的辦法當然是提高人類對算法的專業(yè)知識和熟悉性, 并同時更多地展示算法能力。隨著越來越多算法和人工智能科技元素在人類生活中的出現(xiàn), 實際上人類對算法決策的知識和熟悉性會逐漸提高直至習以為常。這時, 展示算法能力便尤為重要。比如, 專業(yè)和有效的算法建議會使人們對其更信任從而提高算法利用度(Goodyear et al., 2016; Kramer et al., 2018); 人工智能醫(yī)療服務能給醫(yī)療領(lǐng)域帶來革命性變化的前提就是其可以達到專家級的準確性(Leachman & Merlino, 2017)。此外, 若人們能根據(jù)自己的需求自主調(diào)整算法輸出(Greene et al., 2016), 他們對算法決策學習或調(diào)整能力的感知也會更強, 雖然算法決策還遠非完美, 但人們實際上愿意接受雖會犯錯但可以學習或調(diào)整的算法(Berger et al., 2021)。不過, 現(xiàn)階段算法決策的專業(yè)性似乎只有在與人類決策進行比較并明顯優(yōu)于人類時才能得到凸顯(Bigman & Gray, 2018)。

3.2 強化算法的主體責任

人們偏好人類決策而不喜歡算法決策可能出于分擔和推卸責任的動機。對于人類來說, 若出于類似動機則必然需要算法承擔道德責任, 這也意味著需要強化算法作為道德主體的道德地位, 即讓算法更像人。這種所謂“像人”有兩種方式, 一種是讓其看起來像人, 而另一種是讓其似乎具有人類的定義性能力。先說后一種, 即提高人們對算法心智能力的感知實際上可以提高大眾對算法決策的接受度。當算法或人工智能看起來越具有類似于人類的心智能力, 人們就越相信它能完全勝任其預期功能(Waytz et al., 2014)。因為有意識的行為主體會被認為更能控制自己的行為, 因而更能通過有意識的預測和計劃來成功完成任務并對其行為與結(jié)果負責(Cushman, 2008)。例如, 提高算法的感知情感相似性可以有效地增加算法在主觀任務中的使用(Castelo et al., 2019)。

而對于以人工智能體如機器、機器人和自動駕駛汽車等為載體的算法決策, 則可以通過擬人化過程提高其類人程度以強化其道德主體地位。擬人化是指將人類獨有的本質(zhì)特征賦予非人對象的心理過程(Waytz et al., 2010; 許麗穎等, 2017), 例如可以從物理特征(臉部、眼睛、身體、動作)、心理特征(喜好, 幽默, 個性, 感情, 同理心)、語言(口語、語言識別)、社會動態(tài)(合作, 鼓勵, 回答問題, 互惠)和社會角色(醫(yī)生、隊友、對手、老師、寵物、導游)等方面增加算法或人工智能體的類人線索(Fogg, 2002)。重要的是, 籍由擬人化還能影響心智感知尤其是理性思維(能動性)和意識感覺(體驗性; Gray et al., 2017)。研究發(fā)現(xiàn), 在心智知覺上將人工智能體擬人化, 確實可以提高人們對它們的信任, 以自動駕駛汽車為例, 當其能感知和思考周圍環(huán)境, 而不僅僅是一個沒有腦子的機器時, 它們會看起來更善于在車流中穿梭駕駛(Waytz et al., 2014)。此外, 對人工智能體外在特征的擬人化可以間接提高人們對其心智能力的感知, 進而更信任該人工智能體。例如, 當自動駕駛汽車的外在物理特征被擬人化時, 如賦予其名字、性別和類似于人類的聲音, 人們會更信任它, 如果發(fā)生了由他人錯誤造成的意外事故, 人們對擬人化自動駕駛汽車的責備會更小; 相反, 若自動駕駛汽車成功規(guī)避了該意外事故, 人們會將成功更多地歸因于擬人化自動駕駛汽車(Waytz et al., 2014)。當然, 過度的擬人化或心智能力感知也可能適得其反, 當算法或人工智能體在外觀或心智能力上與人類達到一定相似度時, 人們對其好感會陡然下降, 甚至感到不安與害怕(Gray & Wegner, 2012), 因而拒絕算法決策, 此即恐怖谷效應(uncanny valley effect; Mori, 1970)。因此, 當賦予算法或人工智能體以人類獨特特征時, 應當控制在讓人們感到舒適的范圍內(nèi), 從而使人們更認同與信任算法決策。

必須說明的是, 盡管研究已發(fā)現(xiàn)算法在預測任務(Jordan & Mitchell, 2015)、棋類游戲(Dockrill, 2017; Silver et al., 2017)以及股市回報最大化(Zuckerman, 2019)等各種決策任務中表現(xiàn)優(yōu)于人類, 但道德相對而言更主觀(喻豐, 韓婷婷, 2018), 就像在道德困境問題上, 有人秉持義務論而有人秉持功利主義, 暫無明確證據(jù)表明算法是否能比人類做出更好的道德決策。算法認同是指能欣賞算法決策的效用, 對算法的積極態(tài)度和行為(Jussupow et al., 2020), 而不是對算法決策的盲目接受, 尤其在面臨道德問題時, 應更審慎地看待算法決策。哪怕改進算法讓人們產(chǎn)生了算法擬人化過程, 問題本質(zhì)并沒有改變, 即或許可以提高人們對算法承擔責任的能力感知以減輕算法拒絕, 但很有可能并不能完全打消人們對責任歸因的顧慮, 因此更重要的問題是研究算法或人工智能的責任歸因問題, 到底算法決策錯誤應由誰負責, 設(shè)計者、生產(chǎn)者亦或是使用者？隨著算法決策日益普及, 這是一個在未來必須面對的問題, 也是減少或消除人們對于算法決策責任歸因顧慮的最有效方法。哪怕算法能夠最終進行責任分擔, 我們?nèi)绾螌ζ溥M行懲罰也將是面臨的一個難題。在這一點上, 也許同時對人類進行道德規(guī)范教育, 讓其更多承擔道德責任并更少推責也是并行不悖的方案。

3.3 探索個性化算法設(shè)計

人類特性湮沒的表象是無法展示出自身的獨特性, 而背后潛藏的動機即人類缺乏對于外部世界的掌控, 或者說算法決策讓人類感知到自主性(autonomy)喪失。為了還原人類的控制感, 讓人感知到自己作為獨特個體的存在, 探索個性化算法設(shè)計以突顯人類對算法決策的控制力可能是較好的選擇。這可能體現(xiàn)在滿足人類個性化需求上, 也可能表現(xiàn)在人類對于決策的最終裁定上。

首先, 當人們認為算法可以了解自己的個人偏好時, 算法決策會變得更容易被認同與欣賞。例如, 在消費領(lǐng)域, 能預測消費者對商品感知吸引力的電子商品篩選工具, 可以從海量商品中優(yōu)先向消費者推薦其更喜歡、更有可能購買的產(chǎn)品(Diehl et al., 2003), 既能減少顧客搜索優(yōu)質(zhì)產(chǎn)品的時間成本, 也能提高商家成功賣出產(chǎn)品的可能性(Senecal & Nantel, 2004)。在醫(yī)療領(lǐng)域, 對獨特性的關(guān)注——即醫(yī)療人工智能若能提供更個性化與更具有針對性的服務, 能緩解人們對醫(yī)療人工智能的抵制(Longoni et al., 2019)。在投資領(lǐng)域, 更個性化的投資建議也會更受消費者的喜愛與信任(Alserda et al., 2019; Louren?o et al., 2020)。

雖個性化算法決策已然是發(fā)展趨勢, 比如許多公司使用算法推薦新聞或其他信息, 但這也會造成新的問題。第一是回聲室效應(Echo Chamber Effect; Cinelli et al., 2021)?，F(xiàn)在的信息傳播媒介大量采用算法, 其基本原理是個體對于某種事物的偏愛會增加推薦頻率, 而這種所謂的偏愛實際上可能是基于其歷史信息獲取的經(jīng)驗共現(xiàn), 也可能是基于簡單的標簽。無論是何種方式, 這種信息回聲室效應也為人編織了一個信息的房間, 它屏蔽其他信息, 讓個體在某一類信息中娛樂至死, 這便是信息繭房。第二便是隱私問題。個性化算法決策離不開對個人數(shù)據(jù)的收集。實際上人們并不希望在所有領(lǐng)域都提供個性化算法服務。研究發(fā)現(xiàn), 人們對商業(yè)應用(如購物和娛樂)方面的個性化服務態(tài)度更積極, 但反對新聞來源、社交媒體、政治競選的個性化, 反對算法收集和使用敏感的個人信息(Ipsos Mori, 2020; Rainie, 2019)。人們需要的不僅是個性化算法, 更是透明的個性化算法, 即尊重人們的數(shù)據(jù)隱私, 并且可以受用戶調(diào)整(Kozyreva et al., 2021)。為了提高人類個性化感知而過度收集數(shù)據(jù), 侵犯人們的隱私或在人們敏感的領(lǐng)域越界應用, 可能適得其反。

其次, 應讓人類在決策系統(tǒng)中擁有最終發(fā)言權(quán)。未來我們將看到越來越多的機器在人類共同的環(huán)境中生活, 而讓算法完全替代人類決策或取代人類的工作從來不是一個好的選擇。人類和算法擅長的方面是不一樣的, 算法或許比我們更能把一件事情“做好”, 但只有人類才知道要“做什么”和“怎么做”。利用算法決策強大的計算與整合信息能力的優(yōu)點, 來彌補人類決策的缺點, 將人類的智慧運用在人類更擅長而算法不可及的地方, 相輔相成, 以算法輔助人類或人機合作決策, 才是更好的選擇。因此, 加強人類和算法的合作決策, 同時確保人類在決策中的主體地位, 以算法輔助人類而不是替代人類能使人們對算法決策持更開放的態(tài)度?？傊? 相較于單獨的算法決策或人類決策, 人們可能認為人類與算法合作能做出更優(yōu)的決策(Palmeira & Spassova, 2015; Pezzo & Pezzo, 2006), 但前提是人類擁有最終決策權(quán)(Starke & Lünich, 2020)。我國學者錢學森早在上個世紀就已提出綜合集成研討廳方法, 提倡以人為主, 人機結(jié)合, 不要用計算機代替人, 而是要用計算機去協(xié)助人, 將計算機高速處理信息的能力和人的綜合思維能力(包括邏輯思維、形象思維和創(chuàng)造思維)結(jié)合起來(黃志澄, 2005)。錢學森的想法是基于人類至上的角度考慮問題, 將人類的智慧和利益放在首位(李月白, 江曉原, 2019), 這對于今天的算法決策研究仍有深刻啟發(fā)。

4 討論與總結(jié)

算法拒絕的三維動機理論實際上是在模擬人類面臨算法決策時的直覺思維框架, 也就是人類在面臨算法決策時, 大略會問的幾個遞進問題, 即是否了解算法并認為其有能力進行決策、是否使用算法而導致決策失敗后自己承擔責任以及是否使用算法會顯得自己缺乏作為人類個體的獨特性。這三個問題彰示出人類信任/懷疑、擔責/推責、掌控/失控的三種動機。雖已綜述現(xiàn)有研究并嘗試理論建構(gòu), 但仍須承認尚有諸多待探討空間。

其一, 此理論似乎暗含一種算法決策強于人類決策, 而將算法決策的接受視為“應該”的傾向。實際上, 人類并非因理性而決策, 甚至人之所以為人正是因為人有獨特于機器的理性之處。研究發(fā)現(xiàn), 在人工智能時代人類會將那些算法比人強的能力(如一般認知能力、身體能力、消極情緒等)視作不重要, 而將道德、審美等能力凸顯以區(qū)分自己與機器(喻豐, 2020)。人性光輝有時就閃現(xiàn)于情感而非機器理性中。同時, 人類接受或者不接受某種事物, 并非一定源于其相較于人類具備優(yōu)勢, 人類不會因為某種制度有優(yōu)勢就理應接受之, 也不會因為某種商品更物美價廉便理應拋棄其他商品。不以事實描述的優(yōu)劣做規(guī)范應該的判斷依據(jù)本身也是人類特征, 否則人便與算法無異。實際上該理論并未預設(shè)這種規(guī)范性立場, 只是在探究為何算法在某些方面強于人類, 而人類依舊選擇拒絕算法的原因。當然, 此理論確有期望人類可以利用算法決策之優(yōu)勢來優(yōu)化自身決策的可能, 但并非在強調(diào)必須用算法決策替代人類決策。

其二, 算法拒絕的三維動機理論是開放的, 并不拒絕其他可能動機。例如, 普遍意義上更廣泛的認知、存在以及社會動機均有可能作為備擇動機(Jost et al., 2003; Jost et al., 2009)。當然, 我們所描述的信任、責任和掌控本身就從屬于廣義的社會或者認知動機, 但是確實存在其他可能。如認知閉合需求, 此動機包含對明確且完美答案的渴望, 因此高認知閉合需求的個體思想封閉, 對開放性和不確定感到不安, 進而對懸而未決與不確定的決策感到煩悶與厭惡(Otto et al., 2016)。算法決策作為現(xiàn)代信息時代的產(chǎn)物, 其新穎性對于高認知閉合需求的個體來說, 則可能意味著開放與不確定, 從而引起算法拒絕。以往研究的確發(fā)現(xiàn), 算法拒絕很可能出現(xiàn)在人們看到算法出錯之后(Dietvorst & Bharti, 2020), 這可能是對完美答案渴望的認知閉合需要與發(fā)現(xiàn)算法失誤的期望偏差之間的沖突導致的算法拒絕。再如社會認同, 在傳統(tǒng)的群際理論中(Turner et al., 1987), 最廣泛的社會認同即人類認同, 其反映了自我作為人類的認知, 以及與非人類(即動物、其他生物、非生物實體)的潛在不同。但近年來研究發(fā)現(xiàn)社會認同在向非人實體擴張, 如人與動物之間可能存在心理聯(lián)結(jié), 這種聯(lián)結(jié)包括三個維度, 即團結(jié)、自豪與感知相似性(Amiot et al., 2020)。這種心理聯(lián)結(jié)顯然會使人類對動物產(chǎn)生更積極的情感聯(lián)結(jié)而更喜歡動物。算法與動物都屬于非人實體, 若以動物類比, 對算法缺乏心理聯(lián)結(jié)或許會導致對算法的不喜愛甚至厭惡, 進而導向算法拒絕。例如相比人類醫(yī)生, 人們可能對人工智能醫(yī)生具有更少的情感聯(lián)結(jié)或情感寄托而拒絕人工智能醫(yī)生。心理聯(lián)結(jié)對于決策過程的理解也很重要, 盡管人類決策和算法決策都是不透明的, 但由于人類之間的心理聯(lián)結(jié)如感知相似性, 人們認為可以通過自省的方式理解他人決策的心理過程(Nisbett, & Wilson, 1977), 雖然這種理解并不一定是對的(Kahneman, 2003; Morewedge & Kahneman, 2010), 但這種信念使人們更偏好人類決策(Cadario et al., 2021), 而心理聯(lián)結(jié)的缺失使人們無法理解算法決策的過程而拒絕算法決策。這需要更多研究, 而理論框架也需要隨之不斷完善。

其三, 強調(diào)心理動機在算法拒絕中的重要性, 并不代表將心理因素置于影響算法拒絕的所有因素中的絕對主導地位。人類對算法決策的拒絕還可能出于諸如法律、政治、社會背景以及哲學思考等的各種主觀原因或現(xiàn)實考慮。法律因素包括“數(shù)據(jù)道德”或“AI道德”的窠臼、人類隱私邊界、個人權(quán)利與自由以及技術(shù)寡頭等(彭誠信, 2020); 社會因素包括對資源分配不公平、技術(shù)性失業(yè)、階層固化以及社會排斥等的擔憂(李明倩, 2021; 孫偉平, 2021); 哲學家也對算法拒絕的原因進行了批判性的思考, 認為技術(shù)化擴張可能會帶來人類生存缺憾, 侵蝕人類的生存意義與存在價值, 使存在變得荒謬化(周露平, 2021)。雖然算法拒絕的三維動機理論強調(diào)心理因素的作用, 但并非否認其他因素對算法拒絕的重要影響。算法拒絕必然是一個由多種復雜因素造成的現(xiàn)象, 但術(shù)業(yè)專攻所致, 此理論僅從心理動機來探究其原因與提高算法認同的方法。

總而言之, 對算法決策的拒絕可能是由于算法主體懷疑、道德地位缺失和人類特性湮沒這三維原因所致, 這三種原因背后反映出信任、責任和掌控之動機。未來研究可探索算法拒絕發(fā)生的邊界條件, 找尋改變甚至逆轉(zhuǎn)算法拒絕現(xiàn)象的心理變量。同時, 進一步挖掘算法拒絕的其他可能心理動機, 將其進行實證檢驗、納入并修正理論。最后, 在算法決策越來越多地以人工智能體等實體載體出現(xiàn), 實現(xiàn)工具性至社會性的轉(zhuǎn)變時, 宜更多地從社會性主體的角度考察人們對算法決策的態(tài)度及與之對應的心理動機。

黃志澄. (2005). 以人為主, 人機結(jié)合, 從定性到定量的綜合集成法.,(2), 55– 59.

李明倩. (2021).(pp. 148–171). 北京: 商務印書館.

李月白, 江曉原. (2019). 錢學森與 20 世紀 80 年代的人工智能熱.,(6), 24–29.

彭誠信(主編). (2020).(pp. 35–41). 上海: 上海人民出版社.

孫偉平. (2021). 智能系統(tǒng)的“勞動”及其社會后果., (8), 30–40+128.

許麗穎, 喻豐, 鄔家驊, 韓婷婷, 趙靚. (2017). 擬人化: 從“它”到“他”.,(11), 1942–1954.

喻豐. (2020). 論人工智能與人之為人., (1), 30–36.

喻豐, 韓婷婷. (2018). 有限道德客觀主義的概模型.,(157), 148–163+193.

周露平. (2021). 智能拜物教的哲學性質(zhì)與批判超越., (8), 41–50.

Aaltola, E. (2014). Affective empathy as core moral agency: Psychopathy, autism and reason revisited.,(1), 76–92.

Alserda, G. A., Dellaert, B. G., Swinkels, L., & van der Lecq, F. S. (2019). Individual pension risk preference elicitation and collective asset allocation with heterogeneity.,, 206–225.

Amiot, C. E., Sukhanova, K., & Bastian, B. (2020). Social identification with animals: Unpacking our psychological connection with other animals.,(5), 991–1017.

Andrews, D. A., Bonta, J., & Wormith, J. S. (2006). The recent past and near future of risk and/or need assessment.,(1), 7–27.

Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016).. Retrieved May 19, 2021, from https://www. propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Armstrong, J. S. (1980). The seer-sucker theory: The value of experts in forecasting.,(7), 16–24.

Badue, C., Guidolini, R., Carneiro, R. V., Azevedo, P., Cardoso, V. B., Forechi, A., ... de Souza, A. F. (2020). Self-driving cars: A survey.,, 113816.

Bastian, B., Loughnan, S., Haslam, N., & Radke, H. R. (2012). Don’t mind meat? The denial of mind to animals used for human consumption.,(2), 247–256.

Berger, B., Adam, M., Rühr, A., & Benlian, A. (2021). Watch me improve—Algorithm aversion and demonstrating the ability to learn.,(1), 55–68.

Bigman, Y. E., & Gray, K. (2018). People are averse to machines making moral decisions.,, 21–34.

Bigman, Y. E., Waytz, A., Alterovitz, R., & Gray, K. (2019). Holding robots responsible: The elements of machine morality.,(5), 365–368.

Biró, P., van de Klundert, J., Manlove, D., Pettersson, W., Andersson, T., Burnapp, L., ... Viana, A. (2021). Modelling and optimisation in European kidney exchange programmes.,(2), 447– 456.

Bonaccio, S., & Dalal, R. S. (2006). Advice taking and decision-making: An integrative literature review, and implications for the organizational sciences.,(2), 127–151.

Bonnefon, J.-F., Shariff, A., & Rahwan, I. (2016). The social dilemma of autonomous vehicles.,(6293), 1573– 1576.

Bostrom, N. (2014).. Oxford: Oxford University Press.

Brewer, M. B. (1991). The social self: On being the same and different at the same time.,(5), 475–482.

Brink, K. A., Gray, K., & Wellman, H. M. (2019). Creepiness creeps in: Uncanny valley feelings are acquired in childhood.,(4), 1202–1214.

Burton, J. W., Stein, M. K., & Jensen, T. B. (2020). A systematicreview of algorithm aversion in augmented decision making.,(2), 220–239.

Cadario, R., Longoni, C., & Morewedge, C. K. (2021). Understanding, explaining, and utilizing medical artificial intelligence., https://doi.Org /10.1038/s41562-021-01146-0.

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task- dependent algorithm aversion.,(5), 809–825.

Castelvecchi, D. (2016). Can we open the black box of AI?,(7623), 20–23.

Chouard, T. (2016). The Go files: AI computer clinches victory against Go champion.. http://doi.org/10. 1038/nature.2016.19553

Cinelli, M., Morales, G. D. F., Galeazzi, A., Quattrociocchi, W., & Starnini, M. (2021). The echo chamber effect on social media.,(9), e2023301118.

Common Cents Lab. (2017). Managing Cash Flow. In(pp.37–40). Durham, NC. https://advanced-hindsight.com/annual-report-2017/

Cushman, F. (2008). Crime and punishment: Distinguishing the roles of causal and intentional analyses in moral judgment.,(2), 353–380.

Dawes, R. M. (1979). The robust beauty of improper linear models in decision making.,(7), 571-582.

Decety, J., & Cowell, J. M. (2014). The complex relation between morality and empathy.,(7), 337–339.

Diehl, K., Kornish, L. J., & Lynch Jr, J. G. (2003). Smart agents: When lower search costs for quality information increase price sensitivity.,(1), 56–71.

Dietvorst, B. J., & Bharti, S. (2020). People reject algorithms in uncertain decision domains because they have diminishing sensitivity to forecasting error.,(10), 1302–1314.

Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err.,(1), 114?126.

Dietvorst, B. J., Simmons, J. P., & Massey, C. (2018). Overcoming algorithm aversion: People will use imperfect algorithms if they can (even slightly) modify them.,(3), 1155–1170.

Dockrill, P. (2017). In just 4 hours, Google’s AI mastered all the chess knowledge in history., doi: 10.31988/ SciTrends.6770

Donnelly, L. (2017). Forget your GP, robots will ‘soon be able to diagnose more accurately than almost any doctor’., Retrieved May 19, 2021.

Dzindolet, M. T., Pierce, L. G., Beck, H. P., & Dawe, L. A. (2002). The perceived utility of human and automated aids in a visual detection task.,(1), 79–94.

Esteva, A., Kuprel, B., Novoa, R. A., Ko, J., Swetter, S. M., Blau, H. M., & Thrun, S. (2017). Dermatologist-level classification of skin cancer with deep neural networks.,(7639), 115–118.

Filiz, I., Judek, J. R., Lorenz, M., & Spiwoks, M. (2021). Reducing algorithm aversion through experience.,. https://doi.org/ 10.1016/j.jbef.2021.100524

Floridi, L., & Sanders, J. W. (2004). On the morality of artificial agents.,(3), 349–379.

Fogg, B. J. (2002).. San Francisco: Morgan Kaufmann.

Fournier, T. (2016). Will my next car be a libertarian or a utilitarian? Who will decide?.,(2), 40–45.

Gogoll, J., & Uhl, M. (2018). Rage against the machine: Automation in the moral domain.,, 97–103.

Goodyear, K., Parasuraman, R., Chernyak, S., Madhavan, P., Deshpande, G., & Krueger, F. (2016). Advice taking from humans and machines: An fMRI and effective connectivity study.,, 542.

Gray, H. M., Gray, K., & Wegner, D. M. (2007). Dimensions of mind perception.,(5812), 619.

Gray, K., Schein, C., & Cameron, C. D. (2017). How to think about emotion and morality: Circles, not arrows.,, 41–46.

Gray, K., & Wegner, D. M. (2012). Feeling robots and human zombies: Mind perception and the uncanny valley.,(1), 125–130.

Gray, K., Young, L., & Waytz, A. (2012). Mind perception is the essence of morality.,(2), 101–124.

Greene, J. D., Sommerville, R. B., Nystrom, L. E., Darley, J. M., & Cohen, J. D. (2001). An fMRI investigation of emotional engagement in moral judgment.,(5537), 2105–2108.

Greene, J., Rossi, F., Tasioulas, J., Venable, K. B., & Williams, B. (2016, February). Embedding ethical principles in collective decision support systems. In(pp. 4147?4151). Phoenix, Arizona.

Green, K. C., & Armstrong, J. S. (2007). The ombudsman: Value of expertise for forecasting decisions in conflicts.,(3), 287–299.

Grove, W. M., & Lloyd, M. (2006). Meehl's contribution to clinical versus statistical prediction.,(2), 192?194.

Haidt, J. (2001). The emotional dog and its rational tail: A social intuitionist approach to moral judgment.,(4), 814?834.

Haidt, J., Koller, S. H., & Dias, M. G. (1993). Affect, culture, and morality, or is it wrong to eat your dog?,(4), 613?628.

Harvey, C. R., Rattray, S., Sinclair, A., & van Hemert, O. (2017). Man vs. Machine: Comparing Discretionary and Systematic Hedge Fund Performance.,(4), 55–69.

Haslam, N. (2006). Dehumanization: An integrative review.,(3), 252– 264.

Highhouse, S. (2008). Stubborn reliance on intuition and subjectivity in employee selection.,(3), 333–342.

Horowitz, M. C. (2016). The ethics & morality of robotic warfare: Assessing the debate over autonomous weapons.,(4), 25–36.

Ipsos Mori. (2020, February). Public attitudes towards online targeting - A report by Ipsos MORI for the Centre for Data Ethics and Innovation and Sciencewise (Research report).. Retrieved May 19, 2021.

Ireland, L. (2020). Who errs? Algorithm aversion, the source of judicial error, and public support for self-help behaviors.,(2), 174–192.

Jago, A. S. (2019). Algorithms and authenticity.,(1), 38–56.

Jordan, M. I., & Mitchell, T. M. (2015). Machine learning: Trends, perspectives, and prospects.,(6245), 255–260.

Jost, J. T., Federico, C. M., & Napier, J. L. (2009). Political ideology: Its structure, functions, and elective affinities.307–337.

Jost, J. T., Glaser, J., Kruglanski, A. W., & Sulloway, F. J. (2003). Political conservatism as motivated social cognition.(3), 339?375.

Jussupow, E., Benbasat, I., & Heinzl, A. (2020, June). Why are we averse towards algorithms? A comprehensive literature review on algorithm aversion. In(pp. 1–16). Marrakech, Morocco.

Kahneman, D. (2003). Maps of bounded rationality: Psychology for behavioral economics.,(5), 1449?1475.

Kaya, O., Schildbach, J., AG, D. B., & Schneider, S. (2017, August 10). Robo-advice–A true innovation in asset management.. Retrieved December 10, 2021.

Koenigs, M., Young, L., Adolphs, R., Tranel, D., Cushman, F., Hauser, M., & Damasio, A. (2007). Damage to the prefrontal cortex increases utilitarian moral judgements.,(7138), 908–911.

Komatsu, T. (2016, March). Japanese students apply same moral norms to humans and robot agents: Considering a moral HRI in terms of different cultural and academic backgrounds. In(pp. 457–458). IEEE.

Kozyreva, A., Lorenz-Spreen, P., Hertwig, R., Lewandowsky, S., & Herzog, S. M. (2021). Public attitudes towards algorithmic personalization and use of personal data online: Evidence from Germany, Great Britain, and the United States.,(1), 1–11.

Kramer, M. F., Borg, J. S., Conitzer, V., & Sinnott-Armstrong, W. (2018, February). When do people want AI to make decisions? In(pp. 204–209). New Orleans, LA.

Kroll, J. A., Huey, J., Barocas, S., Felten, E. W., Reidenberg, J. R., Robinson, D. G., & Yu, H. (2017). Accountable algorithms.,, 633.

Kuncel, N. R. (2008). Some new (and old) suggestions for improving personnel selection.,(3), 343–346.

Leachman, S. A., & Merlino, G. (2017). The final frontier in cancer diagnosis.,(7639), 36–38.

Lee, J. D., & Moray, N. (1992). Trust, control strategies and allocation of function in human-machine systems.,(10), 1243–1270.

Lee, J. D., & Seppelt, B. D. (2006). Human factors and ergonomics in automation design. In G. Salvendy (Ed.),(pp. 1570– 1596). Hoboken, NJ: Wiley.

Lee, M. K., (2018). Understanding perception of algorithmic decisions: Fairness, trust, and emotion in response to algorithmic management.,(1), 2053951718756684.

Leyer, M., & Schneider, S. (2019, June). Me, you or AI? How do we feel about delegation. InStockholm & Uppsala, Sweden.

Logg, J. M., Minson, J. A., & Moore, D. A. (2019). Algorithmappreciation: People prefer algorithmic to human judgment.,, 90–103.

Lohr, S. (2016, October 17). IBM is counting on its bet on Watson, and paying big money for it., Retrieved May 19, 2021.

Longoni, C., Bonezzi, A., & Morewedge, C. K. (2019). Resistance to medical artificial intelligence.,(4), 629–650.

Louren?o, C. J. S., Dellaert, B. G. C., & Donkers, B. (2020). Whose algorithm says so: The relationships between type of firm, perceptions of trust and expertise, and the acceptance of financial Robo-advice.,, 107–124.

Luo, X., Tong, S., Fang, Z., & Qu, Z. (2019). Frontiers: Machines vs. humans: The impact of artificial intelligence chatbot disclosure on customer purchases.,(6), 937–947.

Lusardi, A., & Mitchell, O. S. (2011). Financial literacy around the world: An overview.,(4), 497?508.

Malle, B. F. (2016). Integrating robot ethics and machine morality: The study and design of moral competence in robots.,(4), 243–256.

Malle, B. F., & Scheutz, M. (2014, May). Moral competence in social robots. In(pp. 1–6). Chicago, IL.

Malle, B. F., Scheutz, M., Arnold, T., Voiklis, J., & Cusimano, C. (2015, March). Sacrifice one for the good of many? People apply different moral norms to human and robot agents. In(pp. 117– 124). IEEE.

McFarland, M. (2014). Elon Musk: ‘With artificial intelligence we are summoning the demon.’. Retrieved May 19, 2021.

Meehl, P. E. (1954).. Minneapolis, MN: University of Minnesota Press.

Morewedge, C. K., & Kahneman, D. (2010). Associative processes in intuitive judgment.,(10), 435?440.

Mori, M. (1970). Bukimi no tani [the uncanny valley].,(4), 33–35.

Nisbett, R. E., & Wilson, T. D. (1977). Telling more than we can know: Verbal reports on mental processes.,(3), 231?259.

Niszczota, P., & Kaszás, D. (2020). Robo-investment aversion.,(9), e0239277.

Oliveira, H. G. (2017, September). A survey on intelligent poetry generation: Languages, features, techniques, reutilisation and evaluation. In(pp. 11–20). Santiago de Compostela, Spain.

O’Neil, C. (2017).New York: Broadway Books.

?nkal, D., Goodwin, P., Thomson, M., G?nül, S., & Pollock, A. (2009). The relative influence of advice from human experts and statistical methods on forecast adjustments.,(4), 390–409.

Otto, A. S., Clarkson, J. J., & Kardes, F. R. (2016). Decision sidestepping: How the motivation for closure prompts individuals to bypass decision making.,(1), 1–16.

Palmeira, M., & Spassova, G. (2015). Consumer reactions to professionals who use decision aids.,(3/4), 302–326.

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse.,(2), 230–253.

Pezzo, M. V., & Pezzo, S. P. (2006). Physician evaluation after medical errors: Does having a computer decision aid help or hurt in hindsight?.,(1), 48–56.

Prahl, A., & van Swol, L. (2017). Understanding algorithm aversion: When is advice from automation discounted?.,(6), 691–702.

Promberger, M., & Baron, J. (2006). Do patients trust computers?.,(5), 455–468.

Rainie, L. (2019). Facebook Algorithms and Personal Data.. Retrieved December 10, 2021.

Reinecke, M. G., Wilks, M., & Bloom, P. (2021, July). Developmental changes in perceived moral standing of robots. InVienna, Austria.

Roberts, S. (2017). Christopher strachey’s nineteen-fifties love machine.. Retrieved May 19, 2021.

Senecal, S., & Nantel, J. (2004). The influence of online product recommendations on consumers’ online choices.,(2), 159–169.

Shaffer, V. A., Probst, C. A., Merkle, E. C., Arkes, H. R., & Medow, M. A. (2013). Why do patients derogate physicians who use a computer-based diagnostic support system?.,(1), 108–118.

Shin, K. Y., Lee, J. K., Kang, K. H., Hong, W. G., & Han, C. H. (2019). The current applications and future directions of artificial intelligence for military logistics.,(12), 2433–2444.

Silver, D., Hubert, T., Schrittwieser, J., Antonoglou, I., Lai, M., Guez, A., ... Hassabis, D. (2017). Mastering chess and shogi by self-play with a general reinforcement learning algorithm.arXiv:1712.01815.

Smith, A. (2018). “Public attitudes toward computer algorithms.”. Retrieved May 19, 2021.

Soll, J. B., & Mannes, A. E. (2011). Judgmental aggregation strategies depend on whether the self is involved.,(1), 81–102.

Starke, C., & Lünich, M. (2020). Artificial intelligence for political decision-making in the European Union: Effects on citizens’ perceptions of input, throughput, and output legitimacy.,, e16.

Tetlock, P. E. (2009).? Princeton: Princeton University Press.

Turner, J. C., Hogg, M. A., Oakes, P. J., Reicher, S. D., & Wetherell, M. S. (1987).. Oxford, UK: Blackwell.

van den Berg, J., Patil, S., & Alterovitz, R. (2017). Motion planning under uncertainty using differential dynamic programming in belief space. In H. I. Christensen & O. Khatib (Eds.),(pp. 473–490). Cham: Springer International Publishing.

van Swol, L. M. (2009). The effects of confidence and advisor motives on advice utilization.,(6), 857–873.

Voiklis, J., Kim, B., Cusimano, C., & Malle, B. F. (2016, August). Moral judgments of human vs. robot agents. In(pp. 775– 780). IEEE.

Waytz, A., Cacioppo, J., & Epley, N. (2010). Who sees human? The stability and importance of individual differences in anthropomorphism.,(3), 219–232.

Waytz, A., Heafner, J., & Epley, N. (2014). The mind in the machine: Anthropomorphism increases trust in an autonomous vehicle.,, 113–117.

Yeomans, M., Shah, A., Mullainathan, S., & Kleinberg, J. (2019). Making sense of recommendations.,(4), 403–414.

Zajonc, R. B. (1968). Attitudinal effects of mere exposure.,(2), 1?27.

Z?otowski, J., Yogeeswaran, K., & Bartneck, C. (2017). Can we control it? Autonomous robots threaten human identity, uniqueness, safety, and resources.,, 48–54.

Zuckerman, G. (2019).. London: Penguin Random House.

A three-dimensional motivation model of algorithm aversion

ZAHNG Yuyan1, XU Liying2, YU Feng1, DING Xiaojun3, WU Jiahua1, ZHAO Liang4

(1430072,) (2100084,) (3710049,)(4430072,)

Algorithm aversion refers to the phenomenon of people preferring human decisions but being reluctant to use superior algorithm decisions. The three-dimensional motivational model of algorithm aversion summarizes the three main reasons: the doubt of algorithm agents, the lack of moral standing, and the annihilation of human uniqueness, corresponding to the three psychological motivations, i.e., trust, responsibility, and control, respectively. Given these motivations of algorithm aversion, increasing human trust in algorithms, strengthening algorithm agents? responsibility, and exploring personalized algorithms to salient human control over algorithms should be feasible options to weaken algorithm aversion. Future research could further explore the boundary conditions and other possible motivations of algorithm aversion from a more social perspective.

algorithmic decision making, algorithm aversion, mental motivation, human-robot interaction

2021-07-08

* 國家社科基金青年項目(20CZX059); 國家自然科學基金青年項目(72101132); 中國博士后科學基金面上項目(2021M701960)。

許麗穎, E-mail: liyingxu@mail.tsinghua.edu.cn 喻豐, E-mail: psychpedia@whu.edu.cn

B849: C91