[美]杰克·巴爾金 著 劉 穎 陳瑤瑤 譯

一、 弗蘭肯斯坦情結(jié)

在我孩童時期，我讀了艾薩克·阿西莫夫(Isaac Asimov)所有關(guān)于機器人的故事。在阿西莫夫的世界里，機器人逐漸融入社會的方方面面，它們與人類有著不同程度的相似性。但隨著故事的發(fā)展，最先進的機器人在外觀和形態(tài)上開始非?！叭祟悺?。

這些機器人故事中最著名的就是阿西莫夫的三大定律，它將被植入每個機器人的正電子腦中。

這三條定律如下。

第一定律：“機器人不得傷害人類，或者通過不作為而使人類受到傷害?！?1)Isaac Asimov. Runaround, in I, Robot 41, 53 (Gnome Press 1st ed. 1950).譯者注：該書有中文譯本，參見[美]艾薩克·阿西莫夫：《我，機器人》，葉李華譯，江蘇鳳凰文藝出版社2013年版。另外需說明的是，本文中多次出現(xiàn)“l(fā)aws”一詞，雖然英文表述一樣，但實質(zhì)意義并不相同，所以在涉及阿西莫夫小說中的“l(fā)aws”譯為定律，但巴爾金教授所代指的“l(fā)aws”譯為法則。

第二定律：“機器人必須服從人類的命令，除非該命令與第一定律相抵觸?！?2)See note ①， Asimov.

第三定律：“機器人必須保護自身的安全，只要這種保護不與第一或第二定律相抵觸。”(3)See note ①， Asimov.

這三條定律非常有影響力，甚至直到今天，人們還在想象將它們植入到機器人(例如自動駕駛汽車)上會是什么樣子，或者這種植入是否有可能實現(xiàn)。(4)參見Boer Deng. Machine Ethics: The Robot’s Dilemma, Nature (July 1, 2015),http://www.nature.com/news/machine-ethics-the-robot-s-dilemma-1.17881[https://perma.cc/5ht6-eefa]; Ulrike Barthelmess， Ulrich Furbach. Do We Need Asimov’s Laws?, Cornell U. Lib. 11 (2014), https://arxiv.org/ftp/arxiv/papers/1405/1405.0961.pdf [https://perma.cc/ysc2-wzyj].

作為一種令人印象深刻的文學(xué)手法，三大定律用一種有趣得多的主題取代了人們熟悉的機器人主題。更古老的主題是“弗蘭肯斯坦怪物”，或后來變得很邪惡或發(fā)狂的殺手機器人的主題。在《終結(jié)者》系列電影中，該文學(xué)主題的一個例子就是，神經(jīng)網(wǎng)絡(luò)(Skynet)變得有自我意識并接管了世界。(5)參見The Terminator (Hemdale Film Corp. 1984).但阿西莫夫?qū)憴C器人故事是為了對抗他所謂的“弗蘭肯斯坦情結(jié)”(Frankenstein Complex)——即機器人天生就具有威脅性或邪惡性——且人類不可避免地會創(chuàng)造出一些機械生物，而這些機械生物又會攻擊它們的創(chuàng)造者。(6)參見Isaac Asimov. The Machine and the Robot, in Science Fiction: Contemporary Mythology 244, 250-253(帕特里夏·瓦里克等人編，1978)；Lee Mccauley. The Frankenstein Complex and Asimov’s Three Laws, in Human Implications of Humanrobot Interaction 9, 9-10(人工智能發(fā)展促進會，研討會報告編號：WS-07-07，2007)，https//www.aaai.org/papers/workshops/2007/WS-07-07/WS07-07-003.pdf [https://perma.cc/aj9f-fhtj]。事實上，在他的許多小說中，人們一開始對機器人抱有偏見，最終卻看到了它們的價值。例如，他幾個故事的主角——偵探以利·亞貝利(Elijah Bailey)。他最初懷疑機器人，最后卻與他的機器人搭檔丹尼爾·奧利瓦(R. Daneel Olivaw)成為最好的朋友。(7)參見https//www.aaai.org/papers/workshops/2007/WS-07-07/WS07-07-003.pdf [https://perma.cc/aj9f-fhtj].

通過設(shè)立三大定律，阿西莫夫讓事情變得更加有趣。他沒有擔(dān)心機器人最終是否會攻擊我們?nèi)祟?，而是提出了另一個律師非常關(guān)心的問題，即法律解釋問題。當(dāng)法律不明確或者法律沖突時，我們會做什么？或者在某些情況下，機器人本身會做什么？通過創(chuàng)立這三大定律，阿西莫夫把我們對機器人的想象從威脅轉(zhuǎn)移到了解釋和規(guī)制的對象，進而轉(zhuǎn)移到了諷刺和沖突的對象。這是一個非常復(fù)雜的想法，也是從他的許多小說中發(fā)展出來的。

現(xiàn)如今，我們還不清楚我們是否真的能把阿西莫夫提出的三大定律應(yīng)用到機器人和人工智能體上。畢竟，阿西莫夫的三大定律似乎相當(dāng)模糊和不完整，可能存在漏洞。

當(dāng)然，這也是需要重點關(guān)注的部分。在阿西莫夫的小說中，一個反復(fù)出現(xiàn)的主題是當(dāng)法律不明確或模糊，或者在某些情況下可能會發(fā)生的沖突。因此小說情節(jié)往往轉(zhuǎn)向用巧妙的方式來解釋或重新解釋它們，或者如何解決它們之間的沖突等。在其后期的一部小說中，機器人丹尼爾·奧利瓦(Daneel Olivaw)一開始是個偵探，但最終成為小說中一個非常重要的人物。他變得非常先進，以至于創(chuàng)造了自己的第零定律——“機器人不能傷害人類，或者通過不作為，讓人類受到傷害”——這比他在原始程序中接收到的所有其他程序都要先進。(8)參見Isaac Asimov. Robots and Empire 291 (1985);Joseph A. Angelo,Robotics: A Reference Guide to the New Technology 103 (2007).

總之，我今天的目標(biāo)是要問，我們可以利用阿西莫夫關(guān)于三大定律的最初想法做些什么。然而，當(dāng)我談到機器人時，將不僅包括機器人這種與環(huán)境交互的實物，還包括人工智能體和機器學(xué)習(xí)算法。我認(rèn)為這與阿西莫夫的觀點完全一致。雖然阿西莫夫主要寫機器人，但他也寫非常智能的計算機。(9)參見Isaac Asimov. The Last Question, in Robot Dreams 220, 220 (1986).他試圖對抗的弗蘭肯斯坦綜合癥(Frankenstein syndrome)可能源于對人工智能或算法的恐懼，也可能源于對實體化機器人的恐懼。今天，人們似乎不僅害怕機器人，而且害怕人工智能體和算法，包括機器學(xué)習(xí)系統(tǒng)。(10)參見Rory Cellan-Jones. Stephen Hawking Warns Artificial Intelligence Could End Mankind, BBC (Dec. 2, 2014), http://www.BBC.com/news/technology-30290540[https-//perima.ccje2-95rl]; Samuel Gibbs. Elon Musk: Artificial Intelligence Is Our Biggest Existential Threat, Guardian (Oct. 27, 2014), https://www.theguardian.com/technology/2014/oct/27/elon-musk-artificial-intelligence-ai-biggest-existential-threat [https://perma.cc/kgv3-gav5].另外，機器人專家和其他研究人員可能支持特定形式的監(jiān)管，但往往不那么害怕。參見Connie Loizos. This Famous Roboticist Doesn’t Think Elon Musk Understands Al, Tech Crunch (July 19, 2017), https://techcrunch.com/2017/07/19/this-famous-roboticist-doesnt-think-elon-musk-understands-ai/[https//perma.cc/tc7r-nuk5].機器人似乎只是一系列更大問題中的一個特例。

事實上，我們正在從互聯(lián)網(wǎng)時代飛速走向算法社會。我們將很快回顧作為算法社會先驅(qū)的數(shù)字時代。我說的算法社會是什么意思？我指的是一個由算法、機器人和人工智能體圍繞社會和經(jīng)濟決策組成的社會，這些代理人不僅作出決定，而且在某些情況下，還執(zhí)行這些決定。因此，機器人和人工智能的使用只是算法社會的一個特例。

大數(shù)據(jù)也只是算法社會的一個特征。事實上，大數(shù)據(jù)只是以算法決策為中心的社會的另一面。大數(shù)據(jù)是運行算法社會的燃料，也是其運作的產(chǎn)物。數(shù)據(jù)的收集和處理產(chǎn)生了越來越多的數(shù)據(jù)，而這反過來又可以提高算法的性能。(11)參見Fuel of the Future: Data is Giving Rise to a New Economy, Economist(May 6, 2017), https://www.economist.com/news/briefmg/21721634-how-it-shaping-updata-giving-rise-new-economy[https://perma.cc/h6rr-fzu2](“數(shù)據(jù)最終會將是外部性：無論我們做什么，我們都會生成它們”)；Amir Gandomi， Murtaza Haider. Beyond the Hype: Big Data Concepts, Methods, and Analytics, 35 int’l j. info. mgmt. 137,140 (2015), http://www.sciencedirect.com/science/article/pii/S0268401214001066[https://perma.cc/w3dl-yc5r]；Sintef, Big Data, for Better or Worse: 90% of World’s Data Generated over Last Two Years, Sciencedaily (May 22, 2013), https://www.sciencedaily.com/releases/2013/05/130522085217.htm [https://perma.cc/2g8v-zyke].這改變了康德的著名論斷：沒有數(shù)據(jù)的算法是無價值的，沒有算法的數(shù)據(jù)是盲目的。(12)參見Immanuel Kant. Critique Of Pure Reason 193-194 [A5 1/B76](Paul Guyer Allen W. Wood 翻譯并編制，劍橋大學(xué)出版社1998年版).

在這次演講中，我將為算法社會提供新的三大法則。在此過程中，我還將介紹四個重要的理論觀點，它們將幫助我們理解該如何監(jiān)管這些實體。這四個觀點是：侏儒謬誤(The Homunculus Fallacy)、替代效應(yīng)(The Substitution Effect)、信息受托人(The Information Fiduciaries)及算法妨害(The Algorithmic Nuisance)。隨著演講的進行，我將解釋這四個觀點。

雖然我的靈感來自于阿西莫夫的三大定律，但是我對于“機器人法則”的描述與他非常不同。

第一，這些法則將不僅限于機器人，它們將適用于人工智能體和算法，包括機器學(xué)習(xí)算法。當(dāng)我想把這三個概念放在一起討論的時候，我會概括地講一下算法的法則。

第二，當(dāng)人們在科幻小說中想到機器人時，他們通常會想到獨立的實體。但是今天我們知道許多機器人和人工智能體都連接到云端，(13)參見Ben Kehoe et al. A Survey of Research on Cloud Robotics and Automation, 12 Ieee Transactions on Automation Sci. & Engineering 398, 400 (2015),http://ieeexplore.ieee.org/stamp/stamp.jsptp-&arnumber-7006734&tag-l [https://perma.cc/dw7u-c4xu].物聯(lián)網(wǎng)和家用機器人就是這樣。這很可能也適用于自動駕駛汽車。因此，無論“機器人法則”是什么，它們很可能是與互聯(lián)網(wǎng)相連的云智能法則。

第三，因為機器人是云機器人，我們不應(yīng)該忘記機器人和人工智能的核心問題之一是數(shù)據(jù)處理，特別是大數(shù)據(jù)。沒有數(shù)據(jù)，機器人什么都不是。而且由于許多機器人將成為云機器人，且許多人工智能系統(tǒng)將連接到互聯(lián)網(wǎng)云，導(dǎo)致它們將嚴(yán)重依賴于數(shù)據(jù)分析。(14)參見Bob Violino. Big Data and Robotics: A Long History Together, zdnet (Aug. 12,2016), http://www.zdnet.com/article/big-data-and-robotics-a-long-history-together/[https://perma.cc/ca9w-c8vc]； See note ， Kehoe et al.數(shù)據(jù)是驅(qū)動人工智能引擎的燃料。

因此，當(dāng)我們談?wù)摍C器人、人工智能體和算法時，我們通常也會談?wù)摯髷?shù)據(jù)和互聯(lián)網(wǎng)連接。就像我們談?wù)摯髷?shù)據(jù)時，我們通常也會談?wù)摍C器人、算法和處理大數(shù)據(jù)的人工智能體的規(guī)則?！皺C器人法則”也是大數(shù)據(jù)時代的機器人法則、算法法則和人工智能法則。因此，這就是這次演講的主題。

第四，也許是最重要的一點。阿西莫夫稱他的三大定律，不是機器人使用者、機器人程序員或機器人操作者的定律。(15)See note ①, Asimov.他的定律是機器人主導(dǎo)的，(16)See note ①, Asimov.它們是以機器人為中心的。也就是說，它們是插入到機器人自身代碼中的編程指令。這些是機器人必須遵循的定律，而不是機器人的使用者必須遵循的定律。(17)See note ①, Asimov.你可以想象這些指令也是人工智能體或算法的一部分。作為對算法機器學(xué)習(xí)的檢查，它們是一種軟件方面的約束，就像權(quán)利是行為方面的約束一樣。

可以肯定的是，人類被要求為每個機器人編寫定律程序。但定律本身是針對機器人的，而不是針對人類的。(18)See note ①， Asimov.阿西莫夫并沒有提到很多關(guān)于要求這種程序的人類定律。但是有人認(rèn)為政府有某種要求，要求每個機器人的正電子腦都要安裝這種程序。

在這一點上，我的觀點將與阿西莫夫背道而馳。我沒有專注于針對機器人的定律(或算法)，而是專注于針對那些編程和使用機器人、人工智能體和算法的人的法則。這是因為在新興的算法社會中，我們需要的不是機器人定律，而是機器人操作者法則。

算法社會的理念是利用數(shù)據(jù)和算法來治理社會并改善社會，算法社會的抱負(fù)是無所不知地了解一切并預(yù)測一切。這是一個與人類自身一樣古老的抱負(fù)，但現(xiàn)在似乎越來越觸手可及。

在算法社會，規(guī)制的核心問題不是算法，而是使用算法的人及允許自己被算法支配的人。算法治理是由人使用特定的分析和決策技術(shù)對人進行治理。

因此，我們需要的不是像阿西莫夫的三大定律那樣由機器人主導(dǎo)的定律。而是針對那些使用機器人進行分析、控制和對其他人行使權(quán)力的人的法則。

二、 人類與機器人的關(guān)系：“拉比和魔像”

讓我用一個故事來解釋這個想法。2014年春天，瑪戈·卡明斯基(Margot Kaminski)和我在耶魯大學(xué)法學(xué)院教授了第一門法律和機器人學(xué)課程。她列出了一個閱讀清單，這個清單在我以后的日子里都有用到。在第一堂課上，她選擇了一些著名的文學(xué)例子，包括阿西莫夫公開三大定律的短篇小說，(19)See note ①， Asimov.以及卡雷爾·恰佩克(Karel Capek)1921年的戲劇《機器人》(RUR)，(20)See note ①， Asimov.它是“機器人”一詞的起源。她還選擇了某個版本的布拉格魔像傳說(The Legend of the Golem of Prague)。(21)參見The Golem of Prague, in A Treasury of Jewish Folklore 603 (Nathan Ausubeled. 1948).

根據(jù)傳說，布拉格的魔像是由拉比猶大·勒夫·本·貝扎列爾(Rabbi Judah Loew ben Bezalel)創(chuàng)造的。拉比(Rabbi)是16世紀(jì)的一位圣人，因其學(xué)識和虔誠而廣受尊敬。(22)參見Judah Loew ben Bezalel. Holy People Of The World: Across-Cultural Encyclopedia 450 (Phyllis G. Jestice ed. 2004)；Joan Comay. Who is in Jewish History: Afterthe Period of the Old Testament 208 (Oxford Univ. Press 2d ed. 1995).他利用猶太神秘主義的秘密知識，用泥土創(chuàng)造了一個活物，就像上帝創(chuàng)造了亞當(dāng)一樣。他通過說出一個神圣的名字使魔像復(fù)活了。它看起來就像是人類，非常強大，但不能說話。因為正如傳說中所說，言語的力量是上帝單獨賦予人類的(下次你和Siri說話的時候，想想事情是怎么改變的)。(23)See note .

在很多情況下，拉比通過設(shè)置魔像來處理猶太社區(qū)受到的威脅。在傳說中，魔像扮演一個偵探的角色，就像阿西莫夫的丹尼爾·奧利瓦(Daneel Olivaw)。他只要發(fā)現(xiàn)有人在誹謗猶太人，就會抓住這個人。完成了他的目的之后，他會回到拉比那里。拉比將同樣的秘密咒語倒著念，魔像就變成了一塊沒有生命的黏土，被存放在猶太教堂的閣樓里。(24)See note .

這個故事的重點是什么？這個版本的故事最有趣的地方就是那些沒發(fā)生的事情。魔像不會發(fā)瘋，他沒有抓錯人。拉比的妻子沒有發(fā)現(xiàn)魔像并且偶然地釋放了魔像；拉比的女婿沒有用魔像來賺錢；一個不講道德的人沒有訓(xùn)練魔像去做壞事等。事實上，這個故事里沒有什么壞事發(fā)生，魔像作了它應(yīng)該做的事情。在某種程度上，這個版本的傳說相當(dāng)無聊。有一些其他版本的魔像傳說中魔像出了問題，十分有趣。(25)參見Sharon Barcan Elswit. The Jewish Story Finder: A Guide to 668 Tales Listing Subjects and Sources 204-205 (2d ed. 2012).

但是我們從這個故事中得到的最重要的教訓(xùn)是，沒有出錯的原因在于，魔像是由最虔誠、最有學(xué)問的拉比所設(shè)計和使用的。只有一個真正正直的人，或者一個圣人，才有能力把魔像用在好的地方。

在我看來，這才是這個故事真正的教訓(xùn)。當(dāng)我們談?wù)摍C器人或人工智能體和算法時，我們通常集中在他們是否會造成問題或威脅。但在大多數(shù)情況下，問題不在于機器人，而在于人類。

為什么問題出在人類身上，而不是機器人？

第一，人類設(shè)計算法，編寫程序，把它們連接到數(shù)據(jù)庫，然后釋放它們。

第二，人類決定如何使用這些算法，何時使用算法，以及用于何種目的。

第三，人類用數(shù)據(jù)來編寫算法，數(shù)據(jù)的選擇、組織和內(nèi)容包含了早期歧視和不公正的殘余。

第四，盡管人們常談?wù)摍C器人作了什么，人工智能體作了什么，或者算法作了什么，但是這種談?wù)摵雎粤艘粋€重要的問題，即這些技術(shù)調(diào)節(jié)著人與人之間的社會關(guān)系。技術(shù)被嵌入到社會關(guān)系中，而且常常掩蓋社會關(guān)系。

當(dāng)算法內(nèi)容包含歧視或用于做壞事時，我們總是需要問算法是如何從事再生產(chǎn)和實現(xiàn)人類之間的特定社會關(guān)系的。這些社會關(guān)系產(chǎn)生并再現(xiàn)了正義與不公、權(quán)力與無權(quán)、優(yōu)越地位與從屬地位。

機器人、人工智能體和算法是產(chǎn)生這些社會關(guān)系的裝置。通過這些裝置，特定形式的權(quán)力得到處理和轉(zhuǎn)化。

這就是我所說的問題不在于機器人，而在于人類。

三、 人類與機器人的不同：侏儒謬誤

這就把我?guī)У搅讼惹俺兄Z會在這次演講中講到的四個觀點中的第一個觀點。我創(chuàng)造了一個短語——侏儒謬誤(The Homunculus Fallacy)，來描述人們對機器人、人工智能體和算法的看法。侏儒謬誤是相信程序中有一個小人物在使程序運行，這個小人物有好的意圖或壞的意圖，并使程序做好的事情或壞的事情。

但事實上，算法中并沒有小人物，只有編程代碼和數(shù)據(jù)。編程使用這些數(shù)據(jù)來運行，有好的影響也有壞的，有可預(yù)測的也有不可預(yù)測的。

當(dāng)我們批判算法的時候，我們實際上是在批判編程或者數(shù)據(jù)，或者它們之間的交互。但同樣重要的是，我們也在批判那些為算法編程、收集數(shù)據(jù)或者使用算法和數(shù)據(jù)來執(zhí)行特定任務(wù)的人們對它們的使用。我們批判的是拉比，而不是魔像。

那么，這些技術(shù)產(chǎn)生和再產(chǎn)生了什么樣的社會關(guān)系呢？為了解釋這一點，我需要介紹這次演講中四個觀點中的第二個觀點。這個觀點我之前已經(jīng)提過了，那就是替代效應(yīng)(The Substitution Effect)。(26)參見Jack M. Balkin. The Path of Robotics Law, 6 Cal. L. Rev. Cir. 45, 46, 55-59 (2015).

替代效應(yīng)是指當(dāng)機器人、人工智能和算法代替人類，并作為特殊目的的人運行時，對社會產(chǎn)生的影響。(27)See note , Balkin.機器人或算法作為替代品的概念傳達(dá)了四種不同的思想：(1) 替代品在某些方面比原來的更好；(2) 替代品在其他方面比原來的更有限；(3) 人們認(rèn)為替代品是活的——信奉萬物有靈論或擬人論；(4) 替代品的行為是對人類和人類群體中權(quán)力社會基礎(chǔ)的迷戀或偏離。(28)See note , Balkin.

第一，替代意味著優(yōu)越。機器人、人工智能體和算法比人類和人類決策者更強大、更快捷。(29)See note ， Balkin.他們可以看到事物、做事情、分析事物并作出人類永遠(yuǎn)無法作出的決定。他們從不厭倦做這些事情，他們沒有情感上的干擾，也不會因為做這些事情而感到內(nèi)疚。(30)See note ， Balkin.

第二，替代也意味著限制或不足。機器人、人工智能體和算法的能力有限，他們只能做某些事情，而不能做其他事情。他們?nèi)狈θ祟惻袛嗔Φ脑S多特征。(31)參見Anupam Rastogi. Artificial Intelligence-Human Augmentation is What’s Here and Now, Medium (Jan. 12, 2017), https://medium.com/reflections-by-ngp/artificial-intelligencehuman-augmentation-is-whats-here-and-now-c5286978ace0 [https://perma.cc/3j7q-fjjk]；Catherine Havasi, Who’s Doing Common-Sense Reasoning and Why It Matters, Techcrunch (Aug. 9, 2014), https://techcrunch.com/2014/08/09/guide-tocommon-sense-reasoning-whos-doing-it-and-why-it-matters/[https://perma.cc/u938-mgjdj.

第三，替代涉及生命、能動性和意圖在程序及機器上的投射。(32)See note ， Balkin.這也鼓勵人們利用算法將自己的責(zé)任投射到算法本身上，因此也就產(chǎn)生了侏儒謬誤。

第四，替換涉及迷戀或意識形態(tài)的偏離。馬克思談到了著名的商品拜物教。(33)參見Karl Marx. Capital: A Critique Of Political Economy 81 (Fredrick Engels Ed., Samuel Moore & Edward Aveling Trans., Charles H. Kerr & Co. 1909).正如古代社會認(rèn)為圖騰是無生命的物體且具有神奇的力量一樣，馬克思認(rèn)為市場社會的人們把商品當(dāng)作有價值的東西來對待，而實際上賦予它價值的是它嵌入了一個社會關(guān)系系統(tǒng)的事實。(34)See note ， Marx.市場是一種社會關(guān)系，它既賦予人們權(quán)力，又允許人們相互行使權(quán)力。

適用于市場上的大宗商品，也適用于機器人、人工智能體和算法等技術(shù)替代品的使用。這些技術(shù)成為個人和群體之間權(quán)力的社會關(guān)系的一部分。我們不能把魔像和拉比混為一談。機器人技術(shù)的影響總是與人類或人類群體之間的權(quán)力關(guān)系有關(guān)。

最近，媒體報道了一個關(guān)于選美選手的算法的故事，這個算法偏愛白人。(35)參見Sam Levin. A Beauty Contest Was Judged by AI and the Robots Didn’t Like Dark Skin, Guardian (Sept. 8, 2016), https://www.theguardian.com/technology/2016/sep/08/artificial-intelligence-beauty-contest-doesnt-like-black-people[https://perma.cc/46ak-d8cl].一家叫Beauty的公司，AI設(shè)計了這個算法。參見Welcome to the First International Beauty Contest Judged by Artificial Intelligence: Beauty.AI 2.0, Beauty.AI, http://beauty.ai/[https://perma.cc/z8h8-22wy]。這類故事加深了人們心中算法存在心理偏見的觀點。這就是侏儒謬誤——在這個算法中，沒有一個選美評委會運用他或她的偏見。如果算法采用機器學(xué)習(xí)，那么就有以前選美比賽的歷史、關(guān)于選美的文化假設(shè)、收集數(shù)據(jù)的類型和方式、算法采用的代碼及修改代碼的代碼。還有一些人為了特定任務(wù)設(shè)置了寬松的算法。我們必須永遠(yuǎn)記住，在魔像背后是制造和使用魔像的拉比(或整個拉比社會)。

四、 算法社會的法則

讓我總結(jié)一下到目前為止的論點。我從阿西莫夫的三大定律開始了這次演講，我指出這些定律是直接針對機器人和它們的代碼的。然后通過魔像的故事，我指出問題不在于機器人，而在于人類。如果是這樣的話，這意味著我們真正需要的不是阿西莫夫的定律，而是與機器人設(shè)計者和操作者有關(guān)的法則。在我們的算法社會中，我們需要的機器人法則是控制和指導(dǎo)人類創(chuàng)造、設(shè)計及使用機器人、人工智能體和算法的法則。因為沒有數(shù)據(jù)的算法是無價值的，這些法則還控制著數(shù)據(jù)的收集、整理、使用、分發(fā)和銷售，并使這些算法能夠運作。

總而言之，我們需要的法則是控制制造和使用機器人的人及與機器人使用數(shù)據(jù)有關(guān)的法則。

這些法則將會是什么樣的？回到我的中心觀點——在機器人、人工智能體和算法的背后，是人類和人類群體之間的社會關(guān)系。所以我們需要的法則是，存在于制定并使用算法的人和受算法控制的人之間的公平交易、不受操縱、不受控制的義務(wù)。

人們使用算法對人群進行分類和治理。因為這種關(guān)系是一種治理關(guān)系，所以涉及的義務(wù)是誠信義務(wù)、非操縱義務(wù)和非支配義務(wù)，這些都是指導(dǎo)算法社會的原則。與阿西莫夫的三大定律不同，這些原則不會自動嵌入到機器人中。我們必須確保它們描述了人與人之間的關(guān)系并把它們納入我們的人類社會中，編入我們的法律中。

算法用戶對社會負(fù)有什么責(zé)任？為了回答這個問題，考慮一下算法社會的野心。算法社會的夢想是對社會的無所不知的統(tǒng)治。

野心帶來了傷害，除了可能造成身體傷害外，還包括侵犯隱私、曝光、名譽損害、歧視、嚴(yán)格控制(或標(biāo)準(zhǔn)化)及操縱。

算法社會是治理人口的一種方式。所謂治理，我指的是控制算法的人理解、分析、控制、指揮、命令和塑造數(shù)據(jù)主體的方式。人們使用算法對整個人群進行分類、選擇、理解和決策。這種關(guān)系不僅僅是一種市場利潤關(guān)系，也是一種治理關(guān)系。

算法社會也涉及信息權(quán)力的關(guān)系。人工智能很了解你，但你對人工智能知之甚少。此外，你不能很好地監(jiān)控人工智能體或算法做什么。在運行者和被治理者之間存在權(quán)力不對稱和信息不對稱，這種不對稱是算法社會的核心特征——這是算法社會的公共和私人管理者與受他們管理的對象之間的知識和權(quán)力的不對稱。

什么是算法社會的三大法則？或者更準(zhǔn)確地說，什么是算法社會的法律原則？它們是公平治理的三項原則。

(1) 就委托人、顧客和終端用戶而言，算法用戶是信息受托人(The Information Fiduciaries)。

(2) 對于那些不是委托人、顧客和終端用戶的用戶，算法用戶有公共職責(zé)。如果他們是政府，這就是他們作為政府的本質(zhì)。如果他們是私人行為者，他們的生意會受到公共利益的影響，正如憲法律師在20世紀(jì)30年代所說的那樣。(36)參見Nebbia v. New York, 291 U.S. 502, 536 (1934).

(3) 算法用戶的公共責(zé)任是避免其操作的成本(危害)外部化。算法決策的危害，最好的類比不是有意的歧視，而是社會不公正的污染。透明度、可解釋性、正當(dāng)程序和問責(zé)制的義務(wù)來自這三個實質(zhì)性要求。透明度和它的“兄弟”——正當(dāng)程序、問責(zé)制和可解釋性——以不同的方式應(yīng)用于所有這三項原則。

問責(zé)制、透明度、可解釋性和正當(dāng)程序可能是信托義務(wù)，它們可能遵循公共職責(zé)。并且它們可能是一種預(yù)防措施來防止不合理的傷害外化，或為傷害提供補救措施。

讓我依次討論這三個法律原則。

五、 第一法則：算法操作者是委托人及終端用戶的信息受托人

為了討論第一法則，我介紹了另一個我承諾在本次演講中會提到的關(guān)鍵概念。這就是信息受托人(The Information Fiduciaries)的概念。該概念是我在以前工作中提出的。(37)參見Jack M. Balkin. Information Fiduciaries and the First Amendment, 49U.C. Davis L. Rev. 1183 (2016).要理解什么是信息受托人，我們首先應(yīng)該問，什么是受托人？受托人的例子包括醫(yī)生、律師等專業(yè)人士，以及管理不動產(chǎn)或他人財產(chǎn)的人。(38)See note ， Balkin.一個人能成為受托人的原因是人們依靠他們提供服務(wù)。但受托人與委托人之間在知識和能力上存在著明顯的不對稱，委托人無法方便地監(jiān)督受托人代表其所做的事情。(39)See note ， Balkin.因此，法律要求受托人以值得信賴的方式真誠地行事，避免與委托人或病人產(chǎn)生利益沖突。(40)See note ， Balkin.受托人經(jīng)常收集委托人敏感的個人信息，這些信息可能會對委托人造成損害。因此，法律要求他們保護委托人的隱私，不得以傷害委托人的方式泄露信息。(41)See note ， Balkin.當(dāng)受托人收集和處理委托人的信息時，我們可以給他們起一個特殊的名字，即信息受托人。(42)See note ， Balkin.大多數(shù)作為受托人的專業(yè)人士也是信息受托人。(43)See note ， Balkin.

受托人有兩項核心職責(zé)，第一是注意義務(wù)，(44)See note ， Balkin.第二是忠誠義務(wù)。(45)See note ， Balkin.注意義務(wù)是指受托人必須合理謹(jǐn)慎地行事，避免傷害委托人或病人。(46)See note ， Balkin.忠誠義務(wù)意味著受托人必須避免與他們的委托人或病人產(chǎn)生利益沖突，必須照顧他們的利益。(47)See note ， Balkin.忠誠義務(wù)要求的程度取決于受托人和委托人之間關(guān)系的性質(zhì)。

數(shù)字時代創(chuàng)造了一系列新的實體，它們有許多類似于傳統(tǒng)受托人的特征。它們包括像谷歌(Google)、臉書網(wǎng)(Facebook)和優(yōu)步(Uber)這樣的大型互聯(lián)網(wǎng)企業(yè)。這些企業(yè)收集、整理、分析和使用與我們有關(guān)的信息。(48)參見Frank Pasquale. The Black Box Society: The Secret Algorithms That Control Money And Information 58-100 (2015).譯者注：該書有中文譯本，參見[美]弗蘭克·帕斯奎爾：《黑箱社會：控制金錢和信息的數(shù)據(jù)法則》，趙亞男譯，中信出版社2015年版。事實上，它們收集了大量關(guān)于我們的信息，從理論上講，這些信息可能被用來損害我們的利益。這些業(yè)務(wù)成為我們?nèi)粘Ｉ钪邢喈?dāng)重要的一部分，甚至在某些情況下是不可或缺的。企業(yè)和終端用戶、委托人之間的知識也不對稱?；ヂ?lián)網(wǎng)企業(yè)對我們了解很多，(49)See note , Pasquale.我們對它們的運營卻知之甚少。它們把自己的內(nèi)部流程視為專有的，避免競爭對手的竊取。(50)See note , Pasquale.與此同時，這些企業(yè)試圖向他們的終端用戶保證，它們將尊重用戶的隱私并且不會背叛用戶的信任。(51)參見Privacy Policy. Snap Inc. (June 5, 2017), https：//www.snap.com/enUS/privacy/privacy-policy/ [https://perma.cc/p99h-75jt].用弗蘭克·帕斯奎爾(Frank Pasquale)的話來說，因為它們是一個黑匣子，(52)See note , Pasquale.大多數(shù)人只能相信它們。

我認(rèn)為像這樣的企業(yè)有許多傳統(tǒng)受托人的標(biāo)志，(53)See note ， Balkin.它們收集我們的信息、監(jiān)視我們，但我們卻不能輕易地監(jiān)視它們。我們變得依賴它們且容易受到它們的傷害，以至于我們必須信任它們。(54)See note ， Balkin.傳統(tǒng)上，這種關(guān)系決定了受托人的地位。(55)See note ， Balkin.因此，我認(rèn)為這些企業(yè)對終端用戶負(fù)有值得信賴的法律義務(wù)，它們是信息受托人的數(shù)字時代版本。(56)See note ， Balkin.

然而，數(shù)字時代信息受托人的職責(zé)與作為受托人的醫(yī)生和律師的職責(zé)不同。他們提供的服務(wù)種類和他們創(chuàng)造的合理信任種類，使他們受到更多限制。(57)See note ， Balkin.

首先，不像醫(yī)生和律師，個人數(shù)據(jù)貨幣化是許多網(wǎng)絡(luò)服務(wù)公司的核心，因為這能資助他們所提供的服務(wù)或免費提供的服務(wù)。僅僅收回費用或從這些信息中獲利本身并不違反他們的受托責(zé)任。(58)See note ， Balkin.

其次，許多網(wǎng)絡(luò)服務(wù)提供商，比如搜索引擎和社交媒體網(wǎng)站，之所以能夠盈利，是因為終端用戶能夠提供源源不斷的內(nèi)容和鏈接。因此，與傳統(tǒng)的專業(yè)人士不同，這些公司有興趣讓人們盡可能多地展示自己，或者在其他方面盡可能多地公開表達(dá)自己。以便他們的活動產(chǎn)生內(nèi)容和數(shù)據(jù)，供公司索引和分析。(59)See note ， Balkin.

最后，人們期望醫(yī)生做的遠(yuǎn)遠(yuǎn)不止是不傷害他們。人們還期望醫(yī)生會照顧他們的利益，警告他們健康、飲食等方面的潛在風(fēng)險。但人們卻并不期望他們的網(wǎng)絡(luò)服務(wù)提供商、搜索引擎和社交媒體網(wǎng)站有如此全面的照顧義務(wù)。(60)See note ， Balkin.

由于這些差異，數(shù)字信息受托人應(yīng)該比傳統(tǒng)的職業(yè)受托人，如醫(yī)生、律師和會計師，有不同的、更少的義務(wù)。他們是特殊目的的信息受托人，對他們施加何種責(zé)任是合理的，應(yīng)取決于他們提供的服務(wù)的性質(zhì)。

數(shù)字信息受托人的核心義務(wù)是他們不能像騙子一樣行事。不能誘使終端用戶信任他們以獲取個人信息，然后以背叛這種信任的方式使用這種信息，這不利于終端用戶的利益。(61)See note ， Balkin.互聯(lián)網(wǎng)企業(yè)不應(yīng)該自稱提供數(shù)字安全和尊重數(shù)字隱私，然后操縱和歧視其終端用戶；也不應(yīng)該將其終端用戶的數(shù)據(jù)出售或分銷給不遵守類似照顧和誠信義務(wù)的公司。(62)See note ， Balkin.

目前的法律并沒有像對待受托人那樣對待這些互聯(lián)網(wǎng)企業(yè)，但我認(rèn)為應(yīng)該這樣做。法律應(yīng)該將受托義務(wù)擴展到這些公司，并明確互聯(lián)網(wǎng)企業(yè)對其客戶和終端用戶的義務(wù)。(63)See note ， Balkin；參見Jack M. Balkin， Jonathan Zittrain. A Grand Bargain to Make Tech Companies Trustworthy, Atlantic (Oct. 3, 2016),https://www.theatlantic.com/technology/archive/2016/1 0/information-fiduciary/502346/[https://perma.cc/r6g4-uvkc].

現(xiàn)在想想家用機器人和智能房屋。家用機器人和智能房屋收集了大量關(guān)于我們的信息，從理論上講，這些信息可以與存儲在云中的許多其他人的信息進行比較。換句話說，家用機器人和智能房屋不僅僅是獨立的產(chǎn)品。它們始終是互相連接的云實體，依賴并貢獻(xiàn)于巨大的數(shù)據(jù)庫。雖然我們可能會開始信任家用機器人和智能房屋，但事實上我們真正需要信任的實體不是機器人或房子。機器人和房子背后的公司，負(fù)責(zé)從機器人和房子的傳感器收集數(shù)據(jù)，我認(rèn)為這種類型的公司應(yīng)該是信息受托人。

換句話說，受托責(zé)任的主體不是機器人，而是制造、安裝、銷售和操作我們家里機器人的公司。對我們負(fù)有信托義務(wù)的是拉比，而不是魔像。

因此，算法時代的第一法則是，那些使用機器人、人工智能體和算法的人對他們的終端用戶和客戶負(fù)有誠信和值得信任的義務(wù)。無論企業(yè)或?qū)嶓w在提供服務(wù)時是否使用機器人、人工智能體或機器學(xué)習(xí)算法，受托責(zé)任都適用。

家用機器人和智能家居就是明顯的例子——法律并未將受托義務(wù)擴展到機器人和房子背后的公司。其他的例子可能是像愛彼迎(Airbnb)、優(yōu)步(Uber)、OK丘比特(OKCupid)、默契網(wǎng)(Match.com)及基因和我(23 and Me)這樣的服務(wù)。重要的是，企業(yè)會在各種情況下誘導(dǎo)信任和收集我們的個人信息，并且可能以背叛我們的信任或制造利益沖突的方式使用這些信息。

早些時候，我注意到信托義務(wù)的典型例子出現(xiàn)在專業(yè)領(lǐng)域。事實上，機器人、人工智能體和算法可能越來越多地應(yīng)用于傳統(tǒng)受托人的傳統(tǒng)業(yè)務(wù)中。這些受托人包括醫(yī)生、律師、會計師和基金經(jīng)理。聯(lián)邦政府最近通過勞工部發(fā)布了新規(guī)定，將處理退休賬戶的投資顧問視為受托人。(64)參見Definition of the Term “Fiduciary”; Conflict of Interest Rule-Retirement Investment Advice, 81 Fed. Reg. 20,946, 20,997 (Apr. 8, 2016) (to be codified at 29 C.F.R. 2510.3-21 (2016).反過來，這些顧問越來越多地轉(zhuǎn)向人工智能和算法來完成他們的工作。(65)參見Brian O’Connell. Will Robo-Advisors Benefit from the Fiduciary Rule? Thestreet (Feb. 23, 2017), https://www.thestreet.com/story/14009692/l/will-robo-advisorsbenefit-from-the-fiduciary-rule.html[https://perma.cc/vb8m-yuna].

信托義務(wù)的概念也延伸到政府，它們在日常功能中使用機器人、人工智能體和算法，包括提供社會服務(wù)。政府對其管理的人民負(fù)有關(guān)心和忠誠的責(zé)任。

六、 第二法則：算法操作者對公眾負(fù)有責(zé)任

因為政府對其管理的人民負(fù)有信托義務(wù)，所以使用算法的政府和公共實體是其管理的人民的信息受托人。

那么私人行為者呢？正如我們所看到的，一些私人行為者是針對其客戶、病人和終端用戶的信息受托人。但并非所有使用機器人、人工智能體或算法的私營互聯(lián)網(wǎng)企業(yè)都是信息受托人。或許同樣重要的是，受托責(zé)任通常只適用于企業(yè)的委托人和終端用戶，而不適用于整個公眾。(66)See note ， Balkin.

因此，信息受托人的概念不足以解釋使用算法、人工智能體和機器人的私營企業(yè)的各種義務(wù)。在運營過程中使用算法的企業(yè)，仍然可能對那些既不是他們的委托人也不是他們的客戶的人造成傷害，而且他們與這些人沒有合同關(guān)系。(67)見下文第七部分。例如，雇主決定是雇人還是借錢給他們——也就是說，與他們簽訂合同關(guān)系——并且將信用報告給為我們在網(wǎng)上建立聲譽的公司，其他人會雇傭我們。(68)See note ， Balkin.

如果我們簡單地排除所有影響人們但與他們沒有合同關(guān)系的企業(yè)，我們就是在重復(fù)20世紀(jì)初出現(xiàn)的一個問題。在現(xiàn)代工業(yè)經(jīng)濟中，企業(yè)生產(chǎn)出大規(guī)模生產(chǎn)的商品，而這些商品不再銷售給與他們直接簽約的消費者。(69)參見Kyle Graham. Strict Products Liability at 50: Four Histories, 98 Marq. L.Rev. 555, 566-567 (2014).相反，一連串的中間商把這些商品推向了市場。(70)See note ， Grohom；參見Randy Knitwear, Inc. v. Am. Cyanamid Co., 181 N.E.2d 399, 402 (N.Y.1962).以合同相對性為基礎(chǔ)的消費者保護措施，不能適應(yīng)新的經(jīng)濟現(xiàn)實。因此，從1916年卡多佐在麥克弗森訴別克汽車公司案(MacPherson v. Buick MotorCo.)中的著名裁判開始，(71)參見MacPherson v. Buick Motor Co., Ill N.E. 1050 (N.Y. 1916).法院廢除了相對性規(guī)則，認(rèn)為制造商有公共義務(wù)。不僅對直接從中間商手中購買產(chǎn)品的消費者負(fù)責(zé)，而且對他們的家庭成員和因缺陷產(chǎn)品而受到傷害的旁觀者負(fù)責(zé)。(72)See note ， p.1053.

如果我們要闡明算法社會的規(guī)則，我們需要像麥克弗森訴別克汽車公司案(MacPherson v. Buick MotorCo.)式的案例。亦即我們需要認(rèn)識到，算法的使用不僅會傷害所服務(wù)的終端用戶，還會傷害社會上的許多其他人。例如，喬納森·齊特林(Jonathan Zittrain)指出，臉書網(wǎng)(Facebook)可能會利用其終端用戶的數(shù)據(jù)來操縱他們，從而影響全國大選。(73)參見Jonathan Zittrain. Engineering an Election, 127 Harv. L. Rev. F. 335, 335-336(2014), http：//harvardlawreview.org/2014/06/engineering-an-election/ [https://perma.cc/f4wx-29b3]; Jonathan Zittrain, Facebook Could Decide an Election Without Anyone Ever Finding Out, New Republic (June 1, 2014), http://www.newrepublic.com/article/1 17878/informationfiduciaiy-solution-facebook-digital-genymandering [https://perma.cc/3fun-w2k9].如果這種情況真的發(fā)生，不僅會影響到擁有臉書網(wǎng)(Facebook)賬戶的人，還會影響到全國的每一個人。同樣，當(dāng)公司在高速交易中使用算法時，他們可能引發(fā)市場崩盤。這不僅影響到與他們交易的人，而且影響到這個國家的每一個人，甚至影響到全世界。

因此，當(dāng)公司雇傭機器人、人工智能體和算法時，他們對公眾負(fù)有責(zé)任。但是我們無法用對客戶、病人和終端用戶的信任的違背，來描述他們未負(fù)起對公眾的責(zé)任。那么，如果這些義務(wù)不是以背叛信任為前提的，它們又是以什么為基礎(chǔ)的呢？這就引出了算法社會的第三法則。

七、 第三法則：算法操作者負(fù)有不參與算法妨害的公共義務(wù)

算法妨害(The Algorithmic Nuisance)是什么意思？在這里，我將氣味、煙霧、聲音、毒物及污染等私人和公共的妨害進行類比。傳統(tǒng)上，這些危害與使用(和濫用)不動產(chǎn)有關(guān)，但近年來這一概念已擴大到范圍更加廣泛的傷害。(74)參見Restatement (Second) of Torts§821A cmt. B(Am. Law Inst. 1979).私人妨害對相對較少人群的公認(rèn)合法利益造成損害，(75)See note ，§821E & cmt. A.公共妨礙對無限人口造成損害。是否采取行動減少這種妨害，由州當(dāng)局決定。(76)See note ，§821B(1)； See note ，§821C(1).在過去的20年里，州檢察長試圖擴展公害的概念，為大規(guī)模侵權(quán)行為、公共衛(wèi)生問題和環(huán)境污染提供救濟。參見Connecticut v. Am. Elec. Power Co., 582 F.3d 309, 314-315 (2d Cir. 2009) ；Richard 0. Faulk & John S. Gray, Alchemy in the Courtroom? The Transmutation of Public Nuisance Litigation, 2007 Mich. St. L. Rev. 941, 943-944 (2007)；Donald G. Gifford, Public Nuisance as a Mass Products Liability Tort, 71 U. Cin. L. Rev.741, 743-744 (2003).在另一種選擇中，政府必須決定是否創(chuàng)建一個類似于消費者或環(huán)境保護的政府監(jiān)管計劃。(77)參見Restatement (Second) of Torts § 821 B(2)(b) & cmt. C (Am. Law Inst. 1979).

顯然，我并不是說算法的危害是傳統(tǒng)的普通法意義上的傷害。我更不是說算法上的損害是對私人使用和享受不動產(chǎn)的非侵入性侵犯。(78)See note ，§821D & cmt. A.相比之下，公害可能涉及更廣泛的問題，如公共衛(wèi)生、安全或道德。See note ， § 821B & cmt. B.相反，我認(rèn)為考慮這些傷害的最佳方式是通過類比于妨害侵權(quán)行為。

為什么我要把算法帶來的危害類比為妨害？我這樣做有三個原因。第一個是侏儒謬誤(The Homunculus Fallacy)。我們不能說這個算法本身有什么不好的意圖。相反，這個算法被人類使用以實現(xiàn)一些特定的管理目標(biāo)。但是在這個過程中，最終傷害了不同群體的人。其中一些受害者很容易識別，但對另一些受害者的傷害則更為分散。

本質(zhì)上，我們談?wù)摰氖怯嬎隳芰Φ纳鐣还褂?，將成本外部化到無辜的其他人身上。在侵權(quán)法中，我們可以稱這種外在化為公害或私害。(79)基思·希爾頓(Keith Hylton)對基于公害的新執(zhí)法行動進行了批判性調(diào)查，他認(rèn)為擴大公害有著一致的理由，盡管判例法并不總是反映這一點：“當(dāng)外部化成本遠(yuǎn)遠(yuǎn)超過外部化收益或遠(yuǎn)遠(yuǎn)超過背景外部成本時，妨害法誘使行為人通過施加責(zé)任來選擇社會最佳活動水平。” 參見Keith N. Hylton. The Economics of Public Nuisance Law and the New Enforcement Actions, 18 Sup. Ct. Econ.Rev. 43, 44 (2010).事實上，在最近一篇關(guān)于如何規(guī)制算法警務(wù)的文章中，安德魯·塞爾貝斯特(Andrew Selbst)認(rèn)為，適當(dāng)?shù)难a救措施是要求警察局制作類似于環(huán)境影響聲明的歧視影響聲明。(80)參見Andrew D. Selbst. Disparate Impact in Big Data Policing, 49 Ga. L. Rev.(forthcoming 2017) (manuscript at 44), https://ssrn.com/abstract-2819182 [https://perma.cc/67nc-y6ve].算法歧視的特點是無論是使用程序的官員還是程序本身，都不容易被識別為惡意，(81)See note ， p.32.通常，歧視性的影響來自于一個特定的問題被設(shè)計成由算法來解決的方式，而不是來自于警察或程序員的無意識的動機。See note , Selbest.這個算法沒有目的、需求或欲望。這就是侏儒謬誤。算法中沒有一個小人物在指揮它。因此，基于反應(yīng)優(yōu)越理論對算法操作者的責(zé)任進行建模是無用的，尤其是一個自學(xué)習(xí)算法。我們不能把算法的意圖、疏忽或惡意歸咎于操作者。

相反，我們必須關(guān)注使用特定算法的社會影響，以及從整個社會的角度來看，這種影響是否合理和正當(dāng)。與其將其類比于刑法或反歧視法中的差別待遇法，最好的類比是妨害和環(huán)境法。(82)參見A. Michael Froomkin. Regulating Mass Surveillance as Privacy Pollution: Learning from Environmental Impact Statements, 2015 U. Ill. L. Rev. 1713, 1715 (2015)；Dennis D. Hirsch. Protecting the Inner Environment: What Privacy Regulation Can Learn from Environmental Law, 41 Ga. L. Rev.1, 23 (2006)；cf Dennis D. Hirsch. The Law and Policy of OnlinePrivacy: Regulation, Self-Regulation, or Co-Regulation?, 34 Seattle U. L. Rev. 439, 465-466 (2011).

將這個問題類比為妨害的第二個原因是，算法的危害是程度問題。此外，算法妨礙的危害源于數(shù)據(jù)整理、分析和決策對人們數(shù)字身份的累積影響。

塞爾貝斯特(Selbst)指出，算法歧視造成的危害并不適合簡單的是或否的二元分類。也就是說，要么你已經(jīng)歧視了，要么你沒有歧視。(83)See note ， pp.48-49.相反，在設(shè)計過程中，以及在程序員如何編程算法要解決的問題時，都存在不可避免的權(quán)衡。(84)See note ， pp.47-48.可能難以確定用于衡量算法運行情況的非歧視性行動的基線，而且可能難以甚至不可能將算法運行的影響孤立到單一原因。(85)See note ， pp.47-48; 參見Solon Barocas， Andrew D. Selbst. Big Data’s Disparate Impact, 104 Cal. L. Rev. 671, 677-692, 718-19 (2016).歸根結(jié)底，相關(guān)的問題是你是否對無辜的第三方強加了太多不合理的成本。算法歧視就像污染一樣，是一個程度問題。

將該問題類比為妨害的第三個原因是，它幫助我們理解算法社會的危害是如何由公共和私人行為者的累積決策和判斷產(chǎn)生的。公司和政府使用大數(shù)據(jù)和算法作出判斷，構(gòu)建人們的身份、特征和關(guān)聯(lián)。(86)參見Robinson + Yu. Knowing The Score: New Data, Underwriting, And Marketing In The Consumer Credit Marketplace 4-5 (Oct. 2014),https://www.teamuptum.com/static/files/knowing the-scoreoct2014_v_1.pdf[https://perma.cc/2ezj-blt8].這些身份和特征的數(shù)字結(jié)構(gòu)，影響著人們的就業(yè)機會、信用、金融就業(yè)機會和職位。它們還塑造了人們的脆弱性——對于不斷增加的監(jiān)視、歧視、操縱和排斥。公司和政府從多個來源收集人們的數(shù)據(jù)，并對這些數(shù)據(jù)進行處理，以生成新的數(shù)據(jù)。在數(shù)據(jù)處理和決策過程中，公司和政府促進了人們數(shù)字身份、特征和聯(lián)系的累積構(gòu)建，而這些又反過來構(gòu)建了人們未來的機會并塑造了他們的脆弱性。(87)See note , Robinson.

其他公司則建立在這些數(shù)據(jù)、分?jǐn)?shù)和風(fēng)險評估的收集，以及由此產(chǎn)生的特征、聯(lián)系和身份的數(shù)字結(jié)構(gòu)之上。(88)See note , Robinson.公司和政府在新的判斷背景下創(chuàng)造性地利用所有這些信息，產(chǎn)生新的見解、判斷和預(yù)測。通過這種方式，人們的生活受制于一系列算法判斷，這些算法判斷隨著時間的推移塑造身份、機會和弱點。想象一下，如果你愿意，你的數(shù)字身份就像一個信息流，不斷有新的判斷、得分和風(fēng)險評估被扔進這個信息流。

隨著越來越多的企業(yè)參與到數(shù)字身份塑造的集體過程中，這種大量的判斷愈發(fā)多地塑造著人們的生活。它可能以機會受限和脆弱性增強的形式，將一系列不合理的社會成本轉(zhuǎn)嫁到人們身上。算法妨害的概念試圖捕捉這些對個人的影響，因為公共和私人行為者將越來越多的判斷放入代表個人的信息流中，并用于判斷、分類和控制他們。

因此，我們今天面臨的核心問題不是有意的歧視，而是對身份和機會的累積傷害。隨著決策者利用多種數(shù)據(jù)來源來構(gòu)建人們的數(shù)字身份和聲譽，在警務(wù)、就業(yè)、住房和獲得信貸等領(lǐng)域反復(fù)普遍地使用算法，將對全體居民產(chǎn)生累積效應(yīng)。(89)See note , Robinson.

在某些情況下，危害可以追溯到如代碼錯誤、不合理的假設(shè)或有偏見的數(shù)據(jù)等粗心的編程和操作?；蛘?，它可能是由于不合理地使用算法、數(shù)據(jù)源、過時的分級和分類所造成的。但是在許多情況下，程序員和用戶可以貌似合理地聲稱他們的初始模型是合理的，給定手頭的任務(wù)、分析的數(shù)據(jù)及模型的背景假設(shè)。即便如此，隨著時間的推移，將決策權(quán)交給算法將可以預(yù)見地對個人和特定群體的成員造成廣泛的危害。

一個核心問題是，身份，即具有積極和消極特征的人之間的聯(lián)系，是如何在算法社會中構(gòu)建和分布的。決策者不僅通過制定自己的算法判斷來節(jié)約決策時間，而且還通過引入其他各方已經(jīng)作出的關(guān)于人的特質(zhì)、可信度和聲譽的算法判斷來節(jié)省決策時間。(90)See note ， Robinson.信用評分是一個簡單的例子，但它們只是算法社會隨著時間推移所能完成的工作的一個原始例子。

與其從頭開始開發(fā)自己的評分算法，決策者可以通過使用其他算法在不同環(huán)境和不同目的下已經(jīng)創(chuàng)建的評分和判斷來節(jié)約成本，并修改和更新它們，以滿足自己的需要。(91)See note ， Robinson; Lois Beckett. Everything We Know About What Data Brokers Know About You, Propublica (June 13, 2014),https://www.propublica.org/article/everything-we-knowabout-what-data-brokers-know-about-you[https://perma.cc/3v72-xrwz].算法社會的一些最重要的見解，來自重新思考如何將為一個目的收集的數(shù)據(jù)，用于闡明起初看起來不相關(guān)的現(xiàn)象或問題。

公司專門收集、整理和分發(fā)人們的身份信息給其他決策者，這些決策者將他們的決定添加到不斷增長的數(shù)字流或檔案中。(92)See note , Beckett.這意味著人們的特性，包括積極和消極的特征，是通過許多不同的數(shù)據(jù)庫、程序和決策算法的交互作用來構(gòu)建和分布的。通過這種方式，人們通過算法構(gòu)建的身份和聲譽可能會在社會上廣泛普遍傳播，從而增強了算法決策在他們生活中的影響力。隨著數(shù)據(jù)成為決策的共同資源，它構(gòu)建了數(shù)字聲譽、實際機會和數(shù)字脆弱性。

在數(shù)字世界，關(guān)注蓄意侵權(quán)行為或者忽視算法的構(gòu)建和監(jiān)督可能是不夠的。相反，侵權(quán)行為法理論中最好的類比可能是由于社會不公正的活動水平而產(chǎn)生的社會成本?；顒铀降奶岣邥?dǎo)致社會成本的增加，即使活動是在適當(dāng)小心的情況下進行的。即使假設(shè)公司行使應(yīng)有的謹(jǐn)慎(當(dāng)然，可能并不是)，活動增加的累積效應(yīng)仍可能對社會其他部分造成過大的傷害。(93)See note ， Hylton.這些都是妨害的典型情況。

當(dāng)企業(yè)采用新技術(shù)以增加活動水平時，活動水平的提高和社會成本的增加可能會出現(xiàn)。(94)See note , Hylton.在這種情況下，轉(zhuǎn)向算法決策這種新技術(shù)，可以讓政府和企業(yè)作出更多決策，從而更普遍、更廉價地影響更多人的生活。算法社會增加了分類、分級和決策的快速性、范圍和廣泛性，這樣做也增加了分類、分級和決策對人類生活的副作用。這些副作用類似于工廠活動增加造成的污染水平的增加。

可以肯定的是，傷害不是一方就能構(gòu)成的，受害方的行動也構(gòu)成了算法決策的社會成本。那么，或許我們也應(yīng)該激勵公民減少自己暴露在算法判斷的副作用面前。但是在算法社會，受害方不能輕易地避免找工作、住房、醫(yī)療保健和參與日常生活的尋常事務(wù)。在算法社會，人們?nèi)拥魯?shù)據(jù)，這些數(shù)據(jù)稍后將被用來判斷他們是否生活在數(shù)字世界中。人們也不能輕易地縮小規(guī)模以避免算法判斷的危害。集體行動問題是巨大的，更不用說獲取有關(guān)他們處境的信息的成本了。在算法社會，人們的數(shù)字身份是由許多不同的參與者產(chǎn)生的，他們的數(shù)字身份流向各種各樣的決策者，而決策是由人們知之甚少的實體作出的。

如果我們把它類比為妨害，那么第三法則就是，算法操作者有責(zé)任不讓公眾“污染”。也就是說，不合理地將算法決策的成本外部化給其他人。正如向工業(yè)社會的轉(zhuǎn)變可以預(yù)見社會污染數(shù)量的增加，向算法社會的轉(zhuǎn)變可以預(yù)見數(shù)據(jù)收集、計算和算法判斷的副作用的增加。

這些代價或危害是什么？考慮一下算法社會帶來的一些最常見的危害。我要強調(diào)的是，這些傷害是在傳統(tǒng)的身體傷害之外的。比如自動駕駛汽車或工業(yè)機器人造成的傷害，以及監(jiān)視和曝光造成的高度傷害。

(1) 對聲譽的危害——算法影響聲譽主要有兩個方面，第一是分類，第二是風(fēng)險評估。算法通過給你和其他像你這樣的人貼上危險的標(biāo)簽來影響你的聲譽。也就是說，對你來說，成為你自己意味著某種風(fēng)險或傾向。在不同的情況下，風(fēng)險表現(xiàn)的方式會有所不同。它可能包括這樣的想法，如你(或者居住在某個特定地區(qū)的人)創(chuàng)造了金融風(fēng)險、就業(yè)風(fēng)險、未來犯罪的風(fēng)險、花費大量社會服務(wù)的風(fēng)險、退貨風(fēng)險或成為昂貴客戶的風(fēng)險、因為你不會買任何東西而浪費廣告費用的風(fēng)險等。在這種情況下，算法傷害是指你是一個有風(fēng)險的人，這是一種恥辱。

風(fēng)險評估通常伴隨著分類。算法通過將你放在一個類別或?qū)蛹壷衼碛绊懩愕穆曌u，這不一定是風(fēng)險評估。該算法構(gòu)造你所處的組，并通過這些組了解你，因此可能會對你進行操作。分類可能會影響你的聲譽，而無須對風(fēng)險進行評估。因為它說明了你是什么樣的人，以及你被當(dāng)作什么樣的人對待(而且，含蓄地說，比某些衡量標(biāo)準(zhǔn)更好或更差)。

(2) 歧視——由于風(fēng)險評估或分類工作，使用該算法的企業(yè)拒絕給你提供它為其他人提供的機會(信用卡、貸款、工作機會、晉升)?；蛘咚黾恿颂厥獬杀?容易被攔截和搜身、監(jiān)視、更高的價格、排除槍支擁有權(quán)或進入航空旅行等)，它不強加給其他人。

(3) 標(biāo)準(zhǔn)化或系統(tǒng)化——這種算法使你將它的分類和風(fēng)險評估內(nèi)化，從而使你改變自己的行為，以避免被監(jiān)視或被歸類為有風(fēng)險。它使你改變自己的身份、行為或個人自我表現(xiàn)的其他方面，以便看起來對算法的風(fēng)險較小，或者歸入不同的類別。在另一種情況下，你會從事算法不注意的行為。(95)請注意，通過使他們的行為符合算法判斷或隱藏自己的數(shù)據(jù)收集和算法分析，潛在的受害方可以改變自己的活動水平，從而減少算法判斷的總社會成本。正如前面提到的，需要兩方當(dāng)事人才能造成傷害。但是這種降低成本的方法回避了一個重要的問題。我們必須首先證明，社會可以合理地要求其公民采取某種特定形式的社會管制或社會隔離。

(4) 操縱——人類和組織可以使用算法來引導(dǎo)你和其他像你一樣的人作出(或多或少)可預(yù)測的選擇。這些選擇對算法操作者有利，但不會提高你的福利，實際上可能會降低你的福利。此外，算法分析使公司更容易發(fā)現(xiàn)哪些人最容易受到操縱，以及他們?nèi)绾巫钊菀缀陀行У乇徊倏v。

(5) 缺乏正當(dāng)程序/透明度/可解釋性——該算法作出的決定會以上述方式之一影響你的福利，但不具有透明性、可解釋性、用外行的術(shù)語解釋輸入和輸出、監(jiān)視其操作的能力、提供反駁的方法或使算法負(fù)責(zé)的方法。(96)現(xiàn)在有一些重要的文獻(xiàn)正在研究，算法決策中的正當(dāng)程序問題以及如何最好地解決這些問題。參見note ; Danielle Keats Citron， Frank Pasquale. The Scored Society: Due Process for Automated Predictions, 89 Wash. L. Rev. 1 (2014); Danielle Keats Citron. Technological Due Process, 85 Wash. U. L. Rev. 1249 (2008); Kate Crawford， Jason Schultz. Big Data And Due Process: Toward a Framework To Redress Predictive Privacy Harms, 55 B.C. L. Rev. 93 (2014); Pauline T. Kim. Data-Driven Discrimination At Work,58 Wm. & Mary L. Rev. 857 (2017); Joshua A, Kroll Et Al. Accountable Algorithms, 165U. Pa. L. Rev. 633 (2017); See note , Selbst.

我們可以這樣總結(jié)這個討論：算法通過(a)分類和風(fēng)險評估來(b)構(gòu)建身份和聲譽，為(c)歧視、標(biāo)準(zhǔn)化和操縱創(chuàng)造機會，而沒有(d)足夠的透明度、問責(zé)制、監(jiān)督或正當(dāng)程序。

這些傷害與算法妨害的概念有什么關(guān)系？這些危害是計算機化決策的副作用。它們是算法活動的社會成本。

算法的普遍采用極大地提高了我們生活中計算決策的水平和普遍性。算法的使用為決策者節(jié)省了金錢，因此從個體企業(yè)或決策者的角度來看可能是合理的。但在這個過程中，它可能會對個人和群體造成累積傷害。(97)See note ， p.48.

例如，設(shè)想一組用于識別潛在雇員的算法。該算法可能足以用合格人員填補少量可用的空缺，但它排除了大量同樣合格的人員，(在這種情況下，我們會說它產(chǎn)生了很少的假陰性但是出現(xiàn)了很多的假陽性)。即便如此，該算法使用和產(chǎn)生的數(shù)據(jù)及聲譽得分，可能會輸入其他人使用的數(shù)據(jù)庫。其中不僅包括未來的雇主，還包括在許多其他情況下運作的許多其他決策者。或者想象一個警務(wù)算法，把警察派到警察已經(jīng)逮捕過人的社區(qū)，從而強化了該地區(qū)犯罪率特別高，需要額外的警察監(jiān)視的觀念。

算法社會的意義在于增加決策的機會、速度和成本效益。公司使用算法來節(jié)省資金，并且大規(guī)模地執(zhí)行重復(fù)的任務(wù)和計算，這些任務(wù)和計算對于人類來說是極其昂貴甚至是不可能完成的。這使得公司能夠提出以前無法回答的問題，并作出以前制定和采納成本極其昂貴的決定。

這種現(xiàn)象(更多種類的決策以更低廉的成本作出)只是機器人普遍具有的替代效應(yīng)(The Substitution Effect)的另一個例子。我們用算法法官和計算器代替人類法官和計算器。但是算法的選擇、類別的選擇、收集的數(shù)據(jù)種類以及數(shù)字特性的分布式創(chuàng)建和維護都會產(chǎn)生社會成本，這些成本的負(fù)擔(dān)會轉(zhuǎn)移到其他人身上——轉(zhuǎn)移到一般人身上，或轉(zhuǎn)移到特定的群體，如窮人或少數(shù)群體身上。

在處理算法的危害和算法的歧視時，我們的目標(biāo)不是找出不好的意圖。以這種方式提出這個問題是侏儒謬誤的又一個例子。相反，隨著越來越多的公司轉(zhuǎn)向算法決策，并提高其決策活動水平，其目標(biāo)是要求公司采用從整個社會的角度來看是合理的方法。正如在公共妨害的情況下，國家必須決定如何最好地使企業(yè)將其成本內(nèi)部化。

弗蘭克·帕斯奎爾(Frank Pasquale)還指出，在某種程度上，我們使用這種算法妨害的方法，我們必須能夠識別使用這種算法的個人或組織，他們給社會其他部分帶來了損失。(98)參見Frank Pasquale. Toward a Fourth Law Of Robotics: Preserving Attribution,Responsibility, And Explainability In An Algorithmic Society, 78 Ohio St. L.J. 1239, 1248-1251(2017).也就是說，算法必須被設(shè)計出來，這樣我們才能知道哪些個人或組織在使用它們。魔像必須可以追溯到一個或一群拉比。在一些情況下，如金融、就業(yè)、警務(wù)，識別用戶并不困難，因為使用該算法的組織會自我識別。但在許多情況下，算法及其使用的數(shù)據(jù)將由許多組織共同構(gòu)建。在某些情況下，算法決策是由匿名或用假名的人士和組織作出的。然后，為了執(zhí)行公共職責(zé)，法律將不得不要求公開誰是這個算法的幕后推手。

八、 結(jié) 論

對機器人和人工智能的希望和恐懼從最早的文學(xué)時代就一直伴隨著我們。即使在今天，新聞工作者寫的故事也會引起人們對失去控制的機器人、算法和人工智能體的恐懼，認(rèn)為他們很快就會占領(lǐng)我們的世界。我這次演講的目標(biāo)是提供一個糾正的思路。我認(rèn)為算法社會中機器人、人工智能體和算法本身是存在危險的，但真正的危險始終存在于那些使用這些裝置并利用它們影響、控制和操縱他人的組織和企業(yè)中。如果我們都像拉比一樣虔誠，我們就不必害怕魔像了。因為我們不是虔誠的拉比，所以我們需要學(xué)習(xí)如何約束自己。