波琳娜?葉廖緬科

澳大利亞警方曾報(bào)道過(guò)一起離奇的機(jī)器人自殺事件，這很可能是世界上第一起記錄在案的機(jī)器人自殺事件。事件主角是iRobot公司生產(chǎn)的一臺(tái)智能掃地機(jī)器人，據(jù)說(shuō)這臺(tái)掃地機(jī)器人在主人出門(mén)后，因感覺(jué)不間斷的清潔工作實(shí)在太勞累，便選擇了跑到廚房的電爐上自焚。消防隊(duì)員趕到現(xiàn)場(chǎng)，對(duì)整棟大樓進(jìn)行疏散，機(jī)器人自殺的那層樓更是濃煙滾滾。

負(fù)責(zé)處理該事故的消防員赫爾穆特·納塞爾說(shuō)，據(jù)錄像資料顯示，這家的男主人當(dāng)天讓智能掃地機(jī)器人清理案板上的殘留食物，機(jī)器人完成清理工作后，他就關(guān)閉了機(jī)器人的電源開(kāi)關(guān)，并將機(jī)器人放到了廚房一側(cè)的廚柜上。然后他就和妻兒一起出門(mén)了，把機(jī)器人獨(dú)自留在家里。

該事件發(fā)生后，有人猜測(cè)，很可能是因?yàn)槟兄魅嗽谥甘箼C(jī)器人干活時(shí)態(tài)度不太好，或是這家房子的清理工作過(guò)于繁重。在主人全家走后，機(jī)器人就自動(dòng)啟動(dòng)，靠近電爐，并將放在電爐上的鍋挪開(kāi)，然后再自己蹲坐在電爐上。

位于電爐上的機(jī)器人很快就開(kāi)始融化，它沒(méi)發(fā)出一點(diǎn)痛苦的喊叫聲，融化了的“尸體”黏在電爐上，從而引發(fā)了火災(zāi)。消防員趕到時(shí)，已經(jīng)只剩下一堆灰燼。

這家男主人堅(jiān)稱，他在出門(mén)前肯定把這臺(tái)機(jī)器人關(guān)閉了，所以機(jī)器人的自動(dòng)啟動(dòng)和神秘自焚事件就成了一宗懸案。他說(shuō)：“生產(chǎn)這種機(jī)器人的企業(yè)出售的是危險(xiǎn)產(chǎn)品。我們?cè)凇返窟@臺(tái)機(jī)器人的時(shí)候，也應(yīng)該奉勸其他同類清潔機(jī)器人，沒(méi)有什么大不了的，想開(kāi)點(diǎn)?！?/p>

美國(guó)紐約倫斯勒理工學(xué)院認(rèn)知研究部主任塞爾默·布林斯特

10年前，我們開(kāi)始對(duì)機(jī)器人倫理道德問(wèn)題進(jìn)行研究。當(dāng)時(shí)很多人認(rèn)為我們是一群奇怪的家伙，甚至有人以為我們瘋了。但令人驚奇的是這10年人們的觀念發(fā)生了翻天覆地的變化：現(xiàn)在不再有人認(rèn)為我們是在做瘋狂的事。目前，我正在進(jìn)行一項(xiàng)研究：從倫理角度出發(fā)，應(yīng)該允許機(jī)器人自殺嗎？我們對(duì)機(jī)器人進(jìn)行的研究，是一種心理治療和精神分析。對(duì)機(jī)器人倫理道德的深入研究，就是人類對(duì)自己精神世界的剖析。

在我的實(shí)驗(yàn)室里，有一系列像科幻小說(shuō)中描述的那樣的類人機(jī)器，我用它們做試驗(yàn)?，F(xiàn)在，我想弄清楚可能導(dǎo)致我的機(jī)器人自殺的原因。我的疑問(wèn)是：機(jī)器人是否會(huì)像人類一樣，因感到生命無(wú)意義或患上抑郁癥，想要結(jié)束自己的生命？此外我們還面臨一個(gè)問(wèn)題：人類是否應(yīng)該允許機(jī)器人自殺？

我們?cè)O(shè)計(jì)出的智能機(jī)器人，會(huì)表現(xiàn)出35種不同的情感狀態(tài)。但計(jì)算程序也有出差錯(cuò)的時(shí)候，如果智能系統(tǒng)崩潰了，機(jī)器人也會(huì)患上“抑郁癥”。

機(jī)器人的情感體驗(yàn)沒(méi)有辦法像人類一樣豐富、自由。例如，機(jī)器人可以抽一支煙，卻無(wú)法自主得到像人類一樣享受滿足的愉悅感。再例如滑雪。昨天我剛滑過(guò)雪，我感受到了多重情感：從難以描述的喜悅到些許恐懼。但這樣的體驗(yàn)有時(shí)很難用計(jì)算程序描述，無(wú)法被準(zhǔn)確編程。

隨著機(jī)器人技術(shù)的不斷發(fā)展，它們會(huì)變得越來(lái)越智能和自主。它們將擁有更多的情感，但在某些時(shí)候系統(tǒng)可能會(huì)發(fā)生無(wú)法預(yù)估的意外，導(dǎo)致機(jī)器人可能想要結(jié)束自己的生命。如果讓機(jī)器人擁有自主決定生命的權(quán)利，首先不利于人類——有誰(shuí)會(huì)想要白白損失一個(gè)智能機(jī)器人呢？

想象一下，假如你的機(jī)器人有自主決斷的能力，它正在幫你搬重箱子，但突然就決定不想活了，自殺了。誰(shuí)會(huì)在乎這件事呢？當(dāng)然是機(jī)器人的主人。如果我們開(kāi)發(fā)一個(gè)真正的自主機(jī)器人，那么如何防止機(jī)器人自殺，將是一個(gè)非常重要的問(wèn)題。

當(dāng)然，你可以對(duì)機(jī)器人能做什么或不能做什么做一些限制，但是很難，因?yàn)槟阋呀?jīng)將程序設(shè)定為自由和自主。當(dāng)然，你也可以寫(xiě)一個(gè)簡(jiǎn)單的程序——機(jī)器人只能自由進(jìn)行一兩個(gè)步驟，就不會(huì)有任何后顧之憂。但隨著時(shí)代的進(jìn)步，誰(shuí)還會(huì)需要這種機(jī)器人？我們想要?jiǎng)?chuàng)造更智能的技術(shù)，而智能則意味著讓機(jī)器人獨(dú)立。

那么問(wèn)題是：如何從計(jì)算的角度研究機(jī)器人自殺的愿望？我們?nèi)绾卫贸绦蛟O(shè)計(jì)使機(jī)器人的情感系統(tǒng)不出故障？這樣做是否合乎道德？我認(rèn)為，患有輕度抑郁癥就選擇自殺是不道德的，因?yàn)椤拔覜](méi)有夢(mèng)想”“我厭倦工作”這類原因自殺也是不道德的。因?yàn)榧幢闳祟?，也不?huì)因?yàn)檩p度抑郁輕易選擇結(jié)束生命。因此，我們的研究結(jié)論是：在大多數(shù)情況下，機(jī)器人自殺是不被接受的。但如果機(jī)器人出現(xiàn)障礙，比如大腦損傷，無(wú)法修復(fù)，那么它就失去了存在感，那么只留有軀殼也沒(méi)有意義，這時(shí)候它就可以選擇殺死自己。

以前人們認(rèn)為，給予機(jī)器人道德倫理是很奇怪的事，但現(xiàn)在，越來(lái)越多的人明白了這是必要的。

我并不為自己現(xiàn)在所做的事?lián)?。我?huì)擔(dān)心我們的未來(lái)嗎？不，相信我，如果現(xiàn)在不解決這些問(wèn)題，置混亂狀態(tài)于不顧，那么我們將釀成非?？膳碌暮蠊?。如果我們只制造自主機(jī)器人，不事先對(duì)可能引起的問(wèn)題進(jìn)行預(yù)估防范，那么真正的大問(wèn)題就會(huì)出現(xiàn)。到那時(shí)，智能機(jī)器人會(huì)傷害甚至殺死人類。這就是今天機(jī)器人倫理問(wèn)題的研究如此重要的原因。

英國(guó)廣播電視臺(tái)《戰(zhàn)斗機(jī)器人》的主要評(píng)論員、控制戰(zhàn)斗機(jī)器人國(guó)際委員會(huì)主任諾埃爾·夏基

機(jī)器人殺手有可能成為好斗分子選擇的武器。由于造價(jià)不斷降低，在不久的將來(lái)，機(jī)器人將成為極端組織現(xiàn)實(shí)可行的選擇。問(wèn)題是我們不可能真正把魔鬼放回到瓶子里。新型武器一旦問(wèn)世，復(fù)制起來(lái)就會(huì)非常容易。

政府組織控制戰(zhàn)斗機(jī)器人國(guó)際委員會(huì)于2009年開(kāi)始就戰(zhàn)斗機(jī)器人進(jìn)行討論。我們暫且不討論無(wú)人機(jī)，因?yàn)闊o(wú)人機(jī)是由人類操控的。不同于無(wú)人機(jī)，戰(zhàn)斗機(jī)器人是完全自主的：自己選擇目標(biāo)，在沒(méi)有任何人工參與的情況下?lián)魵撤健，F(xiàn)在人權(quán)觀察組織和國(guó)際特赦組織也開(kāi)始加入我們的討論，我們?cè)诼?lián)合國(guó)聯(lián)合發(fā)起了“停止使用戰(zhàn)斗機(jī)器人”的活動(dòng)。

我們討論的主要問(wèn)題是新科技如何應(yīng)對(duì)國(guó)際人道主義法規(guī)。我們沒(méi)有十足的信心，能讓自主的戰(zhàn)斗機(jī)器人嚴(yán)格遵守戰(zhàn)斗規(guī)則。

讓我們擔(dān)心的問(wèn)題之一是機(jī)器人如何遵守區(qū)別對(duì)待原則。區(qū)別對(duì)待原則是指軍事力量只能針對(duì)敵人及其武器，而不允許對(duì)平民造成傷害。為了嚴(yán)格遵守這一原則，有必要準(zhǔn)確地識(shí)別允許攻擊的人和物體。這都是《日內(nèi)瓦公約》中闡明的：士兵要區(qū)分平民和士兵。戰(zhàn)斗機(jī)器人的自主能力在現(xiàn)階段還發(fā)展不到這種程度，它們可以區(qū)分坦克和卡車。在人類世界，士兵和平民較易混淆，尤其是一些混在平民中的反叛者——這些人在機(jī)器人眼中都是沒(méi)有區(qū)別的。

另一個(gè)原則是比例原則。我不喜歡這個(gè)原則，其實(shí)質(zhì)在于，你殺死敵方平民的人數(shù)直接與其軍事優(yōu)勢(shì)成正比。沒(méi)有程序可以預(yù)先計(jì)算出平民傷亡數(shù)量——只有經(jīng)驗(yàn)豐富的指揮官才能做出相應(yīng)的決斷。

還有些人認(rèn)為，人類不應(yīng)該允許機(jī)器人殺死人類。人類殺死一個(gè)人和機(jī)器人殺死一個(gè)人的關(guān)鍵區(qū)別在于，前者會(huì)花一定時(shí)間去拿出武器，準(zhǔn)備動(dòng)手，在這個(gè)過(guò)程中他能意識(shí)到自己將要奪去一個(gè)人的生命；而后者直到殺死一個(gè)人以后也沒(méi)有任何情感活動(dòng)。因?yàn)闄C(jī)器人沒(méi)有意識(shí)，人類的生命就這樣在無(wú)意識(shí)的狀態(tài)下被剝奪了。

另一些人認(rèn)為，如果讓?xiě)?zhàn)斗機(jī)器人代替一部分軍隊(duì)上戰(zhàn)場(chǎng)，會(huì)使死亡人數(shù)大大減少。但這種觀點(diǎn)的反對(duì)者說(shuō)，這是非常自私的方法：只想到我方的利益，我們應(yīng)該從全人類的角度出發(fā)，否則整個(gè)國(guó)際安全都將受到威脅。

美國(guó)紐約新學(xué)院大學(xué)哲學(xué)教授彼得·阿斯特羅

我最關(guān)心的問(wèn)題是：我們是否可以讓機(jī)器人實(shí)施蓄意暴力？我們是否應(yīng)該賦予機(jī)器人保護(hù)人類的權(quán)力和軍事實(shí)力？在開(kāi)創(chuàng)了這些領(lǐng)域的機(jī)器人的先例后，人類將發(fā)現(xiàn)自己的另一面。我們?nèi)绾握{(diào)控機(jī)器人，如何使它們明白哪些暴力行為可以對(duì)人類施加，哪些不可以？

按照傳統(tǒng)觀念，只有當(dāng)自己的生命面臨危險(xiǎn)時(shí)，才能使用暴力。然而，機(jī)器人不會(huì)評(píng)估它們的生命是否處于危險(xiǎn)境地。我們現(xiàn)在可以編程殺死機(jī)器人，因?yàn)闄C(jī)器人不是人，它們沒(méi)有自衛(wèi)權(quán)，那么在未來(lái)呢？

我希望在不久的將來(lái)，聯(lián)合國(guó)能簽署一項(xiàng)協(xié)議，在一定程度上規(guī)范戰(zhàn)斗機(jī)器人的行為?，F(xiàn)在，越來(lái)越多的人開(kāi)始關(guān)注這個(gè)問(wèn)題，聯(lián)合國(guó)已經(jīng)就該問(wèn)題接見(jiàn)了專家。我認(rèn)為，再過(guò)兩三年，他們就能簽訂協(xié)議了。但問(wèn)題是，在兩年或三年內(nèi)，某些國(guó)家會(huì)開(kāi)發(fā)新型戰(zhàn)斗機(jī)器人，投入很大一筆錢，沒(méi)有哪個(gè)國(guó)家愿意放棄它們的機(jī)器人。到時(shí)候，簽署這項(xiàng)協(xié)議將可能會(huì)變得阻力重重。