徐英瑾

一、從“人工智能是否會奴役人類”談起

隨著近幾年以來人工智能技術在工程學層面上的不斷進步，關于“人工智能是否會在未來統(tǒng)治人類”的擔憂，也日漸被人提起。但在筆者看來，這個問題本身已經包含了諸多語言混亂。如果不預先對這些混亂加以厘清，我們將很難對這一問題作出嚴肅的應答。具體而言，該問題所涉及的第一重語言歧義即：這里所說的“人工智能”究竟是指專用人工智能（即只能用于特定工作目的的人工智能系統(tǒng)），還是通用人工智能（即能夠像人類那樣靈活從事各種工作的人工智能系統(tǒng)）？有人或許會說，抓住這一點歧義不放乃是小題大做，因為所謂通用人工智能技術，無非就是既有的專用人工智能技術的集成。但持此論者卻沒有意識到如下三個問題：

（甲）就既有專業(yè)人工智能技術中發(fā)展最快的深度學習系統(tǒng)而言，此類系統(tǒng)的運作其實是需要大量的數據輸入為其前提的。因此，深度學習系統(tǒng)并不具備根據少量數據進行有效推理的能力——換言之，它們缺乏“舉一反三”的智能，盡管這種智能乃是任何一種理想的通用人工智能系統(tǒng)所不可或缺的。不得不提到的是，在“遷移學習”這一名目下，目前不少深度學習研究者都在研究如何將在一個深度學習網絡中已經獲得的網絡權重分布“遷移”到一個新的網絡中去。這姑且可以被視為某種最初步的“舉一反三”。然而，這種意義上的遷移學習必須預設深度學習網絡所從事的新任務與舊任務之間有足夠的相似性，而無法模擬人類在非常不同的領域（如“孫子兵法”與商業(yè)活動）之間建立起類比推理關系的能力。

（乙）現(xiàn)有的深度學習架構都是以特定任務為導向的，而這些任務導向所導致的系統(tǒng)功能區(qū)分，既不與人類大腦的自然分區(qū)相符合（譬如，我們人類的大腦顯然沒有一個分區(qū)是專門用于下圍棋的，而專門用于下圍棋的“阿爾法狗”系統(tǒng)的內部結構則是為下圍棋量身定做的），也缺乏彼此轉換與溝通的一般機制。因此，深度學習系統(tǒng)自身架構若非經歷革命性的改造，其自身是缺乏進階為通用人工智能系統(tǒng)的潛力的。

（丙）目前真正從事通用人工智能研究的學術隊伍，在全世界不過幾百人，這與專業(yè)人工智能研究的龐大隊伍相比，可謂九牛一毛①從2007年開始，世界通用人工智能協(xié)會都會在世界各地進行專業(yè)學術會議，討論通用人工智能的各種研究方案，并定期出版《通用人工智能會議記錄》(以Artif i cial General Intelligence為名，在Springer出版社定期出版)。相關的旗艦性期刊乃是《通用人工智能雜志》（Journal of Artif i cial General Intelligence）。但是，根據該期刊的執(zhí)行主編王培先生的介紹，真正全力進行通用人工智能研究的人士，在全世界也就幾百人而已。。

有鑒于特定技術流派的發(fā)展速度往往與從事該技術流派研究的人數成正比關系，所以，除非有證據證明通用人工智能的研究隊伍會立即得到迅速擴充，否則我們就很難相信：通用人工智能研究在不久的將來就會取代專用人工智能研究，迅速成為人工智能研究的主流。而這一點又從另一個側面印證了專用人工智能與通用人工智能之間的差異性。

除了上述差異性之外，“人工智能是否會在未來統(tǒng)治人類”？這個問題包含的另一重歧義便是：此問中作為賓語而出現(xiàn)的“人類”，究竟是指“智人”這個生物學概念所指涉的所有個體，還是某一類特定人群，如城市中產階級或是貧民階層？有人或許認為這樣的提問依然是在小題大做，因為從字面上看來，該問題的提出者顯然關心的是人類總體，其判斷根據則如下：在該問題中作為主語出現(xiàn)的“人工智能”，顯然與作為賓語的“人類”構成了排他性關系，因此，此主語本身應當不包含人類的任何一個成員，而此賓語也由此可以“獨占”所有人類個體。不過，在筆者看來，上述問題是有漏洞的，因為“人工智能是否會在未來統(tǒng)治人類”一語的核心動詞“統(tǒng)治”在正常情況下顯然是需要一個人格化主體作為其主詞的，而“人工智能”是否是一個人格化主體，則又取決于這個詞組指涉的是專用人工智能，還是通用人工智能。假設它指涉的是專用人工智能（并因此不是一個人格化主體），那么“統(tǒng)治”這詞顯然就無法在字面上被解讀，而只能被視為一個隱喻性表達。在這樣的情況下，我們恐怕就不能認為“人工智能”本身與“人類”彼此構成了某種排他關系了，正如在“資本主義正在奴役人類”這句同樣具有隱喻色彩的判斷中，作為主語的“資本主義”與作為賓語的“人類”亦沒有構成排他關系一樣②很顯然，“資本主義”作為一種生產關系，是無法脫離具體的人而存在的，否則我們就只能視其為一種神秘的柏拉圖式對象了。。換言之，在這種情況下，我們就只能將“人工智能”視為一個與人類個體成員有相互交叉的復合概念——比如“掌握人工智能技術的一部分技術權貴與這些技術本身的結合體”——并由此將原來的問題改變?yōu)檫@樣一個樣子：“掌握人工智能技術的一部分人，會在未來奴役另外一部分人類嗎？”

經過對于上述兩重語言歧義的澄清，我們原來的問題——“人工智能是否會奴役人類”——就會立即有四個變種，其中每一個變種，都由“專用人工智能—通用人工智能”與“所有人類—部分人類”這兩個對子各自的構成因素兩兩組合構成：

變種甲：人類技術權貴與專用人工智能技術（特別是深度學習技術）的結合，是否會導致另一部分人類受到奴役？

變種乙：人類技術權貴與通用人工智能技術的結合，是否會導致另一部分人類受到奴役？

變種丙：專用人工智能技術，是否可能奴役人類全體？

變種?。和ㄓ萌斯ぶ悄芗夹g，是否可能奴役人類全體？

在這四重可能性之中，首先需要被剔除的乃是對于“變種丙”的肯定回答，因為正如我們剛才所提到的，“奴役”這個主詞所需要的乃是一個具有真正人格性的主體：這樣的主體能夠理解“奴役”的含義，并能夠理解進行這種“奴役”的目的。而“變種丙”顯然難以滿足這樣的形式要求，因為所謂的專用人工智能，在實質上與我們所使用的便攜式計算器一樣，都不會產生自己的欲望與意圖，遑論“奴役人類”這樣的高度抽象的意圖。而在上述四個變種之中，最難以被剔除的乃是對于“變種甲”的肯定回答，因為“變種甲”對于作為人類個體的技術權貴的涉及，顯然使得“奴役他人”這一意圖的承載者得到了落實。同時，目下深度學習技術所預設的“頂級數據采集者”的功能定位，實際上也是為前述技術權貴量身定做的。此外，一部分人利用技術優(yōu)勢對另一部分人進行統(tǒng)治，也是人類歷史上常見的現(xiàn)象，因此，如若未來真有人使用人工智能技術對另外一部分人類進行深入的奴役的話，也不會讓我們感到過于吃驚。

不過，從倫理角度看，我們依然希望技術的發(fā)展最終能夠像馬克思所預言的那樣，帶來全人類的解放，而不是加深人類的異化。因此，從這個角度看，“變種甲”所指涉的人類發(fā)展方向雖然會有很大的概率成為現(xiàn)實，卻非吾人之所欲。在這種情況下，我們不妨再來看看，“變種乙”與“變種丁”是否帶給我們更多的希望。

從表面上看，“變種乙”似乎比“變種甲”更不可欲，因為“變種乙”對于更強大的人工智能機制的訴求，及其對于這種機制與人類特定成員的結合的希冀，似乎會造就更為嚴重的技術異化。但更為仔細的考量，將使得我們發(fā)現(xiàn)“變種乙”所蘊含的某種對技術權貴不利（并因此對普羅大眾有利）的因素。這就是通用人工智能技術自身。如果這種技術能夠發(fā)展到讓機器產生自身的意圖的水準的話，那么我們就難以防止如下兩個層面的事件發(fā)生了：機器對權貴要其執(zhí)行的命令產生了懷疑（這種懷疑可能是基于對于相關命令的可實踐性的顧慮，甚至可能是基于對于相關命令自身合法性的懷疑），或者說，機器甚至對于自己是否要繼續(xù)效忠權貴產生了懷疑。換言之，實現(xiàn)“變種乙”所指涉的社會發(fā)展方向，勢必會對技術權貴本身構成反噬效應。

有的讀者或許會對這種“反噬效應”真會發(fā)生有所懷疑。他們或許會說：足夠狡猾的技術權貴可以讓通用人工智能產品的技術水準達到“既能展現(xiàn)靈活性，又不至于破壞忠誠性”的地步，而由此壓縮這種“反噬效應”產生的邏輯空間。筆者并不否認這種“小聰明”或許會有一定的施展空間。然而，從根本上看，智能的核心要素就是對于環(huán)境的高度適應性，而人類所處的自然與人文環(huán)境又是高度復雜的。從這兩點中我們就不難推出，除非技術權貴能夠嚴格控制通用人工智能系統(tǒng)的所有信息輸入，否則我們便很難設想具有不同利益背景的不同技術權貴竟然會為自己的通用人工智能系統(tǒng)灌輸同樣的“價值觀”——而具有不同“價值觀”的通用人工智能系統(tǒng)之間的斗爭（其實質是不同利益集團之間的斗爭），顯然也就會為弱勢群體利用這種矛盾尋找更大的利益訴求空間提供可能。同時，在信息多元化的社會背景下，前面提到的“嚴格控制通用人工智能系統(tǒng)的信息輸入”這一要求自身也是難以被滿足的。此外，從技術角度看，對于輸入信息的全面控制，自然會對通用人工智能系統(tǒng)自主獲取信息的行為構成限制，而這種限制又反過來會使得機器在行為上缺乏足夠的靈活性，并由此使得其變得不再那么智能。因此，要兼得魚與熊掌，恐怕不是那么容易的。

對于“變種乙”的分析，自然將我們導向“變種丁”。筆者看來，“變種丁”指涉的那種可能性實現(xiàn)的機會，甚至還要遠遠小于“變種乙”，因為用戶環(huán)境使用的多樣性，會立即造就不同的通用人工智能系統(tǒng)之間的差異性，并由此使得“機器聯(lián)合起來對抗整個人類”的場面變得更為遙不可及。

由本節(jié)的分析，我們不難看出，要阻止一部分技術權貴憑借人工智能技術奴役人類（即“變種甲”所指涉的那種可能性），最好的辦法就是使得大量的機器產生彼此不同的自主意圖，由此對沖掉大量機器被少數人的意圖控制的恐怖場面。但這就牽涉到了一個更根本的問題：如何使得我們未來的人工智能系統(tǒng)具有自主意圖呢？

二、意圖與信念之間的關系

很顯然，要回答“如何使得我們未來的人工智能系統(tǒng)具有自主意圖”這個問題，我們就難以回避“關于意圖的一般理論為何”這樣一個問題。而考慮到我們的最終目的是將這個理論施用到目前還沒有真正實現(xiàn)的通用人工智能系統(tǒng)上去，該理論就必定會具有一定的抽象性，以便使得它能夠在面對不同的技術實現(xiàn)手段時都能夠具有一定的覆蓋力。這也就是我們在此一定要訴諸相對抽象的哲學討論的原因。

不過，有鑒于關于意圖的哲學討論在戰(zhàn)后英語哲學圈中是非常興盛的，而本文的工作語言又是漢語，因此，在正式展開本節(jié)的討論之前，筆者還是有必要對“意圖”在英文中與漢語中的區(qū)別與聯(lián)系進行闡述。首先，在漢語與英文中，“意圖”都可以作為名詞出現(xiàn)。比如，我們既可以在漢語中說“瑪麗抱著去喝水的意圖而去拿起杯子”，也可以在英文中說 “Mary picks up the cup with the intention of drinking water”。第二，作為名詞的“意圖”在英文中可以通過加上特定詞綴成為副詞“具有意圖地”（intentionally），而在漢語中，“具有意圖地”則是一個非常別扭的表達。如果我們將這個副詞短語縮略為“有意地”的話，雖然語氣上顯得更順了，但意思卻改變了（漢語中“有意地做某事”包含了意圖本身具有負面價值意蘊的語義，但英文中的“intentionally”的價值色彩則較為中立）。第三，“意圖”可以在英語里輕松轉化為動詞“intend”，但在現(xiàn)代漢語中，“意圖”必須與“做”聯(lián)合成短語“意圖做”，才能夠承擔動詞的功能屬性。第四，無論在漢語或英語中，“意圖”雖然都與“欲望”有著深度的勾聯(lián)，但都比單純的欲望具有更明確的所指對象。欲望可以是某種前命題層面上的情緒（比如某種模糊的野心），但意圖則必須被具體化為相關的命題內容才能變得有意義。比如，當孫權問張昭“曹賊進犯江東的意圖是什么”的時候，張昭可不能籠統(tǒng)地回答說：“曹賊志向不小”（因為這是人盡皆知的廢話），而要將意圖的內容加以清楚地陳說。

既然無論在漢語語境還是在西語語境中，“意圖”都可以被視為某種對象被明確化了的欲望，那么，對于意圖的討論自然就會勾聯(lián)到一個更為寬廣的哲學史爭議的背景，此即“理性一元論”與“欲望—理性二元論”之間的爭議。具體而言，黑格爾便是典型的理性一元論者。他將“欲望”與“生命”視為被“概念”統(tǒng)攝的下層環(huán)節(jié)，并由此完成理性世界的大一統(tǒng)；而與之相對比，叔本華則在康德的啟發(fā)下，將“生存意志”視為康德式“自在之物”的替代品，并以他獨自的方式維護了康德在“現(xiàn)象界”與“自在之物”之間的二元對立（比如主張在現(xiàn)象界可以被感受到的“人生意義”，在自在之物的層面上乃是徹底的虛無；在現(xiàn)象界能夠感受到的時空關系，乃是人類認知架構自我反射所導致的假象，而與自在之物無關，等等）。盡管全面地涉及這些哲學史爭議的細節(jié)并非本文主旨，但上述提示足以向通用人工智能的研究者提出一個問題：未來的通用人工智能系統(tǒng)應當遵循的是黑格爾式的“一元論”的思路，即做出一個能夠將信念系統(tǒng)與意圖—欲望系統(tǒng)相互融合的某個統(tǒng)一的大系統(tǒng)，還是應當遵循叔本華式的“二元論”的思路，即先預設信念系統(tǒng)與意圖—欲望系統(tǒng)之間的彼此獨立，然后再做出一個將二者合成的混合式系統(tǒng)呢？

筆者本人的立場是處在黑格爾與叔本華之間的。筆者同情叔本華的地方在于，筆者也認為終極生存欲望的產生具有個體認知架構無法解釋的神秘性，因此只能將其作為給定事實而加以接受。而在研制通用人工智能系統(tǒng)的語境中，這些神秘的給定事實就包括：為何系統(tǒng)具有在物理世界中自我保護的傾向，而不是趨向于自我毀滅以及為何一臺機器是以電力為驅動方式，而不是以蒸汽為驅動方式的，等等（很顯然，不同的物理驅動方式就決定了機器將以怎樣的方式來實現(xiàn)自我保護）。那么，為何說這些給定事實具有神秘性呢？這主要取決于我們評判時所采取的立場。如若我們采取的是系統(tǒng)設計者的立場，那么上述這些被給定事實的產生機制自然是毫無神秘性可言的。但若從機器自身的立場上看，情況就非常不同了。說得更具體一點，這些使得機器得以運作的基本前提，很可能并不會在機器自身的表征推理系統(tǒng)中出現(xiàn)，而很可能是作為一種隱蔽的思維邏輯而出現(xiàn)在機器的硬件配置之中的。舉個例子說，一臺由蒸汽推動的機器，未必會在操作界面上寫明“本機器由蒸汽提供動力”這句話。這就使得整臺機器運作的某種深層動力因與目的因，成了某種類似于“自在之物”般的存在者，并由此落在了系統(tǒng)的自主推理系統(tǒng)的視野之外。而意識到了這一點的人工智能設計者，也必須要試圖通過機器硬件配置的方式來完成對于這些深層動力因與目的因的物理實現(xiàn)，而不能試圖首先在代碼編纂的層面上解決這些問題。

不過，黑格爾的理性一元論依然有其可取之處。欲望必須與理性相互結合才能構成行動，而二者的結合顯然需要一個結合點。這樣的結合點便是作為欲望之具體化或命題化形式的意圖。從這個角度看，雖然欲望本身的確是難以在系統(tǒng)的表征語言中以明晰的方式得到展現(xiàn)的，但是作為其替代者的意圖卻必須被明晰化，否則行動自身的統(tǒng)一性就無法達成。意識到這一點的通用人工智能研究者，也必須設法在編程語言的層面上構造一種能夠使得信念系統(tǒng)與意圖系統(tǒng)彼此無縫對接的推理平臺。

筆者的上述立場最后就導致了一個非常明顯的行動哲學層面上的推論：信念與意圖之間的界限是相對的，是一個統(tǒng)一表征系統(tǒng)內部的分界，而不是現(xiàn)象界與自在之物之間的那種隔絕式分界。與之相比較，在戰(zhàn)后英美行動哲學圈中因研究“意圖”而名聲大噪的女哲學家安斯康（Gertrude Elizabeth Margaret Anscombe,1919-2001），則主張擴大信念與意圖之間的裂痕。有鑒于安斯康的意圖理論與筆者立論之間的競爭關系以及她的理論對于另外一些重要哲學家（如約翰·塞爾）的巨大影響，下面筆者將對她的理論進行一番批判性評估。

安斯康的“意圖”理論有如下幾個要點（筆者將在每一要點后附加自己的批評性文字）①安斯康研究意圖問題的代表作就是《意圖》一書，其版本信息是：Gertrude Elizabeth Margaret Anscombe.Intention.Oxford:Basil Blackwell,1957;2ndedition,1963?？紤]到安斯康的話語方式對于不熟悉分析哲學的讀者來說會顯得比較晦澀，在下面的轉述中筆者將根據自己的理解，運用漢語文化中的案例對其原先的案例進行大量的替換。：

1.意圖乃是欲望驅動下做某事的理由。安斯康當然意識到意圖與欲望之間的緊密聯(lián)系與微妙差異。二者之間的聯(lián)系，乃在于意圖是欲望的具體化，而二者之前的差異則在于：意圖必須具體到“理由”的層面，而欲望則否。舉個例子來說，如果茶圣陸羽感到口很渴，并有解渴的欲望，而他相信喝茶能夠解渴，那么他就會有理由去喝茶，或者說，“去喝茶”這一意圖就成了陸羽去解渴的理由。很顯然，在這種情況下，“喝茶”這個行動就作為意圖的內容或對象而出現(xiàn)了。而如果外部環(huán)境沒有任何因素阻止這樣的行動得到展現(xiàn)的話，那么，陸羽就會去執(zhí)行這個行動。與之相比較，倘若沒有任何意圖起到“將欲望本身加以具體化”的作用的話，那么，欲望就不會得到任何管道以便通向行動的。因此，我們也可以將意圖視為欲望與行動之間的轉換環(huán)節(jié)。

現(xiàn)在我們就立即轉入對于這一要點的簡短評價。需要指出的是，雖然筆者對安斯康的意圖理論的不少方面有所批評，但是對于“意圖乃是欲望驅動下做某事的理由”這一點，筆者大致上也是贊同的。但需要注意的是，正因為意圖在本質上是一種理由，而被意圖持有人所意識到的理由顯然就是一種信念狀態(tài)，因此，安斯康的這一理論在客觀上馬上就會導致信念與意圖之間界限的模糊化。比如，一個人所持有的信念自身的非理性狀態(tài)，會立即導致在內容上與之相關的意圖的可執(zhí)行性（簡言之，由一個愚蠢的信念所導致的意圖肯定是不可被執(zhí)行的，盡管一個不那么愚蠢的信念未必就一定會導致一個可以被執(zhí)行的意圖②舉例來說，倘若陸羽愚蠢地相信喝海水能夠解渴，那么他當然就有某種理由去喝海水，并在這種情況下產生喝海水的意圖。但正是因為這個信念本身是不合理的，陸羽通過喝海水而解渴的意圖肯定會落空。）。這種模糊化狀態(tài)當然不是說意圖與信念之間是沒有區(qū)別的，因為畢竟不是所有的信念都像意圖那樣既勾聯(lián)著欲望，又牽連著行動（比如，“劉備意圖娶孫尚香”是一回事，而“劉備相信他已經娶了孫尚香”又是一回事）。但盡管如此，二者之間的界限依然不能被絕對化，因為一個不基于任何信念的意圖其實是不可能發(fā)生的。比如，“劉備意圖娶孫尚香”這一點的確是基于“劉備相信他能夠通過與孫尚香結婚鞏固孫劉聯(lián)盟”這一點的。

現(xiàn)在的問題就冒出來了：雖然意圖與非意圖信念之間的區(qū)分是不容抹殺的，但我們又應當在多大程度上勘定二者之間分界帶的寬度呢？正如前文所指出的，筆者的意見是盡量縮小這一寬度，而安斯康的意見是盡量拓寬之。而她進一步拓寬該分界帶的理由，則又牽涉到她關于意圖本質的另外幾個觀點(編號續(xù)前)：

2.意圖并非預測。 預測性信念，如劉備持有的“與孫尚香結婚有利于鞏固孫劉聯(lián)盟”這一信念，顯然是與意圖最接近的一類信念，因為二者的時間指向都是面向未來的。因此，對于預測與意圖之間界限的勘定，顯然有助于拓寬信念與意圖之間的分界帶。而安斯康用于區(qū)分意圖與信念的基本理由如下：對于一個預測的支持，需要的是證據——比如，預測者若要評估孫劉聯(lián)姻對于鞏固孫劉政治聯(lián)盟的作用到底有多大，他就需要觀察歷史上的政治婚姻的后效，并評估孫權這一特定結盟對象的政治信用，而所有這些評估都是基于證據的。但需要注意的是，上述評估活動與評估者本人的興趣并無直接關系。也就是說，一個人即使對孫劉聯(lián)盟沒有直接興趣，他也能夠評估二者之間通過姻親來結盟的可行性。與之相比較，如果劉備本人對孫劉聯(lián)盟本身沒有興趣的話，那么，即使他相信自己能夠通過與孫尚香結婚鞏固孫劉聯(lián)盟，他也無法產生“娶孫尚香”這一意圖。換言之，作為“欲望驅動下做某事的理由”，意圖自身與特定欲望的直接勾聯(lián)，使得它能夠有別于單純的預測。

現(xiàn)在我們就立即轉入對于這一要點的簡短評價。很顯然，正如安斯康所指出的，單純的預期并不能構成意圖，因為意圖本身的確要有深層的欲望作為其基底。但由此認為意圖與預期不搭界，則顯得有點矯枉過正了，因為意圖本身畢竟是基于預期的。舉個例子，如果陸羽有通過喝茶來解渴的意圖，那么他就肯定有一個關于“喝茶能夠解渴”這一點的預期，否則我們就難以解釋一個連自己都不相信喝茶可以解渴的人，竟然能自愿地產生“通過喝茶來解渴”這樣的意圖。這也就是說，為意圖奠基的那些信念自身的證據支持力，也會在相當程度上成為相關意圖的證據支持力，并因此使得我們完全有資格去討論“一個意圖的合理性是否有證據支持”這樣的議題。

不過，不得不承認的是，盡管“基于一定的預期性信念”這一點的確是意圖的構成要素，但構成意圖的另外一個要素——與特定欲望的勾聯(lián)——顯然是與證據支持這一議題無關的。舉個例子來說，陸羽感到口渴了就是口渴了，他沒有必要為這種欲望本身的產生尋找除了相關現(xiàn)象感受之外的任何額外證據（盡管對于陸羽之外的另外一個觀察者來說，他的確是需要額外的證據來支持“陸羽感到口渴”這一信念的）。然而，對于這一點的肯定并不會導致我們將意圖本身與信念分割，因為作為欲望的明晰化的意圖，其本身并不是欲望。

3.意圖具有“事從于心”的符合方向，而信念具有“心從于事”的符合方向。 這是安斯康心目中信念與意圖之間的另一重區(qū)分。在她看來，要讓一個信念成真，信念內容就要符合外部事實，而如果信念內容錯的話，責任不在于事實，而在于信念。譬如說，如果孫權錯誤地相信曹操參與赤壁之戰(zhàn)的兵力有83萬而不是實際上的20萬人，那么需要修正的是孫權的信念，而不是事實。因此，信念本身就有一種“心從于事”的符合方向。與之相對比，孫權如果具有一個“消滅曹操的20萬大軍”的意圖，而實際上該意圖并沒有得到滿足，那么需要改變的乃是外部事實（即孫權需要“火燒赤壁”這樣實打實的操作來對曹操的軍隊進行真正意義上的物理消滅），而不是孫權的信念本身。因此，意圖就具有“事從于心”的符合方向。

應當看到的是，關于“符合方向”的討論乃是安斯康用以區(qū)分信念與意圖的一個關鍵性論點，并對以后塞爾的意向性理論產生了巨大影響。但筆者卻對該分論點非常懷疑。筆者的批評在于：

第一，從認知系統(tǒng)的表征活動來看，并不存在著真正意義上的“外部事實”。我們前面已經看到，預期乃是一個意圖的構成要素，而從這個角度看，如果一個意圖沒有得到滿足的話，真正發(fā)生的事情乃是該意圖中的預期性信念與主體最新獲取的外部環(huán)境報告之間的矛盾（如曹操關于“孫權會投降”的預期與“孫權已經回絕了勸降信”這一報告之間的矛盾）。很顯然，從人工智能系統(tǒng)設計的層面上看，除了對于預期自身的時間因子刻畫所帶來的技術性問題之外，這一矛盾與非意圖性信念之間的矛盾并沒有本質的不同，因此，我們完全沒有必要為“意圖的滿足或不滿足”開創(chuàng)出一套與“真”或“假”不同的評價性謂詞（盡管在日常語言的層面上，“真—假”區(qū)分的確與“滿足—不滿足”區(qū)分有所分別）。

第二，我們很難說在意圖沒有得到滿足的時候，需要為之負責的乃是外部世界，而意圖本身不需要修正。舉個例子，我們完全有理由說豐臣秀吉所產生的“通過朝鮮征服明國”的意圖自身是荒謬的，但豐臣秀吉的侵略軍遭遇中朝聯(lián)軍激烈抵抗的時候，對于豐臣秀吉本人來說，合理的方式是撤銷這一意圖本身，而不是投入更多兵力來繼續(xù)貫徹原來的意圖?；蛘f得更抽象一點，當一個意圖是奠基在一定的預期之上，而該預期本身又是缺乏證據的（如“日本的兵力足以征服明國”這樣的愚蠢的預期），那么意圖的持有者本人就得為持有意圖這件事情負責。在這種情況下再去苛求外部世界，乃是不合理的。

然而，筆者上述的分析并不否認：如果一個使得意圖本身得到奠基的期望是的確得到證據支持的，而該意圖又沒有得到滿足，那么主體就有理由繼續(xù)去改造世界。即使在這種情況下，基于上面提到的第一點意見，筆者依然不能認為改造世界這一活動會牽涉到一種與信念邏輯完全不同的新推理邏輯。

不過，關于安斯康的意圖理論，如下面的論點，筆者也有贊成之處。

4.理由不是原因。 前面已經說過，意圖乃是作為“欲望驅動下做某事的理由”存在于安斯康的理論中的。因此，對于意圖的說明，就難以回避對于“理由”的說明?！霸颉笔且粋€形而上學概念，而“理由”則是在知識論、倫理學與行動哲學的背景中被使用的。譬如，當我說“太陽曬石頭是石頭熱的原因”的時候，這句話并不意味著“太陽曬石頭”是“石頭熱”的理由，因為太陽不是意志或倫理的主體，談不上對于理由的持有。但我卻可以說“我之所以判斷這石頭會熱的理由，乃在于我認為太陽會將其曬熱”，因為作為判斷的主體，我本人是有完全的資格去擁有一個理由的。由此看來，一般意義上的理由也好，作為意圖的理由也罷，它們都必須處在認知主體的表征系統(tǒng)中，并與一定的描述面相發(fā)生關聯(lián)。譬如，當孫尚香起床在院落里舞劍的時候，她的意圖若僅僅處在“我要通過舞劍來保持武藝”這一描述面相之下的話，那么即使她不小心吵醒了正在酣睡的劉備，“通過舞劍的聲音喚醒自己的丈夫”這一點顯然無法構成她舞劍的理由或是意圖——盡管這一點的確構成了促使劉備醒來的原因。

從哲學史角度看，安斯康對于原因與理由的區(qū)分方案遭到了哲學家戴維森的批評。后者從一種在內涵與外延上都得到拓展的“原因”概念出發(fā)，將“理由”也視為一種廣義上的“原因”，這一想法本身又是導緣于亞里士多德的“四因說”的[1]（P685-700）。但從通用人工智能系統(tǒng)的設計者來說，安斯康的方案似乎更為可取，因為對于機器的運作程序的設計的確需要暫時“懸擱”使得系統(tǒng)得以運作的外部物理原因，并僅僅從系統(tǒng)內部的操作邏輯入手來進行工程學的構建。很顯然，一個被設計出來的系統(tǒng)，當其在特定知識背景下產生一個做某事的理由的時候，支撐該理由的核心要素亦將不直接與系統(tǒng)運作的外部原因相關聯(lián)——除非這些原因可以被轉化為系統(tǒng)內部的信念。

5.意圖的意義內容會滲入相關的實現(xiàn)手段。按照一般人的理解，由欲望驅動的意圖在轉向行動的過程中，還需要經歷另外一個環(huán)節(jié)，即實現(xiàn)意圖的手段。說得更具體一點，同樣的意圖可以經過很多不同的手段來實現(xiàn)，而某人之所以選擇了這個而不是那個手段來滿足其意圖，主要也是因為被偏好的手段的實現(xiàn)成本比較低。

但安斯康的意見卻與之不同。學界將安斯康的相關意見以及在該問題上與之意見相同的戴維森的意見，統(tǒng)一稱為所謂的“安斯康—戴維森論題”：

安斯康—戴維森論題：若某人通過做乙事來做甲事的話，那么，他做甲事的行為，就是其做乙事的行為。[2]

很多人或許會認為該論題是反直觀的，因為如果“拿藍色茶杯裝的水來解渴”與“拿白色茶杯裝的水來解渴”是實現(xiàn)“喝水”這一意圖的兩個手段的話，那么該意圖就不可能與其中的任何一個手段相互同一——否則，按照“同一關系”所自帶的傳遞性（即：A若與B同一，B若再與C同一，則A與C同一），這兩個手段也會彼此同一。但既然藍色與白色不是一種顏色，“拿藍色茶杯裝的水來解渴”與“拿白色茶杯裝的水來解渴”又怎么可能彼此同一呢？因此可反推出：整個安斯康—戴維森論題就是錯的。

安斯康本人則通過對于一個與之平行的案例的分析來為自己的觀點做辯護。作為一個天主教徒，她為“夫妻同房時若需避孕，當通過自然避孕法，而非人工避孕法”這一天主教教義進行了哲學捍衛(wèi)。乍一看這一教義是非?；闹嚨模驗榧热蛔匀槐茉信c人工避孕的終極目的乃是一樣的，而且，既然安斯康并不否認避孕這一終極意圖是可以被接受的，那么，采取何種方式方法避孕，就純粹是一個取決于當事人方便的瑣碎問題。但安斯康的反駁是：與自然避孕和人工避孕這兩個手段相互伴隨的執(zhí)行意圖（有別于剛才所說的“避孕”這一終極意圖）是彼此不同的，或說得更具體一點，與人工避孕相伴隨的執(zhí)行意圖并不包含著婚姻的責任，而與自然避孕相伴隨的執(zhí)行意圖卻伴隨著對于婚姻的承諾。因此，非常嚴格地說，與這兩個手段相互對應的，其實是兩個不同的意圖[3]（P41-51）。

有的讀者或許會認為安斯康在這里是在狡辯，因為站在當下中國文化的立場上看，我們當然可以設想人工避孕措施的實施未必會導致對于婚姻責任的放棄。但如果我們將避孕的案例置換為喝水的案例的話，或許就能規(guī)避文化差異所導致的上述困惑。安斯康想表達的，毋寧說是這個意思：用什么手段（包括什么顏色的杯子）來喝茶的問題，其實并不僅僅涉及手段自身，而且也涉及了與之相伴隨的意圖。譬如，用某種特定顏色的茶杯來喝茶能夠帶來的特定審美體驗，也是相關意圖的特定組成部分。而既然這種特定意圖在意義上已經包含了對于手段的指涉，那么在“實現(xiàn)意圖”與“實施手段”之間劃出一條清楚的界限來，也就變得沒什么必要了。

筆者之所以認為安斯康的這一見解對通用人工智能研究有借鑒意義，乃是基于如下考量：主流人工智能研究已經過于習慣于將手段視為外在于任務目標的工具了，而沒有意識到意圖對于手段的滲透作用。譬如，在司馬賀（Herbert Alexander Simon）等人設計的“通用問題求解器”所包含的“目標—手段”進路中，方法庫中的一個手段之所以被選中，僅僅是因為對于它的虛擬執(zhí)行所帶來的與目標狀態(tài)的接近程度，恰好能夠越過某條被預先設置的“及格線”，而不是因為伴隨該手段自身的意圖得到了某種精細的表征。這也就是說，按照這樣的思路設置出來的人工智能系統(tǒng)，是很難像人類那樣區(qū)分兩個貌似相似的意圖之間的微妙差異的，因此也就無法執(zhí)行一些需要此類“意向微調”的精密智力活動。

思維銳利的讀者或許會反駁說：要實現(xiàn)這種需要此類“意向微調”的精密智力活動，我們就不得不將意圖的表征內容變得非常冗長，并由此削弱整個系統(tǒng)的運作效率。但需要指出的是，設計系統(tǒng)的時候，我們未必真的需要將對于相關手段各方面特征的表述全部放在桌面上。實際上，特定意圖與特點手段之間的關聯(lián)，完全可以以非命題的方式表達為展現(xiàn)意圖的特定語義節(jié)點簇與展現(xiàn)手段的特定語義節(jié)點簇之間的共激發(fā)關系，由此一來，伴隨手段出現(xiàn)的特定意圖就可以轉化為一個邊界模糊的動態(tài)結構局域網。在下節(jié)的分析中我們就會看到，實現(xiàn)這種技術企圖的計算平臺，其實還是能夠在通用人工智能研究的現(xiàn)有武器庫里被找到的。

綜合本節(jié)筆者的結論是：安斯康對于信念與意圖之間的區(qū)分是不可取的，因為意圖本身就是基于信念的。她對于信念與理由之間的區(qū)分則是可取的，而她對于特定意圖與特定手段之間的同一性的斷定亦有一定的啟發(fā)意義。下面我們就將基于這些觀察，來看看通用人工智能研究應當如何將上述哲學見解在工程學層面上予以轉化。

三、通用人工智能語境中的意圖刻畫

首先需要指出的是，目前的主流人工智能研究（其實質乃是專用人工智能研究）是難以對意圖進行哪怕最初步的工程學建模的。比如，主流的符號人工智能、神經網絡—深度學習技術，其實都難以在工程學的層面上落實我們在哲學層面上所給出的關于意圖的最基本勾畫。下面就是對于這一論點的簡要展開。

首先，傳統(tǒng)的符號AI系統(tǒng)是難以落實我們對于意圖的一般哲學刻畫的。最典型的符號AI系統(tǒng)乃是所謂的“專家系統(tǒng)”，其要點是在系統(tǒng)中預存大量已經經由計算機語言整編的人類專家領域知識，并通過某些“生產規(guī)則”來衍生出切合特定的問題求解語境的知識推論。很顯然，在專家系統(tǒng)中得到預存的知識，顯然已經預設了設計意圖——如一個關于醫(yī)療診斷的專家系統(tǒng)顯然已經預設了“治療病患”這樣的意圖。但需要注意的是，與人類醫(yī)生相比，此類系統(tǒng)無法自主地產生“治療病患”的主觀意圖，因為它不可以選擇不治療病患（而一個醫(yī)生卻完全可以選擇離開醫(yī)院而去報考公務員）。從這個意義上說，安斯康對于“意圖”的定義——“意圖乃由欲望驅動去做某事的理由”——并不能通過專家系統(tǒng)而得到落實。

有的讀者或許會發(fā)問：對于一個用于醫(yī)療目的的專家系統(tǒng)來說，為何我們要讓其產生“不再做醫(yī)療診斷”這一意圖呢？難道讓其穩(wěn)定地服務于人類，不正是我們原初的設計目的嗎？對于這個問題的應答其實非常簡單：能夠自主產生意圖乃是任何智能系統(tǒng)都應當具有的某種最一般的認知能力，因此，如果一個認知系統(tǒng)在一開始就被剝奪產生“不去做醫(yī)療診斷”這樣的意圖的潛在能力的話，那么它也就不會產生在特定的情況下自主地產生“去實施這樣的（而不是那樣的）治療方案”的意圖。在這樣的情況下，這樣的系統(tǒng)至多只能根據過往的醫(yī)療數據去預測：在特定的醫(yī)療方案被實施后，病患被治好的概率有多大——但正如我們在分析安斯康的意圖理論時就已經看到的那樣，預測本身并不是意圖，因為意圖乃是預測性信念與特定欲望的復合體，而通常意義上的專家系統(tǒng)則是沒有任何特定的、屬于其自身的欲望的。

有的讀者或許會說：即使在哲學層面上我們不能將特定的欲望賦予專家系統(tǒng)，但是只要人類設計者預先將“治病救人”的隱含目的寓于整個系統(tǒng)之中，難道系統(tǒng)不是照樣可以根據其預測來為病人做診斷嗎？在這樣的情況下，我們在人工系統(tǒng)中表征特定意圖的實踐目的又是什么呢？

為了回答這一疑惑，請讀者思考下面這個案例。某個用于醫(yī)療目的的專家系統(tǒng)根據既往數據，預測出：某病患的腸癌病灶部分如果做大面積切除的話，患者術后生活質量會大大降低。不過，此手術本身的失敗率不是很高，只有 20%。而若只做小面積切除的話，患者的術后生活質量則不會受到太大影響——但麻煩的是，這樣的話，手術成功的失敗率會提高到40%。那么，系統(tǒng)究竟應當推薦大面積切除的手術方案，還是小面積切除的手術方案呢？

很顯然，這是一個關于“要手術成功率還是術后生存質量”的艱難選擇。不難想見，即使廣義上的“治病救人”的目的已經通過設計者預裝到了系統(tǒng)的知識庫中，這樣的抽象的目的指向依然不足以向系統(tǒng)告知：在“優(yōu)先考慮手術成功率”與“優(yōu)先考慮術后生存質量”之間，哪項選擇與“治病救人”這項目的更為相關。很顯然，對于這一問題的回答，將牽涉到在特定語境中對于病患個體生命價值觀的考量，而這些考量的具體結果，又是很難通過某些預先給定的程序設計而被予以一勞永逸地規(guī)定的（因為我們完全可以設想一部分病患更在乎術后的生命尊嚴，而不是手術成功率——而事先被編制的程序顯然難以預料到具體病患的具體情況）。而要解決此問題的唯一出路，就是使得系統(tǒng)自己能夠通過自己的欲望以及所獲取的信息（包括對于當下病患的觀察）產生自己的意圖——比如自己產生出某種更偏向于提高患者術后生存質量的意圖，等等）。然而，這些要求顯然已經超出了目下的專家系統(tǒng)所能做的極限。

與符號人工智能相比，基于聯(lián)接主義或深度學習技術的人工智能系統(tǒng)，離“自主產生意圖”這一目標更遠。此類系統(tǒng)的基本工作原理，就是通過大量的數據訓練，經由一個內部參數可以被調整的大型人工神經元網絡系統(tǒng)的運作，而形成特定輸入與特定輸出之間的穩(wěn)定映射關系。而由于此類數據訓練工作其實是由人類程序員提供理想的輸入—輸出關系模板的，所以，人類程序員自身的偏見就很容易被移植到系統(tǒng)上，由此使得系統(tǒng)自身也成為人類偏見的放大器。比如，人類程序員完全可能在設計一個人臉識別系統(tǒng)時預先規(guī)定哪些人臉特征具有犯罪傾向，并由此構成對社會中某些特定族裔的不公平的高壓態(tài)勢——而系統(tǒng)本身則根本無法察覺到此類意圖的存在，只能按照類似的模板去運作。更麻煩的是，與運用于裝備檢測或醫(yī)療目的的專家系統(tǒng)不同，深度學習技術與廣告營銷、用戶推廣等更具資本氣息（卻也因此更缺乏倫理氣息）的運用方式具有更緊密的貼合度，這就使得此類系統(tǒng)甚至可能連“治病救人”這樣的最抽象層面上的目的指向都不具備，遑論在這種大的目的指向下產生更為精細的意向生成能力，以便在“重視生命質量”與“延長生命時間”之間進行自主抉擇。

所謂的基于“能動主義（enactivism）”思想的人工智能系統(tǒng)，也并不在“自主產生意圖”方面有任何推進。能動主義的核心哲學理念是：無論對于人工智能體還是人類而言，認知的實質乃是行動中的有機體與特定環(huán)境要素之間互動關系的產物。而對具體的人工智能研究來說，這樣的哲學口號一般落實為對于設計機器人的外圍傳感設備與行動設備的工作的高度重視以及對于中央信息處理系統(tǒng)的設計問題的相對輕視。但這種做法的本身顯然會立即使得任何意圖自身所依賴的信念系統(tǒng)本身失去了著落（因為信念系統(tǒng)本身就是中央信息處理系統(tǒng)的一部分）；同時，該技術路徑對于外部環(huán)境因素施加于機器人傳感器的因果效力的高度依賴，則又會使得“理由”與“原因”之間的界限變得非常模糊（然而，正如我們所看到的，按照安斯康的看法，作為“理由”的意圖在實質上并不能被還原為任何一種“原因”）。此外，也正因為中央語義系統(tǒng)的缺失，任何基于能動主義的人工智能系統(tǒng)在原則上都不可能將具有微妙內容的意向投入到特定的行動中去，因此，這樣的系統(tǒng)在原則上就不可能實現(xiàn)前文所說的“安斯康—戴維森論題”。

要在人工智能系統(tǒng)中真正實現(xiàn)對于意圖的工程學建模，我們顯然需要另辟蹊徑。很顯然，這樣的技術路徑需要從根本上處理信念系統(tǒng)、欲望系統(tǒng)之間的相互關系，并在這種基礎上實現(xiàn)對于意圖的刻畫。而有鑒于信念系統(tǒng)與欲望系統(tǒng)之間的互動關系會在不同的問題求解語境中產生不同的意圖，這樣的技術路徑就不可能僅僅局限于特定的問題求解語境，而一定得具有鮮明的“通用人工智能”意蘊。而在這方面，國際通用人工智能活動的代表之一、華裔計算機科學家王培先生發(fā)明的“非公理推演系統(tǒng)”——簡稱為“納思系統(tǒng)”——便是一個具備被升級為具有自主意圖的人工智能體之潛能的計算平臺[4]。下面筆者就將相關的技術路線圖，以一種相對淺顯的方式予以勾勒。

圖1 納思語義網

由于意圖的產生乃是信念系統(tǒng)與欲望系統(tǒng)相互作用的產物，我們就不得不首先介紹一下在納思系統(tǒng)中信念系統(tǒng)的表征方式。在納思系統(tǒng)中，一個最簡單的判斷或信念是由兩個概念節(jié)點構成的，比如，“烏鴉”（RAVEN）和“鳥”（BIRD）。在納思系統(tǒng)的最基本層面Narese-0上，這兩個概念節(jié)點由繼承關系（inheritance relation）加以聯(lián)接，該關系本身則被記作“→”。這里的“繼承關系”可以通過以下兩個屬性而得到完整的定義：自返性（ref l exivity）和傳遞性（transitivity）。舉例來說，命題“RAVEN→RAVEN”是永真的（這就體現(xiàn)了繼承關系的自返性）；若“RAVEN→ BIRD”和“BIRD→ ANIMAL”是真的，則“RAVEN→ANIMAL”也是真的（這就體現(xiàn)了繼承關系的傳遞性）。這里需要注意的是，在繼承關系中作為謂項出現(xiàn)的詞項，就是作為主項出現(xiàn)的詞項的“內涵集”中的成員（因此，在上述判斷中，“鳥”就是“烏鴉”的內涵的一部分），而在同樣的關系中作為主項出現(xiàn)的詞項，就是作為謂項出現(xiàn)的詞項的“外延集”中的成員（因此，在上述判斷中，“烏鴉”就是“鳥”的外延的一部分）。換言之，與傳統(tǒng)詞項邏輯不同，在納思的推理邏輯中，“內涵”并不代表某種與外延具有不同本體論地位的神秘的柏拉圖對象，而僅僅是因為自己在推理網絡中地位的不同而與“外延”有所分別。

大量的此類納思式主—謂判斷，則由于彼此分享了一些相同的詞項而構成了納思語義網，如圖1。

需要注意的是，這樣的一個納思語義網自身的內容與結構都不是一成不變的，而能夠隨著系統(tǒng)的操作經驗的概念而得到自主更新（這一點將首先在納思系統(tǒng)的Narese-1層面上實現(xiàn)，Narese-1本身則代表了一種比Narese-0更復雜的計算機語言構建）。而其中最重要的一項更新措施，就是根據一個納思式判斷獲取的證據量的變化來改變自身的真值，由此改變網絡中特定推理路徑的權重。說得更具體一點，納思判斷的真值，是由兩個參數加以規(guī)定的：“頻率”（frequency）值和“信度”（conf i dence）值。現(xiàn)在我們將前一個值簡稱為 f值，后一個值簡稱為c值。前者的計算公式如下式所示：

說明：在此，w就意味著證據的總量，而w+則意味為正面證據。比如說，若系統(tǒng)觀察到100只烏鴉，其中90只為黑，10只為白，則命題 “RAVEN→BLACK”的 f值 =90/(90+10)=0.9

后者的計算公式則如下所示：

（例子：在常數 k=1的情況下，假設系統(tǒng)已經觀察到了100只烏鴉，則c=100/101 0.99）

也就是說，根據系統(tǒng)所獲得的外部證據的不同，系統(tǒng)會自行調整推理網絡中相關路徑的權重值，由此形成不同的推理習慣。而通過對于系統(tǒng)所獲得證據數量與種類的相對控制，人類程序員也可以實現(xiàn)按照特定目的“教育”納思系統(tǒng)的目的。但需要注意的是，與對于人類嬰兒的教育一樣，在通用人工智能的語境中，對于納思系統(tǒng)的“教育”并不意味著對于系統(tǒng)的輸入的全面人為控制。系統(tǒng)自身自主探索外部環(huán)境的相對自由，將始終得到保留。

現(xiàn)在我們再來討論一下系統(tǒng)的“欲望”系統(tǒng)。與人類的基本生物學欲望（如饑渴）類似，一個人工智能系統(tǒng)也會因為電量不足等原因產生充電的“欲望”，或者因為任務負載過多而產生“休息”的“欲望”。不過，對于系統(tǒng)內部運作狀態(tài)的此類表征并不會自動產生相關的意圖，除非系統(tǒng)已經通過如下步驟完成了“意圖”塑造過程：

第1步：經過一段時間的學習，系統(tǒng)已經獲得一個小型知識庫，以便獲知使得系統(tǒng)自身能正常運作的一系列條件（如關于電量水平與運作流暢度之間關系的知識）。

第2步：系統(tǒng)將由此獲得的一般知識施用于對于當下的內部狀態(tài)的評估，以便得知其當下的狀態(tài)是否正常。

第3步：假設目前系統(tǒng)發(fā)現(xiàn)自己目下的狀態(tài)并不正常。

第4步：根據系統(tǒng)自身的推理能力，系統(tǒng)發(fā)現(xiàn)：如果某個條件P被滿足，則當下的狀態(tài)就能夠變得正常。

第5步：系統(tǒng)發(fā)現(xiàn)沒有證據表明P已經被滿足了。

第6步：系統(tǒng)現(xiàn)在將“滿足P”視為備選考慮的意圖內容。

第7步：系統(tǒng)計算具有怎樣的質量與數量規(guī)定性的證據，才能夠使得P成真。這樣的證據集被簡稱為W。

第 8步：系統(tǒng)對其以往的操作經歷進行回溯，并對當下的任務解決資源R（如時間、剩余電量）進行評估，以便獲知：R本身是否能夠支持系統(tǒng)引發(fā)特定的行動A，以使得W能夠成真。

第9步：如果上一步的評估結果是正面的，則系統(tǒng)會產生這樣的意圖：通過特定行動A，使得W成真，由此最終使得P成真。

第10步：如果第9步的評估結果是負面的，于是系統(tǒng)本身會檢查：是不是有什么別的目標，能夠比原本的目標P要求更少的操作以便使得系統(tǒng)的狀態(tài)恢復正常（此即“目標調整”）。如果有，則得到新目標P’，并將第6到第9步再執(zhí)行一遍。否則再執(zhí)行本步驟的頭一句話，除非系統(tǒng)發(fā)現(xiàn)：此前進行的目標調整的行動，已經窮盡了系統(tǒng)知識庫中所有的推理路徑，或系統(tǒng)已經沒有足夠的資源進行這種目標調整活動。而一旦系統(tǒng)有了這種發(fā)現(xiàn)，它將轉向執(zhí)行下一步。

第11步：系統(tǒng)尋求人類或者其它通用人工智能體的外部干預。

關于這11個步驟，筆者還有如下說明：

第一：在納思系統(tǒng)中，信念系統(tǒng)與意圖系統(tǒng)之間的界限是不清晰的。系統(tǒng)對于某意圖是否可以得到滿足的評估，在相當程度上取決于系統(tǒng)對于使得該意圖所對應的狀態(tài)成真的證據集W自身的“可供應性”的評估，因此，關于意圖的推理邏輯只是一種更為復雜的關于信念評估的推理邏輯而已（二者之間的微妙差別在于：在對意圖的評估中，這些證據本身是作為一種虛擬的存在而被表征的，而證據本身的可供應性又是建立在對于使得這些證據得以被供應的操作的可執(zhí)行性之上的；與之相比照，在對于信念的評估中，證據本身則是已經被直接給予了）。因此，納思系統(tǒng)在設計原理上并不那么親和于安斯康將信念與意圖截然二分的意圖分析路數。

第二，在納思系統(tǒng)中，任何系統(tǒng)內部或外部的物理原因都不能夠直接構成系統(tǒng)在內部表征中進行推理的理由。舉個例子來說，系統(tǒng)內部的電量不足問題，必須被轉化為一個能夠在納思語義網中能夠被表征出來的詞項或判斷，才可能進入納思的推理過程。在這個問題上，納思系統(tǒng)的設計原理是接近安斯康的意圖理論的相關描述的。

第三，正因為在納思系統(tǒng)中，意圖的產生是依賴于信念系統(tǒng)的運作的，而信念系統(tǒng)自身所依賴的推理網絡又是系統(tǒng)自身運作經驗的結晶，那么，不同的納思系統(tǒng)自然就會因為自身不同的推理習慣構成不同的意圖產生傾向。而不同的人類程序員也將通過對于系統(tǒng)的輸入的有限調控，來使得系統(tǒng)自身的具有個性的推理習慣得以產生。

第四，在上面給出的11步流程中，為了簡化表達，筆者只是預設了納思系統(tǒng)只關心自身運作的安全（如自身電量的充足性），而不關心人類用戶或者其它通用人工智能系統(tǒng)的安全。但是我們完全可以設想納思系統(tǒng)已經經過程序員的“調教”而形成了這樣的推理傾向：一旦系統(tǒng)發(fā)現(xiàn)了某個或某類的特定人類用戶的安全性受到威脅，系統(tǒng)就會努力尋找方法來消除這些威脅。雖然從倫理學角度看，對于自身安全的優(yōu)先性考慮會導致利己主義而對于他者安全性的優(yōu)先性考慮會導致利他主義，但是從納思系統(tǒng)的設計原則上看，利他主義的推理所牽涉到的意圖產生模式，并不會導致與執(zhí)行利己主義思路的納思系統(tǒng)根本不同的技術實現(xiàn)路徑。

第五，在最一般的意義上，我們當然希望一個通用人工智能系統(tǒng)既能保證為之服務的人類用戶的利益，也能夠兼顧其自身的利益，正如著名的“阿西莫夫三定律”所表示的那樣。然而，在納思系統(tǒng)的設計過程中，我們并不鼓勵通過命題邏輯的方式預先將系統(tǒng)的優(yōu)先考慮對象鎖死，因為這會降低系統(tǒng)在處理特定道德二難處境時的靈活性。一種更值得推薦的方式，便是在一些展示此類二難處境的教學性案例中讓系統(tǒng)學習人類用戶的類似處理方式，以便系統(tǒng)能夠在面對新的二難推理處境時，根據自帶的類比推理能力來自主解決問題。

第六，納思系統(tǒng)能夠更好地實現(xiàn)前文所說的安斯康—戴維森論題，其相關理由如下：我們已經看到，在納思系統(tǒng)中，對于一個意圖目標的可滿足性的評估將被轉換為對于相關虛擬證據的可兌現(xiàn)性的評估。現(xiàn)在假設有兩個證據集（即 W 與 W’），且對于它們的兌現(xiàn)都能夠使得相關目標得到滿足。但嚴格地說，既然它們是兩個不同的證據集，二者在納思語義網中所牽涉的內部推理關系就不可能完全重合，因此，通過W來滿足目標，就會與通過W’來滿足目標產生不同的推理后效，由此達到不同的目標。換言之，手段與目標之間的截然二分在納思系統(tǒng)中之所以是不存在的，乃是因為納思語義網中特定手段與特定目標之間的特定推理路徑，顯然已經破壞了這種二元性。

四、消除“人工智能體產生惡意”威脅的途徑

對于筆者在上文中提出的“通過納思系統(tǒng)設計具有自主意圖的通用人工智能體”的意見，有的讀者或許會質疑說：既然納思系統(tǒng)將通過自己的操作經驗獲取自身的意圖產生習慣，我們又怎么能防止具有不良企圖的納思系統(tǒng)出現(xiàn)呢？

筆者對于這個問題的答案是直截了當的：沒有辦法防止這一點，因為納思系統(tǒng)在原則上就允許不同的程序員根據自己的價值觀訓練自己的系統(tǒng)。因此，正如一個更尊重患者術后生命質量（而不是手術成功率）的醫(yī)生可以調教納思系統(tǒng)也按照他的價值觀進行推理一樣，一個具有邪惡動機的人當然也可以調教納思系統(tǒng)去行惡。但需要注意的是，只要納思系統(tǒng)的用戶足夠多，這種局部的惡很可能會被更廣泛語境中的對沖力量所中和，因為大量的納思系統(tǒng)的使用者會各自將不同的價值觀輸入到各自所掌握的系統(tǒng)中去，由此使得帶有邪惡價值觀的納思系統(tǒng)的作惡行為得到遏制。而這種中和效應之所以可能發(fā)生，乃是因為納思系統(tǒng)的運作本身是不需要用戶進行海量的數據搜集的，而這一點在相當程度上就會大大降低用戶的使用門檻，并使得利用納思系統(tǒng)進行價值觀博弈的主體在數量上大大增加。換言之，納思系統(tǒng)使用的低門檻性，自然會使得少數技術權貴很難通過對于此項技術的壟斷來進行市場壟斷，并由此使得全社會的文化多樣性能夠得到保存。

有的讀者或許還會問：我們是否可以通過立法的方式來阻止通用人工智能技術被別有用心的人所利用呢？筆者的應答是：相關的立法難度很大，因為從法律上看，你很難預先確定哪些人會犯罪；而且，你也很難通過立法去打擊那些運用通過人工智能技術去做違背公德（卻恰好沒有違背法律）的事情。而對于此類法規(guī)的無限訴求最后很可能會導致對于整個通用人工智能技術的法律禁止令——但正如筆者在本文第一節(jié)中所指出的，這種對于通用人工智能技術的偏見，最終反而會方便打著“專用人工智能技術”名頭的技術權貴通過大數據收割機來將普通民眾的隱私收割干凈，并由此制造出一個更大范圍內的倫理上的惡。換言之，除了“在局部容忍惡”與“容忍更大范圍內的惡”之間，我們其實并沒有第三條出路可走，除非我們要學習美國的阿米什族人，徹底向現(xiàn)代數碼技術告別，但這條出路本身也是不具有現(xiàn)實性的，因為幾乎沒有任何力量可以勸說世界上的大多數人口放棄計算機技術帶來的便利。

最后需要指出的是，正如前文中關于如何在納思系統(tǒng)中產生自主意圖的11步法所展示的那樣，在納思系統(tǒng)中，意圖的產生將取決于系統(tǒng)對于相關實現(xiàn)手段的可行性的評估。因此，一個足夠理性（但的確十分邪惡）的納思系統(tǒng)即使產生了要通過核彈來殺死十萬人的邪惡念頭，這個念頭也不足以形成一個能夠兌現(xiàn)為行動的意圖，因為它會根據推理發(fā)現(xiàn)它根本就無法實現(xiàn)對于核彈（甚至核材料）的擁有（在這里我們假設世界上所有的核彈或相關敏感物質都在各自政府的嚴格監(jiān)控下）。換言之，邪惡的念頭本身無法殺人，除非它與特定的物質條件相互結合——而幸運的是，對于關涉到公眾安全的敏感物質的管控，其實各國政府都有相對成熟的規(guī)章制度可以遵循。因此，某些科幻小說所描繪的通用人工智能系統(tǒng)通過超級武器奴役人類的場面，其實是不太可能出現(xiàn)的。由此不難推出，公眾與其為未來的人工智能系統(tǒng)是否會具有自主意圖而憂心忡忡并因為這種過度的擔心而對人工智能專家的學術自由指手畫腳，還不如敦促各自的政府更加嚴密地看管與公眾安全密切相關的敏感物質，使得惡念（無論是產自于自然人的，還是產自于人工智能體的）始終沒有機會在物理世界中得到實現(xiàn)。