商志鵬

編者按：隨著人工智能時(shí)代的不斷逼近，由它所帶來(lái)的對(duì)人類(lèi)發(fā)展的不確定影響正在不斷增大，我們應(yīng)當(dāng)確定的是人工智能的發(fā)展是以維護(hù)人類(lèi)價(jià)值為基礎(chǔ)，以實(shí)現(xiàn)人類(lèi)幸福為目標(biāo)。對(duì)人工智能的設(shè)計(jì)與開(kāi)發(fā)不能僅從技術(shù)層面單向發(fā)展，更應(yīng)該考慮的是其應(yīng)用層面與人的交互及其將會(huì)造成的社會(huì)影響。因此對(duì)人工智能體做出符合人類(lèi)價(jià)值需求的邏輯設(shè)計(jì)理應(yīng)是人工智能發(fā)展的重點(diǎn)問(wèn)題，如何將人類(lèi)對(duì)人工智能的理想設(shè)計(jì)轉(zhuǎn)化成研發(fā)人員可以輸入的指令判斷？如何使人工智能“發(fā)乎于情，止止于禮”？這篇文章借助道義邏輯、心智邏輯、行動(dòng)邏輯等邏輯的發(fā)展來(lái)對(duì)機(jī)器語(yǔ)言進(jìn)行刻畫(huà)，為實(shí)現(xiàn)人工智能體機(jī)器語(yǔ)言的邏輯應(yīng)用提供了可能性。

在當(dāng)今信息飛速發(fā)展的時(shí)代，大眾對(duì)“人工智能”并不陌生。人工智能產(chǎn)業(yè)可定義為：“對(duì)智能主體（intelligent agent）的研究與設(shè)計(jì)”，上述智能主體是指一個(gè)可以觀察周遭環(huán)境并作出行動(dòng)以達(dá)至目標(biāo)的系統(tǒng)。在今年7月于上海召開(kāi)的2021世界人工智能大會(huì)中，業(yè)界專業(yè)人士就對(duì)規(guī)范人工智能體機(jī)器語(yǔ)言的設(shè)計(jì)及其應(yīng)用進(jìn)行了大量的討論與宣傳。而在當(dāng)今時(shí)代潮流下，我們要做的不應(yīng)是限制人工智能的發(fā)展，而應(yīng)控制人工智能的發(fā)展。而控制人工智能發(fā)展的前提就是，認(rèn)識(shí)到人工智能體的發(fā)展需遵循一定的底線，在對(duì)機(jī)器語(yǔ)言的設(shè)計(jì)時(shí)不應(yīng)僅僅考慮其帶來(lái)的收益價(jià)值，而更應(yīng)提防其可能產(chǎn)生的危害，因此對(duì)人工智能體機(jī)器語(yǔ)言的邏輯設(shè)計(jì)規(guī)范化迫在眉睫。

基礎(chǔ)人工智能體機(jī)器語(yǔ)言的邏輯基礎(chǔ)

基礎(chǔ)的人工智能算法建立在大量的一階邏輯基礎(chǔ)上，數(shù)理邏輯的開(kāi)創(chuàng)者萊布尼茨就在1673年發(fā)明了作為計(jì)算機(jī)語(yǔ)言基礎(chǔ)的二進(jìn)制語(yǔ)言，設(shè)計(jì)制作了一臺(tái)計(jì)算機(jī)并提出“將出現(xiàn)一種通用代數(shù)。在其中，一切推理的正確性將化歸于簡(jiǎn)單的運(yùn)算。它同時(shí)又將是通用語(yǔ)言，但卻和目前的一切語(yǔ)言完全不同。其中的字母和字將由理性來(lái)確定”的偉大夢(mèng)想。因此對(duì)通用語(yǔ)言的研究成為了計(jì)算機(jī)語(yǔ)言設(shè)計(jì)的基礎(chǔ)，而邏輯學(xué)也因此成為與計(jì)算機(jī)語(yǔ)言乃至人工智能體語(yǔ)言的重要底層設(shè)計(jì)。第一個(gè)符合通用語(yǔ)言設(shè)計(jì)的就是布爾代數(shù)，它也是計(jì)算機(jī)電路、人工智能體智能系統(tǒng)邏輯設(shè)計(jì)的理論基礎(chǔ)，計(jì)算機(jī)中的基礎(chǔ)開(kāi)關(guān)器件、運(yùn)算電路（觸發(fā)器、寄存器、半全加器等）都起源于布爾代數(shù)的應(yīng)用，而更為復(fù)雜邏輯電路如時(shí)序邏輯電路、TTL電路、ECL電路、集成電路等組合電路，對(duì)其進(jìn)行描述及分析皆離不開(kāi)布爾代數(shù)的運(yùn)用。

機(jī)器語(yǔ)言的總體呈現(xiàn)依賴于對(duì)其邏輯基礎(chǔ)的設(shè)計(jì)，如戴文森-普特南算法（DPLL算法）中所運(yùn)用的命題邏輯語(yǔ)言，其真值“真”“假”可以對(duì)應(yīng)機(jī)器符號(hào)語(yǔ)言的“1”“0”，機(jī)器語(yǔ)言的合法性可以表現(xiàn)為命題邏輯的“重言式”。命題邏輯作為一種陳述性語(yǔ)言，它的語(yǔ)義是基于語(yǔ)句和可能世界之間的真值關(guān)系的。而它的析取式和否定式可以用來(lái)處理不完全信息，它的推理可以用來(lái)表達(dá)大部分常識(shí)。而一階邏輯在命題邏輯的基礎(chǔ)上增加了量詞，表示關(guān)系的謂詞符號(hào)以及表達(dá)推導(dǎo)的函數(shù)符號(hào)。相比于命題邏輯，一階邏輯在表達(dá)對(duì)象與對(duì)象之間的關(guān)系上進(jìn)行了擴(kuò)展，使得表達(dá)更為充分。1931年德國(guó)數(shù)學(xué)家哥德?tīng)栕C明了“不完備性定理”，迫使數(shù)學(xué)家、邏輯學(xué)家、計(jì)算機(jī)科學(xué)家等通過(guò)創(chuàng)立更高階的邏輯語(yǔ)言來(lái)尋求出路。陳波教授就認(rèn)為計(jì)算機(jī)科學(xué)和人工智能將至少是21世紀(jì)早期邏輯學(xué)發(fā)展的主要?jiǎng)恿υ慈?/p>

人工智能程序設(shè)計(jì)中的邏輯語(yǔ)言

符號(hào)邏輯應(yīng)用于人工智能程序設(shè)計(jì)中的驗(yàn)證、分析與綜合，弗洛伊德使用歸納邏輯創(chuàng)造出對(duì)框圖程序，用其驗(yàn)證計(jì)算機(jī)程序的正確性，而后曼納運(yùn)用一階謂詞邏輯將該程序設(shè)計(jì)為計(jì)算機(jī)語(yǔ)言，并提出方法對(duì)任意程序和相應(yīng)的入出口條件進(jìn)行驗(yàn)證;后期霍爾對(duì)程序正確性的驗(yàn)證，與程序語(yǔ)義刻畫(huà)提出程序邏輯，其主要邏輯如下：

（1）A{P}B（A與B為一階公式，P為程序）;

（2）如果公式A在程序P執(zhí)行前成立，而后程序P終止;

（3）那么公式B會(huì)在程序P執(zhí)行后成立。

霍爾的程序邏輯衍生出另一種用于驗(yàn)證程序正確性方法——最弱前置謂詞方法，其主要邏輯如下：設(shè)WP（P）B為滿足下列條件的最弱語(yǔ)句，

（1）如果證明公式B使P終止，并且P已完成;

（2）首先證明A{p}B符合霍爾的程序邏輯WP（p，B）;

（3）然后驗(yàn)證A，WP（P，B）來(lái)實(shí)現(xiàn)

人工智能程序中自動(dòng)生成領(lǐng)域沿用了以最弱前置謂詞方法衍生出的程序形式推導(dǎo)技術(shù)，并且程序形式推導(dǎo)技術(shù)也應(yīng)用于對(duì)程序設(shè)計(jì)工具和環(huán)境的研究。由于人工智能發(fā)展中對(duì)程序語(yǔ)言設(shè)計(jì)的可靠性與可移植性使用更加廣泛，形式描述程序設(shè)計(jì)語(yǔ)言語(yǔ)義學(xué)成為人工智能領(lǐng)域語(yǔ)言設(shè)計(jì)專家的攻堅(jiān)問(wèn)題，指稱語(yǔ)義學(xué)的基礎(chǔ)模型論將一個(gè)語(yǔ)言成分對(duì)應(yīng)于一個(gè)對(duì)象域的相應(yīng)物，相當(dāng)于模型論中的詮釋，但不在乎語(yǔ)言與機(jī)器的聯(lián)系。維也納開(kāi)發(fā)方法（VDM）就是基于語(yǔ)義學(xué)發(fā)展的一整套開(kāi)發(fā)軟件的工程方法，而后發(fā)展的由蘭丁創(chuàng)造的操作語(yǔ)義學(xué)即把語(yǔ)言的可操作性作為語(yǔ)義，要分辨我們?nèi)粘ＵZ(yǔ)言中可操作性語(yǔ)言的成分，則需要引入補(bǔ)演算語(yǔ)言。

LISP正是以補(bǔ)演算語(yǔ)言為基礎(chǔ)構(gòu)建起來(lái)的，也是人工智能中十分重要的程序設(shè)計(jì)語(yǔ)言。PROLOG作為第五代計(jì)算機(jī)的核心語(yǔ)言，既是一個(gè)邏輯系統(tǒng)也是一個(gè)程序設(shè)計(jì)語(yǔ)言，PROLOG作為一種描述性語(yǔ)言，程序設(shè)計(jì)者僅僅需要對(duì)他所要解釋的問(wèn)題進(jìn)行描述，而不用推導(dǎo)詳細(xì)的計(jì)算過(guò)程，他作為計(jì)算機(jī)語(yǔ)言遠(yuǎn)遠(yuǎn)超過(guò)低級(jí)的程序設(shè)計(jì)語(yǔ)言，但是它的基礎(chǔ)語(yǔ)言依然是依賴基礎(chǔ)邏輯進(jìn)行合并、析取、否定等進(jìn)行計(jì)算，所以它在機(jī)器語(yǔ)言上依然沒(méi)有擺脫低級(jí)程序設(shè)計(jì)語(yǔ)言的框架。所以PROLOG擁有低級(jí)程序設(shè)計(jì)語(yǔ)言與高級(jí)程序設(shè)計(jì)語(yǔ)言的綜合性優(yōu)勢(shì)，它可以將數(shù)據(jù)結(jié)構(gòu)與過(guò)程分離，將機(jī)器邏輯與實(shí)際操作相分離，可以減少變?cè)馁x值，緩解動(dòng)靜態(tài)之間的矛盾，可以計(jì)算得出多重結(jié)果并且推算出逆倒過(guò)程。對(duì)于程序語(yǔ)言設(shè)計(jì)者來(lái)說(shuō)，他也不同于高級(jí)程序語(yǔ)言那樣復(fù)雜繁縟，很難上手，操作實(shí)現(xiàn)難度大。而后發(fā)明的混合型語(yǔ)言，結(jié)合了邏輯型設(shè)計(jì)語(yǔ)言的實(shí)現(xiàn)能力強(qiáng)，與函數(shù)式設(shè)計(jì)語(yǔ)言編譯效率優(yōu)越的優(yōu)勢(shì)，如LOGLISP語(yǔ)言在保持LISP邏輯型設(shè)計(jì)語(yǔ)言的豐富功能同時(shí)還添加了函數(shù)式設(shè)計(jì)語(yǔ)言的高效率。FUNLOG語(yǔ)言也是這樣的綜合，PROLOG邏輯型設(shè)計(jì)語(yǔ)言+函數(shù)定義方程設(shè)計(jì)語(yǔ)言。

繼而綜合性更高的數(shù)據(jù)庫(kù)語(yǔ)言誕生了，它主要分為數(shù)據(jù)庫(kù)理論、關(guān)系數(shù)據(jù)庫(kù)理論、演繹數(shù)據(jù)庫(kù)理論與知識(shí)庫(kù)理論。關(guān)系數(shù)據(jù)庫(kù)的理論運(yùn)算工具是元組演算，它的發(fā)展主要得益于集合論的發(fā)展，也可以說(shuō)是一階謂詞邏輯的發(fā)展。如INGRES數(shù)據(jù)庫(kù)中的查詢語(yǔ)言QUEL語(yǔ)言即是脫胎于元組演算。如何對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行規(guī)范化是人工智能領(lǐng)域乃至全社會(huì)的重要問(wèn)題，其落腳點(diǎn)主要?dú)w因于數(shù)據(jù)依賴問(wèn)題，核心是對(duì)函數(shù)的依賴與函數(shù)多值的依賴，而邏輯學(xué)家通過(guò)形式化的邏輯語(yǔ)言為解決數(shù)據(jù)依賴問(wèn)題獻(xiàn)上了自己的答案，其中最為著名的是阿姆斯特朗的函數(shù)依賴公理系統(tǒng)。

演繹數(shù)據(jù)庫(kù)是通常關(guān)系數(shù)據(jù)庫(kù)中的一種，主要功能是數(shù)據(jù)間的演繹，如實(shí)關(guān)系與事實(shí)之間的演繹，虛關(guān)系與實(shí)數(shù)據(jù)之間的演繹，它主要通過(guò)設(shè)立具有演繹功能的邏輯規(guī)則庫(kù)，例如可以通過(guò)查詢數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)管理系統(tǒng)DB查詢實(shí)關(guān)系，而對(duì)于虛關(guān)系可以通過(guò)邏輯規(guī)則庫(kù)進(jìn)行證實(shí)并且將其轉(zhuǎn)化為實(shí)關(guān)系，然后通過(guò)DBMS數(shù)據(jù)庫(kù)管理系統(tǒng)進(jìn)行查詢。通過(guò)數(shù)據(jù)庫(kù)管理系統(tǒng)的邏輯設(shè)計(jì)，我們可以將其中運(yùn)算的數(shù)據(jù)改為專家性的知識(shí)，這樣數(shù)據(jù)庫(kù)管理系統(tǒng)就會(huì)對(duì)專家性知識(shí)進(jìn)行自動(dòng)的識(shí)別、調(diào)整、歸納甚至對(duì)落后的專家性知識(shí)進(jìn)行優(yōu)化，知識(shí)庫(kù)的整個(gè)系統(tǒng)包括從開(kāi)發(fā)到歸納的整個(gè)流程都通過(guò)邏輯語(yǔ)言進(jìn)行，這樣組成了數(shù)據(jù)庫(kù)管理系統(tǒng)中的知識(shí)庫(kù)系統(tǒng)（專家系統(tǒng)）。

人工智能中知識(shí)工程領(lǐng)域的邏輯設(shè)計(jì)

知識(shí)工程領(lǐng)域的邏輯語(yǔ)言設(shè)計(jì)基礎(chǔ)是一階邏輯語(yǔ)言進(jìn)行靜態(tài)的形式化設(shè)計(jì)，而知識(shí)的識(shí)別、提取、歸納及優(yōu)化需要依賴于較為高級(jí)的模態(tài)邏輯語(yǔ)言進(jìn)行設(shè)計(jì)，例如知識(shí)工程程序的語(yǔ)義設(shè)計(jì)可以使用時(shí)態(tài)邏輯等動(dòng)態(tài)邏輯語(yǔ)言進(jìn)行刻畫(huà)，對(duì)于認(rèn)知可以通過(guò)心智邏輯進(jìn)行模型化處理，對(duì)于信念可以使用信念邏輯，對(duì)于日常生活中瑣碎無(wú)法精確的信息可以采用模糊邏輯，對(duì)于一些多值性問(wèn)題可以通過(guò)非單調(diào)性邏輯等等，邏輯的應(yīng)用載體主要是通過(guò)推理機(jī)。對(duì)于人工智能中知識(shí)工程領(lǐng)域的邏輯設(shè)計(jì)已無(wú)法局限于經(jīng)典邏輯的使用，而是要大量采用非經(jīng)典邏輯系統(tǒng)，人工智能體與一般計(jì)算機(jī)語(yǔ)言的巨大差別正是在其設(shè)計(jì)語(yǔ)言中邏輯語(yǔ)言的使用的層次不同。我們已經(jīng)不滿足于機(jī)器僅僅能夠?qū)?jiǎn)單運(yùn)算、簡(jiǎn)單步驟的事物進(jìn)行處理，而是要讓機(jī)器具有更高智能，可以具有人類(lèi)的類(lèi)比推理能力、歸納學(xué)習(xí)能力、知識(shí)聯(lián)想能力等復(fù)雜思維能力，甚至具有自學(xué)習(xí)的功能，這樣的知識(shí)工程設(shè)計(jì)無(wú)疑需要更為復(fù)雜的算法與更加強(qiáng)大的算力。

不同階段人工智能體機(jī)器語(yǔ)言的邏輯設(shè)計(jì)

我們通過(guò)對(duì)人工智能體機(jī)器語(yǔ)言中邏輯設(shè)計(jì)的辨析去考慮如何從邏輯的底層設(shè)計(jì)出發(fā)，對(duì)人工智能體的發(fā)展進(jìn)行規(guī)范。

首先我們來(lái)探討弱人工智能（指不能真正推理，只是按照指令行動(dòng)的智能機(jī)器）的機(jī)器語(yǔ)言如何設(shè)計(jì)。弱人工智能是沒(méi)有自我意識(shí)的，它完全按照人類(lèi)所輸入的指令進(jìn)行推理、行動(dòng)。所以弱人工智能體的行為規(guī)范的實(shí)現(xiàn)應(yīng)該更集中于對(duì)其創(chuàng)造人員的行業(yè)規(guī)范，而其中編寫(xiě)命令所使用的邏輯語(yǔ)言主要是上文所講到的由“否定”“蘊(yùn)含”“等值”“量詞”等一階邏輯命題語(yǔ)言組成的語(yǔ)句和推理。

而筆者主要談?wù)搹?qiáng)人工智能（能真正推理，有自我意識(shí)的智能機(jī)器）的行為規(guī)范是否可用邏輯語(yǔ)言實(shí)現(xiàn)。首先要明確的是，這里的自我意識(shí)并不代表和人一樣的自我意識(shí)，而是具有建立在更為高階的推理上產(chǎn)生的“類(lèi)人意識(shí)”。庫(kù)茲威爾的奇點(diǎn)理論就預(yù)言隨著神經(jīng)芯片、量子芯片的研發(fā)突破所帶來(lái)的計(jì)算能力的指數(shù)增長(zhǎng)，機(jī)器自我意識(shí)的產(chǎn)生只是時(shí)間問(wèn)題。假設(shè)強(qiáng)人工智能存在，那它的行為規(guī)范能否用邏輯語(yǔ)言實(shí)現(xiàn)？道義邏輯也許可以給出解答。

道義邏輯是模態(tài)邏輯的分支，研究含有“應(yīng)當(dāng)（O）”“允許（P）”“禁止（F）”等道義詞的道義命題，它體現(xiàn)了邏輯對(duì)人工智能體機(jī)器語(yǔ)言的規(guī)范化處理。在目前的邏輯中，道義邏輯對(duì)人工智能體機(jī)器語(yǔ)言的規(guī)范化表達(dá)無(wú)疑是最好的。比如道義邏輯可將阿西莫夫的機(jī)器人學(xué)三定律做如下表達(dá)：①Fa;②Ob∧Fa;③Oc∧Ob∧Fa（其中a，b，c代表具體命題）。而這在道義邏輯中還可以擴(kuò)展為：Fa≡O(shè)～a;～O～ b≡Pb;Ob≡～ P ～ b;Ob≡F ～ b;～Ob≡P ～ b;O～ b≡～ Pb。這表明在一定范圍內(nèi)，道義邏輯是可以表達(dá)機(jī)器語(yǔ)言的，而想要更加完整地表達(dá)人工智能體行為，道義邏輯在機(jī)器語(yǔ)言中的應(yīng)用十分可觀。這種依靠邏輯語(yǔ)言表達(dá)及推理的邏輯設(shè)計(jì)也使得人工智能體理解并實(shí)現(xiàn)完整的規(guī)范行為具有可能性。所以，針對(duì)未來(lái)更為高階的人工智能的行為規(guī)范實(shí)現(xiàn)來(lái)說(shuō)，機(jī)器語(yǔ)言中道義邏輯的設(shè)計(jì)是可以重點(diǎn)研究的方向。但考慮到人工智能體的學(xué)習(xí)能力是不斷增強(qiáng)的，僅僅靠道義邏輯的靜態(tài)表達(dá)是不夠的。為了更好地適應(yīng)變化著的人工智能體智能發(fā)展，運(yùn)用目前邏輯中不斷發(fā)展的心智邏輯等認(rèn)知邏輯，行動(dòng)邏輯等能動(dòng)性邏輯，并將其兩者與道義邏輯相結(jié)合是值得期待的。

心智邏輯是研究人類(lèi)推理的心理學(xué)理論，試圖通過(guò)對(duì)人類(lèi)心理動(dòng)機(jī)及推理的刻畫(huà)來(lái)描繪人類(lèi)的心智。其中發(fā)展最快的兩個(gè)主流理論是心智邏輯理論（MLT）與心智模型理論（MMT），前者是人類(lèi)運(yùn)用推理圖示進(jìn)行推理，后者是通過(guò)構(gòu)造心智模型進(jìn)行推理。兩種理論具有互補(bǔ)性，融合兩種理論以建立一個(gè)更普遍的、解釋力更廣泛的，統(tǒng)一的人類(lèi)演繹推理理論是值得期待的。人工智能通過(guò)心智邏輯的刻畫(huà)具有一些類(lèi)人的心智狀態(tài)（如知情意），這對(duì)于人工智能更好地理解社會(huì)規(guī)范提供了可能性。

而行動(dòng)邏輯通過(guò)對(duì)“行動(dòng)”概念的形式化分析與刻畫(huà)，試圖揭示主體的能動(dòng)結(jié)構(gòu)和構(gòu)造行動(dòng)的邏輯。其中西格伯格與貝爾納普是最重要的兩位行動(dòng)邏輯學(xué)家，前者將行動(dòng)看作一種例行程序，偏向刻畫(huà)行動(dòng)的客觀方面;而后者將行動(dòng)看作由主體控制的事件，偏向刻畫(huà)行動(dòng)的主觀方面。兩者雖依然存在理論缺陷，但通過(guò)與心智邏輯等認(rèn)知邏輯相結(jié)合，是可能克服的。行動(dòng)邏輯的刻畫(huà)，可以使人工智能更好地踐行規(guī)范化行為。

如果上述各邏輯的發(fā)展能在未來(lái)得到好的實(shí)現(xiàn)，那么人工智能可以首先通過(guò)心智邏輯的刻畫(huà)，以及神經(jīng)科學(xué)、認(rèn)知科學(xué)、心理學(xué)等學(xué)科的共同努力，產(chǎn)生類(lèi)似人類(lèi)的情感（如快樂(lè)、憤怒、悲哀、恐懼），這些情感讓人工智能不再是理性的工具，而會(huì)對(duì)所做的行為產(chǎn)生反思，這樣就具備了踐行規(guī)范化行為的基本素質(zhì);再通過(guò)道義邏輯的刻畫(huà)，引導(dǎo)它正確判斷是非;最后通過(guò)行動(dòng)邏輯的刻畫(huà)，引導(dǎo)它的行為，這三部分的結(jié)合可以使得人工智能體的行為得到大力的規(guī)范。

參考文獻(xiàn)：

[1]（英）瑪格麗特·博登編.人工智能哲學(xué)[M].劉西瑞，王漢琦譯.上海： 上海譯文出版社.2006：119.

[2]Stuart Russel，Peter Norvig.人工智能——一種現(xiàn)代方法[M].3版.姜哲，金奕江，張敏，楊磊等譯.北京：人民郵電出版社，2010：184.

[3]陳波.從人工智能看當(dāng)代邏輯學(xué)的發(fā)展[J].中山大學(xué)學(xué)報(bào)論叢，2000（02）：10-19.

[4]Horty John F. Agency and Deontic Logic[M]. New York： Oxford University Press， 2001（01）.

[5]趙藝.論心智邏輯理論與心智模型理論融合的可能途徑[J].自然辯證法研究， 2005（06）：47-50+93.

[6]王淑慶.論“行動(dòng)”概念的兩種邏輯分析[J].湖南科技大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版）， 2016，19（02）：31-36.

[7] [美]溫德?tīng)枴ね呃眨屏帧ぐ瑐? 道德機(jī)器如何讓機(jī)器人明辨是非[J].王小紅 主譯.北京：北京大學(xué)出版社，2017：26-26.

[8]Cervantes JA， López S， Rodríguez LF， et al. Artificial Moral Agents： A Survey of the Current Status[J]. Science and engineering ethics. 2020， 26（2）： 501-532.

[9]Hansson B. An Analysis of some Deontic Logics[J].Nous，1969，3（4）： 373-398.

[10]馬少平，朱小燕.人工智能[M].北京：清華大學(xué)出版社，2016（6）：95.

[11]Kowalski R，Satoh K. Obligation as optimal goal satisfaction[J]. Journal of Philosophical logic，2018，47（4）：579-609.

[12][德]施太格繆勒.當(dāng)代哲學(xué)主流[M].王炳文等譯，北京：商務(wù)印書(shū)館，1992：144.

[13]Dehghani M，Tomai E，F(xiàn)orbus K D， et al. An Integrated Reasoning Approach to Moral Decision Making[J].Machine Ethics，2008：1280-1286.

[14]Anderson M， Anderson S L. Geneth：A General Ethical Dilemma Analyzer[C]. In Twenty-eighth AAAI conference on artificial intelligence， Quebec， Canada， 2014： 253 –261.

[15]Cervantes J， López S，Rodríguez L. Artificial Moral Agents： A Survey of the Current Status[J]. Science and Engineering Ethics， 2018： 1-32.