王祿生

內(nèi)容摘要：在人工智能的視域下，情感計算是感知、識別、模擬、影響人類情感狀態(tài)的各類智能技術(shù)的統(tǒng)稱。盡管該技術(shù)已經(jīng)在醫(yī)療、教育、商業(yè)、就業(yè)、執(zhí)法等領(lǐng)域獲得應(yīng)用，但仍然面臨法律、倫理與技術(shù)的多維困境。從法律上看，情感計算的應(yīng)用可能與個人信息權(quán)、隱私權(quán)、人身自由權(quán)等形成沖突;從倫理上看，情感計算的終極目標(biāo)與道德哲學(xué)領(lǐng)域?qū)η楦凶灾餍缘膹娬{(diào)不相兼容;從技術(shù)上看，情感計算仍然面臨著基礎(chǔ)理論與實際成效的質(zhì)疑。為了推動情感計算應(yīng)用的良性發(fā)展，需要從兩方面展開法律規(guī)制：一是以“輕推”為限度，調(diào)和情感自主性與情感計算終極目標(biāo)之間的張力;二是以風(fēng)險為基礎(chǔ)，按照比例原則對不可接受、高風(fēng)險、中風(fēng)險和低風(fēng)險四類應(yīng)用實施從完全禁止到行業(yè)自律的不同規(guī)制。

關(guān)鍵詞：情感計算 情緒識別 情緒智能 人工智能 比例原則 法律規(guī)制

中圖分類號：DF0? 文獻標(biāo)識碼：A? 文章編號：1674-4039-（2021）04-0049-60

近年來，情感計算技術(shù)越來越多地走進公眾的日常生活。商店使用情感計算來感知客戶的情緒與興趣、學(xué)校使用情感計算衡量學(xué)生在課堂的快樂程度與參與程度，雇主使用情感計算評估求職者的情緒反應(yīng)并監(jiān)控員工在工作時的面部表情。隨著情感計算應(yīng)用的日益擴展，公眾對情感計算的態(tài)度開始悄然轉(zhuǎn)變。大致以2019年為轉(zhuǎn)折點，域外在倫理、技術(shù)和法律層面對情感計算的批評以及要求強化治理的呼聲日益高漲。同年召開的情感計算會議ACII首次增加了關(guān)于情感計算技術(shù)濫用的專題研討?！? 〕2021年4月21日歐盟委員會向歐洲議會和歐洲理事會提交的《關(guān)于人工智能（人工智能法案）的協(xié)調(diào)規(guī)則和修改某些聯(lián)盟立法法案的條例的提案》（以下簡稱《歐盟人工智能協(xié)調(diào)規(guī)則的提案》）第52條明確規(guī)定“情緒識別系統(tǒng)”使用者的告知義務(wù)。同時，按照該提案，情感計算的諸多應(yīng)用屬于“高風(fēng)險”應(yīng)用，需要接受從“搖籃到墳?zāi)埂比芷诘膰栏癖O(jiān)管。

我國是世界范圍內(nèi)情感計算技術(shù)最為主要的研發(fā)與應(yīng)用國之一。人臉識別、語音識別等感知智能技術(shù)的大面積應(yīng)用為情感計算技術(shù)在近年來的迅速發(fā)展鋪平了道路。目前，我國情感計算領(lǐng)域的發(fā)明專利申請數(shù)接近1200項，其中67%是在2018年之后申請，僅2020年的申請量就接近總量的1/4。〔2 〕在情感計算的技術(shù)譜系中，情緒識別是最為重要的領(lǐng)域。有媒體樂觀估計僅“多模態(tài)情緒識別技術(shù)”的市場可以達到千億元人民幣的量級?！? 〕良好的發(fā)展前景吸引了企業(yè)的投入，目前直接帶有“情緒識別”業(yè)務(wù)標(biāo)簽的企業(yè)達到43家，相關(guān)企業(yè)各類“情緒識別”的軟件著作權(quán)、專利為757項?！? 〕實踐中，情感計算已經(jīng)在我國教育、交通、醫(yī)療、執(zhí)法等多個領(lǐng)域投入應(yīng)用。該技術(shù)在我國的迅猛發(fā)展態(tài)勢引發(fā)了多個域外研究機構(gòu)的關(guān)注，其中不乏尖銳的批評之聲。相較迅猛發(fā)展實踐而言，我國法律界對于這一技術(shù)的關(guān)注尚不充分，因此有必要對其技術(shù)邏輯、實踐應(yīng)用、現(xiàn)實困境和法律規(guī)制等重要方面展開專門探討。

一、情感計算的技術(shù)邏輯

（一）情感計算的概念厘清

由于技術(shù)發(fā)展路徑的多元屬性，“情感計算”及其相關(guān)概念層出不窮，并在內(nèi)涵與外延上具有不確定性。除了情感計算之外，與之密切相關(guān)的概念還有情緒識別、情緒智能、情感識別等。與此同時，在諸多文獻中，“情感計算”還廣泛地與人臉識別、語音識別、人工智能等各類技術(shù)交叉混用。對于公眾而言，可能會直接產(chǎn)生如下疑問：情感計算都是人工智能技術(shù)嗎？情感計算中的“情感”與情緒識別中的“情緒”具有同一指涉性嗎？“計算”和“識別”是不同的過程亦或是同一行為的不同表達？人臉識別、語音識別與情感計算之間是何種技術(shù)邏輯關(guān)系？因此，在展開正式論證之前，有必要對本文“情感計算”指涉的內(nèi)容作一個必要的交待，以便不同背景的參與者能夠在同一基礎(chǔ)上展開討論。

一般認為，情感計算由羅莎琳德·皮卡德在1997年正式提出，意指“與情緒或其他情感現(xiàn)象有關(guān)的、產(chǎn)生于或有意影響情緒或其他情感現(xiàn)象的計算”?！? 〕從語詞原意來看，“情感”包括“情緒”“心情”兩個部分，前者主要是短期的，可以通過表情來體現(xiàn)，如憤怒、恐懼、悲傷、愉悅、惡心和驚喜;后者則具有一定的延續(xù)性，比如好心情、壞心情。所以，“情感計算”實際上是一個寬泛的概念，它包括任何與個人情緒、心情狀態(tài)相關(guān)的計算機程序。從這個意義上說，“情緒識別”是“情感計算”的有機組成部分。情感計算產(chǎn)生之初并非都與人工智能有關(guān)。測謊儀的工作原理就是一種情感計算，即通過儀器對呼吸、血壓、脈搏等信息進行監(jiān)測，并分析其對應(yīng)的緊張、恐懼、焦慮等情感狀態(tài)，進而判定受測者是否說謊。隨著人工智能技術(shù)的發(fā)展，情感計算日益與AI結(jié)合。典型的比如“AI+情緒識別技術(shù)”之后形成的“情緒智能識別技術(shù)”。該技術(shù)利用人臉識別、語音識別等“遠程生物特征識別系統(tǒng)”提取表情、語音、步態(tài)、姿勢等各類生物特征信息，從而識別對象的情緒狀態(tài)。也正是在這個意義上，情感計算技術(shù)與人臉識別等感知智能技術(shù)產(chǎn)生關(guān)聯(lián)——后者是前者進行情緒識別的前置技術(shù)環(huán)節(jié)?？梢?，按照嚴格的標(biāo)準，情感計算并不必然采用人工智能的路徑。不過，在人工智能泛在和泛化的發(fā)展趨勢之下，情感計算通常被視作一種人工智能技術(shù)。舉例而言，《歐盟人工智能協(xié)調(diào)規(guī)則的提案》第3條給“情緒識別系統(tǒng)”的定義就直接與人工智能關(guān)聯(lián)——一種人工智能系統(tǒng)，用于根據(jù)自然人的生物特征數(shù)據(jù)識別或推斷自然人的情緒或意圖。事實上，近年來對情感計算技術(shù)的諸多批評也主要集中在人工智能的技術(shù)框架內(nèi)（如人臉識別）。筆者正是在人工智能的視域下探討情感計算技術(shù)，意指感知、識別、模擬、影響人類情感狀態(tài)的各類智能技術(shù)的統(tǒng)稱。

（二）情感計算的技術(shù)路徑

情感計算在技術(shù)邏輯上與人工智能技術(shù)緊密綁定，大致可以分為感知、識別、模擬、影響四個環(huán)節(jié)?！? 〕具體而言，情感計算的第一步是通過各類傳感器實現(xiàn)對自然人各類生物信息的“感知”，這種感知可以通過非接觸式的遠程識別的方式實現(xiàn)（如攝像頭、話筒），也可以通過接觸式的傳感器實現(xiàn)（比如血壓儀）。現(xiàn)階段情感計算在感知階段的數(shù)據(jù)源具有多樣性，主要是聲音、表情、肢體語言、姿勢等各類生物信息?！? 〕人臉識別、語音識別等感知智能技術(shù)的成熟為情感計算的“感知”環(huán)節(jié)提供了扎實的支撐。在完成各類信息感知的基礎(chǔ)之上，情感計算技術(shù)進入“識別”環(huán)節(jié)?！白R別”要借各類情感識別模型?，F(xiàn)階段，識別模型的生成主要采用有監(jiān)督深度學(xué)習(xí)的方式。具體而言，就是依托各類基本情感理論，人為地將特定的生物信息與情感狀態(tài)關(guān)聯(lián)。在實操層面即通過人工標(biāo)注，為各類“提取特征”添加情感標(biāo)簽，如語速快速、響亮可能對應(yīng)恐懼、憤怒或喜悅的情感狀態(tài)，語速緩慢、低音調(diào)則可能對應(yīng)疲勞、厭倦或悲傷的情感狀態(tài)?！? 〕在完成了足夠多的標(biāo)注之后，深度學(xué)習(xí)技術(shù)（包括但不限于卷積神經(jīng)網(wǎng)絡(luò)CNN、遞歸神經(jīng)網(wǎng)絡(luò)RNN、區(qū)域候選網(wǎng)絡(luò)RPN）可以通過模型訓(xùn)練形成與各類自然人生物信息特征相對應(yīng)情感的識別模型。這種典型的大數(shù)據(jù)智能范式也被稱作“鸚鵡（學(xué)舌）模式”，也就是不斷為人工智能“填喂”大量做好標(biāo)注的“語料”，人工智能在學(xué)習(xí)足夠多的情感“語料”后就能總結(jié)規(guī)律，逐步形成特定情感狀態(tài)的識別模型。在此基礎(chǔ)上，當(dāng)有新的聲音、表情等生物信息進入系統(tǒng)后，系統(tǒng)可以根據(jù)情感識別模型進行識別。從本質(zhì)上看，情感識別模式的運作機理是對各種情感的概率分析。因此，該過程更大程度是一種“計算”而非真正意義的“識別”，或者說“識別”是通過“計算”的方式實現(xiàn)。

當(dāng)然，“識別”只是初級的應(yīng)用。按照皮卡德對“情感計算”的原初定義，該技術(shù)實際上分為三類：“與情感相關(guān)的計算”“產(chǎn)生于情感的計算”以及“有意影響情感的計算”。換言之，該類技術(shù)的終極目標(biāo)是在“識別”基礎(chǔ)之上使計算機具備“模擬”自然人情緒的能力，并且能夠根據(jù)不同情境采取相應(yīng)策略來“影響”自然人的情緒。也就是讓機器具備情感智能，能夠以最佳的方式識別和調(diào)節(jié)（自己或他人）情感的能力。〔9 〕從這個意義上說，“識別”只是“情感計算”技術(shù)邏輯中的有機組成環(huán)節(jié)。以情感計算領(lǐng)域潛在的應(yīng)用機器人教師為例，在理想的設(shè)計方案中，機器人教師可以通過視線、瞳孔大小、語氣、韻律、姿勢甚至是皮膚電導(dǎo)、肌肉電位、心血管測量、腦電位等感知對學(xué)習(xí)者的情感狀態(tài)進行識別，如興趣水平、動機、理解力、熱情以及學(xué)習(xí)中被認為重要的其他因素。在對學(xué)習(xí)者回應(yīng)時，機器人教師可以保持眼神交流，并改變自己面部表情來提供反饋。〔10 〕此種設(shè)想就涵蓋了情感計算中感受、識別、模擬、影響的所有流程。

二、情感計算的應(yīng)用觀察

情感計算應(yīng)用的實質(zhì)是通過感知、識別、模仿和影響人們的情感狀態(tài)來更好地作出決策、提供服務(wù)、提升幸福感。〔11 〕主流應(yīng)用有兩類：其一是情感計算的結(jié)果作用于被識別者本人，通過改變其情感狀態(tài)而治療疾病、提高體驗，典型的例子是利用情感計算治療自閉癥;其二是情感計算的結(jié)果作用于被識別者之外的第三人，提供各類決策輔助，比如在招聘環(huán)節(jié)使用情感計算。當(dāng)前，情感計算技術(shù)正在被迅速商業(yè)化并在醫(yī)療、教育、商業(yè)、就業(yè)、執(zhí)法等領(lǐng)域獲得應(yīng)用。

（一）醫(yī)療領(lǐng)域的情感計算

許多心理和生理狀況，包括自閉、抑郁和中風(fēng)，都會影響理解、控制或交流情感的能力。情感計算已被用于評估和治療各種疾病，并改善與情感有關(guān)的交流。一家名為Affectiva的公司開發(fā)了一款“谷歌眼鏡”式的設(shè)備，可以幫助自閉癥患者解讀與他們互動的其他人的社交和情感線索?！?2 〕還有研究人員通過腦機接口和熱像儀，根據(jù)人體檢測到的數(shù)據(jù)進行情緒分析，并用以輔助治療自閉癥或抑郁癥患者?！?3 〕除此之外，醫(yī)療情感聊天機器人也被認為具有廣泛的應(yīng)用前景。所謂的醫(yī)療情感聊天機器人其實是一種包含信號分析和自動語音識別、語義分析和對話策略、響應(yīng)生成和語音合成組件的自主系統(tǒng)， 〔14 〕可以使用情感計算技術(shù)與病人進行交互，以檢測情感，確定并模擬情感答案。

（二）教育領(lǐng)域的情感計算

在教育領(lǐng)域，利用情感計算技術(shù)，計算機可以通過面部表情的識別來判斷學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。與此同時，該技術(shù)還可以讓教師了解學(xué)生的內(nèi)心感受，從而制定更具個性化的教學(xué)方案。隨著在線教學(xué)的日益擴展，情感計算被認為可以提升師生互動質(zhì)量，改善因為缺乏傳統(tǒng)課堂學(xué)習(xí)氛圍而導(dǎo)致的厭學(xué)情緒。〔15 〕總部位于波士頓的BrainCo公司正在研發(fā)一種頭帶，通過檢測大腦活動來監(jiān)測和量化學(xué)生的注意力水平?！?6 〕實際上，我國智慧教育建設(shè)中對情感計算的使用已經(jīng)走在世界前列。浙江部分中學(xué)推行的“智慧課堂”項目可以通過教室前端的三個攝像頭識別七種情緒（恐懼、快樂、厭惡、悲傷、驚訝、憤怒和中性）和六種行為（讀、寫、聽、站、舉手、趴在桌子上）。〔17 〕系統(tǒng)每隔30秒會進行一次掃描，實時分析出學(xué)生們在課堂上的狀態(tài)?！?8 〕新東方推出“AI雙師課堂”可以通過“慧眼系統(tǒng)”對每個學(xué)生的面部進行情緒識別，除了可以識別學(xué)生是否認真聽講，還可以辨別出“高興、悲哀、驚訝、正常、憤怒”等情緒，老師可根據(jù)學(xué)生的情緒表現(xiàn)，掌握學(xué)生對于課程內(nèi)容的真實反饋，以對教學(xué)內(nèi)容作進一步精煉與提升?！?9 〕

（三）就業(yè)領(lǐng)域的情感計算

就業(yè)領(lǐng)域情感識別的使用也出現(xiàn)了激增，在求職者或員工不知情的情況下進行工作能力判斷。HireVue和VCV等公司提出對求職者進行“勇氣”等品質(zhì)的篩選，并追蹤他們微笑的頻率?！?0 〕其中HireVue開發(fā)的系統(tǒng)利用求職者的電腦或手機攝像頭分析他們的面部表情、用詞和說話聲音，然后根據(jù)自動生成的“就業(yè)能力”得分將他們與其他求職者進行排名。據(jù)稱已有超過100家雇主使用該系統(tǒng)，其中不乏國際知名企業(yè)，并且已經(jīng)對100萬名名以上的求職者進行了分析?！?1 〕此外，根據(jù)韓國經(jīng)濟研究所（KERI）的數(shù)據(jù)，該國排名前131位的公司中有近1/4正在使用或計劃使用AI進行招聘?！?2 〕

（四）商業(yè)領(lǐng)域的情感計算

商業(yè)領(lǐng)域的情感計算應(yīng)用旨在根據(jù)情感的識別為顧客提供更為優(yōu)質(zhì)的服務(wù)。2019年8月，亞馬遜宣稱其Rekognition面部識別軟件可以評估包括恐懼在內(nèi)的8種情緒。零售是該軟件潛在的應(yīng)用場景，商店可以通過該軟件分析購物者的實時圖像，以檢測情感，進而有針對性地提供服務(wù)?！?3 〕Kairos公司也推出一款銷售視頻分析攝像機，聲稱可以檢測人臉，并將其歸類為憤怒、恐懼和悲傷的情緒。Kairos主要向賭場、餐館、零售商人、房地產(chǎn)經(jīng)紀人和酒店行業(yè)銷售該產(chǎn)品，并承諾將幫助這些企業(yè)了解其顧客的情感情況?！?4 〕情感計算還被應(yīng)用到聊天機器人之中，Cogito和Empathath兩款程序就使用語音分析算法監(jiān)控客戶的反應(yīng)，并在他們聽起來很沮喪時向呼叫專員發(fā)出信號，以提醒專員轉(zhuǎn)變對話策略?！?5 〕中國公司EmoKit通過語音采集數(shù)據(jù)，根據(jù)音頻、音色、音調(diào)等數(shù)據(jù)輸出人的情緒類型。EmoKit產(chǎn)品正式在一家金融機構(gòu)的線下門店和APP上線，用以評估用戶騙貸的可能性，作為其風(fēng)控的最后一個環(huán)節(jié)。〔26 〕2019年長城汽車宣布推出“智能安全系統(tǒng)（Collie）”，包括情感識別的功能，當(dāng)該系統(tǒng)檢測到司機“憤怒”時會自動播放更歡快的音樂?！?7 〕

（五）執(zhí)法領(lǐng)域的情感計算

情感計算也開始應(yīng)用于邊境檢查、案件偵查等執(zhí)法領(lǐng)域，利用對不特定公眾情緒的識別，發(fā)現(xiàn)異常情況、鎖定嫌疑人。例如，美國和英國的警察正在使用檢測軟件Converus，該軟件通過檢查眼球運動和瞳孔大小的變化來識別潛在的欺騙行為?！?8 〕iBorderCtrl是在匈牙利、拉脫維亞和希臘試用的一種預(yù)先篩選的人工智能系統(tǒng)，它的攝像頭在游客回答邊境安全人員的問題時，掃描識別臉部表情以發(fā)現(xiàn)可能撒謊的人員?！?9 〕中國在各地推動的智慧城市和智慧司法建設(shè)中也開始采用情緒識別技術(shù)。比如，“阿爾法鷹”的情感計算技術(shù)基于前庭情感反射理論，通過攝像頭采集的人體面部視頻流，分析頭部和頸部微小肌肉振動的頻率和振幅，計算出個人壓力、侵略性和焦慮度等參數(shù)，甄別有自體原發(fā)性焦慮緊張狀態(tài)的潛在可疑危險人員以輔助安檢人工排查?！?0 〕還比如，“靈視多模態(tài)情緒研判系統(tǒng)”通過非接觸式的視頻對話，發(fā)現(xiàn)測試人的實時情緒，針對特定關(guān)鍵問題的情緒變化，采集包含微表情、微動作、聲強、心率與體溫五種模態(tài)，集合在審訊場景下的定制化算法，可以挖掘被訊問人對相關(guān)問題的反應(yīng)程度，掌握被訊問人心理和生理反應(yīng)，用以突破其心理防線，獲得供述?！?1 〕又比如，“太古人工智能”推出的“無感知情緒監(jiān)測分析系統(tǒng)”主要面向?qū)徲崍鼍?，結(jié)合視頻圖像處理、并行計算、深度學(xué)習(xí)等技術(shù)，采用非接觸的生理信號采集、微表情識別方法，保證在對象無感知的基礎(chǔ)上建立量化情緒模型，實現(xiàn)情緒監(jiān)控和分析。〔32 〕

三、情感計算應(yīng)用的多維困境

（一）情感計算應(yīng)用的法律問題

情感計算與人臉識別等知名的生物識別應(yīng)用不同，后者旨在識別個人，而前者則是在識別個人的基礎(chǔ)之上進一步推斷一個人的內(nèi)在情緒。因此，情感計算的應(yīng)用會對公民基本權(quán)利造成不成比例的風(fēng)險。

首先，由于與人臉識別等感知智能技術(shù)在邏輯上具有前后承接性，情感計算技術(shù)的應(yīng)用將直接與個人信息的諸多權(quán)能形成沖突?！?3 〕一方面，正如本文第一部分提及的那樣，情感計算技術(shù)的研究與應(yīng)用需要借助大量信息，尤其是生物識別信息。如果這類基礎(chǔ)信息可以單獨或者結(jié)合其他信息與個人身份關(guān)聯(lián)，則符合我國現(xiàn)行法律規(guī)范中的“個人信息”。另一方面，從基礎(chǔ)信息轉(zhuǎn)換而來一類新的信息——情感信息，如果與特定個人身份相關(guān)聯(lián)，則仍然構(gòu)成“個人信息”。此時，相關(guān)應(yīng)用在收集和處理上述信息時可能與個人信息保護的相關(guān)規(guī)范形成直接沖突?，F(xiàn)階段絕大多數(shù)情感計算應(yīng)用并不會明確告知被識別者該應(yīng)用具有情感識別功能，也不會將情感識別的結(jié)果告知被識別者，由此被識別個人的知情權(quán)、刪除權(quán)、更正權(quán)將受到直接侵犯。

其次，情感計算的應(yīng)用還可能對個人隱私權(quán)形成直接的侵犯。眾所周知，情感是一種個人的內(nèi)在感受。對于一般公眾而言，控制情緒使其不輕易呈現(xiàn)是重要的社會規(guī)則，尤其是內(nèi)疚、沮喪、恐懼、焦慮等負面情緒。在特定的情形下，人可能需要呈現(xiàn)一種虛假的情緒，典型的如“善意的謊言”。同時，情感狀態(tài)的完全暴露還可能會讓一個人更容易受到傷害。因此，情感信息尤其是個人不愿意外露的情感帶有敏感和私密的性質(zhì)。按照我國民法典第1032條第2款規(guī)定，隱私是自然人的私人生活安寧和不愿為他人知曉的私密空間、私密活動、私密信息。公眾不愿意外露的情感狀態(tài)就屬于不愿意為他人知曉的私密信息。情感計算技術(shù)的引入具有極強的“侵入性”，大大超出了公眾在公開場合期望保持個人情感隱私的預(yù)期。盡管基于明顯表情推斷情緒可能不足以上升到“窺探”隱私的程度，但微表情或者因刺激而短暫出現(xiàn)的面部表情則是非自愿的情感泄露（暴露真實的情感）， 〔34 〕具有明顯的隱私意涵，更不說借助面部血流、瞳孔擴張等更加細微的表征而完成的對情感的“刺探”。按照民法典第1033條的規(guī)定，除了“法律另有規(guī)定或者權(quán)利人明確同意外”，其他侵犯隱私的行為不具合法性的。對于情感隱私的侵入性獲取如果沒有獲得權(quán)利人的明確同意，則具有侵權(quán)的可能。

再次，情感計算的應(yīng)用還可能間接地對人身自由產(chǎn)生負面影響。民法典第109條規(guī)定，自然人的人身自由受法律保護。人身自由包括身體自由和精神自由。后者是指自然人按照自己的意志，在法律規(guī)定的范圍內(nèi)自主思維的權(quán)利。情感計算應(yīng)用的重要假設(shè)是可以推斷內(nèi)心的真實情感，并應(yīng)當(dāng)以此為基礎(chǔ)作出決策。人們可能會為了避免讓自己的情感被定義為“危險”“可疑”“注意力不集中”而被迫作出符合“良好”情感標(biāo)簽的生理表達。如果情感計算能夠準確識別并呈現(xiàn)每個人實時的情緒，那將很可能給公眾帶來不必要的壓力，讓人無法自由地思想，并處于時刻在監(jiān)控之下的恐懼之中。

最后，情感計算的部分應(yīng)用還與人格尊嚴、平等保護等形成沖突。本文第二部分提及的在智慧招聘和智慧課堂推行過程中，通過情感計算，將受聘人群劃分為“高情緒控制力”和“低情緒控制力”，把學(xué)生區(qū)分為“精力集中”“精力不集中”，這種帶有價值導(dǎo)向的分類無疑對人格尊嚴形成侵犯。更為重要的是，相關(guān)情感計算應(yīng)用實質(zhì)上需要根據(jù)計算結(jié)果對不同分類的人群采取差異化、個性化的策略?？紤]到后文將會詳細論及的情感計算的諸多技術(shù)瓶頸，此種差異化對待的理由正當(dāng)性存疑，可能對特定人群形成歧視。

（二）情感計算應(yīng)用的倫理沖突

情感狀態(tài)與人類價值和情緒緊密相連，尤其在道德判斷中至關(guān)重要。此外，情感在人類生活中起著核心作用，它在人際關(guān)系、形成群體并在決策和推理中發(fā)揮重要作用。它是人類與社會互動的基本方式之一?！?5 〕對于情感計算相關(guān)倫理問題的討論實際上與道德哲學(xué)息息相關(guān)。由于情感計算關(guān)注的是人類的情感，并在技術(shù)邏輯上以影響人的情感為最終目的，而情感問題又與倫理在多個層面錯綜交織。這就使得情感計算應(yīng)用除了面臨各類法律問題外，還面臨一系列倫理挑戰(zhàn)。

其一，基礎(chǔ)倫理學(xué)高度重視人類情感，影響情感的情感計算技術(shù)被認為會影響人的道德標(biāo)準及自由意志。在經(jīng)驗主義倫理學(xué)中，情感被視為道德判斷的根源。大衛(wèi)·休謨和亞當(dāng)·斯密等人認為，所謂的錯事，就是一種我們“道德情感”無法接受的狀況;在功利主義倫理學(xué)的視野中，基本的道德義務(wù)是使幸福感最大化。換言之，情感是我們成為道德人的核心。在上述將情感視作道德基石的哲學(xué)流派看來，情感計算應(yīng)用在影響了情感的同時也就影響了人類的道德標(biāo)準。與基于情感的道德理論相比，康德認為道德的基石是根據(jù)理智原則來行使自由意志。情感計算因為可能影響情感進而影響自由意志，因此具有深遠的道德意義。〔36 〕在這個角度上看，情感計算影響情感的嘗試就顯得“不道德”。

其二，實用倫理學(xué)對“善意”“不作惡”“誠實守信”的基本要求也可能與情感計算的應(yīng)用形成潛在沖突。與基礎(chǔ)倫理學(xué)相比，實用倫理學(xué)更接近常識系統(tǒng)，也更容易促進共識。實用倫理學(xué)中的關(guān)鍵原則，諸如“忠信/誠實守信”“不作惡”“善意”“己所不欲，勿施于人”同樣成為批判情感計算“不道德”的重要工具。在公眾視角中，情感計算可以通過遠程方式“窺探”公眾的情緒并加以運用?！?7 〕此外，智慧教育中對情感計算的應(yīng)用雖然使得根據(jù)學(xué)生情緒進行定向化教育成果可能，但這種情感識別可能會侵犯學(xué)生的隱私，并為使用情感數(shù)據(jù)來操縱學(xué)生提供可能;執(zhí)法領(lǐng)域使用情感計算可能會讓監(jiān)管者獲得關(guān)于員工情緒穩(wěn)定性和壓力耐受性的敏感信息?！?8 〕這些很可能被視作“非善意”“己所不欲，反施于人”，因此在倫理上不被接受。與此同時，情感計算的部分還在倫理上與“欺騙”關(guān)聯(lián)。在電子隱私信息中心（EPIC）向美國聯(lián)邦貿(mào)易委員會（Federal Trade Commission）對HireVue的指控中，明確認為該系統(tǒng)使用未經(jīng)驗證的人工智能系統(tǒng)來掃描人們的面部和聲音，并評估求職者的水平的做法是“不公平和有欺騙性的”?！?9 〕更為重要的還在于，批評者們還注意到情感認知的邏輯與不可信的種族科學(xué)和面相學(xué)之間的相似性，前者認為個人價值和性格可以從身體特征中辨別出來，后者被用來證成生物差異為社會不平等辯護?！?0 〕

（三）情感計算應(yīng)用的技術(shù)瓶頸

情感計算技術(shù)的底層依據(jù)來自“基本情感理論”（Basic Emotion Theory， BET），該理論由心理學(xué)家保羅·?？寺≒aul Ekman）在1970年提出，認為人們可以從面部表情中可靠地辨別出情緒狀態(tài)，并且此種表情與情緒的關(guān)聯(lián)具有跨文化上的普遍性。〔41 〕依據(jù)該理論，情感計算的應(yīng)用是建立在三個假設(shè)之上：（1）可以從一個人的外在表達來衡量一個人的內(nèi)在情感（如面部表情、聲音、姿態(tài)等各類生物信息）;（2）這個內(nèi)在情感的外在表達在世界范圍內(nèi)既離散又統(tǒng)一，用技術(shù)話語來解讀就是具有提取特征上的普遍性;（3）這種挖掘（推論）足夠可靠，可以用來作出決策。不過，在情感計算的發(fā)展過程中，對上述三個假設(shè)的質(zhì)疑始終存在。盡管樂觀者認為情緒識別等技術(shù)可以不斷迭代優(yōu)化，但極端的批評者則認為，情感計算沒有強有力的科學(xué)證據(jù)支持，并以不道德和不負責(zé)任的方式被應(yīng)用，是一種偽科學(xué)?！?2 〕

第一，外在表達與內(nèi)在情感之間的關(guān)聯(lián)存在不確定性。情感計算在技術(shù)邏輯上的根本問題在于它是基于反向推理，即一個特定的生理信息被用來表示一種情緒體驗。從計算的角度來看，所有這些來源都是生理信號，具有分析和解釋上的共同困難。一方面，相同的生理信息可能表達了不止一種情緒，而實際上理解情緒需要更多的情境細節(jié)支撐。有實證研究揭示，所有六種情緒平均上只與面部表情有微弱的聯(lián)系?！?3 〕另一方面，在強烈刺激的環(huán)境下，受試者的生理信號和情緒之間可以建立較為明確的關(guān)聯(lián)。但對于情感計算而言，如果要在評估可用性或推動互動中廣泛使用心理生理學(xué)和相關(guān)的傳感技術(shù)，則它們必須能夠檢測出用戶對細微的刺激反應(yīng)?，F(xiàn)有技術(shù)尚未證明在細微和自然的情況下可以確定地檢測到這種反應(yīng)。整體而言，心理生理數(shù)據(jù)非常復(fù)雜，難以證明其與情緒之間的因果關(guān)系?！?4 〕

第二，外在表達與情感之間的關(guān)聯(lián)在世界范圍內(nèi)存在差異性。有學(xué)者回顧了上千項關(guān)于情緒表達的研究后發(fā)現(xiàn)，人們在不同文化、不同情況下，甚至在同一情況下，在溝通他們的情緒狀態(tài)時，存在著大量的差異。因此，無論計算算法多么復(fù)雜，利用這項技術(shù)來得出情感結(jié)論還為時過早?！?5 〕與此同時，正如本文第一部分所強調(diào)的那樣，情感計算采用的有監(jiān)督學(xué)習(xí)范式，需要人工對情緒進行標(biāo)注。該過程的主觀性也加劇了表達與情感之間關(guān)聯(lián)的差異性。

第三，該技術(shù)在應(yīng)用結(jié)果上具有不可靠性。正是因為外在表達與內(nèi)在情感之間的不確定性、多樣性、數(shù)據(jù)標(biāo)注的主觀性，這使得現(xiàn)階段情感計算技術(shù)在準確性上難以充分保障。例如，ProPublica報道稱，美國部分學(xué)校、監(jiān)獄、銀行和醫(yī)院安裝了由Sound Intelligence公司開發(fā)的情感計算應(yīng)用軟件，旨在暴力爆發(fā)前檢測壓力和攻擊性。但“攻擊性檢測器/主動探測器”并不可靠，它可能將咳嗽這樣的粗糙、高音調(diào)的聲音誤判為攻擊性。〔46 〕另一項研究發(fā)現(xiàn)Face++和Face API兩款軟件分配給特定人群更多消極情緒得分，不管他們笑得多開心?！?7 〕前文提及的iBorderCtrl系統(tǒng)也因為評估結(jié)果的“假陽性”以及歧視性的潛在風(fēng)險而在試用后短期內(nèi)被撤回?！?8 〕

四、情感計算應(yīng)用的法律規(guī)制

當(dāng)前，我國對于情感計算技術(shù)的法律規(guī)制體系尚未構(gòu)建。一方面，這為該技術(shù)的迅猛發(fā)展提供了寬松的制度環(huán)境;另一方面也為技術(shù)應(yīng)用引發(fā)的多維風(fēng)險埋下隱患。情感計算技術(shù)的應(yīng)用需要有公眾信任作為支撐，其面臨的倫理、法律和技術(shù)困境無疑會侵蝕公眾的信任度。因此，從推動情感計算技術(shù)良性發(fā)展的視角來看，勢必需要對其應(yīng)用進行合理的法律規(guī)制，以應(yīng)對法律、倫理、技術(shù)三個維度的困境。具體而言，就是以“輕推”為限度設(shè)定情感計算應(yīng)用的底線。在此基礎(chǔ)上，對符合底線要求的應(yīng)用再根據(jù)風(fēng)險等級進行差異化的規(guī)制。

（一）以“輕推”為限度的底線規(guī)制

正如本文第三部分論及的那樣，基礎(chǔ)倫理學(xué)與實用倫理學(xué)均高度重視情感，將其視作影響道德判斷和人的主體性的重要因素。因此，人們應(yīng)當(dāng)尊重他人控制其情緒狀態(tài)的自主權(quán);獲得有關(guān)個人情感狀態(tài)信息施加了一種責(zé)任，即不得濫用該信息并利用該人的脆弱性。〔49 〕在此背景下，情感計算應(yīng)用的法律規(guī)制需要調(diào)和倫理學(xué)對情感自主性的強調(diào)與情感計算以影響情感為終極目標(biāo)之間的張力。簡言之，就是在綜合考量倫理困境與技術(shù)困境的基礎(chǔ)上，通過法律設(shè)定情感計算技術(shù)對個人情感影響的限度，進而有效避免情感計算技術(shù)被濫用風(fēng)險。筆者認為，可以借鑒行為經(jīng)濟學(xué)與行為科學(xué)成熟的理論框架，以“輕推”為限度構(gòu)建一套情感計算應(yīng)用的底線規(guī)制體系。

“輕推”對應(yīng)的英文“nudge”的原始含義是指輕輕推某人，尤指用肘輕輕推某人，以引起他們的注意。諾貝爾經(jīng)濟學(xué)獎獲得者理查德·泰勒和美國最偉大的法學(xué)家之一卡斯·桑斯坦在2008年共同提出了“輕推”的理論。它是指通過正向強化和間接建議，影響群體或個人的行為和決策，但個人仍然有選擇自由。眾所周知，個人并非絕對意義上的理性經(jīng)濟人，會受到各種偏見的影響，有時候作出的決策往往是一種本能反應(yīng)，而人往往對這種本能反應(yīng)過于自信，引發(fā)大量的錯誤決策，此時就必須“輕推一把”，讓人意識到錯誤并走上正軌。關(guān)于何為“輕推”，理查德·泰勒和卡斯·桑斯坦將其概括為“自由主義的溫和專制主義”。具體而言，私人和公共選擇設(shè)計者所作的并不僅僅是要極力追蹤或者實現(xiàn)人們所期待的選擇，他們更加可以追求的是通過改變?nèi)藗兊男袨榉绞綇亩顾麄兩畹酶谩Ｋ麄兪褂玫氖且环N助推?！拜p推”指的是這種選擇體系的任何一方面，都不通過強制的方式，而是以一種預(yù)言方式去改變?nèi)藗兊倪x擇或者改變他們的經(jīng)濟動機及行為。〔50 〕

按照上述理論框架，應(yīng)通過法律明確規(guī)范情感計算技術(shù)對人類情感的干預(yù)限度和方式：（1）情感計算應(yīng)用中施加的影響情感措施只能以“輕推”為限度，不得直接“操縱/控制”情感。簡言之，“輕推而不控制”是法律規(guī)制的核心內(nèi)容。那種通過腦機接口（BCI）的方式直接作用于神經(jīng)進而影響情感的方案與“輕推”的法律要求根本沖突?！?1 〕（2）情感計算應(yīng)用中施加的影響情感措施不得妨礙人們的自由選擇，不禁止其他選項。舉例而言，智能駕駛系統(tǒng)在識別司機情緒不佳時播放舒緩的音樂，如果用戶仍然有選擇的自由，則是一種輕推;但如果用戶只能聽舒緩的音樂，則是一種命令，因為它排除了用戶的自主選擇。（3）情感計算應(yīng)用中施加的影響情感措施不能顯著增加選擇者的負擔(dān)，并且可以通過低成本的方式輕易避免。（4）情感計算應(yīng)用中施加的影響情感措施原則上只能是“積極助推”，禁止“負面助推”。（5）對于未成年人、精神病人、殘疾人等易受傷害人群，作為法律保留事項，需要更為嚴格的限制和專業(yè)指導(dǎo)。一言以蔽之，“輕推”可以用自由選擇與適當(dāng)引導(dǎo)兩個關(guān)鍵詞來概括。通俗來講，情感計算的“輕推”就是發(fā)現(xiàn)特定主體情緒存在一定問題，用各種策略“輕推一把”讓他/她能夠回歸正軌。當(dāng)然，在特定情況下，比如醫(yī)療領(lǐng)域應(yīng)用情感計算時，可以適當(dāng)超越“輕推”的范疇，但需要更加謹慎的態(tài)度和專業(yè)的論證。綜上所述，“輕推”為情感計算的應(yīng)用范圍和方式設(shè)定了底線。

（二）以風(fēng)險為基礎(chǔ)的差異規(guī)制

與絕大多數(shù)科學(xué)技術(shù)相同，情感計算技術(shù)是一把“雙刃劍”。從正面來看，情感計算智能技術(shù)的應(yīng)用能夠有助于更好地理解和控制情緒與情感狀態(tài)，可以改善生活質(zhì)量、挽救生命、提高人機交互體驗等;從負面來看，情感計算則可能對個人權(quán)利造成諸多侵害?！?2 〕因此，情感計算技術(shù)的法律規(guī)制，除了以“輕推”為底線之外，還應(yīng)當(dāng)按照以風(fēng)險為基礎(chǔ)的比例原則構(gòu)建一套法律規(guī)制體系。申言之，就是根據(jù)情感計算應(yīng)用可能產(chǎn)生的風(fēng)險強度來動態(tài)調(diào)整法律規(guī)制的類型與內(nèi)容。一方面，要合理考慮情感計算應(yīng)用對權(quán)利與倫理的影響強度與范圍;另一方面，嚴格按照風(fēng)險的等級差異，等比例提供規(guī)制方案，高風(fēng)險對應(yīng)高規(guī)制強度、低風(fēng)險對應(yīng)低規(guī)制強度。如表1所示，首先將情感計算應(yīng)用的風(fēng)險分為“不可接受”和“可接受”兩大類，將那種觸碰倫理基本底線的情感計算應(yīng)用（如作惡）歸并為“不可接受的風(fēng)險”。在此基礎(chǔ)上，根據(jù)風(fēng)險的差異化表征進一步將“可接受的風(fēng)險”劃分為“高風(fēng)險”“中風(fēng)險”“低風(fēng)險”，并分別對應(yīng)差異化的規(guī)制方案。

所謂的“不可接受的風(fēng)險”，是指觸碰倫理禁區(qū)和價值底線的情感計算應(yīng)用。根據(jù)該技術(shù)現(xiàn)有的發(fā)展態(tài)勢來看，主要有以下三種情形：（1）試圖直接操縱、控制他人情緒的情感計算應(yīng)用。在底線規(guī)制的構(gòu)建中筆者已經(jīng)指出，按照道德哲學(xué)的基本要求，情感的自主性具有極高的倫理地位，因此干預(yù)情感應(yīng)該以“輕推”為限度。超越該限度直接控制情感的做法既屬于倫理禁區(qū)也屬于法律禁區(qū)。（2）追求不正當(dāng)目的的情感計算應(yīng)用。比如旨在激起特定人群積極情緒（暴力、好戰(zhàn)）的應(yīng)用，又比如雇主通過情感計算技術(shù)來控制雇員情緒，使其總是處于積極工作的情緒之中。（3）濫用技術(shù)，利用人性的弱點，比如未成年人、精神病人在年齡、身體或精神上的脆弱性從而扭曲個人情感的情感計算應(yīng)用?！?3 〕上述三種情形的情感計算應(yīng)用產(chǎn)生的風(fēng)險在法律上屬于“不可接受”的范疇，因此應(yīng)當(dāng)完全禁止。

所謂“高風(fēng)險”，是指那種可能嚴重影響個人權(quán)利，尤其是教育、健康、安全等基本權(quán)利的情感計算應(yīng)用。這里的“嚴重影響”，是指基于情感計算的結(jié)果直接決定個人教育、社會保障、醫(yī)療、就業(yè)、安全、健康等基本權(quán)利的有無。也就是說，情感計算結(jié)論成為“剝奪”個人基本權(quán)利的直接依據(jù)。具體而言，此類應(yīng)用表現(xiàn)為公私機構(gòu)利用情感計算技術(shù)對個人進行評估，在此基礎(chǔ)上形成評分或者分類標(biāo)簽，進而決定特定個人能否進入教育機構(gòu)、享受特定的保險待遇、獲得特定的工作機會等。按照情感計算技術(shù)發(fā)展的趨勢來看，主要有以下四種情形：（1）在教育系統(tǒng)中使用情感計算技術(shù)，用于確定進入教育機構(gòu)的資格，或?qū)μ囟ㄈ巳呵榫w控制能力的評估作為接受教育的一部分或者前提;（2）在就業(yè)領(lǐng)域使用情感計算技術(shù)，用于人員的招募和甄選，決定晉升或解雇;（3）在公共服務(wù)領(lǐng)域使用情感計算技術(shù)決定個人是否獲得和享受某些必不可少的公共服務(wù)，如獲得公租房、電力、電信服務(wù)等;（4）在執(zhí)法領(lǐng)域使用情感計算技術(shù)判斷特定公眾的危險程度或供述的可信度，以決定是否采用非羈押措施、緩刑等。前文提及的基于情感計算技術(shù)在就業(yè)、執(zhí)法等領(lǐng)域應(yīng)用中就有此類情形。此類應(yīng)用可能會對個人的教育、職業(yè)等權(quán)利產(chǎn)生極為深刻和廣泛的影響。加之情感計算在技術(shù)上的不穩(wěn)定性，對其應(yīng)用還可能導(dǎo)致特定群體被排斥在享受特定基本權(quán)利之外。這實際上侵犯了尊嚴和不歧視的平等與正義價值觀，導(dǎo)致特定群體在整個社會交往環(huán)境中處于特別被動的地位，并將此種歧視以技術(shù)形式固化。對于這類“高風(fēng)險”應(yīng)用需要嚴格限制，原則上被禁止，只有公共服務(wù)機構(gòu)基于公共利益而展開，且需要配合以全流程的監(jiān)管措施。

所謂的“中風(fēng)險”，是指那種中度影響個人權(quán)利的情感計算應(yīng)用。具體而言，就是對個人權(quán)利產(chǎn)生實質(zhì)影響，但并不決定特定權(quán)利有無的狀態(tài)。盡管如此，考慮到對個人權(quán)利影響的實質(zhì)性以及現(xiàn)有技術(shù)的不穩(wěn)定性，仍然需要將他們歸并為“中風(fēng)險”應(yīng)用。比如，智慧教育中基于學(xué)生的情緒識別而采用差異化的教學(xué)策略雖然影響了不同學(xué)生的受教育權(quán)，但卻并未作為教育的準入資格條件而存在。對于“中風(fēng)險”的情感智能技術(shù)，原則上可以應(yīng)用，但是要構(gòu)建一套全生命周期的監(jiān)管措施。除了符合已有法律規(guī)范的相關(guān)要求之外，筆者認為，可以參考《歐盟人工智能協(xié)調(diào)規(guī)則提案》的相關(guān)規(guī)制體系并結(jié)合我國的實踐確定如下流程監(jiān)管措施：（1）風(fēng)險管理機制：構(gòu)建完備的情感計算應(yīng)用風(fēng)險評估系統(tǒng)，從倫理、法律和技術(shù)三個維度綜合審查已經(jīng)發(fā)生或者可能發(fā)生的各類風(fēng)險，并對各類風(fēng)險發(fā)生的應(yīng)對措施作提前預(yù)案。同時，風(fēng)險評估要在全生命周期內(nèi)不斷迭代與更新。（2）數(shù)據(jù)治理機制：構(gòu)建數(shù)據(jù)獲取、標(biāo)注、訓(xùn)練的治理機制，將風(fēng)險和歧視的結(jié)果降至最低。比如，在情緒識別的樣本選擇時需要考慮不同性別的人群構(gòu)成，保障訓(xùn)練樣本的代表性;在數(shù)據(jù)標(biāo)注時需要統(tǒng)一培訓(xùn)，按照一致的標(biāo)準。（3）技術(shù)保障機制：情感計算應(yīng)用的開發(fā)者應(yīng)當(dāng)保障技術(shù)具有實現(xiàn)開發(fā)目的的準確性、穩(wěn)定性與安全性。要引入獨立第三方對各項技術(shù)的性能指標(biāo)進行充分的測試與驗證。（4）流程備份機制：對應(yīng)用的全過程進行記錄以保證可追溯性。（5）信息透明機制：使用者應(yīng)當(dāng)向用戶提供清晰、充分的信息，包括技術(shù)的現(xiàn)有準確性、安全性等內(nèi)容都需要在使用說明中明確聲明。（6）信息備案機制：將應(yīng)用的相關(guān)信息提交相關(guān)主管機構(gòu)備案。在應(yīng)用發(fā)展過程中，要及時更新。

所謂的“低風(fēng)險”，是指輕度影響或者不影響個人權(quán)利的情感計算應(yīng)用。比如，在情感聊天系統(tǒng)中，根據(jù)對用戶情緒的識別自動調(diào)整聊天方式。對于低風(fēng)險的應(yīng)用，法律在原則上不施加明顯的規(guī)制，只是作出最基礎(chǔ)的透明義務(wù)要求，比如明確告知用戶正在與具備情感識別功能的系統(tǒng)交互。就好比電話中涉及錄音時會提醒“本次通話可能被錄音”一樣，在涉及情感計算時需要提示“你的情緒可能被檢測”?！?4 〕在此基礎(chǔ)上，相關(guān)企業(yè)可以按照企業(yè)自律的方式合理選擇全流程監(jiān)管措施中的一項或者多項，以提升企業(yè)的合規(guī)能力。

結(jié)? 語

我國對于技術(shù)規(guī)制的路徑通常是采用回應(yīng)型的立法，即在技術(shù)發(fā)展已經(jīng)無處不在并已經(jīng)暴露現(xiàn)實風(fēng)險時再考慮規(guī)制。在此之前，給予特定技術(shù)以充分的發(fā)展空間。對于即將迅猛發(fā)展且可能比人臉識別更具侵入性的情感計算技術(shù)而言，對其規(guī)制可能需要采取更具前瞻性的“先發(fā)制人”立法。尤其在“不可接受風(fēng)險”的應(yīng)用已經(jīng)處于研發(fā)狀態(tài)、“高風(fēng)險應(yīng)用”已然現(xiàn)實存在的背景下，對于情感計算應(yīng)用的有效規(guī)制就顯得尤為必要。唯有如此，方能有效避免對公民個人權(quán)利帶來不成比例的損害。當(dāng)然，本文只是對情感計算的法律規(guī)制提出了初步的方案。對于情感計算與個人信息保護規(guī)范之間的銜接、全生命周期監(jiān)管方案還有待在后續(xù)研究中進一步細化。

Abstract： In the perspective of artificial intelligence， affective computing is a collective term for all kinds of intelligent technologies that perceive， emotion recognize， simulate and influence human affect. Although this technology has been applied in medical treatments， education， business， employment， law enforcement and other fields， it still faces multidimensional dilemmas in law， ethics and technology.? In terms of law， the application of affective computing may be in conflict with the right to personal information， privacy and personal freedom.? In terms of ethics， the ultimate goal of affective computing is incompatible with the emphasis on affect autonomy in the field of morality philosophy.? In terms of technology， affective computing is still facing the doubts of the basic theory and practical effect. In order to promote the sound development of the application of affective computing， it is necessary to carry out legal regulation from two aspects： The first is to mediate the tension between affect autonomy and the ultimate goal of affective computing with "nudging" as the limit; Secondly， based on risks， different regulations should be implemented in accordance with the principle of proportionality， ranging from total prohibition to industry self-discipline for the four categories of applications of inadmissible risk， high risk， moderate risk and low risk.

Key words： affective computing; emotion recognition; emotional AI; artificial intelligence; the principle of proportionality; legal regulation