沈苑 汪瓊

[摘? ?要] 人工智能教育應(yīng)用的倫理風(fēng)險可能成為阻滯其發(fā)展的重要影響因素。文章從倫理價值角度出發(fā)，分析了人工智能應(yīng)用于教育中會出現(xiàn)的典型倫理困境以及教育環(huán)境中處理倫理問題的特殊性，建議采用價值敏感設(shè)計(jì)作為突破上述困境的方案。在面臨準(zhǔn)確與透明、隱私與效用、自主與效率、個性與交流等價值沖突造成的倫理困境時，傳統(tǒng)的倫理解決方案會在教育環(huán)境下面臨多重挑戰(zhàn)，價值敏感設(shè)計(jì)作為一種將倫理考量嵌入技術(shù)設(shè)計(jì)的高效方法，堅(jiān)持人與技術(shù)動態(tài)交互，要求技術(shù)設(shè)計(jì)彰顯利益相關(guān)者的價值，采用三方方法論在技術(shù)設(shè)計(jì)前期規(guī)避潛在的倫理風(fēng)險，能夠有效推動可信賴的人工智能在教育中的發(fā)展。在對人工智能教育應(yīng)用開展價值敏感設(shè)計(jì)的過程中，研究者需持中立、開放、敏感的態(tài)度，在保持對價值敏感的前提下靈活地選擇研究方案，將價值敏感設(shè)計(jì)擴(kuò)展到人工智能的全生命周期。

[關(guān)鍵詞] 價值敏感設(shè)計(jì)； 人工智能； 教育應(yīng)用； 倫理困境； 價值沖突

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 沈苑（1996—），女，江蘇蘇州人。博士研究生，主要從事人工智能教學(xué)應(yīng)用倫理的研究。E-mail：shenyuan@pku.edu.cn。汪瓊為通訊作者，E-mail：wangqiong@pku.edu.cn。

基金項(xiàng)目：教育部科技司2022年教育領(lǐng)域智能社會研究“智能教學(xué)環(huán)境人機(jī)合作平衡點(diǎn)探查”（項(xiàng)目編號：D2022010）；2022年江蘇高等教育學(xué)會《江蘇高教》專項(xiàng)課題“人工智能高等教育應(yīng)用倫理研究”（課題編號：2022JSGJKT001）

一、引? ?言

近年來，人工智能（Artificial Intelligence，簡稱AI）技術(shù)以其特有的學(xué)習(xí)和預(yù)測能力受到教育學(xué)界的廣泛關(guān)注。AI在給教育領(lǐng)域帶來巨大變革的同時，因價值沖突引發(fā)的倫理困境也逐漸浮出水面。比如，通過捕捉學(xué)生上課的面部表情和行為來評判課堂教學(xué)效果、基于學(xué)生以往的學(xué)業(yè)表現(xiàn)來預(yù)測畢業(yè)率、使用機(jī)器人助教輔助同伴學(xué)習(xí)等做法，都或多或少在信息安全性、判定準(zhǔn)確性、決策自主性等方面受到批判[1]。因此，識別、分析和化解AI在教育中面臨的倫理困境，是建設(shè)可信賴的人工智能教育（AI in Education， 簡稱AIED）生態(tài)系統(tǒng)的必經(jīng)之路。在信息科學(xué)、計(jì)算機(jī)工程等學(xué)科受到廣泛應(yīng)用的價值敏感設(shè)計(jì)（Value Sensitive Design，簡稱VSD）為推動AIED倫理治理提供了重要的方法論立場，有助于平衡工具理性與價值理性，實(shí)現(xiàn)人與技術(shù)的互相成就與發(fā)展。

基于上述背景，本研究以價值沖突作為切入點(diǎn)，分析了AIED應(yīng)用所面臨的四類倫理困境，討論了傳統(tǒng)的倫理困境解決方案在教育領(lǐng)域面臨的挑戰(zhàn)，進(jìn)一步闡明了VSD作為突破上述困境的可選方案在理念和方法論上所具備的優(yōu)勢。

在哲學(xué)和心理學(xué)中，價值或價值觀具有不同的定義。為避免語義混淆，本研究統(tǒng)一采用“價值”來指代“Value”，參照VSD的創(chuàng)始者芭提雅·弗里德曼（Batya Friedman）在其著作《人類價值與計(jì)算機(jī)技術(shù)設(shè)計(jì)》（Human Values and the Design of Computer Technology）中給出的解釋，定義本研究中的 “價值”是聚焦于倫理范疇下的人覺得重要的事物[2]。

二、人工智能技術(shù)應(yīng)用于教育的倫理困境

一項(xiàng)教育技術(shù)從設(shè)計(jì)到使用涉及大量直接和間接利益相關(guān)者，包括投資者、設(shè)計(jì)者、推廣者、研究者、使用者等。不同的利益相關(guān)者在對技術(shù)的價值進(jìn)行認(rèn)知、取向、定位時常常存在觀念上的差異[2]，技術(shù)設(shè)計(jì)與使用也因此不可避免地陷入多元化的價值取向之中，當(dāng)價值沖突積攢到一定程度就會形成倫理困境。通過梳理相關(guān)研究，可以發(fā)現(xiàn)AI在教育中的應(yīng)用存在著四類典型的價值沖突。

（一）準(zhǔn)確與透明的價值沖突

長期以來，準(zhǔn)確和透明之間的沖突是人工智能領(lǐng)域一項(xiàng)備受關(guān)注的議題。一方面，在教育領(lǐng)域，AIED判斷和預(yù)測的準(zhǔn)確性會影響師生的使用意愿。在一個AI助理幫助學(xué)生規(guī)劃就業(yè)的項(xiàng)目中發(fā)現(xiàn)，學(xué)生普遍反映系統(tǒng)給出的建議不夠準(zhǔn)確，比如，給學(xué)生推薦與他們專業(yè)無關(guān)的課程、不適合新手的實(shí)習(xí)崗位、離家很遠(yuǎn)的公司[3]。另一方面，算法模型的透明度也是影響用戶信任的重要因素。有研究者指出，相較于一個非常準(zhǔn)確的AI系統(tǒng)，師生會更喜歡一個可解釋的系統(tǒng)[4]。下述案例解釋了低透明度的算法會帶來的風(fēng)險：有研究者發(fā)現(xiàn)一所醫(yī)院的服務(wù)機(jī)器人在其肺炎患者數(shù)據(jù)集中學(xué)習(xí)到了這樣一條規(guī)則：“有哮喘（x）？圯 低風(fēng)險（x）”，即哮喘患者死于肺炎的風(fēng)險較低。機(jī)器為什么會學(xué)習(xí)到這樣一條反常識的規(guī)則呢？事實(shí)上，有哮喘的病人如果得了肺炎會被直接送到ICU，接受到比普通人群更加積極有效的治療，降低了他們死于肺炎的風(fēng)險。正因?yàn)槿绱?，機(jī)器學(xué)習(xí)模型“誤以為”是哮喘降低了風(fēng)險，而實(shí)際上哮喘患者如果不住院的話死于肺炎的風(fēng)險要高得多。在這個案例中，設(shè)計(jì)者發(fā)現(xiàn)智能系統(tǒng)學(xué)習(xí)到了此規(guī)則之后對其進(jìn)行了矯正，避免了可能產(chǎn)生的風(fēng)險[5]。但如果此機(jī)器人采用了透明度更低的算法模型，設(shè)計(jì)者就可能無法及時發(fā)現(xiàn)這個問題，致使患有肺炎的哮喘病人聽從系統(tǒng)建議而不住院治療，造成生命危機(jī)。

根據(jù)目前人工智能技術(shù)發(fā)展的情況來說，準(zhǔn)確與透明往往難以兼得。一些更加準(zhǔn)確的模型（如增強(qiáng)樹、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)）大多缺乏可解釋性，而一些比較容易理解的模型（如邏輯回歸、樸素貝葉斯、單決策樹）所做出的預(yù)測又不夠準(zhǔn)確。雖然有許多技術(shù)從業(yè)者正致力于提升算法透明度，但如何兼顧這兩項(xiàng)價值依舊是當(dāng)前AIED面臨的重要挑戰(zhàn)。

（二）隱私與效用的價值沖突

AIED需要高質(zhì)量的教育數(shù)據(jù)輸入才能可靠地運(yùn)行起來，如果數(shù)據(jù)量不足、缺少代表性或質(zhì)量不佳，都會影響到技術(shù)效用。雖然在數(shù)字時代，采用技術(shù)手段收集教育數(shù)據(jù)對于師生來說已經(jīng)不是新鮮事，但AI極大地?cái)U(kuò)展了個人信息收集的場景、范圍和數(shù)量，打破了傳統(tǒng)的隱私邊界。隨著自然語言處理和圖像識別技術(shù)的發(fā)展，師生的日常對話、表情、行動都可能處于“被監(jiān)視”的狀態(tài)之下，使師生處于明顯的弱勢地位。在數(shù)據(jù)收集方式上，某些教育機(jī)構(gòu)或企業(yè)會對學(xué)習(xí)者進(jìn)行不間斷的監(jiān)控、過度收集和囤積數(shù)據(jù)。在數(shù)據(jù)類型方面，設(shè)想如果某AIED收集和分析學(xué)生的家庭關(guān)系、經(jīng)濟(jì)情況、個人性取向等高度敏感數(shù)據(jù)，很可能造成利益相關(guān)者的強(qiáng)烈抵觸。在數(shù)據(jù)管理和共享方面，研究者、技術(shù)企業(yè)、學(xué)生家長都可能想要訪問教育數(shù)據(jù)，會增加數(shù)據(jù)泄漏和濫用的隱患。

來自普林斯頓大學(xué)的研究者所編寫的一個虛擬案例，展現(xiàn)出了隱私與效用沖突的形成過程：某校和AI企業(yè)合作收集了大量的學(xué)生數(shù)據(jù)，除了學(xué)生的作業(yè)情況、考試成績、上課表現(xiàn)、出勤記錄，還有學(xué)生進(jìn)出圖書館、購買零食或午餐、互聯(lián)網(wǎng)使用情況等記錄，以識別出影響學(xué)生升學(xué)的因素并預(yù)測下一屆無法畢業(yè)的學(xué)生。根據(jù)校長的經(jīng)驗(yàn)，家長很可能會反對，他們會擔(dān)心數(shù)據(jù)泄漏或者孩子被區(qū)別對待，但考慮到提高升學(xué)率的緊迫性，校長決定先不告訴學(xué)生和家長。學(xué)生和家長在新聞上得知此事后，即刻爆發(fā)了抗議——家長反映將大量學(xué)生數(shù)據(jù)交給商業(yè)公司無疑是侵犯了學(xué)生的隱私，也有許多學(xué)生反映他們不喜歡被視為研究對象[6]。在這個案例中，正是因?yàn)閷W(xué)生、家長、校長、企業(yè)等利益相關(guān)者對于隱私和效用的價值排序不同，導(dǎo)致了倫理困境的產(chǎn)生。

（三）自主與效率的價值沖突

正如自動駕駛領(lǐng)域中被廣泛討論的人和自動駕駛汽車應(yīng)該分別承擔(dān)什么樣的角色一樣，在教學(xué)過程中的人和AI應(yīng)該分別扮演什么樣的角色才能在自主（Agency）和效率之間取得平衡，是AIED應(yīng)重點(diǎn)考量的內(nèi)容。教學(xué)主體的自主意味著師生能夠自己設(shè)定目標(biāo)、作出反思和負(fù)責(zé)任地行動。調(diào)查表明，大部K-12教師對于AIED抱有矛盾的態(tài)度：一方面，他們認(rèn)同AI能夠代替教師完成部分工作，提升工作效率；另一方面，他們擔(dān)心教師角色被AI取代，喪失自主性[7]。

自主與效率之間的沖突源自于設(shè)計(jì)者和師生希望技術(shù)在課堂上承擔(dān)的角色有所不同。目前，國內(nèi)外各教育階段都開始嘗試使用助教機(jī)器人來提升教學(xué)效率（如國內(nèi)用于學(xué)前教育的Keeko、德國用于高校教學(xué)的Yuki、美國用于STEM教育的NAO等）。有研究表明，機(jī)器人擬人化是提升用戶信任的重要因素[8]，但對于教育領(lǐng)域來說，師生之間的權(quán)威關(guān)系以及學(xué)生之間的互惠學(xué)習(xí)關(guān)系使得課堂互動本身就具有特殊的倫理屬性，機(jī)器人的介入反而可能損害到師生的自主性[7]。還有研究發(fā)現(xiàn)，當(dāng)課堂上的AI助教“假裝自己是人”的時候（如揣測學(xué)生的情感、擅自幫教師做決定），會引發(fā)師生的不適感和情感負(fù)擔(dān)[9]。

（四）個性與交流的價值沖突

在教育領(lǐng)域使用人工智能的主要目的是希望借助機(jī)器學(xué)習(xí)技術(shù)提供個性化學(xué)習(xí)服務(wù)，緩解教育過程中資源分配不公平。但多項(xiàng)面向師生的調(diào)查發(fā)現(xiàn)，過度集中于個性化目標(biāo)的人機(jī)互動可能會阻礙到課堂上師生或同學(xué)之間的真實(shí)交流[7，10] 。

比如有研究者觀察了智能導(dǎo)師系統(tǒng)（Intelligent Tutoring System，簡稱ITS）支持下的課堂協(xié)作過程，發(fā)現(xiàn)由于ITS強(qiáng)調(diào)滿足學(xué)生的個性化需求，導(dǎo)致學(xué)生很難在課堂上去專注達(dá)成集體目標(biāo)。而且ITS基于學(xué)生的個人學(xué)習(xí)軌跡提供個性化指導(dǎo)，導(dǎo)致學(xué)生之間對于同一知識點(diǎn)的了解情況有所差異，因此，課堂上的學(xué)生協(xié)作活動效果不佳，教師指出“學(xué)生實(shí)際上在課堂上是孤獨(dú)的”[11]。還有教師表示擔(dān)憂，借助AI軟件學(xué)習(xí)外語會減少學(xué)生與他人自由對話的機(jī)會和欲望，從長期來看不利于提升口語[10]。

三、傳統(tǒng)倫理解決方案在教育中面臨的挑戰(zhàn)

在技術(shù)發(fā)展過程中，化解倫理困境的方式多種多樣，如事后修補(bǔ)、改進(jìn)技術(shù)設(shè)計(jì)、出臺倫理原則等。但是，AI應(yīng)用于教育領(lǐng)域的過程中，面臨著試錯成本高、利益相關(guān)者缺位、倫理原則難落地這三大挑戰(zhàn)，以至于很難單純借助傳統(tǒng)的解決方案來擺脫倫理困境。

（一）AIED在教育領(lǐng)域的試錯成本高

教育實(shí)踐復(fù)雜且隱晦，教育者、受教育者、技術(shù)、實(shí)踐效果之間相互作用、相互規(guī)定。與其他AI應(yīng)用領(lǐng)域不同，在教育領(lǐng)域?qū)嵤┠稠?xiàng)技術(shù)干預(yù)所帶來的影響無法被快速、直接地觀察到，導(dǎo)致試錯成本高。如果針對倫理困境采用事后修補(bǔ)方法，必然意味著已經(jīng)造成了某些負(fù)面影響。

一方面，教育領(lǐng)域中試錯的時間成本高。用戶在電商平臺買到不合適的產(chǎn)品可以立即辨別然后退貨，但一項(xiàng)教育技術(shù)的實(shí)際效果卻很難從幾節(jié)課上判斷出來，而是需要長期的、科學(xué)的教育評估。在這個長期過程中，學(xué)生可能會遭受不可逆的負(fù)面影響。另一方面，教育領(lǐng)域中試錯的機(jī)會成本很高。與醫(yī)療和交通領(lǐng)域中生死一線的問題相比，在教育中出錯的后果似乎顯得不是那么“慘烈”，但當(dāng)一項(xiàng)不恰當(dāng)?shù)募夹g(shù)被應(yīng)用于教育中必將意味著學(xué)生失去了在此教育階段得到更優(yōu)質(zhì)教育的機(jī)會，可能會錯過最佳的教育時機(jī)。

也正因?yàn)槿绱?，相較于各種互聯(lián)網(wǎng)商業(yè)模式近年來在不斷地試錯中迅猛發(fā)展，盡管計(jì)算機(jī)輔助教學(xué)在20世紀(jì)50年代就開始發(fā)展，但至今仍舊面臨著關(guān)于隱私、知識產(chǎn)權(quán)、網(wǎng)絡(luò)成癮等方面的爭議。如果AIED不加以精心設(shè)計(jì)就貿(mào)然進(jìn)入教育領(lǐng)域，從長期來看同樣會受到大量關(guān)于倫理的質(zhì)疑。而且具有自我學(xué)習(xí)能力的AI往往多用于分析、預(yù)測這些原本只有人類才能完成的任務(wù)，會引發(fā)更多關(guān)于自主性、透明度、責(zé)任分配的問題。因此，在AIED產(chǎn)品的早期設(shè)計(jì)階段就需要前攝性地將倫理納入考量，以降低甚至消滅在教育情境下的試錯風(fēng)險。

（二）教學(xué)主體在AIED設(shè)計(jì)中的缺位

改進(jìn)技術(shù)設(shè)計(jì)也是規(guī)避技術(shù)倫理風(fēng)險的典型手段，但在當(dāng)前人工智能教育應(yīng)用的相關(guān)研究中呈現(xiàn)出明顯的教學(xué)主體缺位現(xiàn)象，導(dǎo)致技術(shù)改進(jìn)難以觸及真實(shí)用戶的痛點(diǎn)。筆者以字符串“artificial intelligence” AND （ethic* OR moral OR responsible* OR trust*） AND （teaching OR education OR learning） NOT “machine learning” NOT “ethics education” 在IEEE Xplore、 Wiley Online、 ERIC、 ACM、 Web of Science五個數(shù)據(jù)庫中進(jìn)行檢索。在檢索到的1645項(xiàng)研究中，僅有26項(xiàng)研究采用實(shí)證方法調(diào)查了師生對于AIED的了解程度或態(tài)度，其中，只有9項(xiàng)研究的主題與倫理高度相關(guān)。

可以發(fā)現(xiàn)，盡管目前學(xué)界對AIED倫理的關(guān)注度較高，但是利益相關(guān)者的真實(shí)觀點(diǎn)在技術(shù)發(fā)展過程沒有受到充分的重視。對于研究者所作出的風(fēng)險預(yù)測（如學(xué)習(xí)分析可能會侵犯隱私、機(jī)器人可能會取代人類教師、人臉識別可能阻礙學(xué)生的情緒表達(dá)能力發(fā)展），目前，缺少教育場景下的證據(jù)來證明這些預(yù)測的準(zhǔn)確性。另外，師生的價值傾向也可能與技術(shù)設(shè)計(jì)者預(yù)想的不同。AI研發(fā)企業(yè)致力于提升產(chǎn)品的響應(yīng)速度和預(yù)測準(zhǔn)確性，但有研究者指出，比起系統(tǒng)的準(zhǔn)確性或者個性化程度，教師更看重透明度[4]。有研究者設(shè)計(jì)的一個聊天機(jī)器人原型，為了滿足透明的要求，以“我察覺到你有些孤單……”來開啟聊天，但學(xué)生卻反映不喜歡被機(jī)器人揣測自己的感受[9]。因此，為了能夠設(shè)計(jì)出真正能滿足師生需求的AIED產(chǎn)品，需要積極開展實(shí)證研究去了解在最終應(yīng)用環(huán)境中利益相關(guān)者的價值取向，才能做出有效的技術(shù)改進(jìn)。

（三）AI倫理原則在教育中“水土不服”

近年來，各國政府、企業(yè)聯(lián)盟和學(xué)術(shù)機(jī)構(gòu)都積極制定AI倫理原則，如歐盟出臺的《可信賴的人工智能倫理準(zhǔn)則》、原子塔——?dú)W洲科學(xué)媒體和民主研究所的《美好AI社會的倫理框架》、我國發(fā)布的《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》等，以期指導(dǎo)、規(guī)范AI產(chǎn)品和服務(wù)。筆者對五篇AI倫理領(lǐng)域內(nèi)權(quán)威專家的綜述文章中的關(guān)鍵主題進(jìn)行編碼分析，發(fā)現(xiàn)目前AI倫理領(lǐng)域的話語顯著收斂于“透明可解釋”“公平”“自主”“安全”“隱私”“責(zé)任”“社會福祉”這七個主題下。但聚焦于教育領(lǐng)域，宏觀的AI倫理原則與實(shí)際研發(fā)和應(yīng)用之間還存在著巨大的鴻溝，僅將AI倫理原則生搬到教育領(lǐng)域可能會出現(xiàn)“水土不服”的情況，具體原因可以從下列四個方面進(jìn)行分析：

第一，由于提出AI倫理原則的哲學(xué)家們大多遵循的是傳統(tǒng)倫理學(xué)中自上而下的研究路徑，以一般的倫理原則（如安全、無害）為起點(diǎn)來推測AI應(yīng)用的潛在風(fēng)險，但尚不能確定這種“假定”的風(fēng)險究竟是否會真的出現(xiàn)、利益相關(guān)者究竟是否會將其視作風(fēng)險。任何倫理設(shè)計(jì)和倫理規(guī)范能否真正發(fā)揮效用、能否真正貫穿于教育教學(xué)過程中，與教育參與主體的個體心理狀態(tài)密切相關(guān)。如果缺少對于AIED發(fā)展情況、技術(shù)原理、教育現(xiàn)實(shí)的深入分析，其效果只能是“隔靴搔癢”，很難為師生破解倫理困境提供直接有效的指導(dǎo)。

第二，即便有研究者提出了專門針對AIED的倫理原則，但如何將原則轉(zhuǎn)譯為易于理解、具有可操作性的行動仍舊是一項(xiàng)重大的挑戰(zhàn)。例如，Aiken和Epstein提出，“AIED應(yīng)該營造促進(jìn)探究和好奇心的環(huán)境鼓勵學(xué)生學(xué)習(xí)和探索”“AIED不應(yīng)該試圖取代教師，而應(yīng)該幫助教師勝任原本難以達(dá)到的創(chuàng)造型新角色”[12]，但如何在技術(shù)細(xì)節(jié)和教育實(shí)踐中落實(shí)這些要求，還需要更多證據(jù)的支持。

第三，當(dāng)前AI倫理原則之間缺少優(yōu)先級，多條原則在實(shí)際應(yīng)用中可能產(chǎn)生沖突。比如，高透明度和高準(zhǔn)確度在機(jī)器學(xué)習(xí)中難以兼得、在強(qiáng)調(diào)平等的時候弱勢學(xué)生群體遭遇邊緣化、在追求個性化的路上犧牲師生隱私……事實(shí)上，如前文所述的四類倫理困境并非因?yàn)槿鄙賯惱碓瓌t才出現(xiàn)，而是因?yàn)樵谀承┨囟ㄇ闆r下無法同時實(shí)現(xiàn)多條倫理原則才致使價值沖突。讓我們設(shè)想一個“知情”和“無害”原則的沖突情境：某AIED系統(tǒng)在收集學(xué)生大量個人數(shù)據(jù)來預(yù)測學(xué)情之前要獲得所有學(xué)生的知情同意，確保他們知道自己的哪些數(shù)據(jù)會被收集和做什么用途。然而，研發(fā)者耗費(fèi)了大量的時間來開發(fā)學(xué)生可理解的說明文本、與學(xué)生進(jìn)行溝通，但某些升學(xué)率不理想的學(xué)?？赡苷诩逼鹊氐却@個產(chǎn)品來改進(jìn)教學(xué)，如果無法及時使用此產(chǎn)品，對他們來說也是一種傷害。對于這類情況來說，倫理原則無法起到化解沖突的作用，反而將利益相關(guān)者置于進(jìn)退兩難的境地。

第四，當(dāng)前AI倫理原則缺乏配套的問責(zé)、處罰和糾偏機(jī)制，主要依賴行動主體的自我規(guī)制，這可能導(dǎo)致AIED的研發(fā)者和使用者將倫理原則當(dāng)成不具約束力的附加要求。一項(xiàng)對比實(shí)驗(yàn)發(fā)現(xiàn)，閱讀倫理準(zhǔn)則不會對技術(shù)研發(fā)人員在倫理困境下的決策產(chǎn)生顯著影響[13]。僅依靠倫理原則來規(guī)范AIED最多只能達(dá)到“弱約束”的效果，要建立起可信賴的AIED生態(tài)系統(tǒng)不但需要外在規(guī)約，更需要回歸內(nèi)在的人類價值，使技術(shù)真正成為幫助人類實(shí)現(xiàn)價值的有效工具。

四、VSD作為突破困境的新方案

（一）VSD的起源與發(fā)展

采用傳統(tǒng)的倫理解決方案難以擺脫AI應(yīng)用于教育所面臨的倫理困境，應(yīng)用倫理學(xué)領(lǐng)域多年來所倡導(dǎo)的“設(shè)計(jì)轉(zhuǎn)向”（Design Turn）為突破困境提供了新的進(jìn)路。設(shè)計(jì)轉(zhuǎn)向強(qiáng)調(diào)通過現(xiàn)實(shí)體制和物質(zhì)條件的設(shè)計(jì)實(shí)現(xiàn)倫理目標(biāo)，比如，用減速帶幫助用戶遵守交通規(guī)范、用通俗易懂的cookie說明提升用戶的知情程度。在設(shè)計(jì)轉(zhuǎn)向的風(fēng)潮下，人們開始采用各種在技術(shù)設(shè)計(jì)中嵌入人類價值的策略，如參與式設(shè)計(jì)（Participatory Design）、以用戶為中心的設(shè)計(jì)（User-centered Design）、價值敏感設(shè)計(jì)（Value Sensitive Design，VSD）等。

相較于前兩種強(qiáng)調(diào)功能性價值的設(shè)計(jì)方法，VSD更強(qiáng)調(diào)倫理價值（如知情同意、信任、安全）。倫理價值是人們出于福祉、正義、尊嚴(yán)的考慮所作出的判斷，并不能與個人偏好、經(jīng)驗(yàn)事實(shí)混為一談。芭提雅·弗里德曼（Batya Friedman）等人在20世紀(jì)90年代首次提出VSD，主張系統(tǒng)設(shè)計(jì)要彰顯并均衡利益相關(guān)者的價值，使?jié)撛诘膫惱盹L(fēng)險在設(shè)計(jì)階段就得以解決。弗里德曼提出了13項(xiàng)系統(tǒng)設(shè)計(jì)中的常見價值，包括：人類幸福、所有權(quán)和產(chǎn)權(quán)、隱私、不受偏見、普遍可用、信賴、自主、知情同意、問責(zé)、禮貌、身份、平靜和環(huán)境可持續(xù)性[14]。

VSD起初多被用于信息通信技術(shù)領(lǐng)域，因其具備充分的包容性與靈活性，后被推廣至制造、建筑、交通、制藥等領(lǐng)域。VSD也廣受國外AI研究者的青睞，如有研究者提出了以關(guān)懷價值為中心的護(hù)理機(jī)器人設(shè)計(jì)（Care Centred Value Sensitive Design， CCVSD）[15]、造益社會的人工智能設(shè)計(jì)（AI for Social Good）[16]。相較于日臻成熟的國外研究，我國的VSD研究還處于介紹和引進(jìn)階段，鮮有本土化的實(shí)證案例研究。

（二）VSD的核心主張

VSD的核心主張為識別和分析教育中的AIED倫理困境提供了重要的理論“透鏡”。

1. 堅(jiān)持人與技術(shù)動態(tài)交互的基本立場

技術(shù)在人與世界的關(guān)系中起著橋梁作用，不但影響著人對外在世界的感知，還影響著人的行為方式。VSD主張人與技術(shù)之間存在動態(tài)交互的關(guān)系，這種觀點(diǎn)要求我們在識別AIED倫理困境時要持續(xù)關(guān)注利益相關(guān)者在困境下的角色作用與行動軌跡。

首先，人與技術(shù)之間的交互關(guān)系意味著人類創(chuàng)造了技術(shù)，而技術(shù)的設(shè)計(jì)特征和使用情境又會激發(fā)人類特定的思維、行為和價值模式，反過來塑造人類經(jīng)驗(yàn)和社會。正如弓箭的發(fā)明為人類提供了在安全距離內(nèi)殺死敵人的可能性，從而改變了社會道德格局一樣，當(dāng)某件在傳統(tǒng)教育中不可能的事在AI支持下變?yōu)榭赡埽ㄈ缗恼账杨}、預(yù)測輟學(xué)率、標(biāo)記“有風(fēng)險”的學(xué)生），就為人的行動開辟出了新的道德可能性。人的價值決策不再僅僅是內(nèi)在的價值選擇，而是在技術(shù)規(guī)范下的選擇。所以，需要從設(shè)計(jì)階段就提前考慮技術(shù)在最終應(yīng)用場景下會賦予人怎樣的行動機(jī)會、又會對人造成何種影響。

此外，人類與技術(shù)的交互關(guān)系呈現(xiàn)出動態(tài)特征。在技術(shù)、個人、社會的相互作用過程中，各種正負(fù)面的影響會持續(xù)形成與消解。這種動態(tài)性要求技術(shù)研發(fā)者與研究人員要在AIED全生命周期中對各類潛在影響保持充分警覺，持續(xù)尋求倫理維度的現(xiàn)實(shí)關(guān)照，推動技術(shù)優(yōu)化多輪迭代。

2. 技術(shù)設(shè)計(jì)應(yīng)彰顯各方利益相關(guān)者的價值

弗里德曼指出，技術(shù)并不是中立的，價值體現(xiàn)在技術(shù)特征之中[14]。VSD要求技術(shù)所彰顯的價值具有科學(xué)性和代表性，使利益相關(guān)者可以使用技術(shù)做他們想做的事，防止不該發(fā)生的事情發(fā)生。這種觀點(diǎn)要求我們在識別和分析AIED倫理困境時考慮到盡可能多的利益相關(guān)者們分別持有的價值取向。

AIED涉及大量的利益相關(guān)者，包括直接利益相關(guān)者（即與技術(shù)直接發(fā)生互動的人，如教師和學(xué)生）、間接利益相關(guān)者（即不直接使用技術(shù)但會受到影響的人，如旁觀孩子和機(jī)器人對話的家長、校園監(jiān)控系統(tǒng)中作為數(shù)據(jù)點(diǎn)的行人、學(xué)生家長）、技術(shù)設(shè)計(jì)者、資助技術(shù)開發(fā)和部署的機(jī)構(gòu)、媒體、保險公司等。弗里德曼還特別指出了兩類易被忽視的利益相關(guān)者。第一類是可能因技術(shù)引導(dǎo)而做出利他行動的人（Pro-social Stakeholder），比如，智能穿戴設(shè)備應(yīng)該在設(shè)計(jì)上考慮到如何在緊急情況下引導(dǎo)路人為運(yùn)動者提供幫助。第二類是像老人、貧困者、名人、小眾宗教信仰者等特殊人群，比如，在設(shè)計(jì)某款A(yù)IED軟件時應(yīng)該考慮到陪同兒童共同學(xué)習(xí)的祖父母的價值。

另外，個體在不同情境下會切換利益相關(guān)者角色，比如，當(dāng)一位教師正在閱讀智能教學(xué)系統(tǒng)報(bào)告時，他是直接利益相關(guān)者，而當(dāng)他旁邊的同事正在閱讀報(bào)告的時候他就變成了旁觀者。我們需要理解個體在角色上的轉(zhuǎn)換，才能更準(zhǔn)確識別到價值的變化和原因。

（三）VSD的研究方法

VSD三方方法論（如圖1所示）為突破人工智能教育應(yīng)用的倫理困境提供了落地化的執(zhí)行方案。分別是概念研究（Conceptual Investigation）、經(jīng)驗(yàn)研究（Empirical Investigation）和技術(shù)研究（Technical Investigation）。

其中，概念研究是指在理論層面對技術(shù)應(yīng)用背景、利益相關(guān)者、價值概念以及價值張力進(jìn)行識別或預(yù)測。考慮到每個AIED應(yīng)用項(xiàng)目建設(shè)的初衷不同，某特定AIED本身、某教育應(yīng)用場景、教師和學(xué)生等利益相關(guān)者群體都會影響價值被理解的方式，研究者需要綜合分析上述背景中的要素和變量，在此階段要盡可能中立地給出初步的價值定義。比如，弗里德曼等人將“信賴（Trust）”定義為“當(dāng)我們在非常脆弱、可能會受到傷害的時候，我們相信別人不會傷害自己”[14]。這顯然與字典定義不同，是通過實(shí)際思考總結(jié)出來的情境化定義。

經(jīng)驗(yàn)研究是指對技術(shù)所處的現(xiàn)實(shí)人類環(huán)境進(jìn)行考察，調(diào)查利益相關(guān)者在與技術(shù)互動過程中可能受到的影響、對價值的理解與權(quán)衡，比較設(shè)想的價值與現(xiàn)實(shí)中的價值是否存在差異。經(jīng)驗(yàn)研究能為概念研究中的假設(shè)提供實(shí)證支持，也能避免技術(shù)研發(fā)者忽視掉某些實(shí)際上非常重要的價值。比如，觀察、訪談、實(shí)驗(yàn)、實(shí)物收集、行為測量、生物測量等社會科學(xué)研究中的數(shù)據(jù)收集方法以及啟發(fā)式卡片（Envisioning Cards）①、價值場景敘事（Value Scenario Narrative）②、價值壩與價值流（Value Dams and Flow）{1}等啟發(fā)式方法都可被用來識別和定義真實(shí)場景下的價值。

技術(shù)研究是指從技術(shù)層面開展價值維度的分析和設(shè)計(jì)，關(guān)注價值能否以及如何通過有效的技術(shù)設(shè)計(jì)而獲得支持，判斷哪些功能應(yīng)當(dāng)被保留或舍棄、應(yīng)該增添哪些功能來更好地支持價值。技術(shù)研究中一般采用兩種方法。第一是回顧分析既有的解決方案，比如，為了支持“知情同意”價值，瀏覽器cookie的設(shè)計(jì)者會給用戶提供可理解的說明文本、允許用戶自主控制可被收集的信息類型；為了支持“公平”價值，圖像搜索軟件的設(shè)計(jì)者會避免使用代表性不足的數(shù)據(jù)集、公開算法的準(zhǔn)確率。第二是主動設(shè)計(jì)出全新的技術(shù)方案和配套的外部解決方案（如規(guī)范使用方式、政策法規(guī)支持等）來支持價值的實(shí)現(xiàn)。

總體來說，VSD作為一種相當(dāng)靈活的研究方法，具有充分的潛力來識別、分析、突破AIED的倫理困境。上述三種研究相輔相成，無需嚴(yán)格按照順序開展。一項(xiàng)VSD研究可以先用概念研究定位潛在價值，可以先開展經(jīng)驗(yàn)研究了解應(yīng)用環(huán)境，也可以先從技術(shù)研究切入分析產(chǎn)品特征。而且這三種研究也可以在一個項(xiàng)目中多次使用，比如，在經(jīng)驗(yàn)研究之后，研究者可以對概念研究中提出的價值定義進(jìn)行調(diào)整；在技術(shù)研究之后，研究者可以補(bǔ)充開展經(jīng)驗(yàn)研究來考察技術(shù)改進(jìn)后的效果等，通過多輪迭代以達(dá)到最大化利益相關(guān)者的正向價值和最小化負(fù)面影響的設(shè)計(jì)效果。

五、討論與總結(jié)

本研究討論了人工智能在教育中應(yīng)用會面臨的倫理困境，分析了傳統(tǒng)倫理解決方案難以奏效的原因，提出了采用VSD作為突破困境的可選方案。在本節(jié)，筆者對于一些誤解和質(zhì)疑進(jìn)行回應(yīng)，提出了未來在AIED領(lǐng)域?qū)嶋H開展VSD需要注意的要點(diǎn)。

（一）研究者需保持中立、開放、敏感的態(tài)度

在多年的發(fā)展中，VSD的支持者和批判者開展了一系列爭論，包括：在概念研究中預(yù)設(shè)價值是否會遺漏掉某些重要價值，將價值定義成“重要的事物”是否過于模糊，VSD是否缺乏核心的價值系統(tǒng)等。這些爭論意味著VSD并非“萬金油”，即便VSD為建設(shè)可信賴的AIED提供了可選方案，但對研究者的科研素養(yǎng)也提出了較高的要求。負(fù)責(zé)開展VSD的研究者本身也是利益相關(guān)者，一方面，在概念研究過程中也需要考慮到自身的價值傾向；另一方面，在開展經(jīng)驗(yàn)研究時需要對于各類利益相關(guān)者、各項(xiàng)潛在價值保持中立、開放、敏感的態(tài)度，避免內(nèi)隱偏見影響到研究結(jié)果的可靠性。

（二）在保持價值敏感的前提下靈活選擇研究方案

考慮到許多項(xiàng)目會受到時間、人力等資源限制，無法調(diào)查到全部利益相關(guān)者的觀點(diǎn)，也很難將三類研究悉數(shù)完成。因此，研究者應(yīng)當(dāng)在保持對價值敏感的前提下根據(jù)實(shí)際情況靈活選擇研究方法。有研究者檢索了1996—2016年以來200余篇VSD相關(guān)研究，發(fā)現(xiàn)其中僅有17篇論文完整使用了這三種方法[17]。VSD作為一種非常靈活的方法，并不強(qiáng)求一個研究項(xiàng)目要將概念研究、經(jīng)驗(yàn)研究、技術(shù)研究悉數(shù)完成，其中任何一種研究都可以被單獨(dú)使用來形成對價值維度的洞見。比如，有研究者通過概念研究分析了增強(qiáng)現(xiàn)實(shí)技術(shù)會涉及的七項(xiàng)價值[18]，有研究者通過經(jīng)驗(yàn)研究調(diào)查了青年流浪漢對于“安全”的理解[19]，也有研究者通過技術(shù)研究改進(jìn)了維基百科專題的推薦算法[20]。

（三）將VSD擴(kuò)展至AIED全生命周期

弗里德曼提出的VSD預(yù)設(shè)了在設(shè)計(jì)階段就可以確定價值體系，然后有針對性地進(jìn)行設(shè)計(jì)[21]。但由于AIED的特殊性，針對AIED的VSD不能局限于技術(shù)設(shè)計(jì)階段，需要擴(kuò)展到技術(shù)生命的全周期中。一方面，使用機(jī)器學(xué)習(xí)算法的AIED通過對數(shù)據(jù)進(jìn)行學(xué)習(xí)來自動生成算法，具備黑箱特點(diǎn)，設(shè)計(jì)者難以知曉這類AIED在實(shí)際應(yīng)用中會學(xué)習(xí)到什么樣的數(shù)據(jù)、形成什么樣的算法。另一方面，研究者無法預(yù)料師生在實(shí)際使用的過程中究竟是否會按照設(shè)計(jì)者所想的那樣行動。由于人與技術(shù)的動態(tài)交互關(guān)系使得價值及其內(nèi)涵也處于變化之中。這種本體論上的不確定性意味著即便有事前完整的設(shè)計(jì)，研究者也很難預(yù)見到系統(tǒng)在實(shí)際使用過程中會產(chǎn)生哪些新的價值問題。De Reuver等指出，針對AI的VSD應(yīng)該有第四種研究——反思研究（Reflexivity Investigation），持續(xù)監(jiān)測AI應(yīng)用過程中可能產(chǎn)生的預(yù)料之外的結(jié)果并及時修正調(diào)整[21]。具體來說，研究者要在應(yīng)用過程中不斷檢查：當(dāng)前應(yīng)用狀況是否仍舊支持著在設(shè)計(jì)階段確定的價值，應(yīng)用過程中是否出現(xiàn)了設(shè)計(jì)階段未預(yù)料到的違背價值的情況，AIED系統(tǒng)是否從用戶數(shù)據(jù)中學(xué)習(xí)到了新的價值模式，是否產(chǎn)生了新的價值沖突，原有的價值排序是否被打破等。為解決這些問題，設(shè)計(jì)者在完成實(shí)地部署后需要保持動態(tài)的調(diào)控和監(jiān)督。

[參考文獻(xiàn)]

[1] 鄧國民，李梅.教育人工智能倫理問題與倫理原則探討[J].電化教育研究，2020，41（6）：39-45.

[2] FRIEDMAN B. Human values and the design of computer technology[M]. Cambridge： Cambridge University Press， 1997.

[3] WESTMAN S， KAUTTONEN J， KLEMETTI A， et al. Artificial intelligence for career guidance - current requirements and prospects for the future[J]. IAFOR journal of education： technology in education，2021，9（4）：43-62.

[4] HOLMES W， PORAYSKA-POMSTA K， HOLSTEIN K， et al. Ethics of AI in education： towards a community-wide framework[J]. International journal of artificial intelligence in education， 2022，32：504-526.

[5] CARUANA R， LOU Y， GEHRKE J， et al. Intelligible models for healthcare： predicting pneumonia risk and hospital 30-day readmission[C]//Proceedings of the 21th ACM SIGKDD international conference on knowledge discovery and data mining. New York：ACM， 2015：1721-1730.

[6] Princeton's UCHV& CITP. Princeton dialogues on AI and ethics case studies[EB/OL].[2023-02-27]. https：//aiethics.princeton.edu/case-studies/.

[7] CHOUNTA I A， BARDONE E， RAUDSEP A， et al. Exploring teachers' perceptions of artificial intelligence as a tool to support their practice in Estonian K-12 education[J]. International journal of artificial intelligence in education， 2022，32（3）：725-755.

[8] DUFFY B R. Anthropomorphism and the social robot[J]. Robotics and autonomous systems， 2003， 42（3-4）： 177-190.

[9] WANG Q， JING S， GOEL A K. Co-Designing AI agents to support social connectedness among online learners： functionalities， social characteristics， and ethical challenges[C]//Designing Interactive Systems Conference. New York： Association for Computing Machinery， 2022：541-556.

[10] JONES S， RICHARDS A， CHO Y， et al. The effect of the fourth industrial revolution on general english education[J]. Korean journal of general education，2018， 12（2）：169-197.

[11] UTTERBERG MOD？魪N M， TALLVID M， LUNDIN J， et al. Intelligent tutoring systems： why teachers abandoned a technology aimed at automating teaching processes[C]// Proceedings of the 54th Hawaii International Conference on System Sciences. Hawaii： Scholarspace，2021： 1538-1547.

[12] AIKEN R M， EPSTEIN R G. Ethical guidelines for AI in education： starting a conversation[J]. International journal of artificial intelligence in education， 2000，11（2）：163-176.

[13] MCNAMARA A， SMITH J， MURPHY-HILL E. Does ACM's code of ethics change ethical decision making in software development？[C]//Proceedings of the 2018 26th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering. New York： Association for Computing Machinery，2018：729-733.

[14] FRIEDMAN B， HENDRY D G. Value sensitive design： shaping technology with moral imagination[M]. Massachusetts： MIT Press， 2019.

[15] VAN WYNSBERGHE A. Designing robots for care： care centered value-sensitive design[J]. Science and engineering ethics， 2013， 19（2）：407-433.

[16] UMBRELLO S， VAN DE POEL I. Mapping value sensitive design onto AI for social good principles[J]. AI and ethics， 2021，1（3）： 283-296.

[17] WINKLER T， SPIEKERMANN S. Twenty years of value sensitive design： a review of methodological practices in VSD projects[J]. Ethics and information technology，2021，23：17-21.

[18] FRIEDMAN B， KAHN P H. New directions： a value-sensitive design approach to augmented reality[C]//Proceedings of DARE 2000 on designing augmented reality environments. New York： Association for Computing Machinery，2000：163-164.

[19] WOELFER J P， IVERSON? A， HENDRY D G， et al. Improving the safety of homeless young people with mobile phones： values， form and function[C]//Proceedings of the SIGCHI conference on human factors in computing systems. 2011： 1707-1716.