黃榮懷 張國良 劉夢彧

摘要：當(dāng)前，智能技術(shù)與教育的全過程融合正推動教育方式發(fā)生深刻轉(zhuǎn)變，同時衍生出算法歧視、技術(shù)濫用、隱私泄露和教育主體錯位等技術(shù)倫理風(fēng)險，如何規(guī)避風(fēng)險以最大化享受智能技術(shù)紅利成為智慧教育發(fā)展的重要議題。為此，文章首先分析技術(shù)倫理相關(guān)報告文件，刻畫智慧教育在智能技術(shù)、教育主體、教育數(shù)據(jù)和教育監(jiān)管四個向度的技術(shù)倫理取向；然后，文章剖析“教-學(xué)-管-評-練-研”六大智慧教育典型場景下的差異化技術(shù)倫理風(fēng)險表征，將其產(chǎn)生根源歸為技術(shù)工具失信、教育實踐失范和師生素養(yǎng)不足三個層面；最后，文章從技術(shù)升級、風(fēng)險管理、問責(zé)監(jiān)管、數(shù)據(jù)流動和素養(yǎng)提升角度給出風(fēng)險防范與治理建議，助力智慧教育健康可持續(xù)發(fā)展。

關(guān)鍵詞：智慧教育；智能技術(shù)；倫理規(guī)范；風(fēng)險表征；風(fēng)險規(guī)約

【中圖分類號】G40-057 【文獻標(biāo)識碼】A 【論文編號】1009—8097（2024）02—0013—10 【DOI】10.3969/j.issn.1009-8097.2024.02.002

引言

智能技術(shù)在變革教育領(lǐng)域的同時，也衍生出算法歧視與不透明、技術(shù)濫用與依賴、數(shù)據(jù)隱私泄露、教學(xué)主體情感交流危機和權(quán)力邊界模糊等一系列倫理問題[1][2]，這引發(fā)了國內(nèi)外社會的廣泛關(guān)注。為此，2019～2021年期間，聯(lián)合國教科文組織相繼發(fā)布《北京共識——人工智能與教育》《人工智能倫理問題建議書》等多項報告[3][4]，呼吁和引領(lǐng)人工智能教育應(yīng)用的倫理規(guī)約和可持續(xù)發(fā)展。當(dāng)今時代，消解倫理風(fēng)險，實現(xiàn)技術(shù)向善已成為全球教育領(lǐng)域面臨的共同挑戰(zhàn)[5]。

智能技術(shù)的教育應(yīng)用催生教育形態(tài)的進化，智慧教育作為教育信息化發(fā)展的高端形態(tài)，契合教育數(shù)字化轉(zhuǎn)型的發(fā)展目標(biāo)，其實踐取徑的特征之一便是合乎科技倫理的技術(shù)應(yīng)用[6]。隨著新興智能技術(shù)和產(chǎn)品不斷涌現(xiàn)，其在賦能教育的同時也引發(fā)教育領(lǐng)域?qū)夹g(shù)倫理風(fēng)險的擔(dān)憂，如何規(guī)避風(fēng)險以最大化享受智能技術(shù)紅利成為智慧教育發(fā)展所關(guān)注的重要議題。然而，技術(shù)倫理規(guī)范的革新相較于智能技術(shù)教育應(yīng)用實踐處于滯后地位，當(dāng)前教育領(lǐng)域關(guān)于智能技術(shù)的倫理研究主要集中在原則構(gòu)建和抽象風(fēng)險剖析方面，總體而言缺乏超脫智能技術(shù)影響力的全面?zhèn)惱砜蚣躘7]，難以支撐教育形態(tài)朝向具備更高技術(shù)豐富度和系統(tǒng)融合性的智慧教育的健康發(fā)展需求。面對教育政策制定者、研究者、實踐者、產(chǎn)品開發(fā)人員和其他利益相關(guān)者對智慧教育技術(shù)倫理規(guī)范認知與把握的差異，有必要系統(tǒng)論述面向智慧教育的技術(shù)倫理取向、風(fēng)險表征、成因及其規(guī)約問題，彌合技術(shù)倫理“應(yīng)然取向”與其風(fēng)險“實然困境”的割裂差距，助力教育形態(tài)向智慧教育健康可持續(xù)發(fā)展。

一 應(yīng)然取向：面向智慧教育實踐的技術(shù)倫理規(guī)范

“倫理”一詞指人與人相處應(yīng)遵循的道德準(zhǔn)則，包括客觀的倫理關(guān)系及其外在規(guī)約[8]，其中技術(shù)倫理可界定為在技術(shù)開發(fā)和應(yīng)用等過程中，涉及技術(shù)與人、技術(shù)與社會之間關(guān)系的道德和準(zhǔn)則[9]。2017年，國務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》，提出要推動人工智能在教學(xué)、管理、資源建設(shè)等方面的全流程應(yīng)用，實現(xiàn)日常教育和終身教育定制化[10]，而當(dāng)前智慧教育實踐面臨諸多智能技術(shù)介入教育全過程的沖擊，技術(shù)倫理風(fēng)險日益擴大化，厘清其技術(shù)倫理“應(yīng)然取向”可為其規(guī)范實踐提供共識理解和原則指導(dǎo)。

1 取向分析

近年來，許多國家和機構(gòu)均發(fā)布了包含技術(shù)倫理內(nèi)容的相關(guān)政策文件及報告，以規(guī)避智能技術(shù)帶來的負面影響。聚焦到教育領(lǐng)域，雖然相關(guān)的新興智能技術(shù)倫理報告文件不斷更新迭代，為厘清面向智慧教育實踐的技術(shù)倫理規(guī)范提供了堅實基礎(chǔ)和前瞻指導(dǎo)，但已有研究對教育領(lǐng)域智能技術(shù)倫理原則的提煉大多趨于一致，難以跳出通用領(lǐng)域智能技術(shù)倫理規(guī)范的技術(shù)邏輯，致使教育性不足。本研究在梳理近5年7份典型教育領(lǐng)域智能技術(shù)倫理相關(guān)報告的基礎(chǔ)上，通過內(nèi)容分析提取其中的倫理關(guān)注內(nèi)容（如表1所示），以構(gòu)建更貼切智能技術(shù)教育應(yīng)用本質(zhì)、價值取向和時效性的技術(shù)倫理規(guī)范模型，發(fā)現(xiàn)教育領(lǐng)域智能技術(shù)倫理的核心關(guān)切聚焦于“智能技術(shù)”“教育主體”“教育數(shù)據(jù)”和“教育監(jiān)管”四個向度，可作為智慧教育技術(shù)倫理取向模型的一級結(jié)構(gòu)收納各項技術(shù)倫理要素或原則。

2 模型建構(gòu)

基于表1中技術(shù)倫理取向的內(nèi)容分析，本研究提出智慧教育技術(shù)倫理取向模型（如圖1所示），以系統(tǒng)、結(jié)構(gòu)化手段呈現(xiàn)面向智慧教育實踐的智能技術(shù)教育應(yīng)用需要關(guān)注的技術(shù)倫理規(guī)范，其最終目的是使智能技術(shù)在合乎倫理規(guī)范的基礎(chǔ)上服務(wù)于智慧教育“教-學(xué)-管-評-練-研”全流程典型應(yīng)用場景。

接下來，參考上述報告中的相關(guān)內(nèi)容給出各倫理取向的描述性解釋：①智能技術(shù)向度涵蓋算法技術(shù)與產(chǎn)品的可解釋、準(zhǔn)確、安全和穩(wěn)定等取向。智能技術(shù)教育應(yīng)用要考慮算法的可解釋性問題，追求技術(shù)在輸入輸出、性能表現(xiàn)、結(jié)果生成過程中運行原理和決策過程的可公開、可理解和可追溯，提高可信度；同時需要考慮其分析結(jié)果和生成內(nèi)容的準(zhǔn)確性，避免出現(xiàn)虛假內(nèi)容誤導(dǎo)；安全則指在算法、人機交互設(shè)計和產(chǎn)品形態(tài)上的安全合規(guī)和不傷害特征，實現(xiàn)安全保障；穩(wěn)定體現(xiàn)為智能教育系統(tǒng)的魯棒特征，以及在應(yīng)對風(fēng)險侵入情況下穩(wěn)健發(fā)揮的能力，避免出現(xiàn)技術(shù)異常結(jié)果。②教育數(shù)據(jù)向度包括數(shù)據(jù)安全、數(shù)據(jù)規(guī)范等取向。數(shù)據(jù)安全指教育數(shù)據(jù)在采集、存儲、使用、共享和刪除等過程中需確保數(shù)據(jù)安全，避免泄露和濫用；數(shù)據(jù)規(guī)范則需要追求數(shù)據(jù)采集、處理、存儲、分享的格式和業(yè)務(wù)標(biāo)準(zhǔn)化，保證數(shù)據(jù)的質(zhì)量和通用性，實現(xiàn)系統(tǒng)間數(shù)據(jù)的有序健康流動，同時建立真實、準(zhǔn)確、客觀和多樣的教育訓(xùn)練數(shù)據(jù)集，避免數(shù)據(jù)偏見。③教育監(jiān)管向度關(guān)注問責(zé)、監(jiān)管和協(xié)同治理等取向。問責(zé)的作用在于建立法規(guī)條例，以明確智能技術(shù)在教育開發(fā)與應(yīng)用環(huán)節(jié)中各主體的責(zé)任和義務(wù)，引導(dǎo)技術(shù)合理運用、避免因擔(dān)責(zé)不明引發(fā)更多亂象；監(jiān)管在于實現(xiàn)智能技術(shù)教育應(yīng)用的可監(jiān)察、可評估和可管理，避免技術(shù)倫理風(fēng)險治理失序；不同利益攸關(guān)方采取包容性方法開展協(xié)同治理，有助于使技術(shù)惠益為社會全體共享并推動其可持續(xù)發(fā)展。④教育主體向度關(guān)注公平、控制權(quán)、人的尊嚴(yán)和隱私保護等取向。公平指技術(shù)資源在不同國家或區(qū)域、種族、個體、性別、殘障情況、語言群體等方面的非歧視、訪問與獲得平等的普惠表現(xiàn)；控制權(quán)體現(xiàn)在教育主體能夠根據(jù)個體意愿自由決定技術(shù)的使用和終止，以及在各使用環(huán)節(jié)實現(xiàn)對技術(shù)的管理，避免技術(shù)失控；人的尊嚴(yán)是每個人生來具備且不可侵犯的，智能技術(shù)在整個應(yīng)用生命周期中需要尊重教育主體的人權(quán)和基本自由；隱私保護指智能技術(shù)教育應(yīng)用過程中對個人隱私的接觸要合理、合規(guī)和克制，避免侵犯個人隱私。

二 風(fēng)險表征：智慧教育典型場景下的技術(shù)倫理風(fēng)險

智能技術(shù)與教育融合帶來了諸多創(chuàng)新和便利，創(chuàng)生出智慧平安校園、機器人學(xué)伴、虛擬仿真實訓(xùn)等典型應(yīng)用[18]，在變革教學(xué)模式、學(xué)習(xí)方法、教育管理、教育評測、技能訓(xùn)練、知識生產(chǎn)方式等方面取得了顯著進展。然而，智能技術(shù)的發(fā)展及其規(guī)模化教育應(yīng)用也引發(fā)了一系列倫理風(fēng)險問題。教育是復(fù)雜的社會活動，真實教育場景下所涉及的技術(shù)種類和業(yè)務(wù)實踐具備復(fù)雜性、多元性和場景異質(zhì)性的特點，其中的技術(shù)倫理風(fēng)險也存在不同的表征形式。為此，本研究依次從“教-學(xué)-管-評-練-研”六大智慧教育典型業(yè)務(wù)場景切入，明晰其“實然困境”。

1 教育機器人誤用沖擊教學(xué)主導(dǎo)權(quán)與師生關(guān)系邊界

從計算機輔助教學(xué)、智能導(dǎo)師系統(tǒng)到教育機器人，技術(shù)發(fā)展促成了人機關(guān)系從輔助到協(xié)同的迭代升級[19]。然而，在教學(xué)中引入教育機器人使“師-生”二元關(guān)系向“師-機-生”三元關(guān)系轉(zhuǎn)換時，如果整合不當(dāng)，則可能會對學(xué)生的學(xué)習(xí)方式和情感發(fā)展、教師的角色和教學(xué)主導(dǎo)權(quán)產(chǎn)生負面影響。教師是學(xué)生的引導(dǎo)者和指導(dǎo)者，教育機器人在一定程度上能夠削弱甚至替代人師的角色和權(quán)力，這種教學(xué)主體錯位會造成師生之間的人際接觸和互動溝通減少[20]，學(xué)生可能更多地依賴機師而不是人師，導(dǎo)致師生關(guān)系、生生關(guān)系和人機關(guān)系發(fā)生結(jié)構(gòu)異化。此外，由于兒童能夠?qū)⑷祟惖恼J知、行為和情感特征歸因于機器人[21]，而教育機器人不僅具有技術(shù)工具屬性，還具備外顯的認知、行為和情感表現(xiàn)能力，因此這種類人屬性可能導(dǎo)致教育機器人在教學(xué)中的功能和角色邊界更加復(fù)雜?！禖OMEST機器人倫理報告》同樣指出，機器人技術(shù)能夠模糊人類主體和技術(shù)客體之間的界限，其中角色問題是教育機器人的重要關(guān)注點，即教育機器人應(yīng)該被視為導(dǎo)師、工具還是同伴，以及教育機器人能在多大程度上取代教師[22]。目前，教育機器人正處于發(fā)展初級階段，存在教學(xué)性不足、反饋性差、感知力欠缺等問題[23]，其負面或失控行為的道德和法律責(zé)任也面臨追責(zé)歸因問題。

2 算法歧視阻礙學(xué)生的個性化學(xué)習(xí)和全面發(fā)展

社會發(fā)展促使教育需求正從標(biāo)準(zhǔn)化教學(xué)走向個性化學(xué)習(xí)和終身學(xué)習(xí)，教學(xué)服務(wù)也由標(biāo)準(zhǔn)化供給向個性化服務(wù)轉(zhuǎn)變[24]。智能教育系統(tǒng)致力于根據(jù)學(xué)生的能力、學(xué)習(xí)風(fēng)格等特質(zhì)提供個性化和定制化的學(xué)習(xí)內(nèi)容與路徑，然而由于程序模型的“算法歧視”，以及數(shù)據(jù)采集存在的片面和偏差問題，致使算法在面對不同數(shù)據(jù)主體時可能會進行區(qū)別對待，容易在資源推薦和教學(xué)決策方面產(chǎn)生能力偏見、性別偏見、種族偏見等歧視性后果，這將導(dǎo)致個性化學(xué)習(xí)目標(biāo)未能真正實現(xiàn)、學(xué)習(xí)結(jié)果兩極分化和教育不公平現(xiàn)象的加劇。此外，算法推薦技術(shù)還存在“信息繭房”效應(yīng)，當(dāng)學(xué)生受到“算法針對用戶興趣而有目的推薦”機制的影響，導(dǎo)致接收信息和學(xué)習(xí)的路徑單一化、觀念日趨片面化時，其固有觀念會不斷強化，智能技術(shù)反而可能引發(fā)學(xué)生整體的價值偏見和歧視[25]，不利于學(xué)生綜合素質(zhì)的全面發(fā)展。

3 教育數(shù)據(jù)管理失范增加隱私泄露與濫用風(fēng)險

教育數(shù)據(jù)涵蓋教育實踐活動所產(chǎn)生或關(guān)聯(lián)的各類數(shù)據(jù)，具備數(shù)據(jù)從產(chǎn)生、采集、擁有到使用的循環(huán)特征[26]，而智能技術(shù)對多元教育數(shù)據(jù)的大量采集和分析存在隱私侵犯、數(shù)據(jù)泄露與濫用的倫理風(fēng)險。例如，在學(xué)校教育中，智慧平安校園監(jiān)控、人臉識別打卡設(shè)備乃至課堂監(jiān)測系統(tǒng)日益壓縮學(xué)生的隱私空間，“超級全景監(jiān)獄”之下一切教與學(xué)活動開放透明且無可遁形[27]；學(xué)生個人信息、學(xué)業(yè)成績等數(shù)據(jù)也可能遭受教務(wù)管理人員失職、未經(jīng)授權(quán)的訪問、黑客攻擊和系統(tǒng)漏洞的安全威脅，引發(fā)數(shù)據(jù)泄露和篡改風(fēng)險，影響教育主體的信息、身心和物質(zhì)安全。美國政府問責(zé)局在2020年發(fā)布的一項調(diào)查表明，在99起數(shù)據(jù)泄露事件中有數(shù)千名K-12學(xué)生受到負面影響，其中學(xué)業(yè)成績和特殊教育記錄等信息是常見的泄露類型[28]。在線教育中，學(xué)生在教育平臺和客戶端應(yīng)用中的個人隱私數(shù)據(jù)則可能被販賣和濫用，以達成不當(dāng)?shù)纳虡I(yè)目的、決策偏見等。智能教育產(chǎn)品對用戶信息的不當(dāng)收集與濫用現(xiàn)象屢見不鮮，近年來工信部在各批次關(guān)于侵害用戶權(quán)益行為的商業(yè)APP（SDK）中曝光了大量違規(guī)收集個人信息和過度索取權(quán)限的案例，甚至還有一些學(xué)生的個人數(shù)據(jù)被用于欺詐活動、身份盜竊或冒名頂替等違法行為。

4 過度依賴機器評測影響教師的評判能力和決策公平

教師的教學(xué)決策是影響教學(xué)實踐效果的重要因素[29]。數(shù)據(jù)驅(qū)動的各類智能化評價工具能夠從認知、情感、行為等多方面分析學(xué)生的學(xué)習(xí)狀態(tài)和認知水平，形成學(xué)習(xí)者畫像，并給出學(xué)業(yè)預(yù)警、反饋建議等信息，有助于教師調(diào)整教學(xué)策略和安排進度，簡化其腦力勞動和重復(fù)工作。然而，技術(shù)工具的自動化、高效率容易使部分教師滋生對機器自動化評測結(jié)果和推薦策略的過度依賴，成為被智能工具決策操縱的機械執(zhí)行者，導(dǎo)致教師忽視自身教育實踐智慧，鈍化教學(xué)情境評判能力，遮蔽自身對學(xué)生情感狀態(tài)的感知，并逐漸喪失作為教學(xué)決策者的主體性價值和角色能動性[30]。在這種情況下，不僅教師決策的有效性難以得到保證，教師自身專業(yè)技能的發(fā)展也可能受到負面影響。此外，算法的“黑箱”特征使決策過程不透明，機器評測所使用算法和數(shù)據(jù)質(zhì)量的不可靠性也可能影響教師的決策公平。如果算法模型存在錯誤假設(shè)、不準(zhǔn)確數(shù)據(jù)或忽略對學(xué)生個體差異和特殊情況的考慮，就可能影響機器評測結(jié)果的準(zhǔn)確性和可信度，對評估、學(xué)習(xí)路徑規(guī)劃等產(chǎn)生不當(dāng)影響，導(dǎo)致學(xué)生受挫或得到不公平對待，甚至影響其未來發(fā)展。

5 虛擬環(huán)境沉溺引發(fā)學(xué)生道德失守的隱憂

VR/AR/MR技術(shù)能夠有效降低實訓(xùn)成本、強化技能練習(xí)、規(guī)避真實實驗危險、跨越時空隔離限制并增強學(xué)習(xí)趣味性，然而虛擬環(huán)境的沉浸、臨場、多感官交互特征模糊了真實和虛擬的邊界，真實世界的倫理問題可能在虛擬世界中重現(xiàn)和異化，并反過來對現(xiàn)實產(chǎn)生影響。例如，虛擬環(huán)境存在生命的有限與無限、教學(xué)主體的尊嚴(yán)問題，但由于虛擬世界對道德行為準(zhǔn)則的遵守缺乏監(jiān)管，失去了對使用者不良操作行為及其后果的限制，容易造成道德感滑坡；虛擬環(huán)境中虛擬師生化身或代理角色的嵌入以及虛擬社交形式的出現(xiàn)，擴展了多元教學(xué)主體間的交互關(guān)系，師生和學(xué)生群體之間可能因為身份的虛擬性而忽略社交禮儀，甚至產(chǎn)生新型欺凌；學(xué)生在虛擬現(xiàn)實環(huán)境中的虛擬自我表征也會對使用者在真實世界的表現(xiàn)產(chǎn)生影響，使用者對虛擬化身“理想”特質(zhì)的認同感可能影響其在真實世界中的認知、態(tài)度和行為[31]；VR教育游戲產(chǎn)生的心流體驗也會誘發(fā)物化移情和失去自我的風(fēng)險，VR的過度使用同樣容易使學(xué)生產(chǎn)生行為性依賴和技術(shù)成癮[32]。此外，VR教育產(chǎn)品開發(fā)及其技術(shù)尚不成熟，虛擬與真實世界在參數(shù)表征方面存在差異，容易使學(xué)生產(chǎn)生客觀知識的記憶性錯誤、操作經(jīng)驗結(jié)果分析的錯誤等[33]，從而出現(xiàn)認知偏差；VR技術(shù)本身還容易觸發(fā)暈動癥，存在對師生用戶真實本體的技術(shù)安全風(fēng)險。

6 生成式AI濫用導(dǎo)致學(xué)生課業(yè)研究作弊及創(chuàng)造力退化

在教育領(lǐng)域，以ChatGPT為代表的AI大模型能夠匯聚、加工和生成個性化的學(xué)習(xí)資源[34]，然而其創(chuàng)作內(nèi)容可能存在事實性錯誤，具有內(nèi)容誤導(dǎo)和欺騙、虛假內(nèi)容傳播等隱匿性風(fēng)險，當(dāng)其不受合理約束而濫用時，容易導(dǎo)致學(xué)生課業(yè)研究作弊及創(chuàng)造力退化等問題。例如，學(xué)生過度依賴ChatGPT這類生成式AI完成課業(yè)學(xué)習(xí)和研究，容易出現(xiàn)投機取巧、課業(yè)舞弊等現(xiàn)象，引發(fā)學(xué)術(shù)倫理問題；學(xué)生可能會傾向或過度依賴于算法提供的推薦材料，而忽略對問題的主動探索和獨立思考，導(dǎo)致學(xué)習(xí)能力下降以及自身批判性思維能力和創(chuàng)造能力的退化。目前，生成式AI技術(shù)倫理風(fēng)險已被各方關(guān)注，如斯坦福研究團隊開發(fā)了DetectGPT以避免大語言模型在高等教育的不良入侵；國家網(wǎng)信辦[35]于2023年7月發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，明確提出生成式AI服務(wù)提供者應(yīng)當(dāng)采取有效措施防范未成年人過度依賴或者沉迷。

三 產(chǎn)生機理：智能技術(shù)教育應(yīng)用的技術(shù)倫理風(fēng)險成因

隨著智能技術(shù)介入教育多元場景，教育實踐中的人機協(xié)同程度不斷增強，本研究從“人機共教、人機共育”的分析視角，將智能技術(shù)教育應(yīng)用的技術(shù)倫理風(fēng)險成因歸于“技術(shù)工具-教育實踐-師生素養(yǎng)”三個維度。

1 技術(shù)工具失信

算法設(shè)計中的偏見和“黑箱”特性以及智能教育產(chǎn)品的可用性局限，是技術(shù)倫理風(fēng)險產(chǎn)生的核心原因：①算法本身的設(shè)計局限。首先，算法存在偏見。算法是技術(shù)人員思維邏輯的外延，根據(jù)人類思維方式編碼形成的分類標(biāo)注方式進行訓(xùn)練，得到的模型也帶有人的價值觀念和偏見，從而映射到算法的決策行為；受限于教學(xué)活動本身的復(fù)雜性，教育數(shù)據(jù)的采集難以保證全面性和準(zhǔn)確性，算法在訓(xùn)練過程中也可能存在帶有偏差的數(shù)據(jù)，導(dǎo)致算法歧視的固化，加劇“偏見進，偏見出”現(xiàn)象。其次，算法存在“黑箱”特征。大規(guī)模數(shù)據(jù)驅(qū)動的算法在神經(jīng)網(wǎng)絡(luò)模型層面包含的復(fù)雜結(jié)構(gòu)和參數(shù)數(shù)量級遠超人類的理解范疇，這使算法從輸入到輸出的內(nèi)在運行邏輯難以被人類洞悉，算法決策的透明度不夠且難以審查，可信度難以保證；教學(xué)過程是充分發(fā)揮學(xué)生與教師主觀能動性的過程，算法對數(shù)據(jù)相關(guān)關(guān)系的刻畫也不能完全解釋實際教學(xué)中因果關(guān)系的產(chǎn)生機制。②智能教育產(chǎn)品的可用性局限。首先，教育實踐對智能教育產(chǎn)品的可用性和有效性提出了更高的要求。然而由于技術(shù)開發(fā)與教學(xué)一線的關(guān)聯(lián)性較弱，甚至存在脫節(jié)現(xiàn)象，因此技術(shù)開發(fā)人員難以洞察真實的教育需求，并理解教育過程，導(dǎo)致教育產(chǎn)品功能與教學(xué)實踐需求匹配程度仍然存在較大的提升空間。其次，智能教育產(chǎn)品的研發(fā)標(biāo)準(zhǔn)不明，安全性和規(guī)范性難以得到保證。多元技術(shù)疊加會導(dǎo)致安全漏洞風(fēng)險的產(chǎn)生，在技術(shù)系統(tǒng)不合規(guī)、穩(wěn)定性和安全性難以抵抗風(fēng)險的侵入時，便會構(gòu)成對教育主體權(quán)益的損害。

2 教育實踐失范

在智能技術(shù)介入教育生態(tài)的過程中性質(zhì)迥異的要素不斷融合，教育系統(tǒng)愈加錯綜復(fù)雜，對教育實踐提出了更高的要求。這種情況下，技術(shù)融合教育實踐有效模式的失靈和倫理風(fēng)險監(jiān)管機制的缺失會導(dǎo)致技術(shù)倫理風(fēng)險不受控制：①技術(shù)融合教育實踐有效模式的失靈。新技術(shù)的不斷涌現(xiàn)和更迭，擴展了教育實踐邊界，形成了日益多元的智能化教育場景。在多樣化智能技術(shù)加持的教學(xué)環(huán)境中，教學(xué)模式的選擇和應(yīng)用也更加復(fù)雜，當(dāng)教育者面臨不同的技術(shù)選擇，但缺乏有效教學(xué)模式指導(dǎo)及其開展經(jīng)驗支持時，在缺乏風(fēng)險管理的情況下可能導(dǎo)致技術(shù)不當(dāng)整合和盲目使用等風(fēng)險及其不良后果的產(chǎn)生。例如，隨著機器的智能程度不斷增強，其能夠處理的任務(wù)范圍不斷擴大，教師如何在人機協(xié)同教學(xué)過程中確定與之協(xié)同的機器類型以及人機之間的角色、任務(wù)分配方案，是智能時代人機協(xié)同教學(xué)模式建構(gòu)需要考慮的重要方面[36]，其可以避免教學(xué)主體錯位問題的產(chǎn)生。②倫理風(fēng)險監(jiān)管機制的缺失。在智能技術(shù)教育應(yīng)用中，相關(guān)的技術(shù)倫理風(fēng)險監(jiān)管機制是規(guī)范技術(shù)使用和人身道德的“守門人”，如果沒有制定明確的政策和準(zhǔn)則，就可能導(dǎo)致教育機構(gòu)和教育實踐者在應(yīng)用智能技術(shù)時缺乏責(zé)任感和規(guī)范約束。近年來，風(fēng)險監(jiān)管機制的缺失使不當(dāng)行為問題日益凸顯。例如，在教育數(shù)據(jù)管理期間，教師、管理者或其他工作人員均可接觸數(shù)據(jù)，這導(dǎo)致行為規(guī)范難以統(tǒng)籌管控[37]，師生教育數(shù)據(jù)和身份信息在不知情的情況下被私自販賣的情況層見疊出[38]，教育領(lǐng)域問責(zé)監(jiān)管機制的缺失無疑會造成技術(shù)應(yīng)用的灰色地帶，滋生不良違規(guī)行為。

3 師生素養(yǎng)不足

技術(shù)應(yīng)用的主體是人，師生的數(shù)字素養(yǎng)是智能技術(shù)在教育中合理運用的關(guān)鍵。在教育實踐中應(yīng)用智能技術(shù)時，師生不僅需要具備相關(guān)的技術(shù)知識、技能等技術(shù)素養(yǎng)，還要具備相應(yīng)的態(tài)度、價值觀等倫理意識，而兩者的不足可能會引發(fā)技術(shù)倫理風(fēng)險的產(chǎn)生：①師生技術(shù)知識與技能方面的技術(shù)素養(yǎng)不足。如果師生的技術(shù)知識與技能不足且缺乏相應(yīng)的素養(yǎng)教育，便不能正確、適度使用智能技術(shù)，可能出現(xiàn)過度依賴、人為失誤和能動性被技術(shù)消解的情況；技術(shù)知識與技能的缺乏也可能導(dǎo)致教育工作者無法妥善維護技術(shù)系統(tǒng)，增加技術(shù)故障和數(shù)據(jù)泄露等風(fēng)險產(chǎn)生的可能性，這些因素都會對智能技術(shù)教育應(yīng)用效果產(chǎn)生不良影響。②師生的倫理意識也在規(guī)范教育實踐中起重要作用。如果教師對智能技術(shù)倫理風(fēng)險缺乏足夠的認知了解，就可能無法正確引導(dǎo)學(xué)生使用技術(shù)促進自身的學(xué)習(xí)和發(fā)展；而學(xué)生如果不具備較強的隱私保護意識，缺乏批判性思維和辨識虛假信息的能力，其心智也會被大量魚龍混雜的錯誤不良信息所誤導(dǎo)，影響未來的行為實踐。

四 行動建議：面向智慧教育發(fā)展的技術(shù)倫理風(fēng)險規(guī)約

基于上述成因剖析，本研究提出面向智慧教育發(fā)展的技術(shù)倫理風(fēng)險防范和治理建議，以期助力教育主體、智能技術(shù)與教育實踐和諧共進發(fā)展，促成教育形態(tài)向智慧教育全方位躍遷。

1 提升智能教育產(chǎn)品的可用性

企業(yè)作為智慧教育服務(wù)的提供者，應(yīng)承擔(dān)產(chǎn)品服務(wù)和技術(shù)保障的責(zé)任，提高產(chǎn)品的可用性：①嚴(yán)格強化研發(fā)標(biāo)準(zhǔn)，規(guī)范智能教育產(chǎn)品的設(shè)計開發(fā)及服務(wù)。在產(chǎn)品開發(fā)前應(yīng)深入了解真實的教育需求和應(yīng)用條件，確定系統(tǒng)無縫集成和數(shù)據(jù)流動所需的數(shù)據(jù)采集、傳輸、處理規(guī)范，如數(shù)據(jù)標(biāo)準(zhǔn)化、網(wǎng)絡(luò)安全通信協(xié)議、API接口等使用設(shè)計，避免產(chǎn)品功能設(shè)計冗余，以及因為平臺數(shù)據(jù)難互通和業(yè)務(wù)流程不連貫造成信息孤島現(xiàn)象；在產(chǎn)品開發(fā)中完善對系統(tǒng)數(shù)據(jù)加密處理、訪問控制與權(quán)限管理、網(wǎng)絡(luò)和系統(tǒng)安全、數(shù)據(jù)備份與恢復(fù)等技術(shù)安全保障措施的開發(fā)；在產(chǎn)品原型形成后開展系統(tǒng)測試與評估，及時修復(fù)漏洞問題，保障產(chǎn)品的安全穩(wěn)定；在產(chǎn)品推廣中遵循倫理規(guī)范，保障用戶的權(quán)益和隱私。②升級智能教育產(chǎn)品中算法可解釋性的解決方案，推動智能教育產(chǎn)品走向可信賴、負責(zé)任的技術(shù)發(fā)展方向。提高算法可解釋性需要從算法生命周期的各個步驟介入，如在訓(xùn)練數(shù)據(jù)集準(zhǔn)備環(huán)節(jié)避免數(shù)據(jù)偏見；在自動化決策模型構(gòu)建中，綜合考慮學(xué)生背景、學(xué)業(yè)成績、興趣風(fēng)格等個體差異和其他特殊情況，確保決策的公正性和合理性，防范算法歧視和決策偏差；在不同教育應(yīng)用的部署場景中，可將全局可解釋性和局部可解釋性納入考慮范疇，為師生提供有針對性的模型性能指標(biāo)和決策因素權(quán)重等信息，提高算法的透明度。

2 加強技術(shù)引入教育的風(fēng)險管理

學(xué)校是智慧教育的重要承擔(dān)者和建設(shè)者，通過制定智能技術(shù)風(fēng)險評估與管理機制，為師生提供安全的智能教學(xué)環(huán)境：①建立風(fēng)險評估與應(yīng)對機制。在技術(shù)引入前明確技術(shù)應(yīng)用的目標(biāo)和范圍，確保技術(shù)與教學(xué)目標(biāo)相契合；充分了解其適用性與局限性，明確潛在風(fēng)險和應(yīng)對措施，對智能教育產(chǎn)品進行全面的風(fēng)險評估；在開展技術(shù)的試點實踐時，學(xué)校應(yīng)進行充分的準(zhǔn)備與測試，保證技術(shù)的穩(wěn)定性和可靠性，避免因技術(shù)問題而影響師生正常教學(xué)活動。②推廣技術(shù)管理與運用經(jīng)驗。學(xué)校可為新技術(shù)的應(yīng)用實踐建設(shè)良好的智能教學(xué)環(huán)境，為教師組織相關(guān)技能培訓(xùn)，培育典型智能技術(shù)教育應(yīng)用案例和實用教學(xué)模式，形成并推廣有效的智能技術(shù)管理和運用經(jīng)驗。

3 建立數(shù)據(jù)保護與問責(zé)監(jiān)管機制

政府在智慧教育發(fā)展中擔(dān)負著引導(dǎo)與監(jiān)管的責(zé)任，應(yīng)提供技術(shù)倫理風(fēng)險規(guī)約的頂層設(shè)計，推動智能技術(shù)與教育有機融合與和諧共進：①加強教育數(shù)據(jù)的隱私保護和使用規(guī)范。首先，建立教育數(shù)據(jù)分級分類保護制度，進一步深化數(shù)據(jù)收集和使用規(guī)范。考慮到教育數(shù)據(jù)種類豐富，需要提前布局?jǐn)?shù)據(jù)安全保護體系，形成數(shù)據(jù)使用規(guī)范，以確保個人隱私數(shù)據(jù)不被濫用和泄露。其次，規(guī)范訓(xùn)練數(shù)據(jù)集質(zhì)量，增強教育數(shù)據(jù)的真實性、準(zhǔn)確性、客觀性和多樣性。②制定法規(guī)條例約束技術(shù)服務(wù)提供者、學(xué)校、教育機構(gòu)等主體，為智慧教育發(fā)展提供監(jiān)管措施，使問責(zé)追溯有法可依。首先，技術(shù)快速演進、法律法規(guī)相對滯后的情況會引發(fā)一系列社會問題和倫理挑戰(zhàn)，相關(guān)政策以及問責(zé)機制的建立，能夠推動教育資源共享與整合，對違反倫理準(zhǔn)則的行為進行嚴(yán)肅追責(zé)。其次，智慧教育的發(fā)展涉及眾多利益相關(guān)者，需要跨界協(xié)同應(yīng)對技術(shù)倫理風(fēng)險，教育部門應(yīng)呼吁社會各界多方合作，在新技術(shù)規(guī)?；瘧?yīng)用前聯(lián)合各方開展應(yīng)用試點，形成共識并共同行動，在追求跨界協(xié)同的同時打破各方責(zé)任壁壘。

4 保障教育系統(tǒng)間數(shù)據(jù)的有序流動

各教育系統(tǒng)間需要規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)和共享機制，保障數(shù)據(jù)的健康流動。教育數(shù)據(jù)標(biāo)準(zhǔn)是實現(xiàn)教育系統(tǒng)間數(shù)據(jù)流動的基礎(chǔ)，數(shù)據(jù)共享機制是促使教育系統(tǒng)間數(shù)據(jù)健康有序流動的保障。不同教育系統(tǒng)間的數(shù)據(jù)互通共享和整合分析需要數(shù)據(jù)具備統(tǒng)一的格式規(guī)范和共享機制，以增強數(shù)據(jù)互操作性和跨部門匯聚流通的能力。教育領(lǐng)域存在大量的基礎(chǔ)數(shù)據(jù)，但由于多數(shù)教育單位在建設(shè)信息管理系統(tǒng)時僅考慮本單位的使用情況或僅滿足縱向業(yè)務(wù)需求，數(shù)據(jù)在跨部門互通時存在編碼、格式和質(zhì)量的差異，致使不同數(shù)據(jù)源之間出現(xiàn)融合障礙，且在跨層級交換時流程煩瑣，增加了共享成本，滋生安全隱患[39]。因此，通過數(shù)據(jù)標(biāo)準(zhǔn)化實現(xiàn)“統(tǒng)一標(biāo)準(zhǔn)”和“一源多用”，是實現(xiàn)教育數(shù)據(jù)保護和安全共享雙贏局面的重要手段。

5 重視師生數(shù)字素養(yǎng)的培養(yǎng)與提升

師生是智慧教育的實踐者和教育數(shù)據(jù)的重要產(chǎn)生來源，提升其數(shù)據(jù)隱私保護的倫理意識和合理使用技術(shù)的技術(shù)素養(yǎng)有助于防范技術(shù)倫理風(fēng)險造成不良后果：①師生需要培養(yǎng)技術(shù)素養(yǎng)和倫理意識，積極應(yīng)變，以確保智能教育產(chǎn)品在教學(xué)活動中的合理應(yīng)用。例如，教師需要積極參與教學(xué)培訓(xùn)以掌握相關(guān)技術(shù)知識與技能，了解智能技術(shù)教育應(yīng)用中的局限性和倫理風(fēng)險，培養(yǎng)對智能技術(shù)引入教學(xué)環(huán)節(jié)的審慎態(tài)度，避免技術(shù)的過度和不當(dāng)使用；學(xué)生則需要培養(yǎng)隱私保護意識，發(fā)展批判性思維能力。②師生需要在實踐中挖掘有效技術(shù)整合教學(xué)的模式和經(jīng)驗，主動求變，培養(yǎng)自身對人機協(xié)同教學(xué)環(huán)境的適應(yīng)性，并提高智慧教育場景下的人機協(xié)同能力。

參考文獻

[1]杜靜，黃榮懷，李政璇，等.智能教育時代下人工智能倫理的內(nèi)涵與建構(gòu)原則[J].電化教育研究，2019，（7）：21-29.

[2]胡小勇，黃婕，林梓柔，等.教育人工智能倫理：內(nèi)涵框架、認知現(xiàn)狀與風(fēng)險規(guī)避[J].現(xiàn)代遠程教育研究，2022，（2）：21-28、36.

[3][11]UNESCO. Beijing consensus on artificial intelligence and education[OL].

[4]UNESCO. Recommendation on the ethics of artificial intelligence[OL].

[5]白鈞溢，于偉.超越“共識”：教育人工智能倫理原則構(gòu)建的發(fā)展方向[J].中國電化教育，2023，（6）：9-17、24.

[6]黃榮懷，劉夢彧，劉嘉豪，等.智慧教育之“為何”與“何為”——關(guān)于智能時代教育的表現(xiàn)性與建構(gòu)性特征分析[J].電化教育研究，2023，（1）：5-12、35.

[7]張永波.智慧教育倫理觀的建構(gòu)機理研究[J].中國電化教育，2020，（3）：49-55、92.

[8]李建華.倫理與道德的互釋及其側(cè)向[J].武漢大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2020，（3）：59-70.

[9]趙磊磊，張黎，代蕊華.教育人工智能倫理：基本向度與風(fēng)險消解[J].現(xiàn)代遠距離教育，2021，（5）：73-80.

[10]國務(wù)院.國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知[OL].

[12]UNESCO. Artificial intelligence in education： Challenges and opportunities for sustainable development[OL].

[13]OECD. Trustworthy artificial intelligence （AI） in education： Promises and challenges[OL].

[14]UNESCO. AI and education： guidance for policy-makers[OL].

[15]The University of Buckinham. The ethical framework for AI in education[OL].

[16]U.S. Department of Education， Office of Educational Technology. Artificial intelligence and the future of teaching and learning[OL].

[17]UNESCO. Generative AI and the future of education[OL].

[18]楊俊鋒，施高俊，莊榕霞，等.5G+智慧教育：基于智能技術(shù)的教育變革[J].中國電化教育，2021，（4）：1-7.

[19][36]黃榮懷，劉德建，阿罕默德·提利利，等.人機協(xié)同教學(xué)：基于虛擬化身、數(shù)字孿生和教育機器人場景的路徑設(shè)計[J].開放教育研究，2023，（6）：4-14.

[20]Sharkey A J C. Should we welcome robot teachers？[J]. Ethics and Information Technology， 2016，18：283-297.

[21]Beran T N， Ramirez-Serrano A， Kuzyk R， et al. Understanding how children understand robots： Perceived animism in child-robot interaction[J]， International Journal Human-Computer Studies， 2011，（7-8）：539-550.

[22]UNESCO， COMEST. Report of COMEST on robotics ethics[R]. Praris： UNESCO， 2017：33.

[23]盧宇，薛天琪，陳鵬鶴，等.智能教育機器人系統(tǒng)構(gòu)建及關(guān)鍵技術(shù)——以“智慧學(xué)伴”機器人為例[J].開放教育研究，2020，（2）：83-91.

[24]黃榮懷，劉德建，焦艷麗，等.互聯(lián)網(wǎng)教育服務(wù)產(chǎn)業(yè)研究報告[R].北京：互聯(lián)網(wǎng)智能技術(shù)及應(yīng)用國家工程實驗室，2017：4.

[25]韋妙，何舟洋.本體、認識與價值：智能教育的技術(shù)倫理風(fēng)險隱憂與治理進路[J].現(xiàn)代遠距離教育，2022，（1）：75-82.

[26]劉三女牙，楊宗凱，李卿.教育數(shù)據(jù)倫理：大數(shù)據(jù)時代教育的新挑戰(zhàn)[J].教育研究，2017，（4）：15-20.

[27]孫立會.人工智能之于教育決策的主體性信任危機及其規(guī)避[J].電化教育研究，2023，（3）：21-27、43.

[28]United States Government Accountability Office. Data security： Recent K-12 data breaches show that students are vulnerable to harm[OL].

[29]沈書生.聚焦學(xué)習(xí)決策：指向認知發(fā)生的數(shù)據(jù)及其應(yīng)用[J].電化教育研究，2021，（11）：13-19.

[30]蔣艷雙，崔璨，劉嘉豪，等.教育領(lǐng)域中的情感計算技術(shù)：應(yīng)用隱憂、生成機制與實踐規(guī)約[J].中國電化教育，2022，（5）：91-98.

[31]高媛，劉德建，黃真真，等.虛擬現(xiàn)實技術(shù)促進學(xué)習(xí)的核心要素及其挑戰(zhàn)[J].電化教育研究，2016，（10）：77-87、103.

[32]孫田琳子.虛擬現(xiàn)實教育應(yīng)用的倫理反思——基于伯格曼技術(shù)哲學(xué)視角[J].電化教育研究，2020，（9）：48-54.

[33]沈陽，逯行，曾海軍.虛擬現(xiàn)實：教育技術(shù)發(fā)展的新篇章——訪中國工程院院士趙沁平教授[J].電化教育研究，2020，（1）：5-9.

[34]吳砥，李環(huán)，陳旭.人工智能通用大模型教育應(yīng)用影響探析[J].開放教育研究，2023，（2）：19-25、45.

[35]中國網(wǎng)信網(wǎng).生成式人工智能服務(wù)管理暫行辦法[OL].

[37]張譽元，張海.數(shù)據(jù)生命周期視閾下教育數(shù)據(jù)倫理問題及規(guī)約之徑[J].中國電化教育，2022，（10）：118-125.

[38]趙磊磊，陳祥梅.數(shù)智時代教育大數(shù)據(jù)風(fēng)險：表征樣態(tài)與化解路向[J].貴州師范大學(xué)學(xué)報（社會科學(xué)版），2022，（2）：72-82.

[39]楊琳，王煒，諸紀(jì)，等.面向數(shù)據(jù)共享的教育數(shù)據(jù)標(biāo)準(zhǔn)體系研究與建設(shè)實踐[J].大數(shù)據(jù)，2020，（6）：3-13.

The Technology Ethical Orientation and Risk Governance for Smart Education

Abstract： At present， the integration of intelligent technology and education is driving a profound change in the educational mode， and at the same time spawning technological ethical risks such as algorithm discrimination， technology abuse， privacy disclosure， and dislocation of educational subjects. How to avoid the risks to maximize the benefits of intelligent technology has become an essential issue in the development of smart education. Therefore， this paper firstly analyzed the related reports of technology ethics， and described the technology ethics orientations of smart education in four aspects of intelligence technology， educational subject， educational data， and educational supervision. Then， this paper analyzed the representations of differentiated technology ethical risks in six typical scenarios of “teaching-learning-management-evaluation-training-research”， and classified their root causes into three levels of untrustworthiness of technology tools， the anomie of educational practice， and the lack of teachers and students quality. Finally， the suggestions on risk prevention and governance were given in the perspectives of technology upgrading， risk management， accountability supervision， data flow， and literacy improvement to assist the sustainable and healthy development of smart education.

Keywords： smart education; intelligent technology; ethical norms; risk representation; risk governance