摘" "要：歐盟發(fā)布的《人工智能法案》提出采用分級(jí)管控、全生命周期監(jiān)管等措施提高人工智能的安全性。基于該法案提出的風(fēng)險(xiǎn)監(jiān)管理念，結(jié)合全球人工智能教育應(yīng)用的風(fēng)險(xiǎn)防范案例，從以下幾個(gè)方面分析了面對(duì)風(fēng)險(xiǎn)時(shí)可采取的防范對(duì)策：保護(hù)受教育者的基本權(quán)益，避免算法歧視;保護(hù)師生個(gè)人隱私數(shù)據(jù)，杜絕數(shù)據(jù)泄露;確保教育應(yīng)用的透明性和可解釋性，防范信息污染。最后，建議適時(shí)出臺(tái)人工智能教育應(yīng)用的分類(lèi)分級(jí)指導(dǎo)政策，構(gòu)建分類(lèi)分級(jí)與風(fēng)險(xiǎn)防范并行的監(jiān)管制度;高度重視師生隱私信息保護(hù)，加強(qiáng)師生人工智能素養(yǎng)教育，積極構(gòu)建教育可信數(shù)據(jù)空間;在人工智能教育產(chǎn)品開(kāi)發(fā)的過(guò)程中，應(yīng)遵從人工智能應(yīng)用風(fēng)險(xiǎn)防范和倫理規(guī)范，確保所開(kāi)發(fā)的教育產(chǎn)品符合倫理準(zhǔn)則和價(jià)值觀(guān)。

關(guān)鍵詞：歐盟;人工智能法案;人工智能教育;風(fēng)險(xiǎn)防范;可信數(shù)據(jù)空間

中圖分類(lèi)號(hào)：G434" " " " "文獻(xiàn)標(biāo)志碼：A " " " " "文章編號(hào)：1673-8454（2025）02-0079-10

一、引言

歐盟理事會(huì)2024年5月正式批準(zhǔn)通過(guò)了《人工智能法案》（AI Act），該法案是首個(gè)基于風(fēng)險(xiǎn)分級(jí)的人工智能管控法案，旨在以全面的、基于倫理的方式監(jiān)管人工智能，建立一個(gè)共同的法律和監(jiān)管框架。該法案的出臺(tái)，標(biāo)志著歐盟在人工智能治理方面走在世界前列，同時(shí)也為全球人工智能治理提供了范本和藍(lán)圖參考[1]。

人工智能技術(shù)具有復(fù)雜性、擴(kuò)展性、不可控性、不可預(yù)知性等特點(diǎn)[2]，將其融入教育領(lǐng)域、變革教育活動(dòng)的同時(shí)，也需面臨該法案中所提及的風(fēng)險(xiǎn)。當(dāng)前，我國(guó)正處在利用人工智能技術(shù)全面推動(dòng)教育數(shù)字化轉(zhuǎn)型階段，在人工智能教育的風(fēng)險(xiǎn)管理方面面臨諸多挑戰(zhàn)，在具體可執(zhí)行的風(fēng)險(xiǎn)防范措施方面還有待完善。

本文將結(jié)合教育領(lǐng)域的特性，參考近年全球人工智能應(yīng)用于教育的典型案例，分析歐盟《人工智能法案》相關(guān)條例在教育應(yīng)用中的實(shí)際表現(xiàn)和潛在價(jià)值。同時(shí)，將構(gòu)建一個(gè)人工智能應(yīng)用于教育領(lǐng)域的風(fēng)險(xiǎn)分類(lèi)分級(jí)框架，提出構(gòu)建教育可信數(shù)據(jù)空間保護(hù)師生隱私信息、遵從倫理規(guī)范進(jìn)行教育產(chǎn)品開(kāi)發(fā)的措施建議，旨在為政府、學(xué)校、企業(yè)等多方提供參考和借鑒。

二、《人工智能法案》的出臺(tái)背景

（一）出臺(tái)歷程

據(jù)國(guó)際數(shù)據(jù)公司（IDC）發(fā)布的《全球人工智能和生成式人工智能支出指南》（Worldwide AI and Generative AI Spending Guide）估計(jì)， 2024年歐洲人工智能市場(chǎng)規(guī)模將達(dá)476億美元，約占全球人工智能市場(chǎng)總額的1/5，且仍在以33.7%的年復(fù)合增長(zhǎng)率持續(xù)擴(kuò)增[3]。

縱觀(guān)歐盟人工智能政策的發(fā)布?xì)v史（見(jiàn)圖1），早在2018年，歐洲政治戰(zhàn)略中心就發(fā)布《人工智能時(shí)代：確立以人為本的歐洲戰(zhàn)略》（The Age of AI： Towards a European Strategy for Human-Centric Machines），明確其人工智能發(fā)展將以人為本的價(jià)值觀(guān)作為基礎(chǔ)，并提出參與全球競(jìng)爭(zhēng)的戰(zhàn)略定位;2019年，歐盟發(fā)布《可信賴(lài)人工智能倫理準(zhǔn)則》（Ethics Guidelines for Trustworthy AI），提出只有“以人為中心的、可信賴(lài)的”人工智能才符合歐洲的價(jià)值觀(guān);2020年，歐盟發(fā)布《人工智能白皮書(shū)——追求卓越和信任的歐洲方案》（White Paper on AI-A European Approach to Excellence and Trust），明確歐盟的核心策略是以倫理監(jiān)管為主的遏制型戰(zhàn)略;同年又發(fā)布《數(shù)字教育行動(dòng)計(jì)劃（2021—2027）》（Digital Education Action Plan 2021-2027），提出“發(fā)展高績(jī)效數(shù)字教育生態(tài)系統(tǒng)”和“提高數(shù)字化轉(zhuǎn)型的數(shù)字技能和能力”戰(zhàn)略，支持各成員國(guó)的教育和培訓(xùn)系統(tǒng)有效適應(yīng)數(shù)字時(shí)代新的發(fā)展與變化[4];2021年，歐盟首次提出《人工智能法案》談判授權(quán)草案，歷時(shí)3年的艱苦談判和多方努力，該法案最終于2024年3月在歐洲議會(huì)中獲得通過(guò)，并于5月被歐洲理事會(huì)批準(zhǔn)實(shí)施。

（二）國(guó)際人工智能競(jìng)爭(zhēng)的需要

中美英等國(guó)從國(guó)家層面規(guī)范部署、快速推進(jìn)關(guān)于人工智能治理的規(guī)則建設(shè)，以保護(hù)公眾利益。我國(guó)高度重視人工智能的發(fā)展、安全與治理，提出人工智能發(fā)展應(yīng)堅(jiān)持以人為本、智能向善、造福人類(lèi)的原則。2021年9月，我國(guó)發(fā)布《新一代人工智能倫理規(guī)范》，制定人工智能監(jiān)管框架，統(tǒng)籌人工智能發(fā)展與安全，平衡人工智能監(jiān)管與創(chuàng)新;2023年7月，我國(guó)又發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，制定相關(guān)倫理治理原則，要求負(fù)責(zé)任地開(kāi)發(fā)生成式人工智能[5]，一邊鼓勵(lì)自主創(chuàng)新，一邊劃定發(fā)展“紅線(xiàn)”。

美國(guó)對(duì)人工智能的監(jiān)管程度較低，更多是鼓勵(lì)行業(yè)自律，體現(xiàn)出以產(chǎn)業(yè)發(fā)展優(yōu)先的指導(dǎo)理念。2016年10月，美國(guó)發(fā)布《為人工智能的未來(lái)做好準(zhǔn)備》（Preparing for the Future of AI）的報(bào)告，調(diào)查了美國(guó)人工智能產(chǎn)業(yè)現(xiàn)狀，并提出對(duì)人工智能進(jìn)行監(jiān)管采取的行動(dòng)計(jì)劃;2022年10月，美國(guó)發(fā)布《人工智能權(quán)利法案藍(lán)圖》（Blueprint for an AI Bill of Right），確立了五項(xiàng)非約束性原則，預(yù)防濫用人工智能技術(shù)帶來(lái)的風(fēng)險(xiǎn);2023年10月，美國(guó)發(fā)布《關(guān)于安全、可靠和值得信賴(lài)地開(kāi)發(fā)和使用人工智能的行政命令》（Executive Order on the Safe， Secure， and Trustworthy Development and Use of AI），確立了人工智能安全和安保的新標(biāo)準(zhǔn)[6]。

英國(guó)力爭(zhēng)成為全球人工智能安全監(jiān)管的地理中心。2022年7月，英國(guó)發(fā)布《建立有利于創(chuàng)新的人工智能監(jiān)管方法》（Establishing a Pro-Innovation Approach to Regulating AI），基于人工智能的自適應(yīng)性、自主性等特征，以創(chuàng)建新型的人工智能監(jiān)管機(jī)制為目標(biāo);2023年3月，英國(guó)發(fā)布《促進(jìn)創(chuàng)新的人工智能監(jiān)管方法》（A Pro-Innovation Approach to AI Regulation）白皮書(shū)，概述了人工智能治理的5項(xiàng)原則;2023年11月，英國(guó)舉辦全球首屆人工智能安全峰會(huì)，“希望英國(guó)不僅成為知識(shí)中心，而且成為全球人工智能安全監(jiān)管的地理中心”[7]。

因此，從外部環(huán)境來(lái)看，中美英等國(guó)在人工智能的算法、算力、數(shù)據(jù)、場(chǎng)景等方面“遙遙領(lǐng)先”，歐盟在人工智能關(guān)鍵技術(shù)方面面臨落后的危險(xiǎn)，為了在競(jìng)爭(zhēng)中贏(yíng)得一席之地[8]，歐盟需要制定一部人工智能領(lǐng)域的全面監(jiān)管法規(guī)，以鞏固其在人工智能領(lǐng)域的地位。

（三）其他方面考慮

相較于其他國(guó)家和組織在人工智能研發(fā)生態(tài)、應(yīng)用圖景等方面的高度關(guān)注，歐盟更重視人工智能倫理和風(fēng)險(xiǎn)監(jiān)管研究，強(qiáng)調(diào)對(duì)技術(shù)的監(jiān)管要“以人為本，保護(hù)歐盟公民權(quán)益”。2018年，歐盟發(fā)布《通用數(shù)據(jù)保護(hù)條例》（General Data Protection Regulation， GDPR），至今已形成事實(shí)上的國(guó)際數(shù)據(jù)安全一體化區(qū)域，歐洲隱私法律的地域適用范圍正通過(guò)GDPR不斷擴(kuò)大，位于歐盟境外、不受歐洲隱私法律規(guī)制的許多組織不得不適用歐盟隱私法律，即布魯塞爾效應(yīng)（Brussels Effect）。英國(guó)、日本、土耳其、巴西、南非等國(guó)家都以GDPR為參考制定了本國(guó)的公共政策法律，美國(guó)的《加利福尼亞州消費(fèi)者隱私法案》（California Consumer Privacy Act，CCPA）以及《中華人民共和國(guó)數(shù)據(jù)安全法》《中華人民共和國(guó)個(gè)人信息保護(hù)法》等均受到GDPR的啟發(fā)。GDPR全球影響效應(yīng)的形成，也給《人工智能法案》提供了成功借鑒[9]。

三、《人工智能法案》的主要內(nèi)容

《人工智能法案》基于風(fēng)險(xiǎn)預(yù)防理念，為歐盟人工智能系統(tǒng)的開(kāi)發(fā)、市場(chǎng)投放和使用制定了覆蓋全過(guò)程的風(fēng)險(xiǎn)規(guī)制體系，包括對(duì)人工智能系統(tǒng)的安全性、透明度、可追溯性、公平性和道德標(biāo)準(zhǔn)的評(píng)估和管理，以及在監(jiān)管、執(zhí)法、司法審查等方面的規(guī)定[10]。

（一）采用風(fēng)險(xiǎn)分級(jí)措施，高效分配監(jiān)管資源

該法案將人工智能系統(tǒng)按照可能帶來(lái)的風(fēng)險(xiǎn)程度，分為由高到低的四個(gè)等級(jí)，從“不可接受的風(fēng)險(xiǎn)”到“高風(fēng)險(xiǎn)”“有限風(fēng)險(xiǎn)”和“最低風(fēng)險(xiǎn)”，風(fēng)險(xiǎn)級(jí)別越高，規(guī)定要求越嚴(yán)格，通過(guò)識(shí)別不同風(fēng)險(xiǎn)進(jìn)行監(jiān)管，如圖2所示?！安豢山邮艿娘L(fēng)險(xiǎn)”是必須禁止的技術(shù)，是對(duì)人類(lèi)安全具有不可接受風(fēng)險(xiǎn)的人工智能系統(tǒng);“高風(fēng)險(xiǎn)”則指面向關(guān)鍵基礎(chǔ)設(shè)施、公民教育等八大領(lǐng)域的人工智能系統(tǒng)，要求其在投放市場(chǎng)前必須遵守相關(guān)要求。后兩類(lèi)風(fēng)險(xiǎn)中，“有限風(fēng)險(xiǎn)”的人工智能系統(tǒng)要向用戶(hù)提供充分的信息和透明度，以便用戶(hù)明確地知道自己在與人工智能系統(tǒng)交互，避免誤導(dǎo)或欺騙用戶(hù);“最低風(fēng)險(xiǎn)”則適用于大多數(shù)人工智能系統(tǒng)，未設(shè)立特別要求，允許其在遵守現(xiàn)有法律法規(guī)的前提下自由創(chuàng)新發(fā)展。

這種風(fēng)險(xiǎn)分級(jí)的方法，使監(jiān)管資源能夠更高效地進(jìn)行分配，確?！安豢山邮艿娘L(fēng)險(xiǎn)”與“高風(fēng)險(xiǎn)”應(yīng)用得到足夠的監(jiān)控，同時(shí)也為“有限風(fēng)險(xiǎn)”和“最低風(fēng)險(xiǎn)”應(yīng)用提供了發(fā)展自由度，避免過(guò)度監(jiān)管，在確保應(yīng)用透明性和可解釋性的前提下支持其幫助解決社會(huì)問(wèn)題，有助于平衡創(chuàng)新與安全之間的關(guān)系。

（二）嚴(yán)格監(jiān)管前兩類(lèi)較高風(fēng)險(xiǎn)應(yīng)用，保護(hù)符合價(jià)值觀(guān)的基本權(quán)益

該法案明確指出，“不可接受”的風(fēng)險(xiǎn)表示最高風(fēng)險(xiǎn)類(lèi)別，違背歐盟價(jià)值觀(guān)和特別有害的人工智能應(yīng)用等將被徹底禁止，從而防范其對(duì)人類(lèi)健康和安全構(gòu)成威脅，保護(hù)公民的基本權(quán)利和價(jià)值觀(guān)。例如，禁止有目的地操縱技術(shù)，利用人性弱點(diǎn)、行為、社會(huì)地位、個(gè)人特征等進(jìn)行評(píng)價(jià)的“社會(huì)評(píng)分”系統(tǒng)，以及利用弱勢(shì)群體（包括兒童）或使用可能導(dǎo)致傷害的、操縱潛意識(shí)的人工智能系統(tǒng)，包括鼓勵(lì)危險(xiǎn)行為的交互式對(duì)話(huà)工具、用于預(yù)測(cè)誰(shuí)犯罪的預(yù)測(cè)性警務(wù)工具等。消費(fèi)者如遇到利用分類(lèi)系統(tǒng)來(lái)推斷用戶(hù)宗教信仰、種族等個(gè)人信息，有權(quán)提出投訴并獲得相應(yīng)解釋?zhuān)`規(guī)者將被罰款。類(lèi)似應(yīng)用還包括實(shí)時(shí)生物識(shí)別系統(tǒng)。

《人工智能法案》規(guī)定各國(guó)政府只能在公共場(chǎng)所使用實(shí)時(shí)生物識(shí)別監(jiān)控，防止發(fā)生恐怖襲擊等有可能威脅公共安全的事件，以及執(zhí)行搜索犯罪嫌疑人等行為;允許執(zhí)法機(jī)關(guān)在經(jīng)過(guò)保障措施的情況下，在公共空間使用遠(yuǎn)程生物識(shí)別技術(shù)。針對(duì)某些執(zhí)法用途的遠(yuǎn)程生物識(shí)別系統(tǒng)，提出具體的限制和保障措施，比如禁止根據(jù)政治或宗教信仰、性取向、種族等敏感特征對(duì)人進(jìn)行分類(lèi)的生物識(shí)別掃描。事實(shí)上，關(guān)于生物識(shí)別監(jiān)控技術(shù)，歐洲議會(huì)希望能夠全面禁止。嚴(yán)格的監(jiān)管將促使企業(yè)和研究機(jī)構(gòu)更加注重人工智能技術(shù)的倫理道德問(wèn)題，從而推動(dòng)人工智能向健康、可持續(xù)的方向發(fā)展，幫助歐盟人工智能企業(yè)和研究人員引領(lǐng)全球高科技競(jìng)賽。

（三）采用全生命周期措施進(jìn)行監(jiān)管，快速靈活適應(yīng)新挑戰(zhàn)

該法案基于“風(fēng)險(xiǎn)金字塔”理論與分層執(zhí)行機(jī)制，設(shè)計(jì)出一套基于風(fēng)險(xiǎn)的分級(jí)監(jiān)管框架，并對(duì)高風(fēng)險(xiǎn)的人工智能系統(tǒng)，開(kāi)展“事前—事中—事后”全生命周期的監(jiān)管，如圖3所示。事前階段，根據(jù)應(yīng)用場(chǎng)景及風(fēng)險(xiǎn)等級(jí)的不同，制定相應(yīng)的規(guī)制措施;事中階段，通過(guò)引入“監(jiān)管沙箱”機(jī)制，為人工智能系統(tǒng)的開(kāi)發(fā)、測(cè)試和驗(yàn)證提供一個(gè)受控的創(chuàng)新環(huán)境。一旦在沙箱中發(fā)現(xiàn)潛在的風(fēng)險(xiǎn)，將立即采取措施降低風(fēng)險(xiǎn);事后階段，該法案規(guī)定高風(fēng)險(xiǎn)人工智能系統(tǒng)供應(yīng)商應(yīng)制定售后監(jiān)測(cè)計(jì)劃和售后監(jiān)控系統(tǒng)，有義務(wù)及時(shí)上報(bào)任何違規(guī)行為或嚴(yán)重故障，確保及時(shí)響應(yīng)和處理潛在問(wèn)題。全生命周期的監(jiān)管方法不僅提高了風(fēng)險(xiǎn)管理的實(shí)時(shí)性和有效性，也增強(qiáng)了法規(guī)的適切性和前瞻性，使監(jiān)管可以在人工智能技術(shù)快速發(fā)展的同時(shí)，快速調(diào)整和響應(yīng)新的挑戰(zhàn)。

綜上可知，《人工智能法案》采用分級(jí)管控、全生命周期監(jiān)管等措施提高人工智能的安全性，為歐盟人工智能系統(tǒng)的開(kāi)發(fā)、市場(chǎng)投放和使用制定了覆蓋全過(guò)程的風(fēng)險(xiǎn)規(guī)制體系;同時(shí)，該法案還建立了強(qiáng)有力的治理結(jié)構(gòu)，包括設(shè)立人工智能辦公室和獨(dú)立專(zhuān)家組成的科學(xué)小組，凸顯了歐盟在平衡創(chuàng)新與保護(hù)權(quán)利方面的實(shí)施力度。

四、人工智能應(yīng)用于教育的案例分析

人工智能應(yīng)用于教育領(lǐng)域，也同樣面臨上述法案中所提及的風(fēng)險(xiǎn)。本文通過(guò)研究國(guó)際人工智能應(yīng)用于教育的典型案例，試圖分析其中的風(fēng)險(xiǎn)問(wèn)題以及可能的應(yīng)對(duì)之策。從教育內(nèi)容來(lái)看，教育傳播對(duì)內(nèi)容表達(dá)的嚴(yán)謹(jǐn)性和精確度要求更高，人工智能技術(shù)生成的內(nèi)容有深度偽造和信息污染等風(fēng)險(xiǎn)[11][12]，如與實(shí)際教育教學(xué)不符，就容易產(chǎn)生誤導(dǎo)，與應(yīng)用于教育的初衷相悖。師生要學(xué)會(huì)使用批判性思維對(duì)人工智能教育內(nèi)容進(jìn)行分析鑒別，接受倫理教育，培養(yǎng)倫理安全意識(shí)[13]，不斷提升人工智能時(shí)代的綜合素養(yǎng)。人工智能技術(shù)也是一把雙刃劍，師生在享受新技術(shù)帶來(lái)便利的同時(shí)，也要預(yù)防自我思維的惰化和認(rèn)知能力的下降，以及認(rèn)知淺層化、倫理價(jià)值失序、形成信息繭房等失控風(fēng)險(xiǎn)[14]。

從技術(shù)算法來(lái)看，人工智能技術(shù)應(yīng)用衍生出算法歧視與不透明、技術(shù)濫用與依賴(lài)、社會(huì)價(jià)值取向等一系列問(wèn)題，其中偏見(jiàn)和歧視問(wèn)題十分突出[15]。人工智能教育應(yīng)用的算法風(fēng)險(xiǎn)既包括人為的算法特權(quán)，也包括非人為的算法規(guī)制和制度缺陷。算法通過(guò)對(duì)信息流的動(dòng)態(tài)控制，對(duì)指定目標(biāo)群體進(jìn)行推送，形成一種事實(shí)上的“算法特權(quán)”。

從數(shù)據(jù)安全來(lái)看，教育應(yīng)用的數(shù)據(jù)風(fēng)險(xiǎn)主要體現(xiàn)在安全和質(zhì)量?jī)蓚€(gè)方面，可能引發(fā)教育用戶(hù)的敏感信息數(shù)據(jù)泄露。人工智能大數(shù)據(jù)的統(tǒng)計(jì)性質(zhì)也決定了可能包含的數(shù)據(jù)倫理風(fēng)險(xiǎn)，敏感信息在數(shù)據(jù)傳輸過(guò)程中發(fā)生泄露，或被用于偽造視頻。還有學(xué)者提出人工智能技術(shù)需要進(jìn)行風(fēng)險(xiǎn)分級(jí)、設(shè)定生成式人工智能工具等級(jí)邊界等建議[16]。

（一）保護(hù)受教育者的基本權(quán)益，避免算法歧視

要確保人工智能技術(shù)無(wú)差別、公平地對(duì)待每個(gè)受教育者，避免因?yàn)榉N族、地域、學(xué)校等因素而遭到歧視待遇，防止訓(xùn)練數(shù)據(jù)集偏向特定地區(qū)或特定師生群體，使其在處理其他地區(qū)或其他師生群體時(shí)表現(xiàn)不佳。

英國(guó)每年有七八十萬(wàn)的學(xué)生參加A-Level資格考試，如圖4所示。2020年由于疫情影響，考試采用一種對(duì)學(xué)生中學(xué)的歷史表現(xiàn)進(jìn)行分?jǐn)?shù)加權(quán)來(lái)預(yù)測(cè)成績(jī)的人工智能算法進(jìn)行評(píng)估。結(jié)果顯示，約40%的學(xué)生預(yù)測(cè)成績(jī)被下調(diào)，只有2%的學(xué)生分?jǐn)?shù)上升，這意味著一部分學(xué)生將失去參加大學(xué)課程的機(jī)會(huì)。其中，最大的受害者是來(lái)自條件較差學(xué)校的高分學(xué)生，而來(lái)自條件較好學(xué)校的學(xué)生分?jǐn)?shù)可能會(huì)被提高。這種做法引起全國(guó)性爭(zhēng)議，最終英國(guó)政府不得不放棄使用該人工智能算法給出的結(jié)果[17]?？梢?jiàn)，人工智能算法的公平性，涉及每一個(gè)受教育者的基本權(quán)益，在大學(xué)入學(xué)、獎(jiǎng)學(xué)金選擇等教育決策活動(dòng)中，需要在一定程度上公開(kāi)人工智能算法，證明教育機(jī)會(huì)是基于能力而非基于主觀(guān)因素，有助于公平競(jìng)爭(zhēng)。

（二）保護(hù)師生個(gè)人隱私數(shù)據(jù)，杜絕數(shù)據(jù)泄露

人工智能教育應(yīng)用往往需要搜集、處理和使用學(xué)生的個(gè)人數(shù)據(jù)，包括姓名、學(xué)校、成績(jī)、年齡、家庭住址、學(xué)習(xí)行為等，一旦信息泄露則可能導(dǎo)致師生的個(gè)人權(quán)利遭到侵犯，造成較為嚴(yán)重的后果。2020年，美國(guó)一所高校遭受勒索軟件攻擊，學(xué)生、教職員工的信息被泄露。英國(guó)一所中學(xué)的在線(xiàn)教育平臺(tái)也曾受到黑客攻擊，泄露了數(shù)千名學(xué)生的敏感信息。

在線(xiàn)學(xué)習(xí)平臺(tái)、可穿戴設(shè)備、校園內(nèi)外遍布的攝像頭共同構(gòu)筑起來(lái)的“數(shù)字校園”，能夠隨時(shí)隨地跟蹤分析學(xué)生的一言一行。例如，一些科技企業(yè)開(kāi)發(fā)的“智慧課堂行為管理系統(tǒng)”，可以實(shí)時(shí)分析學(xué)生的面部表情和行為，識(shí)別高興、難過(guò)、害怕、憤怒、中性等多種表情和閱讀、書(shū)寫(xiě)、舉手、趴桌子等多種行為。2023年，美國(guó)紐約州認(rèn)為人臉識(shí)別技術(shù)對(duì)學(xué)生的隱私和公民權(quán)利的風(fēng)險(xiǎn)超過(guò)了潛在的安全益處，因此已禁止在學(xué)校使用面部識(shí)別技術(shù)[18]。

基于上述風(fēng)險(xiǎn)考量，不少教育教學(xué)場(chǎng)景正在使用虛擬數(shù)字人、AI換臉等方式，從真實(shí)世界數(shù)據(jù)中學(xué)習(xí)建模，具有一定的匿名性，從而保護(hù)學(xué)生隱私，使用起來(lái)也相對(duì)更加安全。

（三）確保教育應(yīng)用的透明性和可解釋性，防范信息污染

人工智能在教育中的應(yīng)用可能是復(fù)雜的黑箱系統(tǒng)，學(xué)生和家長(zhǎng)難以了解其具體運(yùn)行和決策過(guò)程，缺乏透明度造成難以對(duì)人工智能建立有效的監(jiān)督和問(wèn)責(zé)制，導(dǎo)致學(xué)生個(gè)人權(quán)利受到損害。例如，由少數(shù)科技公司建立的人工智能大模型，可能被用于生成網(wǎng)絡(luò)虛假信息、操縱網(wǎng)絡(luò)攻擊行為或用于制造生物武器，使得基于這些基礎(chǔ)大模型的教育應(yīng)用面臨一定的風(fēng)險(xiǎn)。美國(guó)斯坦福大學(xué)倡議的一項(xiàng)活動(dòng)評(píng)估了基礎(chǔ)大模型公司的透明度，包括披露用于構(gòu)建模型的數(shù)據(jù)和用戶(hù)的數(shù)據(jù)共享協(xié)議，結(jié)果顯示：包括Open AI和谷歌在內(nèi)的所有公司都有改進(jìn)的空間，尤其是輸入兒童數(shù)據(jù)時(shí)知情同意方面的挑戰(zhàn)。美國(guó)商務(wù)部正在審查生成式人工智能的透明度，并探討對(duì)聊天機(jī)器人等人工智能工具的監(jiān)管，加強(qiáng)問(wèn)責(zé)制和透明度。而谷歌和IBM等科技巨頭建議政府對(duì)人工智能采取“精準(zhǔn)監(jiān)管”姿態(tài)，支持人工智能創(chuàng)新，支持基于風(fēng)險(xiǎn)的靈活人工智能監(jiān)管框架，而不是創(chuàng)建新的人工智能“超級(jí)監(jiān)管機(jī)構(gòu)”[19]。

生成式人工智能系統(tǒng)能夠低成本、多模態(tài)、迅速地生成合成內(nèi)容，有可能會(huì)傳播虛假信息，甚至煽動(dòng)基于種族、性別和其他特征的仇恨、歧視等暴力行為。生成式人工智能具有非透明的“黑箱效應(yīng)”，也使人工智能的審查和糾偏變得更加困難，反詐的難度也與日俱增。如果這些算法應(yīng)用于教育決策，可能會(huì)進(jìn)一步加劇不公平和歧視，侵犯學(xué)生的個(gè)人權(quán)利。因此，有必要增加對(duì)人工智能應(yīng)用透明性和可解釋性的適度監(jiān)管，趨利避害。

五、對(duì)我國(guó)人工智能教育的啟示與建議

人工智能的有效治理和應(yīng)用需要考慮社會(huì)規(guī)范、文化特征等國(guó)家和地區(qū)背景因素[20]，歐盟與我國(guó)在國(guó)情、教育體制、運(yùn)行機(jī)制等方面存在一定差異，但在人工智能應(yīng)用于教育的風(fēng)險(xiǎn)防范、適度監(jiān)管、創(chuàng)新發(fā)展等方面有著共同訴求。目前，我國(guó)人工智能與教育正處在技術(shù)驅(qū)動(dòng)、深度融合、結(jié)構(gòu)轉(zhuǎn)變的階段，很多人工智能教育應(yīng)用的問(wèn)題還沒(méi)有充分暴露，面臨著監(jiān)管與創(chuàng)新、數(shù)據(jù)安全、倫理規(guī)范等多重挑戰(zhàn)，需要政府、學(xué)校、教育科技企業(yè)等多元主體及時(shí)應(yīng)對(duì)，不斷增進(jìn)人工智能教育公平，更加有效地推動(dòng)教育發(fā)展和創(chuàng)新。

（一）適時(shí)出臺(tái)人工智能教育應(yīng)用的分類(lèi)分級(jí)指導(dǎo)政策

對(duì)人工智能教育應(yīng)用進(jìn)行分類(lèi)分級(jí)劃分，進(jìn)而形成不同的治理路徑，有助于精準(zhǔn)防范未知風(fēng)險(xiǎn)，提高人工智能的公平度、透明度和可問(wèn)責(zé)性。在教育場(chǎng)景，可以按照使用主體、使用場(chǎng)景、技術(shù)類(lèi)型、應(yīng)用功能等不同維度，將人工智能教育應(yīng)用分為不同類(lèi)型，如表1所示。

根據(jù)影響范圍和影響程度的不同，將人工智能教育應(yīng)用劃分為不同等級(jí)，比如AI考試、AI校園安防等應(yīng)用影響范圍廣且對(duì)使用者的影響程度高，可劃分為較高級(jí)別3級(jí)（對(duì)應(yīng)法案的“不可接受風(fēng)險(xiǎn)”和“高風(fēng)險(xiǎn)”應(yīng)用），這類(lèi)教育應(yīng)用需納入人工智能產(chǎn)品的全生命周期進(jìn)行考量;將AI管理、AI教學(xué)評(píng)估等應(yīng)用劃分為2級(jí)（對(duì)應(yīng)法案的“有限風(fēng)險(xiǎn)”應(yīng)用），這類(lèi)教育應(yīng)用需適度披露公開(kāi)信息，事后評(píng)估并結(jié)合一定的監(jiān)管審計(jì);AI陪伴、虛擬助教等應(yīng)用劃分為較低級(jí)別1級(jí)（對(duì)應(yīng)法案的“最低風(fēng)險(xiǎn)”應(yīng)用），可以適度放寬監(jiān)管力度，鼓勵(lì)其創(chuàng)新發(fā)展，如圖5所示。

建議相關(guān)政府部門(mén)適時(shí)出臺(tái)人工智能教育應(yīng)用的分類(lèi)分級(jí)指導(dǎo)政策，構(gòu)建“分類(lèi)分級(jí)”與“風(fēng)險(xiǎn)防范”并行的人工智能教育監(jiān)管制度，指定部門(mén)或引導(dǎo)第三方機(jī)構(gòu)進(jìn)行教育應(yīng)用的認(rèn)證監(jiān)管工作。建立場(chǎng)景明確、等級(jí)清晰的監(jiān)管實(shí)施細(xì)則，并與應(yīng)用的全生命周期管理相結(jié)合，健全人工智能教育行業(yè)自律規(guī)范體系。政府相關(guān)部門(mén)應(yīng)合理把握規(guī)制措施的管控力度，做到加強(qiáng)人工智能治理和提升教育創(chuàng)新活力并舉，避免強(qiáng)監(jiān)管措施對(duì)人工智能教育領(lǐng)域創(chuàng)新帶來(lái)負(fù)面效應(yīng)。

（二）構(gòu)建教育可信數(shù)據(jù)空間，重視師生隱私信息保護(hù)

學(xué)校應(yīng)高度重視學(xué)生信息的保護(hù)，制定嚴(yán)格的隱私政策和數(shù)據(jù)安全管理制度，明確個(gè)人數(shù)據(jù)在收集、使用、存儲(chǔ)、共享等環(huán)節(jié)的具體規(guī)定，并加強(qiáng)監(jiān)督和管理。同時(shí)，采用安全可靠的數(shù)據(jù)脫敏、數(shù)據(jù)加密、訪(fǎng)問(wèn)控制等技術(shù)手段，保護(hù)教育場(chǎng)景師生的個(gè)人隱私和數(shù)據(jù)權(quán)益，確保數(shù)據(jù)的機(jī)密性、完整性和可用性。學(xué)?？陕?lián)合教育企業(yè)，通過(guò)建立教育可信數(shù)據(jù)空間，對(duì)分級(jí)后的人工智能教育應(yīng)用和數(shù)據(jù)進(jìn)行統(tǒng)一管理和授權(quán)運(yùn)營(yíng)（見(jiàn)圖6），有效提升全場(chǎng)景應(yīng)用的安全性、信任度和效率，促進(jìn)可信人工智能教育的發(fā)展。

同時(shí)，加強(qiáng)師生的人工智能核心素養(yǎng)教育，包括人工智能治理、風(fēng)險(xiǎn)防范等社會(huì)責(zé)任教育。學(xué)校應(yīng)提供良好的人工智能核心素養(yǎng)教育環(huán)境，將相關(guān)內(nèi)容寫(xiě)入教材并開(kāi)展培訓(xùn)，讓學(xué)生在掌握人工智能基本知識(shí)和應(yīng)用能力的同時(shí)，發(fā)現(xiàn)人工智能對(duì)自己有用并堅(jiān)持使用。加大對(duì)師生隱私保護(hù)等倫理和社會(huì)責(zé)任的宣傳教育，加強(qiáng)人工智能改善組織和社會(huì)責(zé)任方面的效果認(rèn)同，勇于利用人工智能來(lái)挑戰(zhàn)社會(huì)環(huán)境的不平等并進(jìn)行自我保護(hù)，從而提升師生的人工智能社會(huì)責(zé)任意識(shí)。

（三）遵從人工智能應(yīng)用風(fēng)險(xiǎn)防范和倫理規(guī)范進(jìn)行教育產(chǎn)品開(kāi)發(fā)

科技企業(yè)在開(kāi)發(fā)人工智能教育產(chǎn)品時(shí)，應(yīng)遵循相關(guān)的法律法規(guī)和倫理準(zhǔn)則，確保技術(shù)的合法性和合規(guī)性，對(duì)相關(guān)系統(tǒng)進(jìn)行定期的安全檢查和漏洞修復(fù)，防止?jié)撛诘陌踩L(fēng)險(xiǎn);并定期披露具有可接受的使用策略、更新訓(xùn)練大模型的最新信息，以及用于訓(xùn)練其模型的數(shù)據(jù)信息，滿(mǎn)足基本的公正性和透明度要求，避免在算法層面出現(xiàn)歧視而造成不公平評(píng)估和決策，保護(hù)受教育者權(quán)利，促進(jìn)教育公平[21]。

企業(yè)應(yīng)積極與學(xué)校開(kāi)展合作，挖掘教育場(chǎng)景需求，推進(jìn)可解釋人工智能教育的應(yīng)用落地。企業(yè)還應(yīng)深入?yún)⑴c人工智能技術(shù)的科普公益活動(dòng)，提高全社會(huì)對(duì)人工智能風(fēng)險(xiǎn)防范的認(rèn)知和理解。此外，企業(yè)還可配合政府、學(xué)校等多元主體，建立健全的倫理審查機(jī)制，確保所開(kāi)發(fā)的人工智能教育產(chǎn)品符合倫理準(zhǔn)則和價(jià)值觀(guān)。通過(guò)建立跨界合作、投訴申訴機(jī)制，對(duì)可能存在的倫理問(wèn)題進(jìn)行及時(shí)的處理和解決，促進(jìn)多方之間的溝通與協(xié)作，實(shí)現(xiàn)全社會(huì)的有效監(jiān)管[22]。

我國(guó)人工智能產(chǎn)業(yè)已進(jìn)入規(guī)?；瘧?yīng)用階段，人工智能算法爭(zhēng)議和信息安全事件時(shí)有發(fā)生，政府在制定人工智能教育相關(guān)規(guī)制措施時(shí)，應(yīng)推動(dòng)人工智能朝著科技向善、可持續(xù)監(jiān)管的方向發(fā)展?？萍计髽I(yè)也應(yīng)在人工智能教育產(chǎn)品開(kāi)發(fā)的過(guò)程中，遵從人工智能應(yīng)用風(fēng)險(xiǎn)防范和倫理規(guī)范，始終遵循尊重個(gè)人基本權(quán)益、安全性、透明度和公平性的原則，形成政府、學(xué)校、社會(huì)三方互相合作協(xié)同治理的局面，持續(xù)增進(jìn)人工智能教育公平，更有效地推動(dòng)教育發(fā)展和創(chuàng)新。

參考文獻(xiàn)：

[1]European Parliament News. AI Act： A step closer to the first rules on Artificial Intelligence[EB/OL]. （2023-05-11）[2024-05-15]. https：//www.europarl.europa.eu/news/en/press-room/20230505IPR84904/ai-act-a-step-closer-to-the-first-rules-on-artificial-intelligence.

[2]杜華，孫艷超.生成式人工智能浪潮下知識(shí)觀(guān)的再審視——兼論兩個(gè)經(jīng)典知識(shí)之問(wèn)的當(dāng)代回應(yīng)[J].現(xiàn)代教育技術(shù)，2024，34（1）：96-106.

[3]劉永艷，樊偉.《歐盟人工智能法案》解讀[J].軍事文摘，2024（21）：36-38.

[4]李佳.歐盟《人工智能法案》如何影響教育？[J].中國(guó)教育網(wǎng)絡(luò)，2023（11）：5-7.

[5]國(guó)家互聯(lián)網(wǎng)信息辦公室等七部門(mén).生成式人工智能服務(wù)管理暫行辦法[EB/OL]. （2023-07-10） [2024-02-15]. https：//www.gov.cn/gongbao/2023/issue_10666/202308/content_6900864.html.

[6]張君蔓.美國(guó)《人工智能行政命令》出臺(tái)一年主要執(zhí)行情況[EB/OL].（2023-11-18）[2024-02-18].https：//mp.weixin.qq.com/s？__biz=MzA4MjAyNzk0NQ==amp;mid=2649475092amp;idx=1amp; sn=f148c4ccdd7a378dff2aa7b4aa154097amp;chksm=86d9cfb4fae 52a31975fd16aec019ef4fdcae85aa62acd720134615cc89107c 15e60a5a10dcaamp;scene=27.

[7]呂鵬.人工智能治理進(jìn)入新階段[EB/OL].（2023-12-05）[2024-03-06].http：//www.news.cn/globe/2023-12/05/c_ 1310752382.htm.

[8]世界智能大會(huì).全球論壇探討人工智能治理格局[EB/OL].（2024-02-07）[2024-05-17].https：//www.wicongress.org.cn/2023/zh/article/5675.

[9]SCHWARTMANN R， KEBER T， ZENNER L， et al. Data protection aspects of the use of artificial intelligence-initial overview of the intersection between GDPR and AI Act[J].Computer Law Review International，2024，25（5）：145-150.

[10]高榮偉.歐盟推出全球首個(gè)監(jiān)管人工智能法案[J].中國(guó)投資（中英文），2024（Z1）：55-56.

[11]王藝如.Sora與未來(lái)教育內(nèi)容創(chuàng)作：創(chuàng)新、風(fēng)險(xiǎn)及管理策略[J].繼續(xù)教育研究，2024（5）：62-65.

[12]苗逢春.生成式人工智能及其教育應(yīng)用的基本爭(zhēng)議和對(duì)策[J].開(kāi)放教育研究，2024，30（1）：4-15.

[13]孫田琳子，金約楠，寇笑迪.跨學(xué)科視域下人工智能倫理教育重構(gòu)：知識(shí)觀(guān)、學(xué)生觀(guān)與教學(xué)觀(guān)[J].中國(guó)電化教育，2024（4）：45-51.

[14]應(yīng)益華，陳嘉樂(lè)，黃百俊.教育生態(tài)重塑：ChatGPT的潛力、風(fēng)險(xiǎn)及治理[J].繼續(xù)教育研究，2024（5）：56-61.

[15]邢露元，沈心怡，王嘉怡.生成式人工智能訓(xùn)練數(shù)據(jù)風(fēng)險(xiǎn)的規(guī)制路徑研究[J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2024（1）：10-18.

[16]柳晨晨，李運(yùn)嬌，王佑鎂.智能向善：國(guó)外教育領(lǐng)域生成式人工智能應(yīng)用的治理方略[J].中國(guó)教育信息化，2024，30（10）：54-62.

[17]SWIST T， GULSON K N， BENN C， et al. A technical democracy design experiment： Making the UK exam algorithm controversy game[J]. Design Studies， 2024，5（91）：101245.

[18]CAROLYN T. New York bans facial recognition in schools after report finds risks outweigh potential benefits[EB/OL]. （2023-09-28）[2024-03-28]. https：//apnews.com/article/facial-recognition-banned-new-york-schools-ddd35e004254 d316beabf70453b1a6a2.

[19]NIHAL K. Google and IBM push for increased govt resources to support AI innovation and transparency[EB/OL]. （2023-07-07） [2024-03-28]. https：//www.businesstelegraph.co.uk/google-and-ibm-push-for-increased-govt-resources-to-support-ai-fedscoop/.

[20]武振國(guó).歐盟人工智能的實(shí)驗(yàn)主義治理路徑及中國(guó)借鑒[J].西北大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版）.2024，54（6）：153-164.

[21]CARNAT I. Addressing the risks of generative AI for the judiciary： the accountability framework（s） under the EU AI Act[J]. Computer Law amp; Security Review： The International Journal of Technology Law and Practice， 2024（55）：106067.

[22]譚偉，張曼茵，陳良.人工智能應(yīng)用于教育的風(fēng)險(xiǎn)及其應(yīng)對(duì)[J].中國(guó)教育信息化，2023，29（7）：22-29.

Building a “Pyramid” for Risk Prevention in AI Education Applications：

Interpretation of the EU AI Act

Dan ZHOU1， Fugen SU2， Chao GONG3， Zhongguo YUAN4

（1.Institute of Education， Tsinghua University， Beijing 100084;

2.Research Division， Center for Education Management Information of the Ministry of Education， P.R.China， Beijing 100816;

3.Research Center for Japanese Studies， Tsinghua University， Beijing 100084;

4.RDFZ Chaoyang School， Beijing 100028）

Abstract： The EU’s AI Act proposes such measures as hierarchical control and full lifecycle supervision to improve the security of AI. Based on the risk regulation concept proposed in the bill and combined with risk prevention cases of global AI education applications， this article analyzes the preventive measures that can be taken when facing risks from the following aspects： Protect the basic rights and interests of learners and avoid algorithmic discrimination; Protect personal privacy data of teachers and students， and prevent data leakage; Ensure transparency and interpretability of educational applications， and prevent information pollution. Finally， it is recommended to timely introduce classification and grading guidance policies for AI education applications， and establish a regulatory system that combines classification and grading with risk prevention. We attach great importance to the protection of teachers’ and students’ privacy information， strengthen the education of teachers’ and students’ AI literacy， and actively build a trustworthy data space for education. In the development process of AI education products， it is necessary to follow the risk prevention and ethical norms of AI applications， ensuring that the developed educational products comply with ethical standards and values.

Keywords： European Union; Artificial Intelligence Act; AI education; Risk prevention; Trusted data space

編輯：李曉萍" " 校對(duì)：王天鵬

DOI：10.3969/j.issn.1673-8454.2025.02.008

作者簡(jiǎn)介：周丹，清華大學(xué)教育研究院博士研究生（北京 100084）;蘇福根，教育部教育管理信息中心研究處副研究員，博士（北京 100816）;龔超，清華大學(xué)日本研究中心主任助理，博士（北京 100084）;袁中果，中國(guó)人民大學(xué)附屬中學(xué)朝陽(yáng)學(xué)校副校長(zhǎng)，博士（北京 100028）

基金項(xiàng)目：2024年度國(guó)家社會(huì)科學(xué)基金教育學(xué)一般項(xiàng)目“數(shù)智環(huán)境下基于大語(yǔ)言模型的個(gè)性化學(xué)習(xí)設(shè)計(jì)與評(píng)價(jià)研究”（編號(hào)：BCA240055）;教育部教育管理信息中心國(guó)外教育研究2023年度委托課題“國(guó)外人工智能教育戰(zhàn)略研究及其數(shù)據(jù)庫(kù)建設(shè)”（編號(hào)：MOE-CIEM-20230017）