付睿云 白慶春 呂泰

1.上海開放大學(xué)浦東東校

2.上海開放大學(xué)上海開放遠(yuǎn)程教育工程技術(shù)研究中心

●引言

人工智能技術(shù)發(fā)展帶來了諸多便利，但所引發(fā)的問題也受到廣泛關(guān)注。谷歌人工智能負(fù)責(zé)人約翰·詹南德雷亞認(rèn)為人工智能真正的安全問題是：“如果我們給系統(tǒng)有偏見的數(shù)據(jù)，它們就會(huì)有偏見。”[1]英國(guó)學(xué)者塔迪歐建立的三元數(shù)據(jù)倫理框架認(rèn)為偏見來自數(shù)據(jù)、算法以及實(shí)踐。[2]國(guó)內(nèi)學(xué)者沈苑認(rèn)為在人工智能教育應(yīng)用研發(fā)過程中，偏見來自設(shè)計(jì)偏見、數(shù)據(jù)偏見以及算法偏見，其中數(shù)據(jù)偏見是社會(huì)結(jié)構(gòu)性壁壘的復(fù)制與重現(xiàn)。[3]李昭熠從智能傳播數(shù)據(jù)庫(kù)層面分析，認(rèn)為數(shù)據(jù)庫(kù)的偏見來自數(shù)據(jù)庫(kù)本身的隱形偏見。[4]在文獻(xiàn)梳理過程中，筆者發(fā)現(xiàn)對(duì)偏見的研究主要是從人工智能整體角度或數(shù)據(jù)倫理角度進(jìn)行研究，并且針對(duì)人工智能教育應(yīng)用的數(shù)據(jù)偏見及其治理的研究，大多比較簡(jiǎn)略。另外，從人工智能教育應(yīng)用的生命周期角度來看，偏見的源頭是數(shù)據(jù)。同時(shí)，人工智能的反饋循環(huán)設(shè)計(jì)思想還可能會(huì)放大預(yù)先存在的偏見，走向一種復(fù)雜混沌的局面。這些顯性或隱形的問題，導(dǎo)致人們必須重新考慮數(shù)據(jù)。因此，從數(shù)據(jù)層面研究此類偏見具有重要意義。

數(shù)據(jù)偏見的治理有具體的內(nèi)容和特定的結(jié)構(gòu)，需要自上而下、由表及里、系統(tǒng)全面地推進(jìn)。而在教育界，基礎(chǔ)教育和高等教育對(duì)數(shù)據(jù)偏見的思考和規(guī)劃不盡相同。高等教育往上走，注重理論性、科學(xué)性、技術(shù)性的創(chuàng)新治理，而基礎(chǔ)教育往下走，更貼近學(xué)生，需要可操作性強(qiáng)、適應(yīng)性強(qiáng)的治理方案。因此，研究基礎(chǔ)教育中如何有效進(jìn)行數(shù)據(jù)偏見的治理成為本文研究的重要?jiǎng)右颉?/p>

●教育數(shù)據(jù)偏見的概念及其外在表現(xiàn)

教育數(shù)據(jù)偏見可理解為人工智能教育應(yīng)用所使用的數(shù)據(jù)包含“根深蒂固”的顯性偏見，抑或“無意識(shí)”的隱性偏差，具有主觀性、否定性、排斥性和消極性的特點(diǎn)，最終反映到輸出模型存在偏見。隨著越來越多的教育實(shí)踐被數(shù)據(jù)化，數(shù)據(jù)偏見引發(fā)的問題也逐漸暴露和發(fā)酵。通過教育數(shù)據(jù)偏見的外在表現(xiàn)例子，可理解其帶來的負(fù)面影響。一是數(shù)據(jù)偏見導(dǎo)致教育公平性受阻。2013年美國(guó)德克薩斯大學(xué)曾開發(fā)一套名為GRADE（GRaduate ADmissions Evaluator）的機(jī)器學(xué)習(xí)系統(tǒng)，用于簡(jiǎn)化招生流程及節(jié)省招生時(shí)間。通過對(duì)自然語言的處理，可基于推薦信上的內(nèi)容建立識(shí)別模型，對(duì)候選人的簡(jiǎn)歷打分，并按分?jǐn)?shù)降序，審查申請(qǐng)人情況。[5]但在2020年，因?yàn)閾?dān)心機(jī)器學(xué)習(xí)系統(tǒng)使用的教育數(shù)據(jù)集存有偏見，有可能帶來不公平或錯(cuò)誤的結(jié)論或決定，該系統(tǒng)被迫停用。二是數(shù)據(jù)偏見抑制學(xué)生全面發(fā)展。學(xué)生畫像即通過算法捕捉學(xué)生的個(gè)人喜好和動(dòng)態(tài)需求，建立多維度的畫像標(biāo)簽。這些個(gè)性化算法技術(shù)的底層邏輯是基于使用者的本能喜好，提供學(xué)習(xí)支持服務(wù)，形式上屬于精準(zhǔn)式投喂信息。[6]但由于相同樣本數(shù)據(jù)的積累和放大，忽略了多樣性的數(shù)據(jù)，限制了學(xué)生的全面發(fā)展。三是數(shù)據(jù)偏見加劇教育質(zhì)量鴻溝。人工智能教育應(yīng)用缺少涵蓋特殊群體的數(shù)據(jù)，有可能發(fā)生教育領(lǐng)域內(nèi)的馬太效應(yīng)，即“富者愈富，窮者愈窮”現(xiàn)象。

●人工智能教育數(shù)據(jù)偏見的成因機(jī)制

對(duì)人工智能教育應(yīng)用的數(shù)據(jù)處理，通常涵蓋數(shù)據(jù)獲取、數(shù)據(jù)分級(jí)、數(shù)據(jù)分析、應(yīng)用和可視化等階段，數(shù)據(jù)偏見可歸納為四種成因方式。需要說明的是，四種類型的偏見劃分，只是一種原則性的劃分，標(biāo)識(shí)不同偏見的特點(diǎn)，并不具有精確的劃分意義。同時(shí)，這些偏見不是彼此割裂、相互獨(dú)立，而是相互聯(lián)系，并常常交叉重疊。

1.數(shù)量型：局部的訓(xùn)練數(shù)據(jù)樣本

數(shù)據(jù)是人工智能教育應(yīng)用的基礎(chǔ)。雖然更多的數(shù)據(jù)并不意味著更好的結(jié)果，但一般來說，數(shù)據(jù)越多，模型越可能取得良好和穩(wěn)健的表現(xiàn)。例如，在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域，樣本數(shù)量不足的模型容易陷入過擬合以及對(duì)目標(biāo)任務(wù)的欠擬合。但當(dāng)前人工智能教育應(yīng)用所需要的數(shù)據(jù)資源可獲取的途徑十分有限。因此，人工智能教育應(yīng)用的提供者不得不在真實(shí)存在的學(xué)生身上開展實(shí)驗(yàn)，以不斷調(diào)整優(yōu)化應(yīng)用。

2.淺表型：匱乏的數(shù)據(jù)采集手段

學(xué)生的學(xué)習(xí)過程是多模態(tài)的，需要多模態(tài)的人工智能技術(shù)感知不同的信息維度和信息來源，以滿足復(fù)雜環(huán)境下的學(xué)習(xí)測(cè)量與評(píng)價(jià)。但目前國(guó)內(nèi)大部分智能教育產(chǎn)品都處于弱AI的范疇[7]，主要用于作業(yè)測(cè)評(píng)與個(gè)性化推薦方向。以學(xué)習(xí)軌跡分析為例，傳統(tǒng)的學(xué)習(xí)管理系統(tǒng)（Learning Management System）主要依靠學(xué)生到課率、資源點(diǎn)擊率、作業(yè)完成率等表層數(shù)據(jù)進(jìn)行分析，基于同理心、情緒、腦電、眼動(dòng)等深層次的信息無法感知。即使在明確教學(xué)原則的情況下，人工智能無法多源感知數(shù)據(jù)和理解學(xué)生，容易專注于可用的數(shù)據(jù)，忽略有效數(shù)據(jù)或者關(guān)鍵數(shù)據(jù)，而不是從教育的基本原理出發(fā)，揭示教育發(fā)生的一般規(guī)律，有目的地收集數(shù)據(jù)，這種單一模態(tài)特征采集的數(shù)據(jù)容易產(chǎn)生偏見。

3.權(quán)重型：偏頗的數(shù)據(jù)特征樣本

權(quán)重型偏見指的是有成見、刻板印象或錯(cuò)誤社會(huì)假設(shè)的數(shù)據(jù)，導(dǎo)致某些元素相對(duì)其他元素具有更大的權(quán)重。雖然人工智能教育應(yīng)用在設(shè)計(jì)時(shí)盡量避免嵌入偏見，但中立的數(shù)據(jù)是人們?yōu)跬邪畹南胂?。例如，機(jī)器學(xué)習(xí)可對(duì)大量歷史數(shù)據(jù)進(jìn)行學(xué)習(xí)，進(jìn)而利用生成的經(jīng)驗(yàn)?zāi)Ｐ椭笇?dǎo)業(yè)務(wù)。在機(jī)器學(xué)習(xí)訓(xùn)練過程中需要進(jìn)行必不可少的特征標(biāo)注，旨在找出對(duì)教育模型有益的特征交叉關(guān)系，特征標(biāo)注過程就反映著標(biāo)注者的個(gè)人性格、所屬的文化格局以及代表的社會(huì)結(jié)構(gòu)。即使刪除或忽略這些敏感特征也并不能阻止偏見模型的產(chǎn)生，因?yàn)槠渌嚓P(guān)特征（也稱為冗余編碼）可能被用作它們的代理。

4.標(biāo)準(zhǔn)型：差異的教育數(shù)據(jù)標(biāo)準(zhǔn)

在大數(shù)據(jù)時(shí)代，人工智能教育應(yīng)用產(chǎn)生指數(shù)倍增長(zhǎng)的數(shù)據(jù)，如果沒有統(tǒng)一的教育數(shù)據(jù)標(biāo)準(zhǔn)，難以對(duì)數(shù)據(jù)進(jìn)行有效和持續(xù)性的存儲(chǔ)、分析和利用。數(shù)據(jù)標(biāo)準(zhǔn)是保障數(shù)據(jù)使用和交換過程一致性和準(zhǔn)確性的規(guī)范性約束。[8]同時(shí)，標(biāo)準(zhǔn)需要基于教育理論與教育實(shí)踐，但不同學(xué)科存在學(xué)習(xí)和教育過程的認(rèn)識(shí)論差異和行為差異，教師在教育教學(xué)過程中所需的各類標(biāo)準(zhǔn)不一。另外，教師有著自身的知識(shí)盲區(qū)和認(rèn)知局限性，在不具備充分的教學(xué)法、技術(shù)或?qū)W習(xí)評(píng)價(jià)等方面知識(shí)的情況下，即使相似類型的數(shù)據(jù)，也可能進(jìn)行不一致的標(biāo)記。如果在輸入算法之前未考慮教育數(shù)據(jù)標(biāo)準(zhǔn)性，會(huì)不可避免地導(dǎo)致數(shù)據(jù)偏見。

●治理：家校共治視角的路徑探索

數(shù)據(jù)偏見的治理已經(jīng)成為人工智能和數(shù)據(jù)倫理領(lǐng)域的重要問題。楊慶峰教授認(rèn)為，從解釋學(xué)的“偏見—理解”框架看，作為在先的行動(dòng)或者理解的前提，數(shù)據(jù)偏見是無法消除的。[9]但如果從數(shù)據(jù)歧視、數(shù)據(jù)虛假、數(shù)據(jù)缺失以及數(shù)據(jù)污染角度來看，數(shù)據(jù)偏見可以消除。

教育數(shù)據(jù)偏見治理是當(dāng)下未來學(xué)校教育生態(tài)治理的重要標(biāo)向，家校共治則是基礎(chǔ)教育治理現(xiàn)代化的有效途徑。一方面，從內(nèi)涵要求上，共治是對(duì)傳統(tǒng)教育治理方式的超越，共治強(qiáng)調(diào)教育主體（教師、家長(zhǎng)、學(xué)生）的多元性，強(qiáng)調(diào)數(shù)據(jù)治理過程的民主性，體現(xiàn)基礎(chǔ)教育數(shù)據(jù)治理的務(wù)實(shí)性，符合現(xiàn)代教育治理的內(nèi)涵和要求。另一方面，從價(jià)值層面，人工智能的公平性和包容性是每個(gè)教育組織的核心價(jià)值。實(shí)現(xiàn)這樣的價(jià)值目標(biāo)，要建立健全家長(zhǎng)參與學(xué)校數(shù)據(jù)治理的制度、體系、機(jī)制等。除傳統(tǒng)層面加強(qiáng)學(xué)校自治以外，現(xiàn)代教育治理體系要將教育治理參與權(quán)與決策權(quán)下放給其他教育主體，實(shí)現(xiàn)分權(quán)共治，順應(yīng)人工智能的價(jià)值指向。家校共治路徑探索如右圖所示。

1.搭建學(xué)校數(shù)字基座，共享數(shù)據(jù)中心

《上海市教育數(shù)字化轉(zhuǎn)型實(shí)施方案（2021-2023）》提出打造教育數(shù)字基座，開展數(shù)據(jù)教育治理與應(yīng)用。搭建校級(jí)數(shù)字化基座不僅實(shí)現(xiàn)了各級(jí)數(shù)字基座聯(lián)接和復(fù)用，而且通過實(shí)現(xiàn)大規(guī)模結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)采集、數(shù)據(jù)認(rèn)證、數(shù)據(jù)授權(quán)以及數(shù)據(jù)的標(biāo)準(zhǔn)化等工作，使得數(shù)據(jù)民主化。所謂的“數(shù)據(jù)民主化”是指賦予人們，特別是弱勢(shì)群體或處于不利境地的，接近數(shù)據(jù)的權(quán)利，以確保利益訴求得以實(shí)現(xiàn)。首先，打造校級(jí)數(shù)字基座，聯(lián)通數(shù)據(jù)孤島，搭建數(shù)據(jù)門戶，創(chuàng)建可視化內(nèi)容，開放訪問路徑，建立有效的信息交流機(jī)制。其次，注重基座內(nèi)的數(shù)據(jù)透明度、可審計(jì)性和可問責(zé)性，如掌控?cái)?shù)據(jù)決策過程、明確的文件記錄數(shù)據(jù)采集過程等。最后，便于教育主體自行獲取數(shù)據(jù)，自行分析和驗(yàn)證。在數(shù)據(jù)安全、數(shù)據(jù)合規(guī)、安全管理框架下，數(shù)據(jù)可流動(dòng)、可獲取、可應(yīng)用，人、物、數(shù)據(jù)實(shí)現(xiàn)互通互聯(lián)，使用者的數(shù)據(jù)邊界被拓寬，教育主體的參與程度得以拓展。

2.提升教師數(shù)字素養(yǎng)，擔(dān)當(dāng)數(shù)據(jù)責(zé)任

在理想情況下，教師是人工智能教育應(yīng)用間接的建設(shè)者和維護(hù)者，是教育數(shù)據(jù)直接的使用者和解讀者，是數(shù)據(jù)工作者和學(xué)生之間的溝通者。雖然教師不需要具備良好的數(shù)據(jù)和算法程序的編寫經(jīng)驗(yàn)，不必成為數(shù)據(jù)科學(xué)專家，但需要掌握數(shù)據(jù)科學(xué)的基本知識(shí)，運(yùn)用數(shù)據(jù)的基本倫理規(guī)范辨識(shí)數(shù)據(jù)在教育環(huán)境中的優(yōu)劣勢(shì)和真?zhèn)涡?，并能解釋人工智能系統(tǒng)中所使用和提供的數(shù)據(jù)，在協(xié)同學(xué)習(xí)和工作中分享真實(shí)、科學(xué)、有效的數(shù)據(jù)。教師作為利益相關(guān)者應(yīng)參與到人工智能教育應(yīng)用中。一方面，教育工作者的基本責(zé)任首先是不造成傷害[10]，在沒有得到支持或允許的情況下，限制教師自身行為，提高紅線意識(shí)，防止燈下黑，確保學(xué)生不會(huì)受到意外傷害；另一方面，教師作為監(jiān)督者，需要主動(dòng)維護(hù)數(shù)據(jù)安全，了解數(shù)據(jù)隱私等行政和監(jiān)管政策的必要性，防止人工智能教育應(yīng)用的創(chuàng)建者加入偏見和傷害。

3.培養(yǎng)學(xué)生計(jì)算思維，傳播數(shù)據(jù)技能

計(jì)算思維屬于信息技術(shù)學(xué)科思維，包含算法思維、評(píng)估、分解、抽象、概括五大要素。[11]在傳統(tǒng)中小學(xué)信息技術(shù)課程設(shè)置上，課程主要偏向于程序設(shè)計(jì)語言和技術(shù)工具應(yīng)用，教學(xué)中很少涉及人工智能的倫理問題，特別是數(shù)據(jù)偏見問題。聯(lián)合國(guó)教科文組織認(rèn)為，中小學(xué)人工智能課程需涉及編碼，而更重要的是要教會(huì)學(xué)生計(jì)算思維，這種思維能讓學(xué)生知道對(duì)機(jī)器的決策何時(shí)該信任，何時(shí)該不信任?；诖?，應(yīng)適當(dāng)增加基礎(chǔ)教育階段適齡學(xué)生的人工智能與社會(huì)、人工智能與人類智能的正式和非正式學(xué)習(xí)內(nèi)容。正式學(xué)習(xí)以《人工智能保護(hù)海洋》（AI for Oceans）為例，此活動(dòng)由美國(guó)公益組織Code.org開展，學(xué)生先區(qū)分海洋中的物體是不是魚，確認(rèn)是垃圾后再進(jìn)行清除，然后不斷地通過添加其他海洋生物來擴(kuò)大數(shù)據(jù)集。通過這項(xiàng)活動(dòng)，幫助學(xué)生理解在組織或系統(tǒng)中，不同利益相關(guān)者所扮演的角色和發(fā)揮的能動(dòng)性，以及這些利益相關(guān)者如何在算法和倫理矩陣中融入自己的價(jià)值觀和偏見。非正式學(xué)習(xí)形式則可安排學(xué)生觀看Netflix的紀(jì)錄片Coded Bias或HBO的紀(jì)錄片Persona等，將計(jì)算思維融入到學(xué)生生活和學(xué)習(xí)中。

4.深化家長(zhǎng)合作價(jià)值，提升數(shù)據(jù)意識(shí)

在現(xiàn)代教育治理的視域中，家庭、家長(zhǎng)或者其他監(jiān)護(hù)人也是治理主體，基礎(chǔ)教育的學(xué)生無法維護(hù)個(gè)人的權(quán)益，需要家長(zhǎng)及時(shí)介入。[12]很多家長(zhǎng)無法從海量數(shù)據(jù)中搜索出需要的資源（技術(shù)層面），不了解大數(shù)據(jù)殺熟、過濾氣泡、信息繭房、回聲室效應(yīng)等數(shù)據(jù)概念和技術(shù)內(nèi)涵，未意識(shí)到數(shù)據(jù)對(duì)自身以及孩子帶來的影響（認(rèn)知層面）。因此，開展家長(zhǎng)數(shù)據(jù)教育培訓(xùn)活動(dòng)，提升家長(zhǎng)數(shù)據(jù)意識(shí)，提高家長(zhǎng)的網(wǎng)絡(luò)素養(yǎng)水平，顯得尤為重要。家長(zhǎng)要承擔(dān)起陪伴成長(zhǎng)發(fā)展的第一責(zé)任，注意培養(yǎng)和提高孩子獲取、選擇、分析、應(yīng)用信息的能力，讓孩子逐步形成判斷信息真?zhèn)魏土驾哪芰Α?/p>