□ 王 娟,高 振,婁方園,孔婉婷

一、引言

教育數(shù)字化戰(zhàn)略的不斷推進(jìn),加快了數(shù)據(jù)在教育中的深入應(yīng)用。然而,教育數(shù)據(jù)在受到越來越多關(guān)注的同時(shí),應(yīng)用過程中出現(xiàn)了教育數(shù)據(jù)安全威脅[1]、教育數(shù)據(jù)孤島[2]、教育數(shù)據(jù)誤用濫用[3]等問題,嚴(yán)重阻礙了數(shù)據(jù)的開放與共享,甚至造成了危害師生、社會和國家安全的嚴(yán)重后果。為解決教育數(shù)據(jù)應(yīng)用產(chǎn)生的諸多問題,教育部、國務(wù)院辦公廳等部門出臺了多個(gè)政策文件。2021年《教育部關(guān)于加強(qiáng)新時(shí)代教育管理信息化工作的通知》強(qiáng)調(diào),要“建立數(shù)據(jù)質(zhì)量評估制度,強(qiáng)化教育數(shù)據(jù)質(zhì)量保障,打通數(shù)據(jù)孤島”[4]。2022年《國務(wù)院辦公廳關(guān)于同意建立國務(wù)院參事建言獻(xiàn)策成果外部評估機(jī)制的函》強(qiáng)調(diào),“依據(jù)評估標(biāo)準(zhǔn)與參考指標(biāo)對多個(gè)評估部門的評估職責(zé)和工作規(guī)則實(shí)施評估”[5]。在相關(guān)政策指引下,建立全面、客觀的績效評估框架,評估教育數(shù)據(jù)應(yīng)用實(shí)效,已成為教育數(shù)字化轉(zhuǎn)型背景下推動(dòng)教育數(shù)據(jù)應(yīng)用共享的有效途徑。目前,已有學(xué)者依托“開放數(shù)據(jù)晴雨表”“開放數(shù)據(jù)指數(shù)”等國際評估標(biāo)準(zhǔn),構(gòu)建了我國政府開放數(shù)據(jù)評估框架[6],并從投入、產(chǎn)出、效果等3個(gè)維度對省市政府?dāng)?shù)據(jù)開放平臺的服務(wù)績效進(jìn)行評估與分析[7],同時(shí)對數(shù)據(jù)的評估指標(biāo)體系開展研究[8]。然而現(xiàn)有的績效評估還存在評估標(biāo)準(zhǔn)不統(tǒng)一、績效評估指標(biāo)設(shè)計(jì)的科學(xué)性與合理性有待考量等問題[9],致使績效評估結(jié)果準(zhǔn)確性不高。因此,亟需設(shè)計(jì)較為完整的教育數(shù)據(jù)應(yīng)用績效評估框架,全面、客觀地評估教育數(shù)據(jù)應(yīng)用在教育數(shù)據(jù)戰(zhàn)略、教育數(shù)據(jù)質(zhì)量、教育數(shù)據(jù)安全、教育數(shù)據(jù)共享和教育數(shù)據(jù)治理等方面存在的問題,探尋教育數(shù)據(jù)應(yīng)用改進(jìn)和發(fā)展的方向,更好地指導(dǎo)教育數(shù)據(jù)應(yīng)用績效評估工作的開展,推動(dòng)教育數(shù)據(jù)應(yīng)用健康發(fā)展。

二、教育數(shù)據(jù)應(yīng)用績效評估分析

1.教育數(shù)據(jù)應(yīng)用績效評估的目的

政府績效評估可以提高政府的工作效率與管理能力,促進(jìn)政府的公共服務(wù)質(zhì)量,提升社會各方的滿意度,營造公眾與政府互相信任的和諧局面。[10]美國學(xué)者阿爾蒙德(Almond)將績效評估的發(fā)展目標(biāo)概括為政治權(quán)力、民主化、經(jīng)濟(jì)增長、福利分配等4個(gè)維度,豐富了政府績效評估的價(jià)值取向。[11]在教育數(shù)據(jù)應(yīng)用方面,通過建立科學(xué)有效的教育數(shù)據(jù)應(yīng)用績效評估框架,教育部門、各級各類學(xué)校、教育培訓(xùn)機(jī)構(gòu)等評估主體依據(jù)新興技術(shù),采取部門自評、監(jiān)管督查、第三方評價(jià)和社會評議等綜合評估方式對教育數(shù)據(jù)的數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理、數(shù)據(jù)共享、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量等方面進(jìn)行評估,探尋教育數(shù)據(jù)應(yīng)用過程中的癥結(jié)所在,提高教育數(shù)據(jù)的應(yīng)用效率。基于此,對教育數(shù)據(jù)應(yīng)用績效中各主客體的評估,可以充分把握主客體在教育數(shù)據(jù)應(yīng)用過程中存在的問題,以實(shí)現(xiàn)教育數(shù)據(jù)應(yīng)用政策的科學(xué)化、區(qū)域發(fā)展的均衡化、學(xué)校教育質(zhì)量的優(yōu)質(zhì)化、教學(xué)效果的顯著化及學(xué)生個(gè)性化學(xué)習(xí)水平的提高。

2.教育數(shù)據(jù)應(yīng)用績效評估的內(nèi)涵

作為政府向教育提供的公共服務(wù),教育數(shù)據(jù)通過在教育決策、教育評價(jià)等方面的應(yīng)用,在教育領(lǐng)域產(chǎn)生滿意效果并提升學(xué)生綜合素養(yǎng)水平,從而產(chǎn)生績效。當(dāng)前對績效的界定存在兩種不同的觀點(diǎn),一種是“結(jié)果的績效觀”,即“在特定的時(shí)間里,由特定的工作職能或活動(dòng)產(chǎn)生的產(chǎn)出記錄”。[12]一種是“過程的績效觀”,即“與組織目標(biāo)有關(guān)的行動(dòng)或行為,能夠用個(gè)人的熟練程度來測量”“績效不是行為后果或結(jié)果,而是行為本身”。[13]此外,研究者從不同角度剖析了教育數(shù)據(jù)應(yīng)用績效的評估主體。例如,從利益相關(guān)者視角看,其數(shù)據(jù)需求是目標(biāo)達(dá)成的評估依據(jù)。[14]績效評估的利益主體可分為政府組織、非政府組織和個(gè)人三大類?；顒?dòng)理論視角下的教育數(shù)據(jù)治理由多元利益主體共同參與。[15]因此,研究認(rèn)為,教育數(shù)據(jù)應(yīng)用績效評估的利益主體包括政府、教育部門、學(xué)校和教育培訓(xùn)機(jī)構(gòu)、合作單位、社會組織、教師、學(xué)生等,綜合借鑒上述兩種不同的績效觀及評估主體相關(guān)研究,研究將教育數(shù)據(jù)應(yīng)用績效定義為:各評估主體基于大數(shù)據(jù)分析等技術(shù),圍繞相關(guān)政策、評估制度、法律法規(guī),依據(jù)評估指標(biāo),采取綜合評價(jià)法,對教育部門、各級各類學(xué)校和校外教學(xué)組織的教育數(shù)據(jù)應(yīng)用績效進(jìn)行評估,以提升教育數(shù)據(jù)應(yīng)用的效率和質(zhì)量。

3.教育數(shù)據(jù)應(yīng)用績效評估的現(xiàn)實(shí)困境

教育數(shù)據(jù)應(yīng)用績效評估能夠提高教育質(zhì)量、提升教育數(shù)據(jù)的應(yīng)用效率,但仍存在諸多現(xiàn)實(shí)問題。第一,績效評估的理念與內(nèi)容的價(jià)值導(dǎo)向偏離了教育規(guī)律,部分評估指標(biāo)設(shè)計(jì)不夠健全,導(dǎo)致評估結(jié)果可用性不強(qiáng)。[16]第二,教育數(shù)據(jù)來源有限,數(shù)據(jù)資源配置不合理。[17]教育數(shù)據(jù)應(yīng)用績效評估體系缺乏科學(xué)性,難以全面反映真實(shí)的教育情況。[18]第三,績效評估視角單一,多以政府或?qū)＜业囊暯菫橹?評估多采用定量或定性研究,這種評估方法不夠全面。[19]第四,目前運(yùn)用較多的“投入/產(chǎn)出比”“DEA(Data Envelopment Analysis,數(shù)據(jù)包絡(luò)分析)”等評估模型,并未考慮非線性的情況,然而當(dāng)下教育數(shù)據(jù)的投入與產(chǎn)出并不是完全線性關(guān)系,致使結(jié)果不能精準(zhǔn)反映現(xiàn)實(shí)情況。

三、教育數(shù)據(jù)應(yīng)用績效評估框架設(shè)計(jì)

為突破現(xiàn)實(shí)困境,實(shí)現(xiàn)教育數(shù)據(jù)應(yīng)用績效評估改革創(chuàng)新,亟須對績效評估的指標(biāo)進(jìn)行系統(tǒng)設(shè)計(jì)。研究以新公共理論、利益相關(guān)者理論和TOE理論為依據(jù),遵循科學(xué)性、真實(shí)性、迭代性、健壯性等原則,基于《數(shù)據(jù)管理能力成熟度評估模型》(DCMM)[20]和CIPP模型,參考諸多相關(guān)研究,從教育數(shù)據(jù)戰(zhàn)略、教育數(shù)據(jù)質(zhì)量、教育數(shù)據(jù)安全、教育數(shù)據(jù)共享、教育數(shù)據(jù)治理和數(shù)據(jù)成果等6個(gè)方面設(shè)計(jì)教育數(shù)據(jù)應(yīng)用績效評估框架,以提高評估框架的適配性,提升教育數(shù)據(jù)的應(yīng)用水平。

1.理論依據(jù)

(1)新公共管理理論。主張通過考核目標(biāo)績效的方式,對單位和個(gè)人進(jìn)行有標(biāo)準(zhǔn)的評價(jià),追求經(jīng)濟(jì)、效益和效率[21],以實(shí)現(xiàn)評估質(zhì)量、評估效率、評估成本等方面的優(yōu)化?；谛鹿补芾砝碚撨M(jìn)行績效評估框架設(shè)計(jì),有利于促進(jìn)教育數(shù)據(jù)質(zhì)量的改善、數(shù)據(jù)治理的組織和建設(shè)、數(shù)據(jù)開放共享等,實(shí)現(xiàn)教育數(shù)據(jù)應(yīng)用的多維度提升。

(2)利益相關(guān)者理論。利益相關(guān)者是能夠影響組織目標(biāo)實(shí)現(xiàn),或者被組織目標(biāo)實(shí)現(xiàn)的過程所影響的所有個(gè)人和群體[22],強(qiáng)調(diào)績效評價(jià)和管理中心不僅僅取決于領(lǐng)導(dǎo)者。在績效評估過程中涉及多個(gè)群體和個(gè)體,要充分考慮各群體和個(gè)體的意見,改善評估主體單一性,拓展績效評估框架的設(shè)計(jì)思路,促進(jìn)教育數(shù)據(jù)戰(zhàn)略的制定。

(3)TOE理論。強(qiáng)調(diào)一項(xiàng)技術(shù)創(chuàng)新的應(yīng)用主要受到技術(shù)(Technology)、組織(Organization)和環(huán)境(Environment)方面的影響。目前該理論已廣泛應(yīng)用到共享平臺創(chuàng)新、政府?dāng)?shù)據(jù)開放等方面。[23]績效評估框架設(shè)計(jì)涉及新興技術(shù)、基本技術(shù)條件等技術(shù)因素,財(cái)政資源供給、人力資源狀況等組織因素和財(cái)政需求、社會環(huán)境等環(huán)境因素,這與TOE理論的靈活性和適用性等特點(diǎn)相契合。

(4)CIPP模型。該模型主要包括背景、輸入、過程和成果等4項(xiàng)評估活動(dòng),要求所有的利益相關(guān)者參與解釋和建立共識的過程,以協(xié)助確定評估問題、明確價(jià)值和價(jià)值標(biāo)準(zhǔn)、提供必要信息,并協(xié)助解釋調(diào)查結(jié)果。[24]這與績效評估中多元主體參與高度契合,同時(shí)模型中的4項(xiàng)活動(dòng)貫穿了評估的整個(gè)周期,與數(shù)據(jù)的全生命周期相契合。

(5)DCMM模型。DCMM是我國數(shù)據(jù)管理領(lǐng)域首個(gè)正式的國家標(biāo)準(zhǔn)。模型中定義了8個(gè)數(shù)據(jù)管理能力域和28個(gè)能力項(xiàng)以協(xié)助企業(yè)應(yīng)用先進(jìn)的數(shù)據(jù)管理理念和方法,建立和評估自身的數(shù)據(jù)管理能力,不斷完善數(shù)據(jù)管理組織、程序和制度,并充分發(fā)揮數(shù)據(jù)在促進(jìn)企業(yè)向信息化、數(shù)字化和智能化發(fā)展方面的價(jià)值。[25]研究從數(shù)據(jù)管理能力成熟度評估模型中的能力域中選取若干域,形成績效評估的一級指標(biāo),具有一定的規(guī)范性和權(quán)威性。

2.設(shè)計(jì)原則

教育數(shù)據(jù)應(yīng)用績效評估框架設(shè)計(jì)應(yīng)保障評估的真實(shí)性、準(zhǔn)確性和可靠性,需要遵循以下原則促使教育數(shù)據(jù)從多層面、多角度發(fā)揮作用。

(1)科學(xué)性原則。開展教育數(shù)據(jù)應(yīng)用績效評估工作,應(yīng)遵循客觀規(guī)律,依據(jù)評估目的,獲得經(jīng)得起實(shí)踐檢驗(yàn)、科學(xué)有效的評估結(jié)果?？冃гu估框架應(yīng)科學(xué)、全面地反映教育數(shù)據(jù)應(yīng)用中的諸多問題,如指標(biāo)可用性不強(qiáng)、教育數(shù)據(jù)來源不足、評估視角單一等。

(2)真實(shí)性原則。績效評估框架設(shè)計(jì)過程中,必須保障評估的真實(shí)性、準(zhǔn)確性和可靠性,及時(shí)剔除虛假信息,并進(jìn)行責(zé)任追溯,避免因此導(dǎo)致的政策誤判等問題。

(3)迭代性原則。建立數(shù)據(jù)評估體系需要遵循循環(huán)迭代檢驗(yàn)機(jī)制。[26]績效評估需要經(jīng)歷“戰(zhàn)略規(guī)劃—數(shù)據(jù)質(zhì)量—數(shù)據(jù)安全管理—數(shù)據(jù)共享—數(shù)據(jù)治理—新戰(zhàn)略規(guī)劃”的教育數(shù)據(jù)應(yīng)用周期,遵循迭代性原則,以提高教育數(shù)據(jù)的應(yīng)用效率,實(shí)現(xiàn)教育數(shù)據(jù)評估的結(jié)構(gòu)化、共享化和安全化。

(4)健壯性原則?？冃гu估框架應(yīng)在一定限度內(nèi)避免操作人員的不當(dāng)操作,需要考慮績效評估的容錯(cuò)性、穩(wěn)定性和吞吐量。如因不穩(wěn)定而影響教育數(shù)據(jù)應(yīng)用績效評估的正常運(yùn)行,這是極其不可取的且極度危險(xiǎn)的。

3.評估框架

研究參考《關(guān)于防范和懲治教育統(tǒng)計(jì)造假弄虛作假責(zé)任制規(guī)定(試行)》《教育部關(guān)于加強(qiáng)新時(shí)代教育管理信息化工作的通知》《國務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知》等國家標(biāo)準(zhǔn)及政策文件,借鑒DCMM和CIPP模型,梳理教育數(shù)據(jù)應(yīng)用評估的研究觀點(diǎn),結(jié)合新公共管理理論、利益相關(guān)者理論、TOE理論,為教育數(shù)據(jù)應(yīng)用績效評估框架制定層層遞進(jìn)的縱向指標(biāo),每個(gè)縱向指標(biāo)又細(xì)分了一定的橫向指標(biāo)。在此基礎(chǔ)上,將一級指標(biāo)具體化、情景化,確定績效評估的核心要素,形成了教育數(shù)據(jù)應(yīng)用績效評估框架,如圖1所示。

圖1 教育數(shù)據(jù)應(yīng)用績效評估框架

教育數(shù)據(jù)應(yīng)用績效評估應(yīng)遵循其全生命周期,經(jīng)歷戰(zhàn)略規(guī)劃、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全管理、數(shù)據(jù)共享、數(shù)據(jù)治理和應(yīng)用成果的教育數(shù)據(jù)應(yīng)用周期,如同生命體要經(jīng)歷從誕生到衰亡的生命周期。同時(shí),教育數(shù)據(jù)應(yīng)用的前一階段會對后續(xù)的應(yīng)用產(chǎn)生重要影響,表明績效評估應(yīng)貫穿教育數(shù)據(jù)應(yīng)用從誕生到衰亡的全生命周期,以一個(gè)周期作為評估節(jié)點(diǎn),通過不斷循環(huán)、迭代、優(yōu)化,構(gòu)建并維系一種有序穩(wěn)定、持續(xù)發(fā)展的教育數(shù)據(jù)應(yīng)用生態(tài)。

(1)教育數(shù)據(jù)應(yīng)用績效評估的指標(biāo)體系構(gòu)建

目前,已有學(xué)者對教育數(shù)據(jù)應(yīng)用績效評估提出了相關(guān)建議。李莎等認(rèn)為,對教育數(shù)據(jù)戰(zhàn)略的及時(shí)性、實(shí)用性、客觀性、完整性進(jìn)行評估,可以改善教育部門的數(shù)據(jù)生命周期的管理。[27]趙磊磊等認(rèn)為,教育數(shù)據(jù)質(zhì)量面臨可用性不強(qiáng)、準(zhǔn)確性不高、一致性較弱等問題,會引發(fā)一定的教育數(shù)據(jù)風(fēng)險(xiǎn)。[28]楊現(xiàn)民等認(rèn)為,教育數(shù)據(jù)安全已成為影響大數(shù)據(jù)發(fā)展的關(guān)鍵因素。[29]《開放數(shù)據(jù)全球報(bào)告》(OpenDataBarometerGlobalReport)從免費(fèi)、可更新、可發(fā)現(xiàn)、可持續(xù)、批量獲取、開放許可和機(jī)器可讀等7個(gè)指標(biāo)評估數(shù)據(jù)的開放程度。[30]李青等認(rèn)為,教育數(shù)據(jù)共享應(yīng)注重?cái)?shù)據(jù)開放的標(biāo)準(zhǔn)和隱私保護(hù)。[31]為此,基于上述研究,結(jié)合相關(guān)政策文件,研究構(gòu)建了教育數(shù)據(jù)應(yīng)用績效評估框架的一級指標(biāo),包括教育數(shù)據(jù)戰(zhàn)略、教育數(shù)據(jù)質(zhì)量、教育數(shù)據(jù)安全、教育數(shù)據(jù)共享、教育數(shù)據(jù)治理、數(shù)據(jù)應(yīng)用成果等6個(gè)方面,同時(shí)參考CIPP模型中的4項(xiàng)評估活動(dòng)和相關(guān)指標(biāo),進(jìn)一步將確定的6個(gè)一級指標(biāo)細(xì)化成20個(gè)二級指標(biāo),并在此基礎(chǔ)上進(jìn)一步對核心要素評估內(nèi)容進(jìn)行細(xì)致描述,其指標(biāo)劃分、指標(biāo)說明和相應(yīng)的評估內(nèi)容見表1。

表1 教育數(shù)據(jù)應(yīng)用績效評估指標(biāo)的劃分與內(nèi)容

(2)核心要素及其評估內(nèi)容分析

?教育數(shù)據(jù)戰(zhàn)略

教育數(shù)據(jù)戰(zhàn)略包括教育數(shù)據(jù)戰(zhàn)略規(guī)劃[32]、教育數(shù)據(jù)戰(zhàn)略實(shí)施[33]和教育數(shù)據(jù)戰(zhàn)略評估[34]。教育數(shù)據(jù)戰(zhàn)略規(guī)劃是在所有利益相關(guān)者之間達(dá)成共識的結(jié)果,包括時(shí)間、成本、效益、風(fēng)險(xiǎn)等。教育數(shù)據(jù)戰(zhàn)略實(shí)施是指完成教育數(shù)據(jù)戰(zhàn)略規(guī)劃并實(shí)現(xiàn)教育數(shù)據(jù)職能框架的過程。教育數(shù)據(jù)戰(zhàn)略評估指使用結(jié)構(gòu)化的語言將收集到的戰(zhàn)略規(guī)劃和決策中應(yīng)用的數(shù)據(jù)需求進(jìn)行綜合分析評估,并按照架構(gòu)規(guī)范重新組織。通過對教育數(shù)據(jù)戰(zhàn)略的內(nèi)容進(jìn)行評估,可以滿足內(nèi)外部監(jiān)管與外部組織互聯(lián)互通等教育數(shù)據(jù)需要,明確利益相關(guān)者的需求,分析教育數(shù)據(jù)戰(zhàn)略落實(shí)情況,確定與目標(biāo)之間的差距,以便及時(shí)對實(shí)施過程進(jìn)行監(jiān)控,明確發(fā)展方向。

?教育數(shù)據(jù)質(zhì)量

教育數(shù)據(jù)質(zhì)量包括教育數(shù)據(jù)質(zhì)量需求[35]、教育數(shù)據(jù)質(zhì)量檢查[36]、教育數(shù)據(jù)質(zhì)量分析[37]和教育數(shù)據(jù)質(zhì)量提升[38]。教育數(shù)據(jù)質(zhì)量需求是度量和管理數(shù)據(jù)質(zhì)量的依據(jù)。教育數(shù)據(jù)質(zhì)量檢查是對教育數(shù)據(jù)質(zhì)量問題進(jìn)行實(shí)時(shí)監(jiān)控和評估,并向教育數(shù)據(jù)管理人員反饋。[39]教育數(shù)據(jù)質(zhì)量分析是對教育數(shù)據(jù)質(zhì)量檢查過程中發(fā)現(xiàn)的教育數(shù)據(jù)質(zhì)量問題及相關(guān)信息進(jìn)行分析,并定義教育數(shù)據(jù)質(zhì)量問題的優(yōu)先級。教育數(shù)據(jù)質(zhì)量評估應(yīng)依據(jù)教育數(shù)據(jù)管理目標(biāo)、行業(yè)的監(jiān)管需求,參考相關(guān)標(biāo)準(zhǔn)對教育數(shù)據(jù)質(zhì)量需求的一致性進(jìn)行評估,并根據(jù)教育數(shù)據(jù)質(zhì)量的分析結(jié)果,制定、實(shí)施數(shù)據(jù)質(zhì)量改進(jìn)方案,確保教育數(shù)據(jù)質(zhì)量不斷改進(jìn)和提升。

?教育數(shù)據(jù)安全

教育數(shù)據(jù)安全包括教育數(shù)據(jù)安全策略[40]、教育數(shù)據(jù)安全管理[41]和教育數(shù)據(jù)安全審計(jì)[42]。教育數(shù)據(jù)安全策略是教育數(shù)據(jù)安全的核心內(nèi)容。教育數(shù)據(jù)安全管理是在教育數(shù)據(jù)安全標(biāo)準(zhǔn)與策略的指導(dǎo)下,通過對教育數(shù)據(jù)訪問的授權(quán)、分類分級的控制、監(jiān)控教育數(shù)據(jù)的訪問等進(jìn)行教育數(shù)據(jù)安全的管理工作,實(shí)現(xiàn)對教育數(shù)據(jù)全生命周期的安全管理。[43]教育數(shù)據(jù)安全審計(jì)負(fù)責(zé)定期分析、驗(yàn)證、討論、改進(jìn)教育數(shù)據(jù)安全管理相關(guān)的政策、標(biāo)準(zhǔn)和活動(dòng),分析實(shí)施規(guī)程和實(shí)際做法,確保教育數(shù)據(jù)安全的目標(biāo)、策略等與預(yù)期結(jié)果相一致。教育數(shù)據(jù)安全評估需要結(jié)合監(jiān)管需求、相關(guān)標(biāo)準(zhǔn)等制定統(tǒng)一的教育數(shù)據(jù)安全標(biāo)準(zhǔn)[44],提供適用的教育數(shù)據(jù)安全策略,制定教育數(shù)據(jù)安全管理的利益相關(guān)者清單,對教育數(shù)據(jù)訪問、控制權(quán)限進(jìn)行授權(quán),保證教育數(shù)據(jù)在應(yīng)用過程中的隱私性,分析和改進(jìn)數(shù)據(jù)安全方案,確保教育數(shù)據(jù)安全的目標(biāo)和預(yù)期結(jié)果相一致。

?教育數(shù)據(jù)共享

教育數(shù)據(jù)共享包括教育數(shù)據(jù)集成與共享、教育數(shù)據(jù)開放共享。[45]教育數(shù)據(jù)集成與共享是建立各應(yīng)用系統(tǒng)、各部門之間的集成共享機(jī)制,是對數(shù)據(jù)孤島現(xiàn)象、相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)和制度等的評估。教育數(shù)據(jù)開放共享是指按照統(tǒng)一的管理策略對教育數(shù)據(jù)進(jìn)行有選擇地對外開放,是實(shí)現(xiàn)教育數(shù)據(jù)跨組織、跨行業(yè)流轉(zhuǎn)的重要前提,是教育數(shù)據(jù)價(jià)值最大化的基礎(chǔ)。一方面,建立教育數(shù)據(jù)集成共享環(huán)境,將多種類型的教育數(shù)據(jù)整合在一起,實(shí)現(xiàn)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)處理。另一方面,建立統(tǒng)一的教育數(shù)據(jù)開放策略,對開放共享的教育數(shù)據(jù)進(jìn)行全面梳理,保證教育數(shù)據(jù)開放共享滿足安全、監(jiān)管和法律法規(guī)等要求,促進(jìn)內(nèi)外部數(shù)據(jù)的互通與教育數(shù)據(jù)價(jià)值的提升。

?教育數(shù)據(jù)治理

教育數(shù)據(jù)治理包括教育數(shù)據(jù)治理組織、教育數(shù)據(jù)制度建設(shè)和教育數(shù)據(jù)治理溝通。[46]教育數(shù)據(jù)治理組織包括組織架構(gòu)、教育數(shù)據(jù)責(zé)任等內(nèi)容,是教育數(shù)據(jù)職能工作開展的前提。教育數(shù)據(jù)制度建設(shè)是教育數(shù)據(jù)管理和教育數(shù)據(jù)應(yīng)用工作有序開展的基礎(chǔ),是教育數(shù)據(jù)治理溝通和實(shí)施的依據(jù)。教育數(shù)據(jù)治理溝通旨在確保利益相關(guān)者能及時(shí)了解相關(guān)政策、標(biāo)準(zhǔn)等情況,提高教育數(shù)據(jù)資產(chǎn)意識,構(gòu)建教育數(shù)據(jù)文化。為有效評估教育數(shù)據(jù)治理需從三方面著手:第一,建立支撐教育數(shù)據(jù)管理和教育數(shù)據(jù)應(yīng)用戰(zhàn)略的績效評估體系,健全教育數(shù)據(jù)責(zé)任體系,明確各方在教育數(shù)據(jù)管理中的職責(zé)。[47]第二,遵循嚴(yán)格的發(fā)布流程并定期檢查和更新,將教育數(shù)據(jù)治理貫穿數(shù)據(jù)應(yīng)用的全生命周期。[48]第三,對數(shù)據(jù)的精確性和數(shù)據(jù)的有用性進(jìn)行評估。

?數(shù)據(jù)應(yīng)用成果

數(shù)據(jù)應(yīng)用成果的評估階段旨在了解教育數(shù)據(jù)應(yīng)用后學(xué)生成績、學(xué)生參與、數(shù)據(jù)使用率、學(xué)習(xí)策略應(yīng)用和教學(xué)效果的具體表現(xiàn),以此評估數(shù)據(jù)績效評估的整體成效,是對教育數(shù)據(jù)應(yīng)用績效的總結(jié)性評估,是對教育數(shù)據(jù)績效評估整體效果的有效驗(yàn)證。通過評估學(xué)生的學(xué)習(xí)成績、參與率和學(xué)習(xí)策略的使用情況,可以促進(jìn)學(xué)生學(xué)習(xí)和發(fā)展,提高學(xué)習(xí)成效。通過評估教師的教學(xué)效果和反饋,改善教師的教學(xué)能力,提高教育數(shù)據(jù)應(yīng)用的實(shí)際效果。數(shù)據(jù)應(yīng)用成果涉及學(xué)生、教師、教學(xué)內(nèi)容、教學(xué)過程和教學(xué)管理等方面,需要通過不斷的評估和改進(jìn),以提高教育數(shù)據(jù)應(yīng)用的效果和價(jià)值,更好地服務(wù)于教育事業(yè)的發(fā)展。

四、教育數(shù)據(jù)應(yīng)用績效評估框架的實(shí)踐路徑

教育數(shù)據(jù)應(yīng)用績效評估是一項(xiàng)復(fù)雜且需要反復(fù)迭代的工作,有效實(shí)施可以更好地實(shí)現(xiàn)教育數(shù)據(jù)應(yīng)用的價(jià)值,促進(jìn)政府、教育部門、學(xué)校、教育教學(xué)和師生協(xié)同發(fā)展。研究從多方面、多層次構(gòu)建了教育數(shù)據(jù)應(yīng)用績效評估框架,并從基礎(chǔ)支撐、平臺服務(wù)和應(yīng)用創(chuàng)新等3個(gè)層面提出了實(shí)踐路徑,具體如圖2所示?；A(chǔ)支撐層作為整個(gè)績效評估工作的基石,需要通過頂層設(shè)計(jì)、技術(shù)賦能和工具開發(fā)來保障績效評估的展開。平臺服務(wù)層作為績效評估的橋梁,擔(dān)負(fù)著數(shù)據(jù)采集、分析與結(jié)果反饋的一體化功能,滿足基礎(chǔ)數(shù)據(jù)的傳輸與共享,打通各利益相關(guān)者參與績效評估的壁壘。應(yīng)用創(chuàng)新層是評估工作的重要環(huán)節(jié),是在基礎(chǔ)支撐層和平臺服務(wù)層的基礎(chǔ)上,通過轉(zhuǎn)變評估理念、改善評估方式和健全評估主體等創(chuàng)新性轉(zhuǎn)變,最終賦能教育數(shù)據(jù)應(yīng)用績效評估的有效實(shí)施。

圖2 教育數(shù)據(jù)應(yīng)用績效評估框架實(shí)踐路徑

1.基礎(chǔ)支撐層:奠定績效評估基石

(1)頂層掌舵設(shè)計(jì):政策引領(lǐng)教育數(shù)據(jù)應(yīng)用規(guī)范發(fā)展

教育數(shù)據(jù)應(yīng)用績效評估涉及政府、教育主管部門、學(xué)校、教育機(jī)構(gòu)、企業(yè)、社會公眾等多方利益相關(guān)者,需要多個(gè)主體共同參與評估以保障評估質(zhì)量和真實(shí)性。然而當(dāng)前的教育數(shù)據(jù)應(yīng)用績效評估仍以政府內(nèi)部評估為主[49],其他利益相關(guān)者參與評估的空間較少,致使績效評估工作較難全面開展。評估框架的實(shí)施需要明確利益相關(guān)者的權(quán)責(zé)歸屬和評估空間,聯(lián)合各主體共同管理與監(jiān)督,健全教育數(shù)據(jù)應(yīng)用績效評估體系,形成規(guī)范統(tǒng)一的評估制度。如英國為了得到更加公平、客觀的評估結(jié)論,政府不介入教育數(shù)據(jù)應(yīng)用績效評估,評估主體主要來自社會及學(xué)校。[50]為此,一方面,教育部等行政管理部門應(yīng)發(fā)揮“掌舵者”的角色,充分考慮我國的現(xiàn)狀,及時(shí)出臺合適的政策文件以引導(dǎo)教育數(shù)據(jù)應(yīng)用規(guī)范發(fā)展,加強(qiáng)對績效評估各要素、各主體、各環(huán)節(jié)的監(jiān)管,健全評估機(jī)制,以有效推進(jìn)績效評估工作的順利開展。如日本參考Web創(chuàng)始人Tim Berners-Lee提出通過五級索引制定評價(jià)指標(biāo)制度,以評估開放數(shù)據(jù)的實(shí)現(xiàn)程度。[51]另一方面,教育數(shù)據(jù)應(yīng)用績效評估框架的有效實(shí)施需要相關(guān)法律法規(guī)的保駕護(hù)航,可在法律法規(guī)中明確各利益相關(guān)者的權(quán)利和責(zé)任,實(shí)施相應(yīng)懲處措施。同時(shí),也要明確績效評估框架指標(biāo)如何落實(shí),做到有法可依,進(jìn)而保障績效評估的效益和作用。

(2)技術(shù)賦能推進(jìn):智能技術(shù)促進(jìn)績效評估落實(shí)

教育數(shù)據(jù)應(yīng)用績效評估需要各評估主體充分利用大數(shù)據(jù)、區(qū)塊鏈等智能技術(shù)改善數(shù)據(jù)來源問題、評估視角問題、數(shù)據(jù)安全問題等。智能技術(shù)為績效評估提供基礎(chǔ)支撐,賦能績效評估的各環(huán)節(jié),實(shí)現(xiàn)高效、系統(tǒng)、全面的反饋與評估,從而改善教育數(shù)據(jù)來源不足、評估視角單一、不能精確反映現(xiàn)實(shí)等問題,促進(jìn)績效評估轉(zhuǎn)型,實(shí)現(xiàn)績效評估動(dòng)態(tài)化、常態(tài)化。提供績效評估的技術(shù)支持,構(gòu)建具有特色的教育數(shù)據(jù)應(yīng)用績效評估平臺、數(shù)字化管理機(jī)制和操作系統(tǒng),形成評估內(nèi)容與方法整合、評估結(jié)果與績效掛鉤的教育數(shù)據(jù)應(yīng)用績效評估機(jī)制,提高數(shù)據(jù)采集、應(yīng)用的科學(xué)性,提升教育管理人員的數(shù)據(jù)素養(yǎng)。

(3)打造螺旋服務(wù):工具開發(fā)提高績效評估效能

教育數(shù)據(jù)應(yīng)用績效評估是教育數(shù)據(jù)開放共享的重要環(huán)節(jié),打造螺旋服務(wù)、開發(fā)評估工具能夠提高績效評估的效能,促進(jìn)教育數(shù)據(jù)開放共享。開發(fā)教育應(yīng)用績效評估工具,需要從評估工具的成本效益是否最優(yōu)、評估工具是否單一、能否提高評估工具的拓展性等3個(gè)層面考量。第一,需要考慮工具、人員培訓(xùn)、時(shí)間等成本,通過評估工具的選擇與教育數(shù)據(jù)策略相結(jié)合,有效提高教育數(shù)據(jù)的利用率。第二,對于大規(guī)模、多線程、多指標(biāo)的教育數(shù)據(jù)來說,單一工具的使用很難有實(shí)效,應(yīng)使用多種評估工具對不同的指標(biāo)從多個(gè)視角進(jìn)行評估。第三,不同評估工具可以用于對教育數(shù)據(jù)應(yīng)用績效進(jìn)行監(jiān)測和評估、數(shù)據(jù)收集及分析,但收集不同來源教育數(shù)據(jù)時(shí),評估工具的拓展性會影響評估的績效,因此在開發(fā)績效評估工具時(shí)應(yīng)提高工具的拓展性。

2.平臺服務(wù)層:打造數(shù)據(jù)處理核心

(1)伴隨式全域數(shù)據(jù)采集:保障教育數(shù)據(jù)應(yīng)用采集的全面性

匯聚數(shù)據(jù)采集是教育數(shù)據(jù)應(yīng)用績效評估框架有效實(shí)施的重要環(huán)節(jié),避免因收集的教育數(shù)據(jù)片段化而忽略部分應(yīng)該評價(jià)的內(nèi)容,減少因缺乏可靠的依據(jù)而過于依賴經(jīng)驗(yàn)進(jìn)行主觀評價(jià)的事件發(fā)生。設(shè)計(jì)教育數(shù)據(jù)應(yīng)用績效評估框架需要對教育數(shù)據(jù)進(jìn)行全方位、全時(shí)段的采集,所采集的教育數(shù)據(jù)主要包括非結(jié)構(gòu)化教育數(shù)據(jù)、半結(jié)構(gòu)化教育數(shù)據(jù)和結(jié)構(gòu)化教育數(shù)據(jù)。非結(jié)構(gòu)化教育數(shù)據(jù)和半結(jié)構(gòu)化教育數(shù)據(jù)需要利用智能技術(shù)對全域教育數(shù)據(jù)進(jìn)行匯聚采集,包括教育主體的認(rèn)知數(shù)據(jù)、情感數(shù)據(jù)和行為數(shù)據(jù)等。結(jié)構(gòu)化教育數(shù)據(jù)主要包括教育主體的教育背景、基本信息等,這部分?jǐn)?shù)據(jù)可以直接調(diào)用數(shù)據(jù)庫或者利用工具進(jìn)行自動(dòng)化采集。通過對教育數(shù)據(jù)的全域采集和智能終端伴隨式采集,將碎片化數(shù)據(jù)整合為系統(tǒng)化數(shù)據(jù),以保障數(shù)據(jù)采集的全面性,解決數(shù)據(jù)難以全域采集、數(shù)據(jù)失真等問題。

(2)多維度數(shù)據(jù)分析處理:提高教育數(shù)據(jù)應(yīng)用的質(zhì)量

數(shù)據(jù)分析處理是教育數(shù)據(jù)應(yīng)用績效評估框架有效實(shí)施的主體部分,傳統(tǒng)的教育數(shù)據(jù)分析處理存在一些不足。一方面,縱向分析缺乏各機(jī)構(gòu)、各單位的教育數(shù)據(jù)應(yīng)用績效對比,橫向分析缺少同類機(jī)構(gòu)單位的應(yīng)用績效對比。另一方面,傳統(tǒng)的教育數(shù)據(jù)分析處理僅局限于績效評估的現(xiàn)狀分析,缺少專業(yè)層面的多維度分析。為此,評估時(shí),政府、教育部門等評估主體可以通過人工智能、大數(shù)據(jù)分析等技術(shù)等對采集的教育數(shù)據(jù)進(jìn)行科學(xué)分析和處理,并深度挖掘,剖析績效評估各方面的關(guān)系和特征,揭示教育數(shù)據(jù)應(yīng)用存在的問題與不足,并預(yù)測其未來發(fā)展方向。此外,對各單位機(jī)構(gòu)在多方面進(jìn)行橫縱向?qū)Ρ确治?以提高教育數(shù)據(jù)應(yīng)用的質(zhì)量。

(3)可視化反饋評估結(jié)果:提供精準(zhǔn)化的診斷反饋信息

反饋評估結(jié)果是教育數(shù)據(jù)應(yīng)用績效評估框架有效實(shí)施的重要保障。反饋評估結(jié)果并非是一個(gè)簡單的統(tǒng)計(jì)結(jié)果的過程,而是需要不斷獲取、管理、評估數(shù)據(jù)的復(fù)雜過程?？梢酝ㄟ^大數(shù)據(jù)、學(xué)習(xí)分析等智能技術(shù)及評估工具,根據(jù)教育數(shù)據(jù)應(yīng)用處理分析的結(jié)果進(jìn)行反饋,將反饋的評估結(jié)果通過可視化工具輸出,提供精準(zhǔn)化的診斷反饋信息,保障教育數(shù)據(jù)反饋評估結(jié)果的可靠性和有效性,實(shí)現(xiàn)評估框架的迭代優(yōu)化,助力績效評估更加精準(zhǔn),實(shí)現(xiàn)教育數(shù)據(jù)應(yīng)用資源共享和實(shí)時(shí)反饋。

3.應(yīng)用創(chuàng)新層:賦能評估有效實(shí)施

(1)轉(zhuǎn)變評估理念:打造動(dòng)態(tài)評估模式

以往人們提出教育數(shù)據(jù)服務(wù)訴求后,政府等部門被動(dòng)地做出回應(yīng),這使得教育數(shù)據(jù)應(yīng)用績效評估過程僵化、評估內(nèi)容貧瘠。[52]隨著技術(shù)與數(shù)據(jù)的融合、評估主體參與的多樣性,政府等部門可以及時(shí)了解教育訴求,轉(zhuǎn)變教育數(shù)據(jù)應(yīng)用績效評估的理念。技術(shù)的發(fā)展使績效評估從靜態(tài)走向動(dòng)態(tài),改善了績效評估視角單一等問題,同時(shí)借助大數(shù)據(jù)技術(shù),轉(zhuǎn)變評估理念,對海量的教育數(shù)據(jù)進(jìn)行收集、分析與處理,從而發(fā)現(xiàn)其中的內(nèi)在聯(lián)系與發(fā)展規(guī)律,并進(jìn)行精準(zhǔn)預(yù)測和評估。

(2)改善評估方式:內(nèi)部評價(jià)與外部評價(jià)相結(jié)合

以往的教育績效評估主要通過抽樣調(diào)查或試點(diǎn)實(shí)驗(yàn)等形式展開,這種評估方式難以滿足不同地區(qū)、不同群體的訴求。為了更真實(shí)、客觀地評估教育數(shù)據(jù)應(yīng)用績效,需圍繞評估主體構(gòu)建內(nèi)外部評價(jià)相結(jié)合的績效評估方式。內(nèi)部評價(jià)包括部門自評和監(jiān)管督查兩種形式。外部評價(jià)是保證績效評估結(jié)果客觀公正的必要途徑,主要包括第三方評價(jià)和社會評價(jià)。利用新興技術(shù)對教育數(shù)據(jù)應(yīng)用績效進(jìn)行評價(jià)創(chuàng)新,可以有效融合多種評價(jià)方式,避免評估過程過分依賴經(jīng)驗(yàn)的缺陷,加強(qiáng)教育數(shù)據(jù)應(yīng)用績效的科學(xué)分析,促進(jìn)教育數(shù)據(jù)的識別、采集、整合、應(yīng)用走向智能化與精準(zhǔn)化,增加教育數(shù)據(jù)產(chǎn)出效益,完善績效制度體系建設(shè)。

(3)健全評估主體:多元主體共同參與協(xié)作

傳統(tǒng)的教育數(shù)據(jù)應(yīng)用績效評估的主體較為單一,沒有充分考慮各利益相關(guān)者的權(quán)責(zé)。通過健全評估主體可以推動(dòng)多元評估主體共同參與和協(xié)作,解決績效評估視角單一等問題?？冃гu估不僅取決于政府的領(lǐng)導(dǎo),更需要以教育部門、學(xué)校和教育培訓(xùn)機(jī)構(gòu)、合作單位、社會組織、教師、學(xué)生等所有參與的個(gè)體或群體為中心進(jìn)行評估。智能時(shí)代教育數(shù)據(jù)應(yīng)用績效評估凸顯“去中心化”趨勢,形成了“多中心”評估的結(jié)構(gòu),使得個(gè)人和社會有了更多參與績效評估的機(jī)會。在績效評估中要充分考慮各群體和個(gè)體的意見,明確利益相關(guān)者的需求,健全評估主體,提高評估的科學(xué)性,促進(jìn)教育數(shù)據(jù)戰(zhàn)略的制定。

五、結(jié)語

教育數(shù)據(jù)應(yīng)用績效評估已成為驅(qū)動(dòng)教育數(shù)字化轉(zhuǎn)型的引擎。加速應(yīng)用績效評估框架的設(shè)計(jì)與實(shí)施是優(yōu)化教育數(shù)據(jù)要素市場、推進(jìn)教育數(shù)字化轉(zhuǎn)型的必由之路。研究設(shè)計(jì)了教育數(shù)據(jù)應(yīng)用績效評估框架,從基礎(chǔ)支撐、平臺服務(wù)和應(yīng)用創(chuàng)新等3個(gè)層面提出了績效評估框架的實(shí)踐路徑。然而,績效評估仍面臨著較多難題,未來研究將需要在相關(guān)政策文件的支持下,圍繞如何精準(zhǔn)落實(shí)績效評估機(jī)制與框架在地方政府及部門的應(yīng)用,提高績效評估框架的適配性,推動(dòng)教育數(shù)據(jù)應(yīng)用績效評估的有序開展,助推新時(shí)代的教育數(shù)字化轉(zhuǎn)型。