王宇琪,鄭安琪,郝川艷
(南京郵電大學(xué)教育科學(xué)與技術(shù)學(xué)院,江蘇 南京 210023)
情感目標(biāo)評價(jià)機(jī)制具有內(nèi)隱性、長期性、動態(tài)性等特點(diǎn)。過程性評價(jià)與情感目標(biāo)評價(jià)機(jī)制相契合,適合用于對學(xué)習(xí)的動機(jī)、過程以及與學(xué)習(xí)密切相關(guān)的非智力因素進(jìn)行全面評價(jià)。但在實(shí)際教學(xué)過程中如何對情感目標(biāo)進(jìn)行過程性評價(jià),仍是教育評價(jià)改革的難題。
情感目標(biāo)過程性評價(jià)常常采用問卷法、訪談法、檔案袋法等方法,但這些方法效率較低,不適于長期跟蹤與大規(guī)模分析。而深度學(xué)習(xí)方法可高效地提取觀點(diǎn)并進(jìn)行情感分類,實(shí)現(xiàn)智能化存儲信息。近年來基于深度學(xué)習(xí)技術(shù)分析評語中情感信息成為對教學(xué)過程性評價(jià)的一種有效方式。然而,這類研究聚焦于教學(xué)目標(biāo)過程性評價(jià),較少利用情感分析專門探究情感目標(biāo)過程性評價(jià),故借助情感分析技術(shù)進(jìn)行情感目標(biāo)評價(jià)是很有意義的。其中細(xì)粒度情感分析是情感分析的方法之一,能在復(fù)雜的語境中準(zhǔn)確識別評價(jià)對象的多屬性及其對應(yīng)的情感傾向。因此本文借助細(xì)粒度情感分析方法,探究學(xué)生在情感、價(jià)值觀等方面的變化,以實(shí)現(xiàn)情感目標(biāo)的過程性評價(jià)。
隨著人們?nèi)找嫣岣叩那楦蟹治鲂枨螅?xì)粒度情感分析應(yīng)運(yùn)而生。評論發(fā)布者從對象屬性層面的各功能部分做出評價(jià),而細(xì)粒度的情感分析技術(shù)能夠準(zhǔn)確識別這些屬性及其對應(yīng)情感傾向??梢?,細(xì)粒度情感分析與以往情感分析技術(shù)最大不同之處在于它可以分析出一條評論中具有情感傾向的各個(gè)要素,即情感詞指向的最小對象,例如一位學(xué)生寫道:我很喜歡老師的上課風(fēng)格,但老師若能結(jié)合時(shí)代背景多為我們講解文學(xué)作品背后的故事會更好。該評語中包含著兩個(gè)屬性,即教師的教學(xué)風(fēng)格與情感素養(yǎng)的培養(yǎng)。
細(xì)粒度情感分析一般分三個(gè)步驟:①識別評論對象屬性及其對應(yīng)情感詞;②對識別出的評論對象屬性情感進(jìn)行極性分類;③匯總(聚集)分類結(jié)果。其中,評論對象屬性指相關(guān)領(lǐng)域中的屬性詞,如在教育領(lǐng)域內(nèi),屬性詞包括“教學(xué)態(tài)度”、“應(yīng)變能力”等。而與之對應(yīng)的情感詞,主要指情感詞和相關(guān)修飾部分,包括形容詞、副詞、動詞和名詞;抽取的主要方法有基于人工定義的方法、基于自動提取的方法、使用主題模型的方法。之后,依據(jù)事先定義的情感值對評論對象屬性進(jìn)行分類,分類方式根據(jù)實(shí)際細(xì)分。最終匯總分類結(jié)果,具體流程如圖1所示。
圖1 細(xì)粒度情感分析的流程
細(xì)粒度情感分析彌補(bǔ)了以往情感目標(biāo)過程性評價(jià)方法低效處理數(shù)據(jù)的缺點(diǎn),能快速地識別學(xué)生學(xué)習(xí)態(tài)度、道德素養(yǎng)等信息。隨著長期挖掘?qū)W習(xí)過程中多源評語,獲取評語中間接反映學(xué)生情感變化走向的信息,從而達(dá)到情感目標(biāo)過程性評價(jià)目的。利用細(xì)粒度情感分析進(jìn)行情感目標(biāo)過程性評價(jià),以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動的“因材施教”。
情感目標(biāo)過程性評價(jià)一直缺乏切實(shí)可行的評價(jià)標(biāo)準(zhǔn)和手段,使得教師只能關(guān)注成長檔案袋記錄等事實(shí)記錄,再加上難以對所有學(xué)生檔案做全面分析,最終演變?yōu)槠娴乜促Y料厚度來做評價(jià)。隨著深度學(xué)習(xí)在自然語言處理領(lǐng)域不斷發(fā)展,情感分析技術(shù)取得了很多成果,研究者將情感分析應(yīng)用于教育情境以挖掘?qū)W生的情感傾向。細(xì)粒度情感分析技術(shù)是實(shí)現(xiàn)情感目標(biāo)過程性評價(jià)的新式工具,基于人工神經(jīng)網(wǎng)絡(luò)廣泛地挖掘同儕互評、學(xué)生自評、學(xué)生討論等數(shù)據(jù)中的觀點(diǎn)和態(tài)度,實(shí)現(xiàn)全方位智能化立體評價(jià),既增加工具使用的便利性,又多角度觀察學(xué)生的情感變化。
基于以上論述,細(xì)粒度情感分析為情感目標(biāo)過程性評價(jià)提供了一種新的評價(jià)方法與思路。該評價(jià)機(jī)制的特點(diǎn)在于無需預(yù)先設(shè)立評價(jià)指標(biāo)體系,而是直接從各個(gè)場景的文本中挖掘有關(guān)評價(jià)對象的多屬性及其情感傾向,在最大程度上抽取了與學(xué)生情感相關(guān)的所有信息?;诩?xì)粒度情感分析的情感目標(biāo)過程性評價(jià)機(jī)制如圖2所示。
圖2 基于細(xì)粒度情感分析的情感目標(biāo)過程性評價(jià)機(jī)制
橫向上,根據(jù)學(xué)生學(xué)習(xí)形式不同,將文本數(shù)據(jù)分為課堂內(nèi)與課堂外兩類。縱向上,根據(jù)對象不同將數(shù)據(jù)分為教師評價(jià)、同伴評價(jià)、自我評價(jià)三類文本,借助Python語言編碼收集數(shù)據(jù)。
課堂內(nèi)評價(jià)文本源于教師對學(xué)生課堂表現(xiàn)、每日作業(yè)的過程性評價(jià);課堂外評價(jià)文本源于課堂教學(xué)結(jié)束后,學(xué)生在網(wǎng)絡(luò)空間中延續(xù)學(xué)習(xí)內(nèi)容進(jìn)行的同伴互評與自我評價(jià)。具體而言,同伴互評數(shù)據(jù)來自線上作業(yè)的同伴評價(jià)區(qū),以及平臺的自由討論區(qū)。自我評價(jià)數(shù)據(jù)來自學(xué)生周期性的自我學(xué)習(xí)小結(jié)。
深度學(xué)習(xí)方法,通過學(xué)習(xí)標(biāo)記的樣本集來提取評論對象屬性及其情感傾向,不僅能準(zhǔn)確高效地提取文本屬性,而且可靈活處理千變?nèi)f化的文本內(nèi)容。因此,深度學(xué)習(xí)方法是抽取評論對象屬性與情感的有效方式。具體分析流程如圖3所示。
圖3 基于細(xì)粒度情感分析的過程性評價(jià)流程
為保證情感分析的準(zhǔn)確度,要進(jìn)行數(shù)據(jù)預(yù)處理。先標(biāo)注評語的情感標(biāo)簽即標(biāo)記樣本,根據(jù)事先規(guī)定的情感極性分類對評語中出現(xiàn)的情感傾向依次評分。接著,分割過長評語以及標(biāo)注方面標(biāo)簽(評論對象屬性),標(biāo)注依據(jù)為評語中是否出現(xiàn)方面詞,方面詞來自基于語義人工構(gòu)建方面的詞典。如“學(xué)習(xí)態(tài)度”的詞典包含“態(tài)度”“認(rèn)真仔細(xì)”等詞語。然后,使用詞嵌入技術(shù)將非結(jié)構(gòu)化的評語轉(zhuǎn)化為計(jì)算機(jī)可識別的數(shù)據(jù),把評語中每個(gè)詞映射成對應(yīng)向量。再將向量輸入到基于深度記憶網(wǎng)絡(luò)的深度學(xué)習(xí)模型。最后,將得到的情感特征輸入到分類器完成情感分類。
因?yàn)樵摍C(jī)制針對不同場景與群體收集數(shù)據(jù),通過不同方面提取學(xué)生的情感傾向變化,所以采取群體、方面、場景的三維度對比分析形式來呈現(xiàn)結(jié)果。其中,群體有學(xué)生、教師、同伴;方面由抽取的文本確定;場景有課堂教學(xué)和課后學(xué)習(xí)。
首先,以特定群體、不同方面為主題,生成情感分析結(jié)果,明晰學(xué)生各方面的表現(xiàn)情況。分析結(jié)果以表格形式呈現(xiàn),如表1所示,特定群體為教師。
表1 情感分析結(jié)果的統(tǒng)計(jì)信息——以模型數(shù)據(jù)為例
其次,以特定方面、不同群體為主題生成情感分析結(jié)果,便于教師觀察學(xué)生個(gè)體情感發(fā)展的獨(dú)特性。最后,以不同場景確定情感分析結(jié)果。文本抽取場景的變化會帶來評價(jià)重心偏移,進(jìn)而情感分析的“方面”也不同。為了使結(jié)果呈現(xiàn)得更清晰,采取一分為二的方式。其一,結(jié)果由特定方面、課堂教學(xué)場景、不同群體組成;其二,結(jié)果由特定方面、在線學(xué)習(xí)平臺場景、不同群體組成。
評價(jià)結(jié)果決定著反饋的方向與內(nèi)容,本文提出的機(jī)制以三維結(jié)果呈現(xiàn),所以反饋內(nèi)容相應(yīng)地分為以下三個(gè)維度。
首先,由特定群體、不同方面構(gòu)成結(jié)果的反饋對象為教師和學(xué)生。教師反饋的重點(diǎn)落在情感目標(biāo)的設(shè)置,通過比較情感目標(biāo)的設(shè)置與所呈現(xiàn)不同情感標(biāo)簽的差異,尋找所設(shè)計(jì)的情感目標(biāo)與實(shí)際情感目標(biāo)進(jìn)展之間的契合程度。教師知悉目標(biāo)實(shí)施進(jìn)展后,及時(shí)設(shè)計(jì)反饋教學(xué)流程。
其次,由特定方面、不同群體構(gòu)成結(jié)果的反饋對象為教師,其側(cè)重學(xué)生個(gè)體差異帶來的個(gè)性化反饋。教師從同一情感標(biāo)簽下、不同態(tài)度中了解每個(gè)學(xué)生的差異性,并給予學(xué)生個(gè)性化、及時(shí)的反饋,從微觀層面把握情感目標(biāo)的實(shí)施進(jìn)度。
最后,由課堂內(nèi)、課堂外兩個(gè)環(huán)境的特定方面、不同群體的對比情感分析結(jié)果,聚焦學(xué)生情感變化的全過程,以連續(xù)性視角看待學(xué)生情感變化,宏觀層面把握情感目標(biāo)實(shí)施進(jìn)展。教師綜合比較兩個(gè)環(huán)境中同一情感標(biāo)簽變化,向?qū)W生提出具體建議,提高學(xué)生對反饋目的和內(nèi)容的感知程度與理解力。
基于細(xì)粒度情感分析的情感目標(biāo)過程性評價(jià)機(jī)制于在線教學(xué)平臺、課程思政及師德評價(jià)三個(gè)領(lǐng)域的具體應(yīng)用路徑如下。
基于細(xì)粒度情感分析的情感目標(biāo)過程性評價(jià)機(jī)制作為插件安裝于在線教學(xué)平臺中,具有數(shù)據(jù)抽取、分析等功能。第一類課堂教學(xué)場景數(shù)據(jù)來源于教師對學(xué)生作業(yè)表現(xiàn)作出的過程性評價(jià)、學(xué)生在討論區(qū)發(fā)表的內(nèi)容。第二類課后場景數(shù)據(jù)包括在線平臺中作業(yè)互評區(qū)與自我學(xué)習(xí)小結(jié)區(qū)文本。
抓取文本數(shù)據(jù)后,提取評論對象屬性及其情感,進(jìn)行極性分類。詳細(xì)呈現(xiàn)分類結(jié)果頻次排名前十的方面級標(biāo)簽。結(jié)果呈現(xiàn)分為教師界面和學(xué)生界面。在教師界面,主要呈現(xiàn)三維結(jié)果,以便教師把握情感目標(biāo)實(shí)施進(jìn)展。在學(xué)生界面,呈現(xiàn)由特定群體、特定方面組成的對比分析,利于學(xué)生反思、調(diào)整。在反饋階段,教師及時(shí)利用音視頻的數(shù)字化教學(xué)反饋形式與同學(xué)們互動,促進(jìn)學(xué)生感知反饋。此外,在線過程性評價(jià)的時(shí)間節(jié)點(diǎn)也十分重要,時(shí)間點(diǎn)由遠(yuǎn)程教育工作者的網(wǎng)絡(luò)授課次數(shù)決定,根據(jù)首次評價(jià)的情況調(diào)整后續(xù)評價(jià)的節(jié)點(diǎn)。
當(dāng)前一些高校對課程思政育人的具體實(shí)施過程、育人成效等方面的評價(jià)尚缺乏一套精準(zhǔn)的考核測評體系。本文提出的過程性評價(jià)機(jī)制提供了一種較為可行的方法,用以間接評測教師教育性教學(xué)成果。
課堂教學(xué)場景下,教師根據(jù)學(xué)生作業(yè)、課堂表現(xiàn)、小組匯報(bào)、成果展示進(jìn)行過程性評價(jià)。同儕互評圍繞學(xué)生個(gè)人作業(yè)、小組作業(yè)等方面。同時(shí),學(xué)生應(yīng)周期性作出自我評價(jià)。抓取這些數(shù)據(jù)需借助某個(gè)在線學(xué)習(xí)平臺中討論、評價(jià)、記錄功能區(qū)來實(shí)現(xiàn),平臺中建構(gòu)的學(xué)習(xí)社區(qū)也是同伴互評文本的采集來源。數(shù)據(jù)采集后,以教師授課班級為單位分析細(xì)粒度情感傾向,結(jié)果呈現(xiàn)由特定群體、特定方面、特定場景的對比分析構(gòu)成,并且將方面級標(biāo)簽聚類整理后,對比分析結(jié)果與該學(xué)期伊始設(shè)計(jì)的學(xué)科德育內(nèi)容。之后,教師應(yīng)及時(shí)利用技術(shù)資源管理反饋信息,促進(jìn)學(xué)生明確學(xué)習(xí)目標(biāo)、激發(fā)其動力、增加他們對反饋的感知。
發(fā)展性師德考評機(jī)制對建設(shè)高質(zhì)量教師隊(duì)伍具有重要現(xiàn)實(shí)意義。面向師德評價(jià)的數(shù)據(jù)收集方向?yàn)榻處熥栽u和學(xué)生評價(jià)。學(xué)生評價(jià)分為學(xué)生作出的師德評價(jià),以及校園討論區(qū)等社交平臺上發(fā)表的評論這兩大類。為便于采集、分析文本數(shù)據(jù),學(xué)校應(yīng)組織教師綜合考核評比小組,負(fù)責(zé)定期收集與分析數(shù)據(jù)。在數(shù)據(jù)分析前,綜合考核評比小組應(yīng)先與教師共同制定教師個(gè)人目標(biāo),細(xì)化各項(xiàng)指標(biāo)。在標(biāo)記樣本集方面標(biāo)簽時(shí),依據(jù)之前確定的指標(biāo)分類標(biāo)注,以明晰目標(biāo)與實(shí)施情況之間的契合度,之后經(jīng)過情感分析得到各個(gè)方面標(biāo)簽下學(xué)生態(tài)度傾向。分析結(jié)果由特定方面下教師與學(xué)生態(tài)度對比、學(xué)生態(tài)度與教師個(gè)人目標(biāo)對比兩部分組成。教師與考評小組溝通后明確反饋方向,作出教學(xué)調(diào)整設(shè)計(jì),合作提高反饋效能。同時(shí),教師也應(yīng)基于師德評價(jià)的師生差異性積極地與學(xué)生交流。
隨著科技的發(fā)展和學(xué)習(xí)需求的提升,人工智能等現(xiàn)代信息技術(shù)與教育的深度融合推動了教育的變革與發(fā)展。本文從學(xué)生學(xué)習(xí)態(tài)度、學(xué)科素養(yǎng)、道德觀念等情感方面變化的角度,結(jié)合深度學(xué)習(xí)技術(shù),構(gòu)建了基于細(xì)粒度情感分析的過程性評價(jià)機(jī)制。該機(jī)制主要從評價(jià)文本來源、細(xì)粒度情感分析過程、結(jié)果呈現(xiàn)與反饋形式四個(gè)方面展開。基于此機(jī)制,聚焦在線教學(xué)平臺、課程思政及師德評價(jià)三個(gè)領(lǐng)域,描述在真實(shí)場景下的具體應(yīng)用路徑,為未來信息技術(shù)應(yīng)用于教育評價(jià)可持續(xù)發(fā)展提供參考。
本文提出的細(xì)粒度情感分析方法在技術(shù)實(shí)現(xiàn)方面還存有尚未解決的問題,如情感分析所采用的深度學(xué)習(xí)技術(shù)在抽取評論對象屬性前,需要人工標(biāo)注大量的樣本集,耗時(shí)耗力。同時(shí),方面級別的情感分析的數(shù)據(jù)資源非常重要,但是教育評價(jià)領(lǐng)域還未出現(xiàn)成熟、公開的語料庫,這也給細(xì)粒度情感分析帶來一定難度。因此本研究后續(xù)將繼續(xù)探究深度學(xué)習(xí)技術(shù)的應(yīng)用方法,集中采集真實(shí)的學(xué)生自評、同儕互評、教師評價(jià)數(shù)據(jù)進(jìn)行分析,了解學(xué)生的情感變化,從而達(dá)到測評教師學(xué)科德育效果的目的。