摘要：在梳理智能教材釋義、支持技術(shù)和演進(jìn)等研究成果基礎(chǔ)上，基于Delphi法和熵值法分別從思想性、教學(xué)性以及技術(shù)性3個(gè)一級指標(biāo)，共9個(gè)二級指標(biāo)，31個(gè)三級指標(biāo)初構(gòu)智能教材評價(jià)指標(biāo)，運(yùn)用熵值法測算智能教材各級評價(jià)指標(biāo)權(quán)重形成智能教材評價(jià)指標(biāo)體系，以期為高校智能教材出版、選用和評估提供量化參考標(biāo)準(zhǔn)。

關(guān)鍵詞：熵值法；智能教材；評價(jià)指標(biāo)體系

中圖分類號：G436文獻(xiàn)標(biāo)識碼：A文章編號：2095-6916（2024）15-0122-04

Construction and Measurement of Intelligent Teaching Materials Evaluation

Index System Based on Delphi and Entropy Method

Liu Fang

（Xingzhi College of Xi’an University of Finance and Economics， Xi’an 710038）

Abstract： On the basis of sorting out the research results of the interpretation of the intelligent teaching materials， supporting technology and evolution， the Delphi method and entropy method were used to construct the evaluation index of intelligent teaching materials from the 3 first-level indicators of ideology， teaching and technology， a total of 9 second-level indicators and 31 third-level indicators， and the entropy method was used to measure the weight of the evaluation index of the intelligent teaching materials at all levels to form the evaluation index system of intelligent teaching materials， which provided a quantifiable reference standard for the publication， selection and evaluation of intelligent teaching materials in college and university.

Keywords： entropy method; intelligent teaching materials; evaluation index system

黨的二十大報(bào)告進(jìn)一步提出加快數(shù)字中國建設(shè)，與數(shù)字世界的互動方式為我們在學(xué)習(xí)、生活等方面帶來了空前未有的體驗(yàn)和便利。隨著虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等交互式技術(shù)的發(fā)展，深度學(xué)習(xí)等人工智能技術(shù)、物聯(lián)網(wǎng)上無處不在的數(shù)據(jù)傳感器、大數(shù)據(jù)分析以及移動設(shè)備開始普及，知識的生產(chǎn)模式、存儲模式、加工與傳播方式已從紙質(zhì)形態(tài)發(fā)展到數(shù)字形態(tài)［1］，教材領(lǐng)域的無聲革命正在進(jìn)行。從調(diào)研了解的情況看，當(dāng)前數(shù)字教材建設(shè)中存在著簡化、異化等問題，譬如“電子文書”“多媒體教學(xué)資源庫”和“教師答題”［2］，為避免走進(jìn)簡單轉(zhuǎn)換為電子文書、隨意堆積多媒體資源、機(jī)械使用智能技術(shù)等誤區(qū)，推動數(shù)字教材更好地向智能化發(fā)展，需要建立科學(xué)的智能教材評價(jià)指標(biāo)體系，本文現(xiàn)就基于Delphi法①和熵值法②的智能教材評價(jià)指標(biāo)體系構(gòu)建及測度進(jìn)行探討。

一、智能教材的相關(guān)研究

國外學(xué)者研究智能教材起步較早，在智能教材釋義、支持技術(shù)和別具一格的智能教材開發(fā)平臺等方面取得了豐碩的理論和實(shí)踐成果。

（一）智能教材釋義

Billingsley W.H［3］認(rèn)為智能教材是一種基于網(wǎng)絡(luò)的教材，其包括的練習(xí)由計(jì)算機(jī)模型或分析系統(tǒng)支持，學(xué)生可使用恰當(dāng)?shù)膱D形符號或圖表完成這些練習(xí)，并獲得由模型所產(chǎn)生的評價(jià)與反饋。Mengdi Wang等人［4］認(rèn)為智能教材通過整合機(jī)器可操作的知識擴(kuò)展傳統(tǒng)紙質(zhì)教材內(nèi)容覆蓋面，且形成集成知識也就是教材中提到的相關(guān)概念列表，結(jié)合概念列表執(zhí)行多種智能操作，如內(nèi)容鏈接、內(nèi)容推薦等。江波等人［5］將智能教材界定為以深度交互、學(xué)習(xí)畫像和自適應(yīng)為主要特征，為學(xué)生提供個(gè)性化學(xué)習(xí)、評價(jià)和規(guī)劃等服務(wù)的智能化數(shù)字教材。

（二）支持技術(shù)

Gerhard Weber等人［6］提供兩種不同技術(shù)（ELM-ART）的創(chuàng)造性組合——智能輔導(dǎo)和自適應(yīng)超媒體技術(shù)，為基于網(wǎng)絡(luò)的智能教育系統(tǒng)設(shè)計(jì)提供了一個(gè)模型，制作一系列創(chuàng)作框架和系統(tǒng)開發(fā)智能教科書和課程。Jeffrey Matayoshi等人［7］利用自然語言處理和機(jī)器學(xué)習(xí)技術(shù)來構(gòu)建分類模型，以實(shí)現(xiàn)與教科書及其內(nèi)容的匹配。評估模型作為一個(gè)完全自動化的系統(tǒng)具有與人類專家結(jié)合使用的潛在性能。N Matsuda等人［8］提出具有宏觀自適應(yīng)支架的在線課件擴(kuò)展：基于網(wǎng)絡(luò)瀏覽器的認(rèn)知導(dǎo)師創(chuàng)作工具和用于自動技能模型發(fā)現(xiàn)和注釋的文本挖掘應(yīng)用程序這兩種學(xué)習(xí)工程方法有效創(chuàng)建網(wǎng)絡(luò)書。張治等人［1］提出融入學(xué)習(xí)模型、教學(xué)策略模型、學(xué)習(xí)者畫像和知識圖譜四個(gè)核心組件的智能型數(shù)字教材系統(tǒng)技術(shù)實(shí)現(xiàn)路徑及其推進(jìn)機(jī)制。

（三）智能教材的演進(jìn)

伴隨信息技術(shù)的發(fā)展和傳播形態(tài)的演變，智能教材經(jīng)歷了知識工程（Knowledge Engineering）階段、語義網(wǎng)（Semantic Web）階段、自然語言處理+機(jī)器學(xué)習(xí)（NLP+ML）階段和交互數(shù)據(jù)挖掘（Interaction Data Mining）階段。

1.知識工程階段

美國Stanford University計(jì)算機(jī)科學(xué)家Feigenbaum教授在1977年第五屆國際人工智能會議上提出知識工程這一概念。二十世紀(jì)九十年代中期，第一批智能教材在自適應(yīng)超媒體領(lǐng)域被開發(fā)出來，它極度依賴學(xué)科領(lǐng)域?qū)＜业闹R和經(jīng)驗(yàn)。學(xué)科領(lǐng)域?qū)＜掖罱擞捎蚰Ｐ?、?nèi)容模型和學(xué)生模型構(gòu)成的簡單模型，確定每一本教材提出的關(guān)鍵概念（域模型），并注釋包含的概念集（內(nèi)容模型），個(gè)體學(xué)習(xí)者的知識（學(xué)生模型）被動態(tài)地表示為域模型的加權(quán)疊加［9］。早期的智能教材擁有自適應(yīng)導(dǎo)航、自適應(yīng)表示、內(nèi)容推薦和基于概念的導(dǎo)航等“智能”功能。

2.語義網(wǎng)階段

二十一世紀(jì)初，許多人工智能研究人員將關(guān)注點(diǎn)轉(zhuǎn)向語義網(wǎng)絡(luò)技術(shù)，構(gòu)建基于語義進(jìn)行判斷的智能網(wǎng)絡(luò)布局，降低人與電腦溝通時(shí)的障礙。這一技術(shù)可將知識模型作為軟件本體，學(xué)習(xí)素材作為鏈接和注釋賦能早期智能教材，打開了自適應(yīng)教材架構(gòu)，并支持外部內(nèi)容集成［10］，成功地通過軟件技術(shù)將外部內(nèi)容自動集成到自適應(yīng)教材中［11］。

3.自然語言處理+機(jī)器學(xué)習(xí)階段

自然語言處理研究是能實(shí)現(xiàn)人和計(jì)算機(jī)間運(yùn)用自然語言開展有效通信的理論和方法。機(jī)器學(xué)習(xí)主要研究計(jì)算機(jī)模擬或?qū)崿F(xiàn)人類學(xué)習(xí)行為的途徑，在獲取新的知識或技能的基礎(chǔ)上，重新組織已有知識結(jié)構(gòu)從而不斷改善自身性能。2011年前后，自然語言處理和機(jī)器學(xué)習(xí)的進(jìn)一步發(fā)展使得教材的內(nèi)容和結(jié)構(gòu)具備“智能”功能，即基于概念的域模型的自動構(gòu)建成為人們獲取知識的來源，比如從教材中自動提取主題和概念以及挖掘這些概念之間的各種邏輯關(guān)系。

4.交互式數(shù)據(jù)挖掘階段

由數(shù)字教材和現(xiàn)代技術(shù)生成的用戶交互數(shù)據(jù)的不斷增長，推動智能教材進(jìn)入新的發(fā)展階段。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)需要在數(shù)據(jù)分析之前進(jìn)行多次預(yù)處理，這會浪費(fèi)大量的時(shí)間和資源，而且很難立即獲得收益。交互式數(shù)據(jù)挖掘技術(shù)的出現(xiàn)，使得用戶通過交互的方式參與到數(shù)據(jù)挖掘過程中，數(shù)據(jù)分析和挖掘的過程可以更加的高效、可控和自適應(yīng)。例如，頁面導(dǎo)航和高亮度顯示行為生成的數(shù)據(jù)，用于挖掘?qū)W生的閱讀技巧并跟蹤他們的注意力，推斷學(xué)生通過閱讀教材獲得知識的狀態(tài)；為智能教材平臺提供更強(qiáng)大的個(gè)性化方法，實(shí)現(xiàn)基于學(xué)生實(shí)時(shí)行為的自適應(yīng)建議；專注結(jié)合人工智能和群體智能探索越來越復(fù)雜的方法，挖掘過去用戶的行為，以預(yù)測并指導(dǎo)新用戶行為。

二、智能教材評價(jià)指標(biāo)體系的構(gòu)建

（一）初構(gòu)智能教材評價(jià)指標(biāo)

遵循科學(xué)性、整體性、可操作性和獨(dú)立性等原則，通過對紙質(zhì)教材、數(shù)字教材、智能型教材、智能教科書的國內(nèi)外相關(guān)文獻(xiàn)進(jìn)行研究，列出智能教材評價(jià)指標(biāo)清單，包括科學(xué)性、教育性、技術(shù)性、實(shí)用性、安全性4個(gè)一級指標(biāo)，符合國家相關(guān)教育法規(guī)和課程政策，體現(xiàn)社會主義核心價(jià)值觀等40個(gè)二級指標(biāo)。

（二）指標(biāo)體系的調(diào)整與確定

采用Delphi法，選擇北京、西安、貴陽3個(gè)城市的5位企業(yè)人員作為專家。通過背對背方式，經(jīng)過兩輪征詢，使得專家意見趨于一致。根據(jù)專家反饋意見調(diào)整不合理之處，最終確定指標(biāo)體系。

該指標(biāo)體系包括思想性、教學(xué)性以及技術(shù)性3個(gè)一級指標(biāo)，政治方向、價(jià)值導(dǎo)向、內(nèi)容科學(xué)、內(nèi)容豐富、結(jié)構(gòu)合理、形態(tài)立體、智能交互、可視化、學(xué)習(xí)支持服務(wù)等9個(gè)二級指標(biāo)，堅(jiān)持馬克思主義指導(dǎo)思想、堅(jiān)持為黨為國育人、育才立場等31個(gè)三級指標(biāo)。

（三）智能教材各級評價(jià)指標(biāo)權(quán)重測算

設(shè)有n個(gè)專家，m個(gè)指標(biāo)，則Xij表示第i個(gè)專家的第j個(gè)指標(biāo)評價(jià)指標(biāo)值，熵值法測算指標(biāo)權(quán)重的步驟如下。

1.數(shù)據(jù)的一致化與無量綱處理問題，由于指標(biāo)體系中各指標(biāo)數(shù)據(jù)單位都是“分”，且各三級指標(biāo)的專家打分值都是個(gè)位數(shù)，說明各指標(biāo)之間的數(shù)據(jù)量級相同，故不用對數(shù)據(jù)進(jìn)行一致化和無量綱化的處理。

2.計(jì)算第i個(gè)專家的第j個(gè)三級指標(biāo)的特征比重矩陣：

pij=xij/∑ni=1xij 式（1）

3.計(jì)算第j個(gè)三級指標(biāo)的熵值：

ej=-1ln（n）∑ni=1pijlnpij 式（2）

4.計(jì)算三級指標(biāo)Xij的差異系數(shù)比：

gj=1-ej 式（3）

5.計(jì)算第j個(gè)三級指標(biāo)的權(quán)重系數(shù)：

wj=gj∑mj=1gj 式（4）

通過以上方法測算出各三級指標(biāo)的權(quán)重系數(shù)和熵值，然后根據(jù)各三級指標(biāo)的權(quán)重計(jì)算各二級指標(biāo)和一級指標(biāo)的權(quán)重，測算數(shù)據(jù)如表1所示。

（0.193）描繪學(xué)習(xí)者畫像，準(zhǔn)確識別和判斷學(xué)習(xí)者狀態(tài)，推送針對性教學(xué)內(nèi)容、學(xué)習(xí)資源。0.9770.024基于可視化過程數(shù)據(jù)，分析、規(guī)劃學(xué)習(xí)者學(xué)習(xí)路徑，匹配教學(xué)策略。0.9530.049建立學(xué)習(xí)風(fēng)險(xiǎn)預(yù)測模型，匹配學(xué)習(xí)補(bǔ)救內(nèi)容。0.9430.060建立個(gè)性化學(xué)習(xí)預(yù)警機(jī)制，確立干預(yù)等級，制定干預(yù)措施。0.9640.037知識結(jié)構(gòu)AI化。0.9810.020遵循原有學(xué)科邊界和學(xué)科結(jié)構(gòu)。0.9660.035捕捉學(xué)習(xí)者在學(xué)習(xí)方面的差異，設(shè)定不同的學(xué)習(xí)管理方式和學(xué)習(xí)目標(biāo)。0.9590.043提供持續(xù)、靈活和動態(tài)的工具，支持學(xué)習(xí)者對不同教材內(nèi)容之間進(jìn)行靈活布局，建構(gòu)知識。0.9840.016關(guān)注學(xué)習(xí)者身心發(fā)展。0.9560.046嵌入獎勵機(jī)制和激勵策略，實(shí)現(xiàn)學(xué)習(xí)者自我監(jiān)控、自我反饋及自主學(xué)習(xí)的實(shí)時(shí)反饋。0.9680.033各指標(biāo)的熵值可以反映出各指標(biāo)提供信息量的大小，從表1可以看出，31個(gè)三級指標(biāo)中的熵值都大于0.9，說明所構(gòu)建的指標(biāo)體系信息量非常豐富，能夠從多個(gè)方面綜合反映智能教材的質(zhì)量。

三、結(jié)語

隨著我國深入實(shí)施教育數(shù)字戰(zhàn)略行動，教育數(shù)字化轉(zhuǎn)型已成為教育發(fā)展的內(nèi)在必然。教材建設(shè)作為教育數(shù)字化轉(zhuǎn)型的重點(diǎn)領(lǐng)域，對推動教育教學(xué)高質(zhì)量發(fā)展具有重要意義。當(dāng)前數(shù)字技術(shù)已經(jīng)滲透到我們學(xué)習(xí)、工作、生活的方方面面，紙質(zhì)教材正被數(shù)字技術(shù)顛覆和轉(zhuǎn)變。本文基于Delphi法和熵值法構(gòu)建了智能教材評價(jià)指標(biāo)體系，以期為高校智能教材出版、選用和評估提供了可量化的參考標(biāo)準(zhǔn)。

基金項(xiàng)目：本文系陜西省教育廳服務(wù)地方專項(xiàng)計(jì)劃項(xiàng)目“陜西本科高校教材建設(shè)成果與教師待遇掛鉤政策研究”（編號：23JM015）的有關(guān)成果

①Delphi法，也稱專家調(diào)查法，1946年由美國蘭德公司創(chuàng)始實(shí)行，其本質(zhì)上是一種反饋匿名函詢法，其大致流程是在對所要預(yù)測的問題征得專家的意見之后，進(jìn)行整理、歸納、統(tǒng)計(jì)，再匿名反饋給各專家，再次征求意見，再集中，再反饋，直至得到一致的意見。

②熵值法是一種基于信息熵的數(shù)學(xué)方法，用于判斷某個(gè)指標(biāo)的離散程度。在信息論中，熵是對不確定性的一種度量。信息量越大，不確定性就越小，熵也就越??；反之，信息量越小，不確定性就越大，熵也越大。

參考文獻(xiàn)：

［1］張治，劉德建，徐冰冰.智能型數(shù)字教材系統(tǒng)的核心理念和技術(shù)實(shí)現(xiàn)［J］.開放教育研究，2021（1）：44-54.

［2］李鋒，盛潔，黃煒.教育數(shù)字化轉(zhuǎn)型的突破點(diǎn)：智能教材的設(shè)計(jì)與實(shí)現(xiàn)［J］.華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2023（3）：101-109.

［3］BILLINGSLEY W H.The Intelligent Book： Technologies for Intelligent and Adaptive Textbooks， Focussing on Discrete Mathematics［D］.Cambridge：University of Cambridge，2007.

［4］MENGDI WANG，HUNG CHAU，KHUSHBOO THAKER，et al.Knowledge Annotation for Intelligent Textbooks［J］.Technology， Knowledge and Learning，2023（28）：1-22.

［5］江波，杜影，顧美俊.智能教材研究綜述［J］.開放教育研究，2022（3）：39-50.

［6］GERHARD WEBER，PETER BRUSILOVSKY.ELM-ART-An Interactive and Intelligent Web-Based Electronic Textbook［J］.International Journal of Artificial Intelligence in Education，2016（26）：72-81.

［7］JEFFREY MATAYOSHI，CHRISTOPHER LECHUGA.Automated Matching of ITS Problems with Textbook Content［C/OL］.（2020-07-06）.AIED 2020.

https：//ceur-ws.org/Vol-2674/paper02.pdf.

［8］N MATSUDA，M SHIMMEI.PASTEL： Evidence-Based Learning Engineering Method to Create Intelligent Online Textbook at Scale［C/OL］.（2019-06-25）.AIED 2019.

https：//ceur-ws.org/Vol-2384/paper07.pdf.

［9］PETER BRUSILOVSKY，SERGEY SOSNOVSKY，KHUSHBOO THAKER.The Return of Intelligent Textbooks［J］.AI Magazine，2022（43）：337-340.

［10］MELIS E，GOGUADZE G，HOMIK M，et al.Semantic-aware Components and Services of Activemath［J］.British Journal of Educational Technology，2006（3）：405-423.

［11］SOSNOVSKY S，HSIAO IH，BRUSILOVSKY P.Adaptation “in the wild”： Ontology-based Personalization of Open-corpus Learning Material［C］//21st Century Learning for 21st Century Skills（EC-TEL 2012）.Germany：Springer，2012：425-431.

作者簡介：劉芳（1981—），女，漢族，山東滕州人，西安財(cái)經(jīng)大學(xué)行知學(xué)院副教授，研究方向?yàn)榻M織行為與人力資源管理。

（責(zé)任編輯：馮小衛(wèi)）