洪 昀，張洪濤，劉小林

(1.浙江農(nóng)林大學(xué) 光機(jī)電工程學(xué)院，浙江 杭州 311300；2.浙江農(nóng)林大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，浙江 杭州 311300)

一、課程思政評(píng)價(jià)體系的研究背景

牢牢把握“立德樹人”根本任務(wù)，強(qiáng)化教書育人是高校教師的第一要?jiǎng)?wù)，應(yīng)堅(jiān)持思政工作和教育教學(xué)相結(jié)合，使各類課程與思政理論課同向同行，形成協(xié)同效應(yīng)。近年來，高校在積極推進(jìn)“課程思政”教育教學(xué)改革，各類改革實(shí)踐活動(dòng)如火如荼開展。當(dāng)前，隨著課程思政不斷深入推進(jìn)，課程思政的理論探索和實(shí)踐經(jīng)驗(yàn)不斷涌現(xiàn)，課程思政的基本理念、內(nèi)涵、構(gòu)成、實(shí)施路徑和邏輯關(guān)系等越發(fā)清晰明了。

科學(xué)合理的評(píng)價(jià)機(jī)制可以激發(fā)教師課程思政的積極性，引導(dǎo)教師優(yōu)化教學(xué)設(shè)計(jì)，提升課程教學(xué)成效；同時(shí)評(píng)價(jià)結(jié)果也能促進(jìn)教師對(duì)教學(xué)進(jìn)行反思，及時(shí)形成改進(jìn)措施，優(yōu)化課程思政教育內(nèi)容。目前，如何對(duì)課程思政進(jìn)行有效評(píng)價(jià)已引起學(xué)者廣泛的關(guān)注，如劉曉等[1]聚焦課程思政的五個(gè)環(huán)節(jié)，提出了過程導(dǎo)向、價(jià)值導(dǎo)向、差異導(dǎo)向三個(gè)評(píng)估原則；譚紅巖等[2]借鑒專業(yè)評(píng)估的理論與方法，構(gòu)建了課程、專業(yè)和高校不同層面課程思政建設(shè)的評(píng)估指標(biāo)體系；徐妍艷[3]以某高校五個(gè)專業(yè)為例進(jìn)行實(shí)證研究，構(gòu)建高校推進(jìn)課程思政的測(cè)評(píng)指標(biāo)體系；黃煜棟等[4]在課程評(píng)價(jià)中引入思政環(huán)節(jié)，闡述了課堂教學(xué)質(zhì)量存在的問題，并提出了優(yōu)化策略；王岳喜[5]分析了課程思政評(píng)價(jià)的主客體，并從學(xué)校、專業(yè)、課程、教師、學(xué)生等多個(gè)維度構(gòu)建了課程思政評(píng)價(jià)指標(biāo)體系；陸道坤[6]提出以學(xué)生思想政治素養(yǎng)發(fā)展評(píng)價(jià)為中心，延展到課程思政課堂教學(xué)評(píng)價(jià)、以課程為單位的課程思政評(píng)價(jià)、專業(yè)課程思政群評(píng)價(jià)的課程思政評(píng)價(jià)思路。上述研究對(duì)課程思政的評(píng)價(jià)與實(shí)施有著重要的理論和實(shí)踐意義，但也存在著指標(biāo)體系構(gòu)建時(shí)沒有充分利用教育教學(xué)專家集體知識(shí)的問題。在課程思政指標(biāo)體系的構(gòu)建時(shí)通常需要多個(gè)專家從不同角度對(duì)指標(biāo)體系進(jìn)行遴選判斷，且由于不同的專家對(duì)課程思政評(píng)價(jià)的熟悉程度不同，其提供指標(biāo)體系的可靠性可能也不同，而現(xiàn)有的指標(biāo)體系構(gòu)建方法較少考慮這點(diǎn)。

為了更好地表示多個(gè)教育教學(xué)專家的課程思政評(píng)價(jià)指標(biāo)體系遴選意見，提高指標(biāo)體系構(gòu)建的科學(xué)性和嚴(yán)謹(jǐn)性，本研究構(gòu)建了基于兩維語義的課程思政評(píng)價(jià)指標(biāo)遴選方法。該方法首先由多個(gè)專家給出所有可能的課程思政評(píng)價(jià)指標(biāo)，構(gòu)成課程思政評(píng)價(jià)指標(biāo)池；其次，讓專家對(duì)指標(biāo)池中的各個(gè)指標(biāo)進(jìn)行評(píng)判，給出各個(gè)指標(biāo)的重要性和對(duì)該指標(biāo)熟悉程度的兩維評(píng)價(jià)信息；最后，在各個(gè)指標(biāo)上通過對(duì)多個(gè)專家兩維語義評(píng)價(jià)信息的集結(jié)，形成多個(gè)專家對(duì)各個(gè)指標(biāo)的綜合評(píng)價(jià)，根據(jù)遴選規(guī)則實(shí)現(xiàn)對(duì)課程思政評(píng)價(jià)指標(biāo)體系的遴選與構(gòu)建。

二、基于兩維語義信息的指標(biāo)體系遴選方法

(一)兩維語義信息的內(nèi)涵

所謂的兩維語義信息是指評(píng)價(jià)者同時(shí)使用了I、II兩維語言評(píng)價(jià)信息描述自己對(duì)于某一事物的評(píng)判，其中第I維語言用于描述評(píng)價(jià)對(duì)象，第II維語言用來描述第I維語言的信息質(zhì)量，這種由兩個(gè)維度構(gòu)成的語言評(píng)價(jià)信息稱為兩維語義信息。

例如，專家在對(duì)某一指標(biāo)進(jìn)行評(píng)價(jià)時(shí)，給出評(píng)價(jià)信息(重要，把握較大)即為兩維語義評(píng)價(jià)信息，其中第I維評(píng)價(jià)信息“重要”為專家對(duì)該指標(biāo)在整個(gè)評(píng)價(jià)體系中作用的評(píng)價(jià)，而第II維評(píng)價(jià)信息“把握較大”為專家對(duì)自己給出上述評(píng)價(jià)時(shí)的狀態(tài)評(píng)價(jià)。

(二)兩維語義評(píng)價(jià)信息的集結(jié)方法

第II維評(píng)價(jià)信息不僅一定程度上反映了第I維評(píng)價(jià)信息的質(zhì)量，同時(shí)也能反映該評(píng)價(jià)信息的不確定性。證據(jù)理論的信度函數(shù)能更恰當(dāng)表示信息中的“不確定性”，因此，可用信度函數(shù)表示兩維語義評(píng)價(jià)信息中的不確定性，用證據(jù)的權(quán)重表示專家評(píng)價(jià)信息的可靠性，用證據(jù)推理算子對(duì)多個(gè)兩維語義信息進(jìn)行集結(jié)。

假設(shè)有M個(gè)課程思政評(píng)價(jià)備選指標(biāo)xi(i=1，2，…，M)，H={H1，H2，…，HN}和S={S1，S2，…，ST}分別為第I、II兩個(gè)維度的語言評(píng)價(jià)短語集，R個(gè)遴選專家對(duì)指標(biāo)xi(i=1，2，…，M)給出的兩維語義評(píng)價(jià)信息為

(1)

則通過構(gòu)造映射f將兩維語義評(píng)價(jià)信息轉(zhuǎn)化為證據(jù)體，即

t=1，2，…，T

(2)

((Hn,βj,n(xi)))

(3)

設(shè)R個(gè)專家的權(quán)重向量為

w={w1，w2，…，wR}

(4)

(5)

R個(gè)評(píng)價(jià)信息的基本可信度分配可以通過以下算法進(jìn)行融合，即

(6)

再應(yīng)用基本可信度分配進(jìn)行規(guī)范化處理，可得綜合信度為

(7)

式中：βn為指標(biāo)Ai被評(píng)定Hn的信度；βH為指標(biāo)不知被評(píng)為哪個(gè)等級(jí)的信度。

(三)基于兩維語義的課程思政評(píng)價(jià)指標(biāo)體系遴選與構(gòu)建的一般步驟

步驟1構(gòu)建課程思政評(píng)價(jià)指標(biāo)體系指標(biāo)池。通過文獻(xiàn)調(diào)研、發(fā)放問卷、專家頭腦風(fēng)暴等形式，歸集課程思政評(píng)價(jià)包括的所有可能的指標(biāo)，形成課程思政評(píng)價(jià)指標(biāo)體池。

步驟2專家分別對(duì)指標(biāo)池中各指標(biāo)給出兩維語義評(píng)價(jià)信息。邀請(qǐng)多位專家，分別對(duì)指標(biāo)池中的指標(biāo)的重要性進(jìn)行評(píng)價(jià)，并附上做出上述評(píng)價(jià)時(shí)的可靠性評(píng)價(jià)，形成兩維語義評(píng)價(jià)信息。

步驟3將兩維語義信息轉(zhuǎn)化為證據(jù)體，并將信息的可靠性轉(zhuǎn)化為權(quán)重。根據(jù)兩維語義信息的語義內(nèi)涵，構(gòu)造兩維語義信息轉(zhuǎn)化為證據(jù)體的轉(zhuǎn)化函數(shù)，并利用第Ⅱ維信息對(duì)證據(jù)體進(jìn)行附權(quán)。

步驟4融合多個(gè)專家的評(píng)價(jià)意見。利用證據(jù)推理算子融合多個(gè)專家在每個(gè)指標(biāo)上的兩維語義評(píng)價(jià)信息，形成每個(gè)指標(biāo)的綜合評(píng)價(jià)意見。

步驟5遴選課程思政評(píng)價(jià)指標(biāo)。確定指標(biāo)體系遴選規(guī)則，根據(jù)綜合后的各指標(biāo)評(píng)價(jià)信息，遴選出課程思政評(píng)價(jià)指標(biāo)，構(gòu)建課程思政評(píng)價(jià)指標(biāo)體系。

三、課程思政評(píng)價(jià)指標(biāo)的遴選與體系構(gòu)建過程

(一)課程思政評(píng)價(jià)指標(biāo)體系的遴選

通過文獻(xiàn)調(diào)查和問卷調(diào)查等方式，采集多位專家給出課程思政可能的評(píng)價(jià)指標(biāo)體系，從而形成課程思政評(píng)價(jià)指標(biāo)池。設(shè)定語言評(píng)價(jià)標(biāo)度如下：H={很重要(H1)，重要(H2)，較重要(H3)，一般(H4)，較不重要(H5)，不重要(H6)，很不重要(H7) }表示第I維語言標(biāo)度；S={非常了解(S1)，很了解(S2)，了解(S3)，較了解(S4)，不了解(S5)}表示第Ⅱ維語言標(biāo)度。請(qǐng)某高校教務(wù)處處長、規(guī)劃處處長和馬克思主義學(xué)院院長等5位專家針對(duì)指標(biāo)池中的各指標(biāo)給出兩維語義評(píng)價(jià)信息。指標(biāo)備選集與專家給出的評(píng)價(jià)信息如表1所示(以專家對(duì)指標(biāo)C1的評(píng)價(jià)為例)。

表1 課程思政評(píng)價(jià)備選指標(biāo)集及專家評(píng)價(jià)信息(以指標(biāo)C1為例)

根據(jù)兩維語義的語義內(nèi)涵，對(duì)5位專家進(jìn)行多輪問卷咨詢，構(gòu)建了兩維語義評(píng)價(jià)信息轉(zhuǎn)化函數(shù)f:(Hn，St)→(Hk，βtk)為

(8)

由式(8)，可將專家的兩維語義評(píng)價(jià)信息(Hn，St)轉(zhuǎn)換為證據(jù)體。

一般來說，對(duì)指標(biāo)越熟悉的專家，給出的評(píng)價(jià)信息的質(zhì)量可能越可靠，其在指標(biāo)評(píng)價(jià)選擇中的作用也應(yīng)占更高的比重。因此，分別賦予“了解程度Si”的分值si為si=5-i(i=1，2，…，5)，構(gòu)造5位專家在各個(gè)指標(biāo)上的評(píng)價(jià)信息的權(quán)重為

(9)

利用式(2)～(7)的證據(jù)推理算子，在各指標(biāo)上將多個(gè)專家的兩維語義評(píng)價(jià)信息進(jìn)行融合，得到專家對(duì)各指標(biāo)的綜合評(píng)價(jià)結(jié)果。

計(jì)算指標(biāo)綜合得分，分別附Hn的分值：γn=8-n，即H1，H2，…，H7的分值為7，6，…，1，并根據(jù)焦元信度βn將βH按比例分配給各焦元，計(jì)算各指標(biāo)的加權(quán)得分zi，即

(10)

若指標(biāo)得分zi≥4則對(duì)應(yīng)的指標(biāo)Ci入選；若zi<4，則對(duì)應(yīng)的指標(biāo)被剔除，由此遴選出課程思政評(píng)價(jià)指標(biāo)集。

以專家對(duì)指標(biāo)C1的評(píng)價(jià)為例，則指標(biāo)C11的專家評(píng)價(jià)信息和應(yīng)用上述方法得到的綜合評(píng)價(jià)結(jié)果如表2所示。

表2 指標(biāo)C11的評(píng)價(jià)意見和綜合評(píng)價(jià)結(jié)果

根據(jù)5位專家對(duì)指標(biāo)C11的綜合評(píng)價(jià)意見，該指標(biāo)在指標(biāo)體系中“很重要(H1)”可能性最大，為0.57。利用式(10)計(jì)算該指標(biāo)的得分為6.61，大于4，因此，應(yīng)將指標(biāo)C11納入課程思政評(píng)價(jià)指標(biāo)體系中。類似可得，其他指標(biāo)綜合評(píng)價(jià)結(jié)果和指標(biāo)遴選意見，如表3所示。

表3 專家對(duì)各課程思政評(píng)價(jià)指標(biāo)的綜合評(píng)價(jià)結(jié)果和遴選

(二)課程思政評(píng)價(jià)指標(biāo)體系的構(gòu)建

根據(jù)上述多個(gè)專家的評(píng)價(jià)結(jié)果和對(duì)指標(biāo)進(jìn)行遴選結(jié)果，可得最終的課程思政評(píng)價(jià)指標(biāo)體系，如表4所示。

表4 課程思政評(píng)價(jià)指標(biāo)體系及評(píng)價(jià)標(biāo)準(zhǔn)

(三)評(píng)價(jià)指標(biāo)體系的信度和效度分析

某高校的課程思政示范學(xué)院由院教學(xué)委員會(huì)應(yīng)用該評(píng)價(jià)指標(biāo)體系對(duì)學(xué)院2020—2021學(xué)年開設(shè)的112門課程的課程思政情況進(jìn)行評(píng)價(jià)，每門課程至少3名委員參加評(píng)審，共收回評(píng)價(jià)表336份，均為有效評(píng)價(jià)表，評(píng)價(jià)表的有效率100%。對(duì)該評(píng)價(jià)指標(biāo)體系中各個(gè)指標(biāo)依次給出“優(yōu)、良、中、較差、差”五個(gè)評(píng)價(jià)等級(jí)，依次賦分5，4，3，2，1分，利用評(píng)價(jià)數(shù)據(jù)對(duì)指標(biāo)體系進(jìn)行信度和效度分析。

1.信度分析。對(duì)課程思政評(píng)價(jià)指標(biāo)進(jìn)行信度分析，應(yīng)用信度反映評(píng)價(jià)指標(biāo)的穩(wěn)定性和可靠性。運(yùn)用計(jì)算量表的克朗巴哈(Cronbach’s)α系數(shù)來檢驗(yàn)量表的可靠性，克朗巴哈系數(shù)計(jì)算公式為

(11)

該系數(shù)主要考慮量表的內(nèi)在一致性，通常認(rèn)為，量表的內(nèi)部信度克朗巴哈α系數(shù)在0.9～1.0范圍內(nèi)為極可信，在0.8～0.9表明信度可以接受，0.7～0.8表明有些指標(biāo)需要修訂；小于0.7表明量表中有些指標(biāo)需要拋棄，α系數(shù)越高，信度越高。對(duì)336份評(píng)價(jià)表的各指標(biāo)評(píng)價(jià)結(jié)果進(jìn)行信度分析，得到各一級(jí)指標(biāo)的信度克朗巴哈系數(shù)如表5所示。

表5 各一級(jí)指標(biāo)克朗巴哈α系數(shù)

從表5可以看出，各一級(jí)指標(biāo)的克朗巴哈系數(shù)均在0.9以上，綜合信度系數(shù)為0.937，由此可見，本研究構(gòu)建的課程思政評(píng)價(jià)指標(biāo)體系指標(biāo)可信度較高。

2.效度分析。為了檢驗(yàn)評(píng)價(jià)指標(biāo)體系的內(nèi)容效度，邀請(qǐng)了某高校教務(wù)處處長、規(guī)劃處處長、馬克思主義學(xué)院院長和課程思政示范學(xué)院院長等5位權(quán)威課程思政專家對(duì)課程思政評(píng)價(jià)指標(biāo)體系進(jìn)行了評(píng)價(jià)，專家對(duì)該指標(biāo)體系給予了充分的肯定，建議在學(xué)院試行，并逐步推廣到全校。學(xué)院教學(xué)委員會(huì)應(yīng)用該指標(biāo)體系對(duì)學(xué)院112門課程的課程思政情況進(jìn)行評(píng)價(jià)，遴選出課程思政評(píng)價(jià)前10位的課程參加學(xué)校和省里課程思政示范課程遴選，結(jié)果顯示，用本研究指標(biāo)體系得到的評(píng)價(jià)結(jié)果與學(xué)校邀請(qǐng)的校內(nèi)外專家得到的評(píng)價(jià)結(jié)果，除1門課程的排序稍有差別以外，其他排序基本一致，且前6位排名完全一致，表明該指標(biāo)體系具有一定的有效性。

四、評(píng)價(jià)指標(biāo)體系的應(yīng)用分析

基于兩維語義信息對(duì)課程思政評(píng)價(jià)指標(biāo)體系遴選，并應(yīng)用該指標(biāo)體系對(duì)我校的課程思政進(jìn)行試評(píng)價(jià)，結(jié)果表明，該指標(biāo)體系遴選方法和指標(biāo)體系均有效可行。

1.對(duì)于高校來說，評(píng)價(jià)模型對(duì)落實(shí)“三全育人”要求、開展課程思政的改革具有切實(shí)的指導(dǎo)意義。通過專家對(duì)指標(biāo)進(jìn)行二維語義評(píng)價(jià)，利用第二維語言有效區(qū)分了各個(gè)專家提供信息質(zhì)量的不同，構(gòu)建科學(xué)有效的課程思政評(píng)價(jià)體系，一方面，在全校課程思政建設(shè)中具有重要的診斷、導(dǎo)向、調(diào)控、激勵(lì)等作用，推進(jìn)課程思政的內(nèi)涵式建設(shè)。另一方面，有利于健全課程思政工作機(jī)制，進(jìn)一步完善黨委統(tǒng)一領(lǐng)導(dǎo)，教務(wù)部門牽頭抓總、相關(guān)部門協(xié)同聯(lián)動(dòng)、院系推進(jìn)落實(shí)的大思政工作格局，從而提升課程思政育人實(shí)效。

2.對(duì)于課程組來說，評(píng)價(jià)模型對(duì)把控培養(yǎng)環(huán)節(jié)質(zhì)量、修訂課程建設(shè)方案提供科學(xué)依據(jù)。每一門課的課程思政都是一個(gè)系統(tǒng)工程，除了高校相關(guān)部門的指導(dǎo)建議，更需要課程組積極開展改革研究。目前課程思政改革開展五六年了，每一所高校開展的進(jìn)度和效果不一，每一門課的改革實(shí)施進(jìn)度和效果也不一，因此，每門課要形成以課程組為單位的協(xié)同研究團(tuán)隊(duì)，負(fù)責(zé)把控教學(xué)培養(yǎng)環(huán)節(jié)的質(zhì)量、修訂課程建設(shè)方案和指導(dǎo)團(tuán)隊(duì)成員的教學(xué)能力。本研究形成的課程思政評(píng)價(jià)指標(biāo)體系，通過評(píng)價(jià)與應(yīng)用，可以發(fā)現(xiàn)人才培養(yǎng)方案中存在的問題，為改進(jìn)教學(xué)提供系統(tǒng)全面的科學(xué)依據(jù)。在下一步研究中，課題組擬將該評(píng)價(jià)指標(biāo)體系在部分學(xué)院和學(xué)校逐步推廣運(yùn)行，并對(duì)評(píng)價(jià)指標(biāo)體系進(jìn)行持續(xù)改進(jìn)。

3.對(duì)于教學(xué)主體(教師)來說，評(píng)價(jià)模型可作為改進(jìn)教學(xué)方法、提升課程思政實(shí)效性的參考標(biāo)準(zhǔn)。高校教師的課程思政改革是一個(gè)不斷探索和改進(jìn)的過程，除了課程組團(tuán)隊(duì)的共同探討、協(xié)同作戰(zhàn)，還亟需提升教師自身的思政素養(yǎng)，加強(qiáng)對(duì)思政資源的把控能力，積極學(xué)習(xí)先進(jìn)的教學(xué)方法，但是對(duì)于教師來說，課程思政改革效果是否得到同行和學(xué)生的認(rèn)同，就需要一個(gè)完善和科學(xué)的評(píng)價(jià)體系進(jìn)行評(píng)價(jià)。本研究遴選出的5個(gè)一級(jí)指標(biāo)，其中前面4個(gè)一級(jí)指標(biāo)分?jǐn)?shù)的高低可以反映教師相對(duì)應(yīng)的課程思政本領(lǐng)掌握的好壞，可以指導(dǎo)教師及時(shí)改進(jìn)自己存在的問題。第5個(gè)持續(xù)改進(jìn)指標(biāo)可以推動(dòng)教師及時(shí)開展教學(xué)總結(jié)、對(duì)教學(xué)過程存在的問題進(jìn)行反思，改進(jìn)教學(xué)舉措，提高課程思政的實(shí)效性和系統(tǒng)性。

4.對(duì)于學(xué)生來說，評(píng)價(jià)模型是全面了解學(xué)生的學(xué)習(xí)歷程和學(xué)習(xí)效果、激勵(lì)學(xué)生提升能力和樹立正確價(jià)值觀的重要手段。學(xué)生是課程思政最直接的體驗(yàn)者和受益者，評(píng)價(jià)指標(biāo)體系立足于學(xué)生，設(shè)置關(guān)注學(xué)生課堂學(xué)習(xí)氛圍和課后作業(yè)完成度的評(píng)價(jià)維度，評(píng)價(jià)結(jié)果可以反映學(xué)生的學(xué)習(xí)歷程，推動(dòng)學(xué)生綜合能力的提升；設(shè)置關(guān)注學(xué)生思政獲得感的評(píng)價(jià)維度，評(píng)價(jià)結(jié)果可以反映課程思政入腦入心的程度，進(jìn)而培養(yǎng)學(xué)生樹立正確的世界觀、價(jià)值觀和人生觀；設(shè)置關(guān)注學(xué)生課程考核相關(guān)的指標(biāo)，評(píng)價(jià)結(jié)果可以充分反映學(xué)生的學(xué)習(xí)成效，有助于學(xué)生提升學(xué)習(xí)動(dòng)力和學(xué)習(xí)興趣。