李 昱,劉 斌

(1.海軍軍醫(yī)大學(xué)辦公室，上海 200433；2.海軍軍醫(yī)大學(xué)，上海 200433)

1 背 景

醫(yī)療科技日新月異，技術(shù)標(biāo)準(zhǔn)、診療規(guī)程、科研應(yīng)用不斷推陳出新，軍隊(duì)衛(wèi)生人才必須持續(xù)更新自己的知識(shí)庫(kù)，才能擔(dān)負(fù)起保障部隊(duì)?wèi)?zhàn)斗力和守護(hù)民眾生命健康的使命責(zé)任。由于軍隊(duì)醫(yī)院承擔(dān)任務(wù)重，工學(xué)矛盾突出，集中組織任職培訓(xùn)覆蓋面不夠廣，大部分醫(yī)務(wù)人員僅靠書(shū)本、文獻(xiàn)自學(xué)，學(xué)習(xí)效果不理想。黨的十八屆三中全會(huì)明確提出“健全軍隊(duì)院校教育、部隊(duì)訓(xùn)練實(shí)踐、軍事職業(yè)教育三位一體的新型軍事人才培養(yǎng)體系”[1]，軍事職業(yè)教育在線教學(xué)為軍隊(duì)衛(wèi)生人才自我成長(zhǎng)提供了便捷高效的渠道和方式，在一定程度上緩解了教育資源和機(jī)會(huì)的不平衡[2]。教學(xué)醫(yī)院作為醫(yī)學(xué)教育的供給側(cè)，面對(duì)在線課程這一新的教學(xué)形式，教員和技術(shù)團(tuán)隊(duì)在備課時(shí)，沒(méi)有科學(xué)合理的評(píng)價(jià)指標(biāo)作為參照[3]，其資源建設(shè)正面臨著不少問(wèn)題。尤其在抗擊新型冠狀病毒肺炎疫情的阻擊戰(zhàn)中，在線學(xué)習(xí)需求集中爆發(fā)，課程質(zhì)量問(wèn)題也集中暴露出來(lái)，教學(xué)效果大打折扣[4]。筆者基于專家咨詢法(Delphi)和網(wǎng)絡(luò)層次分析法(ANP)，研究構(gòu)建在線課程質(zhì)量評(píng)價(jià)指標(biāo)體系，可為教學(xué)醫(yī)院課程建設(shè)提供參考。

2 基于文本挖掘和Delphi法構(gòu)建質(zhì)量評(píng)價(jià)指標(biāo)框架

2.1 文本挖掘初步篩選評(píng)價(jià)指標(biāo)文本挖掘是信息挖掘的一個(gè)研究分支，利用神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理等智能算法，分析大數(shù)據(jù)量的文本源，獲取有價(jià)值的知識(shí)和信息。武漢大學(xué)ROST虛擬學(xué)習(xí)團(tuán)隊(duì)研制的ROST CM6(ROST Content Mining6.0)在中文支持度方面做得很好[5],在國(guó)內(nèi)外高校應(yīng)用廣泛。因此，本研究選取ROST CM6進(jìn)行文本挖掘。將檢索獲取的106篇相關(guān)文獻(xiàn)共計(jì)621523字的文本數(shù)據(jù)導(dǎo)入軟件，經(jīng)過(guò)分詞處理、文本清洗、屏蔽過(guò)濾詞、合并同義詞等步驟，構(gòu)建形成在線課程質(zhì)量評(píng)價(jià)指標(biāo)體系相關(guān)研究文獻(xiàn)的語(yǔ)義網(wǎng)絡(luò)圖(圖1)。

圖1 相關(guān)研究文獻(xiàn)語(yǔ)義網(wǎng)絡(luò)

從分析結(jié)果中可以發(fā)現(xiàn)，若干高頻詞以“課程”和“教學(xué)”為中心，說(shuō)明學(xué)者們更注重對(duì)這些方面加以研究。由于文獻(xiàn)結(jié)構(gòu)和表述的復(fù)雜性，不能單純依據(jù)高頻詞得出評(píng)價(jià)指標(biāo)，需要回溯原文進(jìn)行二次人工閱讀，對(duì)相關(guān)評(píng)價(jià)指標(biāo)進(jìn)行收集、整理和分析，擬制出《在線課程質(zhì)量評(píng)價(jià)指標(biāo)框架1.0》，包括目標(biāo)定位、內(nèi)容設(shè)置、課堂設(shè)計(jì)、學(xué)習(xí)支持4個(gè)一級(jí)指標(biāo)，其下又細(xì)分為選題方向、學(xué)員定位、教學(xué)目標(biāo)、描述說(shuō)明、知識(shí)容量等16個(gè)二級(jí)指標(biāo)。

2.2 Delphi法完善指標(biāo)框架根據(jù)本研究的內(nèi)容和目的，將從事醫(yī)學(xué)教育研究、組織教學(xué)評(píng)價(jià)督導(dǎo)、深度參與在線課程建設(shè)的資深教員和教學(xué)管理這3類人員視為專家，遴選出由17人組成的專家組，其中教授7人、副教授7人、講師3人。依據(jù)初步構(gòu)建的評(píng)價(jià)指標(biāo)體系框架，采用李克特(Likert)五點(diǎn)量表編制形成問(wèn)卷，用以咨詢專家們對(duì)指標(biāo)框架的認(rèn)可程度[6]。

第一輪專家咨詢共發(fā)放問(wèn)卷17份，回收15份，咨詢問(wèn)卷回收率為88.2%。對(duì)專家咨詢表中的認(rèn)可度選項(xiàng)從高到低分別賦值5、4、3、2、1，計(jì)算各二級(jí)指標(biāo)得分的均數(shù)、標(biāo)準(zhǔn)差、變異系數(shù)和滿分頻率等(表1)。

進(jìn)一步處理統(tǒng)計(jì)數(shù)據(jù)，采用界值法劃定篩選條件，即以每項(xiàng)指標(biāo)的算術(shù)均數(shù)、變異系數(shù)和滿分頻率計(jì)算界值，其中均數(shù)和滿分頻率大于界值為滿足條件，變異系數(shù)小于界值為滿足條件[7](表2)。

將評(píng)分統(tǒng)計(jì)結(jié)果與界值對(duì)比可發(fā)現(xiàn)，三個(gè)界值條件均不滿足的指標(biāo)為“難度深度”這一項(xiàng)，同時(shí)從修改意見(jiàn)及訪談情況可知，多數(shù)專家認(rèn)為該項(xiàng)指標(biāo)與“知識(shí)容量”有重復(fù)交叉之處，因此將該項(xiàng)刪除，并在“知識(shí)容量”指標(biāo)的內(nèi)涵界定中補(bǔ)充相關(guān)說(shuō)明，其他指標(biāo)也根據(jù)界值條件作了相應(yīng)修改。

表1 第一輪專家咨詢各二級(jí)指標(biāo)得分統(tǒng)計(jì)情況

表2 第一輪專家咨詢指標(biāo)篩選界值

第二輪專家咨詢共發(fā)放問(wèn)卷15份，回收15份，回收率100%，專家積極系數(shù)較第一輪有所提高。兩輪咨詢的權(quán)威系數(shù)分別為0.81、0.85，均大于0.7，說(shuō)明本研究專家咨詢的權(quán)威程度較高，咨詢結(jié)果較為可靠。兩輪專家咨詢協(xié)調(diào)系數(shù)分別為0.269、0.531，表明專家對(duì)指標(biāo)框架的認(rèn)可度趨于一致，意見(jiàn)協(xié)調(diào)性好。兩輪專家咨詢協(xié)調(diào)系數(shù)卡方檢驗(yàn)的P值都小于0.05，說(shuō)明在95%的置信區(qū)間下結(jié)果可信。

經(jīng)過(guò)兩輪專家咨詢和修訂完善，形成《在線課程質(zhì)量評(píng)價(jià)指標(biāo)框架3.0》，包括目標(biāo)定位、內(nèi)容設(shè)置、課堂設(shè)計(jì)、學(xué)習(xí)支持等4個(gè)一級(jí)指標(biāo)，以及選題方向、學(xué)院定位、教學(xué)目標(biāo)、概述說(shuō)明、知識(shí)容量、結(jié)構(gòu)編排、科學(xué)前瞻、教學(xué)策略、講解授課、媒體演示、編輯制作、作業(yè)布置、考核評(píng)估、交流互動(dòng)、進(jìn)階拓展等15個(gè)二級(jí)指標(biāo)。

3 基于ANP法計(jì)算評(píng)價(jià)指標(biāo)綜合權(quán)值

以往對(duì)于評(píng)價(jià)指標(biāo)體系的研究中，多采用層次分析法(AHP)計(jì)算指標(biāo)權(quán)值。然而，AHP是以各項(xiàng)指標(biāo)間保持獨(dú)立、互不影響為前提的[8]，考慮到醫(yī)學(xué)教育在線課程的評(píng)價(jià)指標(biāo)之間可能存在著一定的依存和反饋關(guān)系，本研究選取網(wǎng)絡(luò)層次分析法(ANP)計(jì)算各項(xiàng)指標(biāo)的權(quán)重系數(shù)。AHP的創(chuàng)始人T.L.Saaty[9]，基于層次分析模型改進(jìn)提出ANP，將指標(biāo)體系的總體結(jié)構(gòu)分為控制層和網(wǎng)絡(luò)層，形成包括內(nèi)部循環(huán)和互相影響的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)而通過(guò)構(gòu)造超矩陣并求極限運(yùn)算，得到底層指標(biāo)的綜合權(quán)重[10]。

3.1 構(gòu)建網(wǎng)絡(luò)層次結(jié)構(gòu)模型為了建立ANP結(jié)構(gòu)模型，通過(guò)收集專家組對(duì)指標(biāo)間關(guān)聯(lián)性的意見(jiàn)，得到指標(biāo)關(guān)聯(lián)情況表(表3)。

表3 各項(xiàng)評(píng)價(jià)指標(biāo)關(guān)聯(lián)情況

根據(jù)表3關(guān)聯(lián)情況，可歸納得到在線課程評(píng)價(jià)指標(biāo)體系網(wǎng)絡(luò)層次結(jié)構(gòu)模型(圖2)。

圖2 評(píng)價(jià)指標(biāo)體系網(wǎng)絡(luò)層次結(jié)構(gòu)模型

3.2 構(gòu)建指標(biāo)重要性判斷矩陣由各項(xiàng)評(píng)價(jià)指標(biāo)關(guān)聯(lián)情況表(表3)得到一級(jí)、二級(jí)評(píng)價(jià)指標(biāo)間的關(guān)聯(lián)情況計(jì)數(shù)表(表4、表5)。

表4 一級(jí)指標(biāo)關(guān)聯(lián)情況計(jì)數(shù)

表5 二級(jí)指標(biāo)關(guān)聯(lián)情況計(jì)數(shù)

對(duì)照關(guān)聯(lián)情況計(jì)數(shù)表，篩選出計(jì)數(shù)大于1的指標(biāo)作為影響因素，構(gòu)建得到兩兩比較矩陣。

3.3 專家評(píng)分及數(shù)據(jù)處理為定量分析評(píng)價(jià)指標(biāo)的重要程度，本研究引入“1-9”標(biāo)度法，請(qǐng)專家組對(duì)判斷矩陣逐一打分。將打分?jǐn)?shù)據(jù)分別錄入各項(xiàng)評(píng)價(jià)指標(biāo)的兩兩比較矩陣，計(jì)算得到全部判斷矩陣的權(quán)值和相應(yīng)CR值。以“目標(biāo)定位”一級(jí)指標(biāo)和“選題方向”二級(jí)指標(biāo)為例，計(jì)算結(jié)果如表6、表7所示。

由上述計(jì)算結(jié)果可知，所有的CR都小于0.1，判斷矩陣的一致性均符合要求。隨后求出極限超矩陣[11]，最后得到各項(xiàng)指標(biāo)對(duì)應(yīng)的組內(nèi)權(quán)值和全局權(quán)值。考慮到實(shí)際應(yīng)用的可操作性，將數(shù)據(jù)保留小數(shù)點(diǎn)后三位，并轉(zhuǎn)換成百分制后形成完整的在線課程質(zhì)量評(píng)價(jià)指標(biāo)體系(表8)。

4 在線課程質(zhì)量評(píng)價(jià)指標(biāo)體系的實(shí)證分析

為了充分體現(xiàn)教學(xué)對(duì)象需求，從參加某軍醫(yī)大學(xué)附屬醫(yī)院任職培訓(xùn)班的學(xué)員中選取145名作為評(píng)價(jià)主體，使用本研究構(gòu)建的評(píng)價(jià)指標(biāo)體系，對(duì)《部隊(duì)訓(xùn)練傷防治》、《全科軍醫(yī)急救技能》、《部隊(duì)常見(jiàn)皮膚病診療》等3門(mén)在線課程進(jìn)行評(píng)價(jià)打分。發(fā)放的評(píng)分表100%填寫(xiě)完成并回收，針對(duì)每項(xiàng)指標(biāo)提供A-F六個(gè)評(píng)價(jià)等級(jí)[12]，分別賦值1.0、0.8、0.6、0.4、0.2、0，下文以《部隊(duì)訓(xùn)練傷防治》評(píng)分?jǐn)?shù)據(jù)為例進(jìn)行分析。

表6 “目標(biāo)定位”一級(jí)指標(biāo)評(píng)價(jià)結(jié)果

表7 “選題方向”二級(jí)指標(biāo)評(píng)價(jià)結(jié)果

表8 在線課程質(zhì)量評(píng)價(jià)指標(biāo)體系

4.1 Cronbach信度分析將原始數(shù)據(jù)導(dǎo)入SPSS軟件，采用Cronbach信度分析得到校正項(xiàng)總計(jì)相關(guān)性(CITC)、項(xiàng)已刪除的α系數(shù)、Cronbach α系數(shù)等三個(gè)指標(biāo)。

由表9可見(jiàn)，信度系數(shù)值為0.912>0.9，說(shuō)明研究數(shù)據(jù)有很高的內(nèi)部一致性。針對(duì)“CITC值”，各指標(biāo)項(xiàng)對(duì)應(yīng)的CITC值全部高于0.5，說(shuō)明二級(jí)指標(biāo)之間具有良好的相關(guān)關(guān)系。綜上可知，研究數(shù)據(jù)信度質(zhì)量高，可用于進(jìn)一步分析[13]。

4.2 KMO和巴特利特效度分析對(duì)課程評(píng)分采用KMO和巴特利特效度分析，得到統(tǒng)計(jì)結(jié)果如表10所示。

統(tǒng)計(jì)結(jié)果的共同度值均高于0.4，說(shuō)明評(píng)分表各指標(biāo)信息可以被有效提取。KMO值為0.843>0.6，意味著數(shù)據(jù)具有良好的效度[14]。

4.3 驗(yàn)證性因子分析上述KMO和巴特利特檢驗(yàn)作為探索性因子分析(EFA)手段，主要用于確定公因子的維度。為進(jìn)一步驗(yàn)證已構(gòu)建的指標(biāo)體系中一級(jí)指標(biāo)與下設(shè)二級(jí)指標(biāo)的對(duì)應(yīng)關(guān)系，采用驗(yàn)證性因子分析(CFA)[15]。數(shù)據(jù)經(jīng)過(guò)SPSS軟件統(tǒng)計(jì)整理后，導(dǎo)入AMOS統(tǒng)計(jì)軟件，建立由潛變量(一級(jí)指標(biāo))和顯變量(二級(jí)指標(biāo))組成的結(jié)構(gòu)模型[16]，計(jì)算得到各一級(jí)指標(biāo)與其下設(shè)二級(jí)指標(biāo)間的因子載荷系數(shù)、標(biāo)準(zhǔn)載荷系數(shù)等指標(biāo)。

表9 Cronbach信度分析結(jié)果

表10 KMO和巴特利特效度分析結(jié)果

由表11可以看出，標(biāo)準(zhǔn)載荷系數(shù)大部分在0.70以上，并且不存在低于0.40的情況，說(shuō)明一級(jí)指標(biāo)與二級(jí)指標(biāo)間有著較強(qiáng)的相關(guān)性，可以繼續(xù)進(jìn)行聚合效度及區(qū)分效度分析。

由表12可知，4個(gè)因子對(duì)應(yīng)的AVE值全部大于0.5，且CR值全部高于0.7，意味著數(shù)據(jù)具有良好的聚合效度。

將上述各因子的AVE值開(kāi)平方，其根值與其他相關(guān)系數(shù)比較，如果某因子AVE平方根值，大于該因子與其他因子的相關(guān)系數(shù)，并且所有因子均呈現(xiàn)出這樣的結(jié)論，則說(shuō)明具有良好的區(qū)分效度。

表13中斜對(duì)角線數(shù)字為AVE平方根值，4個(gè)因子對(duì)應(yīng)的AVE平方根最小值0.767大于因子間相關(guān)系數(shù)的最大值0.628，意味著研究數(shù)據(jù)具有良好的區(qū)分效度。

表11 因子載荷系數(shù)統(tǒng)計(jì)結(jié)果

表12 評(píng)分模型AVE和CR指標(biāo)結(jié)果

表13 相關(guān)系數(shù)與AVE平方根值

5 結(jié) 語(yǔ)

本研究以在線課程為研究對(duì)象，通過(guò)文獻(xiàn)回顧、文本挖掘、專家咨詢、問(wèn)卷調(diào)查、專家訪談和數(shù)理統(tǒng)計(jì)等研究方法，構(gòu)建了質(zhì)量評(píng)價(jià)指標(biāo)體系，并計(jì)算確定了各級(jí)指標(biāo)權(quán)重系數(shù)。應(yīng)用評(píng)價(jià)指標(biāo)體系進(jìn)行了實(shí)證研究，通過(guò)信效度檢驗(yàn)、驗(yàn)證性因子分析，初步檢驗(yàn)該體系的合理可信。在今后的實(shí)踐工作還將繼續(xù)加以改進(jìn)和完善,希望能為教學(xué)醫(yī)院在線課程建設(shè)提供參考和借鑒。