趙雪,劉陽陽,王秀云,郭義

(天津中醫(yī)藥大學,天津 300193)

·針灸教學·

基于層次分析法的《實驗針灸學》教材評價指標體系構(gòu)建

趙雪,劉陽陽,王秀云,郭義

(天津中醫(yī)藥大學,天津 300193)

教材評價在教學研究和教學活動中具有重要價值。該文以《實驗針灸學》教材評價指標體系的構(gòu)建為例,探討了層次分析法用于教材評價的過程和方法,確立了《實驗針灸學》教材適用性評價的3個層次、4個維度和20個評價指標,并對指標層的各子項目進行了權(quán)重賦值,以此為基礎(chǔ)研制了評價量表并開展了初步評價,以期為中醫(yī)類教材評價工作提供參考。

教材評價;層次分析法;評價指標;實驗針灸學;教育,針灸

教材是教學活動的基本要素之一。評價教材在教學過程中是否適用,對于甄別教材水平、總結(jié)經(jīng)驗與不足、推動教材改革、指導后續(xù)教材編寫等都具有重要價值[1]。中醫(yī)類教材在使用過程中,同樣需要開展常設(shè)性的教材適用性評價工作,其實質(zhì)是價值判斷,即通過對中醫(yī)類教材的科學性、有效性、使用效果等進行綜合分析,形成對教材總體價值的認知。這種認知在以往多依靠教師經(jīng)驗、教材比對、學生反饋等途徑形成一定的感性認識,尚沒有相對穩(wěn)定、客觀、規(guī)范的定量評價工具。筆者以2012年出版的全國中醫(yī)藥行業(yè)高等教育“十二五”規(guī)劃教材《實驗針灸學》(第9版)為例,探索了構(gòu)建這一評價工具的一些思路和方法。

1 評價指標體系的構(gòu)建思路

評價指標體系的構(gòu)建是開展評價的基礎(chǔ)。因此在制定教材適用性評價工具時,應首先構(gòu)建相應的評價指標體系。

一般來說,評價指標體系應包含評價指標、指標權(quán)重和評價標準三個系統(tǒng)。由于教材評價是要獲得對教材的價值判斷,而教材的價值體現(xiàn)在其能否實現(xiàn)教育目標及實現(xiàn)的程度上,因此,教材的評價指標體系應與相應課程的教育目標相契合。不同課程由于其教育目標不盡相同,教材的評價指標體系也會存在差異,這種差異可能體現(xiàn)在具體評價條目的不同,也可能體現(xiàn)在指標權(quán)重的變化,而評價標準應是一個相對穩(wěn)定的系統(tǒng)。

國內(nèi)外已有一些教材評價工具,如針對基礎(chǔ)教育階段的教材,美國科學促進協(xié)會“2061計劃”采用等級量表從內(nèi)容和教學分析兩個方面分別設(shè)置了評價標準[2];英國蘇克薩斯方案使用了“引言、描述性分析、教材使用、評估、具體情境提示”5個評估維度;比利時的教材評價體系包含了“外觀、內(nèi)容、結(jié)構(gòu)、可讀性、插圖、學業(yè)評價、教材使用”[3];國內(nèi)有學者認為教材評價指標應至少包含“知識、思想、學習主動性、編寫水平、與教師和學生水平匹配程度以及教材特色”6個維度[4]。20世紀90年代起,教育部組織國內(nèi)著名高校的專家學者策劃及編寫了各專業(yè)的高等教育系列教材,為了不斷提高教材編寫質(zhì)量,也曾組織專家設(shè)計了一個包含內(nèi)容質(zhì)量、編校質(zhì)量和印刷質(zhì)量的3級22項教材評價指標體系[5]。隨著高等教育教學理念的發(fā)展,“以學生為中心”“以能力為中心”“以活動為中心”也成為了教材評價的新方向[6-8]。

上述評價工具在一定范圍內(nèi)具有科學性、實用性和可操作性,但對于具體學科教材、具體評價使用者及評價目的,由于評價時的側(cè)重點不同,評價指標也應有所區(qū)分?！秾嶒炨樉膶W》教材評價指標體系的構(gòu)建,是在遵循現(xiàn)有評價工具的基本要素上,結(jié)合其自身學科特點和學生學習目標而綜合確立的。

2 評價指標體系的構(gòu)建方法

筆者在既往開展的復雜系統(tǒng)評價方法研究中,應用層次分析法(Analytic Hierarchy Process,AHP)開展了一些探索性工作,如對國家標準《針灸技術(shù)操作規(guī)范》臨床適用性的評價、國醫(yī)堂運行情況的評價等[9-10]。AHP是對定性問題進行定量分析的一種決策方法[11-13],20世紀70年代由美國匹茲堡大學T.L.Saaty教授提出。其基本步驟是①依據(jù)評價目的,將目標進行層次性分解;②對同層指標的重要性進行定性描述,建立兩兩比較判斷矩陣;③計算各元素的權(quán)重,由此建立出評價模型[14-16]。

與一般的定性分析方法相比,AHP的優(yōu)勢在于,它將研究對象作為一個系統(tǒng),通過分解、比較、綜合的思維方式進行決策,將多目標、難以全部量化的決策問題轉(zhuǎn)化為單目標問題,通過兩兩比較確立各層次中每個因素對結(jié)果的影響程度,因此尤其適用于對多層次、多要素的復雜問題進行分析。在《實驗針灸學》教材適用性評價指標體系的構(gòu)建中,筆者同樣應用了這一方法。

2.1 評價指標的確立

《實驗針灸學》課程的教育目標,是培養(yǎng)學生對針灸作用理論、作用原理和作用規(guī)律的現(xiàn)代科學內(nèi)涵的認識,將其內(nèi)化為學生的針灸科研素養(yǎng),激發(fā)學生持續(xù)學習終身學習的動力,這三方面是知識→思維→態(tài)度層級遞進的關(guān)系。圍繞這一教育目標,筆者在教材評價指標中設(shè)置了如下4個維度,①知識維度,主要是從教材內(nèi)容的選擇編排上,考察其能否體現(xiàn)針灸現(xiàn)代研究取得的重要成果和學科發(fā)展前沿,與學生先驗知識和認知規(guī)律是否相匹配,與相關(guān)學科能否有效銜接等層面的問題;②思想維度,主要從教材的思想內(nèi)涵上,考察其思想性、人文性、文化性是否有助于學生建構(gòu)科研思維模式,形成基本的科研素養(yǎng),包括實事求是的態(tài)度、批判性思維、溝通能力、協(xié)作能力等;③動力維度,主要從情感態(tài)度上,考察教材是否有助于激勵學習,如激發(fā)興趣、有助自學、啟迪思維等;④編排維度,主要從教材的編制水平上,考察教材編寫質(zhì)量,如排版形式、圖表呈現(xiàn)、裝幀印刷等。

據(jù)此筆者建立了《實驗針灸學》教材評價指標池,上述4個維度作為一級指標,即準則層指標;各維度中細化的評價內(nèi)容作為二級指標,即具體的指標層條目,結(jié)合專家咨詢、研討等方法,確立了《實驗針灸學》教材適用性評價的3個層次、4個維度和20個評價指標(如圖1所示)。

圖1 《實驗針灸學》教材適用性評價指標池

2.2 指標權(quán)重的計算

2.2.1 建立兩兩比較矩陣

采用1～9標度打分法,對評價指標各層次中的元素進行兩兩比較,建立成對比較判斷優(yōu)選矩陣。詳見表1。

表1 各層次評分標準

例如,在教材評價指標體系中,準則層由內(nèi)容安排(B1)、思想內(nèi)涵(B2)、激勵學習(B3)和編制水平(B4)構(gòu)成。如認為內(nèi)容安排(B1)比編制水平(B4)稍重要,則其比例標度為 3,由此得到準則層子目標成對比較判斷優(yōu)選矩陣,詳見表 2。同理,可得到指標層子目標成對比較判斷優(yōu)選矩陣,詳見表3～表6。

表2 準則層子目標成對比較判斷優(yōu)選矩陣

表3 B1指標層子目標成對比較判斷優(yōu)選矩陣

表4 B2指標層子目標成對比較判斷優(yōu)選矩陣

表5 B3指標層子目標成對比較判斷優(yōu)選矩陣

表6 B4指標層子目標成對比較判斷優(yōu)選矩陣

2.2.2 計算權(quán)重系數(shù)

參照“用電子表格(Excel)實現(xiàn)層次分析法(AHP)的簡捷計算”[17]一文中的方法,將上述矩陣輸入Excel,計算出各層次指標的權(quán)重系數(shù),詳見圖2。

具體實現(xiàn)方法以H3單元格為例。

①F3中輸入公式“=B1*B2*B3*B4”,下拉公式,得到“F4:F6”區(qū)域數(shù)值;

②G3中輸入公式“=F3^(1/m)”,此處m=4,下拉公式得到“G4:G6”區(qū)域數(shù)值;

③G7中輸入公式“=SUM(G3:G6)”;

④H3中輸入公式“=G3/$G$7”即可。

同理得到指標層各子目標的權(quán)重系數(shù),將其進行歸一化處理后,得到各指標權(quán)重系數(shù),詳見圖3。

從計算出的權(quán)重系數(shù)可以看出,評價的 4個維度權(quán)重之比大約為 4:1:3:2,即內(nèi)容安排對于評價教材價值的貢獻度最大。

圖2 權(quán)重系數(shù)

圖3 各層次指標的歸一化權(quán)重系數(shù)

2.2.3 一致性檢驗

在計算歸一化權(quán)重系數(shù)后,應檢驗所計算的權(quán)重系數(shù)是否符合邏輯,通常使用一致性指數(shù) CI。一般認為,當CI＜0.10時,可能無邏輯混亂,即計算所得的各項權(quán)重可以接受。一致性指數(shù)的計算公式為:,其中,

具體實現(xiàn)方法如下。

①在I3中輸入公式“=B3*H$3＋C3*H$4＋D3* H$5＋E3*H$6”,下拉公式即得到“I4:I6”區(qū)域數(shù)值;

②在J3中輸入公式“=I3/H3”,下拉公式至J6;

③在J7中輸入公式“=AVERAGE(J3:J6)”得到最大特征根λmax;

④CI值處輸入公式“=(J7－m)/(m－1)”,此例m=4,即得到CI=0.0622。

由于CI＜0.10,可以認為,前面3中所賦予的權(quán)重系數(shù)是可接受的。

同理得到B1～B4指標層的CI分別為0.0034、0、0和0.0316,均小于0.10,即上述計算的各項權(quán)重均符合邏輯,可以接受。詳見圖4。

2.2.4 計算組合權(quán)重系數(shù)

將指標層和其所屬準則層的歸一化系數(shù)相乘,即得出各個評價指標的組合權(quán)重系數(shù),將其由高到低排列,詳見圖5。

圖4 一致性檢驗

圖5 指標層各子項目的組合權(quán)重系數(shù)

2.3 評價標準及試評結(jié)果

表7 各項指標調(diào)研得分

基于上述評價指標體系,筆者設(shè)計了《實驗針灸學》教材適用性評價量表,對二級指標進行了具體描述,設(shè)置了5級評價標準(見附表)。借“十三五”規(guī)劃教材編寫會之機,在全國開設(shè)《實驗針灸學》課程的院校進行了初步調(diào)研,以天津中醫(yī)藥大學調(diào)研結(jié)果為例，根據(jù)每項指標好評率計算出綜合評分指數(shù) GI,其計算公式為(其中 Pi為第 i個評價指標測量值,m為評價指標的個數(shù)),各項指標得分詳見表7。

將各項指標得分相加得到《實驗針灸學》教材適用性綜合評分指數(shù)為 89,說明該教材適用性良好,基本得到了各院校的肯定。

3 討論

指標組合權(quán)重排序結(jié)果表明,對于《實驗針灸學》教材而言,最為重要的維度是內(nèi)容安排方面,其次是激勵學習方面。其中認知規(guī)律性、教學適應性和理論科學性是保證教材適用于教學的重要前提,也是匹配課程教學要求、實現(xiàn)專業(yè)培養(yǎng)目標的基礎(chǔ)保障,故在所有指標中所占權(quán)重最高,這也是符合預期的。其次在于啟迪學生思維、強化知識運用和提升學生能力方面,這與本學科的特點和課程主要任務密切相關(guān)。由于本課程是傳統(tǒng)針灸學與現(xiàn)代科學相結(jié)合的學科,培養(yǎng)現(xiàn)代化針灸人才是其重要任務之一,這就要求通過課程的學習,使學生具備針灸科研基本素養(yǎng),具備發(fā)現(xiàn)問題、分析問題和解決問題的能力,提高創(chuàng)新實踐能力,這是衡量教材適用性的重要方面。教材結(jié)構(gòu)、學術(shù)先進性、與相關(guān)學科的銜接和教材思想內(nèi)涵等也是評價教材時應重點考量的問題。而在提升學生興趣、有助學生自學等方面,單一紙質(zhì)化教材可能有其局限性,基于網(wǎng)絡平臺的各類數(shù)字化教學資源將有助于在這方面予以拓展。

本次研究表明,運用層次分析法構(gòu)建《實驗針灸學》教材適用性評價指標體系是可行的,能夠為中醫(yī)類其他教材的評價工作提供一定方法學參考。但針對不同課程,應根據(jù)課程教育目標,具體問題具體分析。如基礎(chǔ)類教材,像《中醫(yī)基礎(chǔ)理論》《經(jīng)絡腧穴學》等,其知識維度的評價指標權(quán)重可能要有所增加,對概念性知識、陳述性知識等也可有針對性地進一步增設(shè)二級指標;而對于偏重臨床的學科,如《中醫(yī)內(nèi)科學》《針灸治療學》等,在原理、認知策略等方面的學習目標會有所加大,另外也會涉及到醫(yī)患溝通、人文關(guān)懷等情感態(tài)度方面的問題,在教材的評價中也應有所考慮。

[1]鄺麗湛.教材評價的本質(zhì)及其價值分析[J].教育研究,2002,(7):33-36.

[2]張穎.美國“2061計劃”教材評價工具簡介[J].課程教材教法,2009,29(3):82-85.

[3]王曉麗.國外教材評價:基本特征、發(fā)展趨勢及啟示[J].課程教材教法,2016,36(9):107-113.

[4]高凌飚.基礎(chǔ)教育教材評價體系的構(gòu)建問題[J].科學大眾,2007,(5):12-15.

[5]周義軍.關(guān)于建立高校教材評價體系的思考[J].現(xiàn)代出版,2011,(3):24-26.

[6]劉景超.高校創(chuàng)新教育教材評價體系的構(gòu)建研究[J].當代教育論壇,2012,(5):34-37.

[7]王敏,劉俊.基于 B/S架構(gòu)的高校教材測評系統(tǒng)實現(xiàn)[J].科教文匯(上旬刊),2015,(10):128-130.

[8]袁峰,趙立民.高校教材網(wǎng)絡化管理的創(chuàng)新與實踐[J].中國管理信息化,2010,13(1):67-70.

[9]齊蕊,王娜娜,李桂蘭,等.運用層次分析法評價針灸技術(shù)操作規(guī)范標準的臨床適用性[J].標準科學,2013,(3):59-63.

[10]劉佳佳,李桂蘭,郭義.淺析構(gòu)建國醫(yī)堂運行評價指標體系的必要性[J].標準科學,2014,(2):33-35.

[11]董君.層次分析法權(quán)重計算方法分析及其應用研究[J].科技資訊,2015,13(29):218,220.

[12]劉瑩昕,劉颯,王威堯.層次分析法的權(quán)重計算及其應用[J].沈陽大學學報(自然科學版),2014,26(5):372-375.

[13]霍海峰,溫鮮.層次分析法在教學評價中的應用[J].科技視界,2012,(28):48-49.

[14]鄧雪,李家銘,曾浩健,等.層次分析法權(quán)重計算方法分析及其應用研究[J].數(shù)學的實踐與認識,2012,42(7):93-100.

[15]Li AT, Lin JW. Constructing core competency indicators for clinical teachers in Taiwan: a qualitative analysis and an analytic hierarchy process[J].BMC Med Educ,2014,14:75.

[16]徐曉敏.層次分析法的運用[J].統(tǒng)計與決策,2008,(1):156-158.

[17]先鋒.用電子表格(Excel)實現(xiàn)層次分析法(AHP)的簡捷計算[EB/OL].中國科技論文在線 www.paper.edu.cn/2013-3-7.

Construction of Evaluation Index System for the Textbook ofExperimental Acupuncture-moxibustion ScienceBased on the Analytic Hierarchy Process

ZHAO Xue,LIU Yang-yang,WANG Xiu-yun,GUO Yi.Tianjin Universityof Traditional Chinese Medicine,Tianjin300193,China

Textbook evaluation is of great significance in teaching studies and activities. By taking the establishment of evaluation index system forExperimental Acupuncture-moxibustion Scienceas an example, this article discussed the process and method of adopting the analytic hierarchy process for textbook evaluation: 3 levels, 4 dimensions, and 20 evaluation indexes were developed for the evaluation ofExperimental Acupuncture-moxibustion Sciencetextbook, and each component of the indexes was assigned weight, based on which, a scale was established and preliminarily evaluated, in order to provide reference for the evaluation of the textbooks of traditional Chinese medicine.

Textbook Evaluation; Analytic hierarchy process; Evaluation index;Experimental Acupuncturemoxibustion Science; Teaching, Acupuncture-moxibustion

R245

A

2017-01-18

附:《實驗針灸學》教材適用性評價量表

一級指標 二級指標 描述 好 較好 一般 較差 差1.認識規(guī)律性 符合認知規(guī)律,取材恰當,深度適宜2.教學適應性 與專業(yè)培養(yǎng)目標和課程教學要求相匹配內(nèi)容安排3.理論科學性 正確闡述本學科的科學理論和概念4.結(jié)構(gòu)系統(tǒng)性 結(jié)構(gòu)嚴謹,完整體現(xiàn)學科體系5.學術(shù)先進性 反映本學科最新的研究成果和學術(shù)發(fā)展動態(tài)6.內(nèi)部協(xié)調(diào)性 章節(jié)層次清晰,內(nèi)容編排合理,彼此協(xié)調(diào)7.外部協(xié)調(diào)性 與其他相關(guān)學科配合協(xié)調(diào)思想內(nèi)涵8.思想性 符合辯證唯物主義和歷史唯物主義思想9.人文性 體現(xiàn)對人文精神、科學精神和科學態(tài)度的倡導10.文化性 弘揚優(yōu)秀文化11.激發(fā)興趣 能夠調(diào)動學習興趣,激發(fā)求知欲激勵學習12.有助自學 內(nèi)容便于自學,有助引導新知識的構(gòu)建13.啟迪思維 能夠啟發(fā)思維,引導主動思考和積極探索14.強化運用 以問題解決、推理和應用等形式強化知識運用15.提升能力 能夠促進創(chuàng)新能力和實踐能力的提升16.文字編寫 用詞準確,語言流暢,敘述生動,易讀易懂編制水平17.圖表繪制 圖表清晰、準確、美觀18.圖文搭配 圖文搭配合理,圖表有助于解釋文字、加深理解19.版式設(shè)計 版式規(guī)范統(tǒng)一,層次分明,色彩和諧,可讀性高20.裝幀印制 裝訂牢固,紙張質(zhì)量好,印刷清晰

10.13460/j.issn.1005-0957.2017.09.1152

1005-0957(2017)09-1152-07

天津中醫(yī)藥大學本科課程建設(shè)項目(2017KC-A10)

趙雪(1983—),女,講師,博士,Email:zhaoxue0216@126.com

郭義(1965—),男,教授,Email:guoyi_168@163.com