馮 銳，董利亞，李 聞

(1.揚(yáng)州大學(xué) 新聞與傳媒學(xué)院，江蘇 揚(yáng)州 225002; 2.南京金陵匯文學(xué)校，江蘇 南京 210036)

專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)體系建構(gòu)的方法研究*

馮 銳1，董利亞2，李 聞1

(1.揚(yáng)州大學(xué) 新聞與傳媒學(xué)院，江蘇 揚(yáng)州 225002; 2.南京金陵匯文學(xué)校，江蘇 南京 210036)

專(zhuān)題教育社區(qū)是依托國(guó)家教育資源公共服務(wù)平臺(tái)創(chuàng)建的一個(gè)在線專(zhuān)題學(xué)習(xí)社區(qū)，它以學(xué)習(xí)者為核心，基于社會(huì)關(guān)系網(wǎng)絡(luò)以活動(dòng)為載體促進(jìn)知識(shí)在個(gè)體與組織間生成與消費(fèi)的一種學(xué)習(xí)共同體，是“互聯(lián)網(wǎng)+”教育的一種社交型學(xué)習(xí)形態(tài)。自2014年4月建設(shè)以來(lái)，已經(jīng)創(chuàng)建了167個(gè)有特色的在線專(zhuān)題教育學(xué)習(xí)社區(qū)，社區(qū)注冊(cè)成員15萬(wàn)余人，訪問(wèn)量達(dá)到700余萬(wàn)人次等。這些社區(qū)在全國(guó)各級(jí)各類(lèi)學(xué)校、廣大師生中具有了廣泛的社會(huì)影響力，但各社區(qū)之間建設(shè)水平參差不齊存在差距。該文運(yùn)用文獻(xiàn)研究法、目標(biāo)分解法、德?tīng)柗品?、層次分析法?gòu)建了專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)體系，旨在為專(zhuān)題教育社區(qū)建設(shè)者提升社區(qū)質(zhì)量，衡量社區(qū)水平提供指導(dǎo)依據(jù)。該評(píng)價(jià)指標(biāo)體系包括5項(xiàng)一級(jí)指標(biāo)，38項(xiàng)二級(jí)指標(biāo)，目前已經(jīng)得到了專(zhuān)家的論證以及實(shí)踐的驗(yàn)證。

專(zhuān)題教育社區(qū)；評(píng)價(jià)指標(biāo)體系；德?tīng)柗品?/p>

專(zhuān)題教育社區(qū)是由國(guó)家教育資源公共服務(wù)平臺(tái)創(chuàng)建的在線專(zhuān)題學(xué)習(xí)社區(qū)，是推動(dòng)國(guó)家教育資源公共服務(wù)平臺(tái)建設(shè)和深度應(yīng)用的重要工作。在教育部科技司指導(dǎo)下，從2014年4月起中央電化教育館組織實(shí)施了專(zhuān)題教育社區(qū)建設(shè)工程，已經(jīng)在國(guó)家教育資源公共服務(wù)平臺(tái)上建設(shè)了167個(gè)專(zhuān)題教育社區(qū)，初步形成了一系列有特色的在線社交學(xué)習(xí)社區(qū)。這些專(zhuān)題教育社區(qū)在全國(guó)各級(jí)各類(lèi)學(xué)校、廣大師生中具有了廣泛的社會(huì)影響力。為了確保社區(qū)的建設(shè)質(zhì)量，衡量社區(qū)的建設(shè)水平，推進(jìn)和強(qiáng)化社區(qū)的可持續(xù)發(fā)展，需要盡快構(gòu)建出一套可行的、可實(shí)用的專(zhuān)題教育社區(qū)的評(píng)價(jià)指標(biāo)體系。評(píng)價(jià)指標(biāo)體系的建立是一個(gè)系統(tǒng)規(guī)范的研究過(guò)程，它需要全面、系統(tǒng)地分析研究對(duì)象，綜合分析結(jié)果，并對(duì)系統(tǒng)進(jìn)行反復(fù)評(píng)價(jià)，直到實(shí)現(xiàn)預(yù)定的目標(biāo)[1]。所以，專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)體系的構(gòu)建首先要解決的是方法問(wèn)題，因?yàn)橹笜?biāo)體系構(gòu)建的方法是確保評(píng)價(jià)指標(biāo)體系構(gòu)建過(guò)程科學(xué)性、規(guī)范性的基礎(chǔ)。

一、評(píng)價(jià)指標(biāo)體系構(gòu)建路徑和方法

專(zhuān)題教育社區(qū)的評(píng)價(jià)指標(biāo)就是根據(jù)專(zhuān)題教育社區(qū)的評(píng)價(jià)目標(biāo)，圍繞專(zhuān)題教育社區(qū)的本質(zhì)特征確定能反映其建設(shè)水平和質(zhì)量的具體評(píng)價(jià)條目。評(píng)價(jià)指標(biāo)體系則是根據(jù)評(píng)價(jià)對(duì)象本身的邏輯結(jié)構(gòu)，由不同層級(jí)的評(píng)價(jià)指標(biāo)構(gòu)成的一個(gè)有機(jī)整體。建立一套評(píng)價(jià)指標(biāo)體系，必須理清研究的總體思路和脈絡(luò)，這樣研究過(guò)程才能明晰、有章可循，具有實(shí)際操作性，如圖1所示。

圖1 評(píng)價(jià)指標(biāo)體系構(gòu)建的總體思路

(一)確定評(píng)價(jià)對(duì)象，明確評(píng)價(jià)目標(biāo)

評(píng)估對(duì)象是評(píng)價(jià)的客體，評(píng)價(jià)目標(biāo)是對(duì)客體進(jìn)行評(píng)價(jià)所要達(dá)到規(guī)定的標(biāo)準(zhǔn)。明確評(píng)價(jià)對(duì)象和評(píng)價(jià)目標(biāo)是構(gòu)建評(píng)價(jià)指標(biāo)體系的首要任務(wù)，對(duì)指標(biāo)體系和評(píng)價(jià)方法起決定作用，從而確定評(píng)價(jià)項(xiàng)目[2]。我們此次的評(píng)價(jià)對(duì)象是167個(gè)在線專(zhuān)題教育社區(qū)，這些社區(qū)是從2014年4月開(kāi)始在國(guó)家教育資源公共服務(wù)平臺(tái)上建設(shè)，現(xiàn)在已經(jīng)注冊(cè)社區(qū)成員達(dá)15萬(wàn)余人，根據(jù)社區(qū)目標(biāo)要求開(kāi)展活動(dòng)2900多個(gè)，依據(jù)社區(qū)活動(dòng)任務(wù)創(chuàng)建了3450個(gè)社區(qū)小組，創(chuàng)造出資源10萬(wàn)余條和生成文章15萬(wàn)余篇，社區(qū)訪問(wèn)量達(dá)到700余萬(wàn)人次等。隨著這些專(zhuān)題教育社區(qū)在全國(guó)各級(jí)各類(lèi)學(xué)校中的廣泛應(yīng)用，以及精品專(zhuān)題教育社區(qū)建設(shè)項(xiàng)目的推進(jìn)，這些專(zhuān)題教育社區(qū)將成為獲取優(yōu)質(zhì)資源，實(shí)現(xiàn)優(yōu)質(zhì)資源共享，促進(jìn)師生學(xué)習(xí)和交流的重要在線支持環(huán)境。所以，這些專(zhuān)題教育社區(qū)的建設(shè)就是為各類(lèi)學(xué)習(xí)者構(gòu)建的一個(gè)知識(shí)擴(kuò)散與共享的在線學(xué)習(xí)環(huán)境，并且它能夠?yàn)閷W(xué)生開(kāi)展深度學(xué)習(xí)、適應(yīng)性學(xué)習(xí)以及各類(lèi)實(shí)踐與研究活動(dòng)提供各種支持和服務(wù)[3]。找準(zhǔn)評(píng)價(jià)對(duì)象，明確評(píng)價(jià)目標(biāo)是指引評(píng)價(jià)指標(biāo)體系構(gòu)建過(guò)程中的重要航標(biāo)，也是確保整個(gè)評(píng)估過(guò)程不偏離專(zhuān)題教育社區(qū)建設(shè)內(nèi)涵的關(guān)鍵環(huán)節(jié)。因此，對(duì)評(píng)價(jià)目標(biāo)及評(píng)價(jià)對(duì)象認(rèn)知越充分，剖析越透徹，初擬的評(píng)價(jià)指標(biāo)就會(huì)越符合預(yù)期，越接近實(shí)際。

(二)初建專(zhuān)題教育社區(qū)的評(píng)價(jià)指標(biāo)體系

評(píng)價(jià)指標(biāo)是對(duì)評(píng)價(jià)對(duì)象某一方面特性的客觀準(zhǔn)確反映。初建指標(biāo)體系既要選擇能反映評(píng)價(jià)對(duì)象特性的可測(cè)指標(biāo)，又要初步確立各項(xiàng)可測(cè)指標(biāo)間的相互關(guān)系，這是評(píng)價(jià)指標(biāo)體系建立過(guò)程中一個(gè)非常重要的環(huán)節(jié)。初建評(píng)價(jià)指標(biāo)體系時(shí)應(yīng)盡量全面、準(zhǔn)確地反映到評(píng)估目標(biāo)的各個(gè)方面，并要確保初建的指標(biāo)之間盡量不重復(fù)且指標(biāo)指向性清晰。我們考慮到專(zhuān)題教育社區(qū)特有的屬性，以及專(zhuān)題教育社區(qū)的實(shí)際建設(shè)情況，權(quán)衡評(píng)價(jià)指標(biāo)體系初建的各個(gè)方法有優(yōu)劣，確定采用多種方法相結(jié)合來(lái)初建專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)體系。

第一，利用文獻(xiàn)研究法梳理和明確了國(guó)內(nèi)外有關(guān)虛擬社區(qū)評(píng)價(jià)、虛擬學(xué)習(xí)社區(qū)評(píng)價(jià)、虛擬學(xué)習(xí)環(huán)境評(píng)價(jià)、教師在線實(shí)踐社區(qū)COP評(píng)價(jià)的維度選擇主要關(guān)注于社區(qū)基本情況、社區(qū)主題、社區(qū)目標(biāo)和定位、社區(qū)活動(dòng)組織、社區(qū)支持服務(wù)、社區(qū)規(guī)范、技術(shù)環(huán)境、社區(qū)資源等方面。我們對(duì)這些方面進(jìn)行分析和綜合，抽象出在線學(xué)習(xí)社區(qū)(或虛擬學(xué)習(xí)共同體)的評(píng)價(jià)維度選擇主要涉及社區(qū)基礎(chǔ)性評(píng)價(jià)、社區(qū)核心性評(píng)價(jià)、社區(qū)組織性評(píng)價(jià)、社區(qū)管理性評(píng)價(jià)。

第二，利用文獻(xiàn)研究法梳理清楚專(zhuān)題教育社區(qū)的建設(shè)目標(biāo)、特點(diǎn)、功能和內(nèi)容等，并利用目標(biāo)分解法從專(zhuān)題教育社區(qū)的建設(shè)總目標(biāo)出發(fā)，按照專(zhuān)題教育社區(qū)建設(shè)任務(wù)的構(gòu)成進(jìn)行逐層分解，即將總體目標(biāo)解讀為一系列一級(jí)指標(biāo)，再將一級(jí)指標(biāo)解析為二級(jí)指標(biāo)，從上至下直到分解成可操作的末級(jí)指標(biāo)為止。

第三，利用調(diào)查研究法對(duì)全國(guó)專(zhuān)題教育社區(qū)建設(shè)與發(fā)展進(jìn)行總體分析與個(gè)案分析，總結(jié)和歸納專(zhuān)題教育社區(qū)建設(shè)內(nèi)涵和經(jīng)驗(yàn)，從中提煉出專(zhuān)題教育社區(qū)建設(shè)的關(guān)鍵性因素。

第四，在上述研究成果的基礎(chǔ)上，我們利用分析和綜合相結(jié)合的辯證邏輯思維方法從中抽象和初步構(gòu)建了專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)體系的六個(gè)評(píng)價(jià)維度：社區(qū)基本情況、社區(qū)資源管理、社區(qū)教學(xué)活動(dòng)、社區(qū)技術(shù)支持、社區(qū)用戶(hù)體驗(yàn)、社區(qū)培育與發(fā)展六個(gè)維度。另外，由于專(zhuān)題教育社區(qū)自身的特殊性——它在國(guó)家平臺(tái)上建設(shè)而成，平臺(tái)的穩(wěn)定性、安全性及響應(yīng)速度等與技術(shù)支持相關(guān)的要素都是既定的，是專(zhuān)題教育社區(qū)創(chuàng)建者或者說(shuō)管理者無(wú)法改變的。因此，本研究在指標(biāo)體系維度中舍棄了社區(qū)技術(shù)支持這一維度。然后，根據(jù)每一個(gè)一級(jí)指標(biāo)的關(guān)鍵影響因素，確立了35個(gè)二級(jí)指標(biāo)，如可以從活動(dòng)評(píng)價(jià)與反思、角色分工、活動(dòng)效果、活動(dòng)融合性等方面去測(cè)評(píng)社區(qū)教學(xué)活動(dòng)所達(dá)到的效果。

(三)遴選專(zhuān)題教育社區(qū)的評(píng)價(jià)指標(biāo)

指標(biāo)體系的建立是一個(gè)逐步優(yōu)化的過(guò)程，初擬的指標(biāo)體系中可能有一些指標(biāo)反映的內(nèi)容重復(fù)，若全部使用將過(guò)于側(cè)重某一方面，另外指標(biāo)過(guò)多也不利于實(shí)際操作[4]。這就需要優(yōu)化評(píng)價(jià)指標(biāo)體系，即對(duì)初擬的評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比、甄別、篩選、歸類(lèi)和合并。初建專(zhuān)題教育社區(qū)的評(píng)價(jià)指標(biāo)體系時(shí)，一般都盡可能要把建設(shè)任務(wù)的各個(gè)方面覆蓋到、涉及到。所以，初擬定的評(píng)價(jià)指標(biāo)盡管比較全面，但指標(biāo)之間肯定相互重疊，級(jí)別之間相互交織，重要和不重要指標(biāo)并存，指標(biāo)的獨(dú)立性和指向性比較差。因此，初擬的指標(biāo)體系必須經(jīng)過(guò)遴選。

指標(biāo)遴選是一個(gè)非常重要的工作，一般要考慮初建指標(biāo)的重要性程度、各指標(biāo)間的相關(guān)性程度、各指標(biāo)數(shù)據(jù)的區(qū)分度[5]。綜合考慮，我們選用了德?tīng)柗品▽?duì)指標(biāo)體系進(jìn)行修正和遴選。

(四)設(shè)定專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)的權(quán)重

指標(biāo)的權(quán)重是被評(píng)估對(duì)象指標(biāo)在整體中的相對(duì)重要程度以及所占比例大小的量化值。權(quán)重賦值對(duì)評(píng)價(jià)結(jié)果至關(guān)重要。若其中一個(gè)因素的權(quán)重改變了，會(huì)影響最終的評(píng)判結(jié)果。因此，權(quán)重賦值的方法至關(guān)重要。

層次分析法是確定權(quán)重賦值應(yīng)用最為廣泛且操作性強(qiáng)，比較系統(tǒng)、層次化的分析方法。我們運(yùn)用層次分析法收集了專(zhuān)家依據(jù)經(jīng)驗(yàn)同級(jí)比較兩兩指標(biāo)重要性的數(shù)據(jù)，利用這些數(shù)據(jù)進(jìn)行層級(jí)分析，最終計(jì)算出指標(biāo)的權(quán)重。

(五)確定專(zhuān)題教育社區(qū)評(píng)價(jià)體系的評(píng)價(jià)標(biāo)準(zhǔn)

評(píng)價(jià)標(biāo)準(zhǔn)是評(píng)價(jià)指標(biāo)體系的重要組成部分，它為評(píng)價(jià)者判斷評(píng)價(jià)對(duì)象是否達(dá)到末級(jí)指標(biāo)的程度提供衡量的尺度和準(zhǔn)則。評(píng)價(jià)標(biāo)準(zhǔn)一般由評(píng)價(jià)內(nèi)容、標(biāo)度和標(biāo)號(hào)三個(gè)方面構(gòu)成。評(píng)價(jià)內(nèi)容是評(píng)價(jià)指標(biāo)達(dá)到專(zhuān)題教育社區(qū)建設(shè)水平和質(zhì)量要求的各種程度或各種規(guī)范化行為的優(yōu)劣程度。該評(píng)價(jià)標(biāo)準(zhǔn)對(duì)于評(píng)價(jià)內(nèi)容采用了定性規(guī)定方式，主要通過(guò)對(duì)評(píng)價(jià)內(nèi)容的達(dá)成程度或規(guī)范化行為的優(yōu)劣程度進(jìn)行質(zhì)的規(guī)定性描述。標(biāo)度是區(qū)分評(píng)價(jià)對(duì)象達(dá)到評(píng)價(jià)標(biāo)準(zhǔn)的程度?？紤]到該評(píng)價(jià)指標(biāo)體系主要是用于專(zhuān)家根據(jù)評(píng)價(jià)標(biāo)準(zhǔn)對(duì)社區(qū)建設(shè)水平和質(zhì)量的判斷。為此我們按照評(píng)價(jià)內(nèi)容的優(yōu)劣程度來(lái)確立標(biāo)度，標(biāo)度采用了數(shù)字表示各個(gè)等級(jí)，一共劃分了6個(gè)等級(jí)(100、80、60、40、20、0)，等級(jí)的級(jí)差是20，與此相對(duì)應(yīng)的序號(hào)是A、B、C、D、E、F。標(biāo)號(hào)是區(qū)分程度的符號(hào)，它本身無(wú)獨(dú)立意義，只是評(píng)定標(biāo)準(zhǔn)的輔助部分。

二、基于德?tīng)柗品ǖ脑u(píng)價(jià)指標(biāo)遴選

德?tīng)柗品ㄓ址Q(chēng)專(zhuān)家意見(jiàn)法，本研究通過(guò)德?tīng)柗品ㄗ稍?xún)了多個(gè)專(zhuān)家的意見(jiàn)，第一輪調(diào)查專(zhuān)家對(duì)初步草擬指標(biāo)體系的意見(jiàn)，對(duì)初選的評(píng)價(jià)指標(biāo)進(jìn)行進(jìn)一步篩選或補(bǔ)充，主要目的是確定指標(biāo)體系的框架和評(píng)價(jià)指標(biāo)；第二輪咨詢(xún)的主要目的是進(jìn)一步修正完善評(píng)價(jià)指標(biāo)，收集專(zhuān)家對(duì)于各項(xiàng)指標(biāo)重要性及權(quán)重設(shè)定的建議。經(jīng)過(guò)多次反復(fù)操作，逐步使大部分的專(zhuān)家意見(jiàn)趨于一致，以此作為評(píng)價(jià)指標(biāo)重要性評(píng)判的依據(jù)。

(一)第一輪專(zhuān)家咨詢(xún)問(wèn)卷

我們選取了27名研究和實(shí)踐專(zhuān)題教育社區(qū)的專(zhuān)家進(jìn)行咨詢(xún)問(wèn)卷調(diào)查，這些專(zhuān)家包括創(chuàng)建者、助學(xué)者、技術(shù)支持者、研究者等。首先進(jìn)行第一輪專(zhuān)家咨詢(xún)問(wèn)卷調(diào)查，主要調(diào)查專(zhuān)家對(duì)初擬的5個(gè)維度35個(gè)二級(jí)指標(biāo)的個(gè)人評(píng)判依據(jù)、重要性判斷、熟悉程度判斷等內(nèi)容。我們利用這些方面的調(diào)查數(shù)據(jù)就可以計(jì)算專(zhuān)家意見(jiàn)權(quán)威程度和專(zhuān)家協(xié)調(diào)程度，這是評(píng)判指標(biāo)的科學(xué)性、重要性的前提。

1.專(zhuān)家意見(jiàn)權(quán)威程度

專(zhuān)家意見(jiàn)權(quán)威程度通常是由專(zhuān)家對(duì)評(píng)價(jià)指標(biāo)的熟悉程度(Cs)和判斷依據(jù)(Ca)決定的。通常用專(zhuān)家的權(quán)威系數(shù)Cr表示，計(jì)算公式為：

Cr等于二者的算術(shù)平均值。一般情況下，權(quán)威系數(shù)Cr值越大，專(zhuān)家意見(jiàn)越有權(quán)威性，價(jià)值越高；反之亦然。一般認(rèn)為，權(quán)威系數(shù)Cr值大于或等于0.70是可接受的[6]。

判斷依據(jù)由“理論分析”“實(shí)踐經(jīng)驗(yàn)”“同行了解”和“專(zhuān)家直覺(jué)”四個(gè)維度組成，需要專(zhuān)家選擇對(duì)這四個(gè)維度進(jìn)行判斷的影響程度(大、中、小)，并對(duì)影響程度進(jìn)行賦值后計(jì)算出Ca。熟悉程度主要調(diào)查專(zhuān)家對(duì)5個(gè)維度(一級(jí)指標(biāo))的熟悉程度，調(diào)查分為“熟悉”“較熟悉”“一般”“不太熟悉”“不熟悉”這5個(gè)級(jí)別，這5個(gè)級(jí)別分別按照0.9，0.7，0.5，0.3，0.1 賦值，即Cs= ( 0.9，0.7，0.5，0.3，0.1 )。

根據(jù)第一輪專(zhuān)家咨詢(xún)表中“專(zhuān)家權(quán)威程度自評(píng)表”計(jì)算出專(zhuān)家意見(jiàn)權(quán)威程度系數(shù)，結(jié)果如表1所示。從統(tǒng)計(jì)結(jié)果看，Cr值均大于0.7。一般認(rèn)為Cr≥0.8為專(zhuān)家對(duì)內(nèi)容選擇有較大的把握度[7]。這表明參與本次咨詢(xún)的專(zhuān)家對(duì)咨詢(xún)內(nèi)容熟悉，權(quán)威程度高，統(tǒng)計(jì)具有權(quán)威性。

表1 專(zhuān)家權(quán)威程度

2.專(zhuān)家意見(jiàn)協(xié)調(diào)程度

專(zhuān)家意見(jiàn)協(xié)調(diào)程度主要由兩個(gè)方面表示：專(zhuān)家意見(jiàn)協(xié)調(diào)系數(shù)和各指標(biāo)評(píng)價(jià)結(jié)果的變異系數(shù)。

(1)專(zhuān)家意見(jiàn)協(xié)調(diào)系數(shù)

專(zhuān)家意見(jiàn)協(xié)調(diào)系數(shù)反映全部專(zhuān)家對(duì)所有指標(biāo)的協(xié)調(diào)程度，通常是進(jìn)行Kendall協(xié)調(diào)系數(shù)檢驗(yàn)，W表示協(xié)調(diào)系數(shù)，用于多列等級(jí)變量相關(guān)程度的表示。協(xié)調(diào)系數(shù)W一般在0-1之間，越接近1表示專(zhuān)家的協(xié)調(diào)程度越好，反之越差[8]。第一輪咨詢(xún)中全部一級(jí)指標(biāo)協(xié)調(diào)系數(shù)W為0.181，協(xié)調(diào)系數(shù)的顯著性檢驗(yàn)——卡方檢驗(yàn)的顯著水平Sig值0.002小于0.05；全部二級(jí)指標(biāo)專(zhuān)家協(xié)調(diào)系數(shù)W為0.191，協(xié)調(diào)系數(shù)的卡方檢驗(yàn)的顯著水平Sig值0.000小于0.05，如下頁(yè)表2所示。這表明在 95% 的置信度下，專(zhuān)家評(píng)估一級(jí)指標(biāo)和二級(jí)指標(biāo)意見(jiàn)協(xié)調(diào)性好，結(jié)果可取。對(duì)于初擬定的一級(jí)指標(biāo)和二級(jí)指標(biāo)，專(zhuān)家意見(jiàn)在第一輪咨詢(xún)中基本趨于一致。

表2 專(zhuān)家意見(jiàn)協(xié)調(diào)程度

(2)變異系數(shù)

變異系數(shù)說(shuō)明專(zhuān)家對(duì)某一指標(biāo)相對(duì)重要性的波動(dòng)程度或協(xié)調(diào)程度，變異系數(shù)越小表示專(zhuān)家建議的協(xié)調(diào)程度就越高[9]。變異系數(shù)用Vi表示，其計(jì)算公式為：

其中，Si表示第i個(gè)指標(biāo)的標(biāo)準(zhǔn)差，Xi表示第i個(gè)指標(biāo)的平均值[10]。

變異系數(shù)Vi數(shù)值由小到大遞增，表示專(zhuān)家對(duì)指標(biāo)重要性的意見(jiàn)分歧遞增。變異系數(shù)大于0.5時(shí)，該指標(biāo)將被舍去。經(jīng)過(guò)統(tǒng)計(jì)分析，第一輪專(zhuān)家咨詢(xún)問(wèn)卷中專(zhuān)家對(duì)一級(jí)指標(biāo)和二級(jí)指標(biāo)意見(jiàn)的變異系數(shù)均在0.5范圍之內(nèi)，所以保留全部指標(biāo)(各指標(biāo)變異系數(shù)計(jì)算結(jié)果略)。

另外，在第一輪專(zhuān)家的咨詢(xún)問(wèn)卷中，專(zhuān)家們提出了諸多補(bǔ)充意見(jiàn)：建議將一級(jí)指標(biāo)“社區(qū)教學(xué)活動(dòng)”修改為“社區(qū)教與學(xué)活動(dòng)”，并添加相應(yīng)二級(jí)指標(biāo)，將原有二級(jí)指標(biāo)“社區(qū)主題”改為“社區(qū)名稱(chēng)”；“交互方式多樣性”改為“成員交互”，“用戶(hù)操作便捷程度”改為“用戶(hù)使用便捷性”；增加3項(xiàng)二級(jí)指標(biāo)：資源的便捷性、社區(qū)粘度、移動(dòng)社區(qū)服務(wù)。

(二)第二輪專(zhuān)家咨詢(xún)問(wèn)卷

我們結(jié)合專(zhuān)家的補(bǔ)充意見(jiàn)和統(tǒng)計(jì)結(jié)果，在初擬指標(biāo)的基礎(chǔ)上進(jìn)行了科學(xué)的論證，補(bǔ)充、篩選和修改相應(yīng)的一級(jí)指標(biāo)、二級(jí)指標(biāo)，再次形成重要性和可行性的第二輪專(zhuān)家咨詢(xún)問(wèn)卷，并進(jìn)行第二輪專(zhuān)家咨詢(xún)問(wèn)卷調(diào)查。第二輪問(wèn)卷主要調(diào)查補(bǔ)充和修改后一級(jí)指標(biāo)、二級(jí)指標(biāo)的專(zhuān)家協(xié)調(diào)程度。為保持專(zhuān)家咨詢(xún)的權(quán)威連貫性，我們選取了第一輪中回復(fù)有效咨詢(xún)表的24位專(zhuān)家發(fā)放問(wèn)卷，回收了21份有效問(wèn)卷，有效回收率為87.5%。第二輪統(tǒng)計(jì)的專(zhuān)家意見(jiàn)協(xié)調(diào)系數(shù)如表3所示。統(tǒng)計(jì)數(shù)據(jù)表明：專(zhuān)家評(píng)估一級(jí)指標(biāo)和二級(jí)指標(biāo)的意見(jiàn)協(xié)調(diào)性已經(jīng)高度趨于一致。

表3 第二輪專(zhuān)家意見(jiàn)協(xié)調(diào)程度

續(xù)表3

第二輪問(wèn)卷統(tǒng)計(jì)的變異系數(shù)如表4所示，從各指標(biāo)變異系數(shù)結(jié)果分析可得出：5個(gè)一級(jí)指標(biāo)的專(zhuān)家的變異系數(shù)已經(jīng)小于0.15，這說(shuō)明專(zhuān)家意見(jiàn)的分歧非常小，意見(jiàn)的協(xié)調(diào)程度很高。38個(gè)二級(jí)指標(biāo)中，只有個(gè)人空間(0.28)、成員平等性(0.25)和成員信任度(0.26)的變異系數(shù)均大于0.25，說(shuō)明專(zhuān)家對(duì)這三項(xiàng)指標(biāo)還存在一定偏歧，其他指標(biāo)的變異系數(shù)均低于0.25。但考慮到所有二級(jí)指標(biāo)的變異系數(shù)都低于0.5，綜合考慮我們?nèi)詫⒈Ａ暨@三項(xiàng)指標(biāo)。

表4 第二輪各指標(biāo)變異系數(shù)

續(xù)表4

(三)第三輪專(zhuān)家咨詢(xún)問(wèn)卷

第三輪專(zhuān)家咨詢(xún)問(wèn)卷選取了同樣的21位專(zhuān)家發(fā)放問(wèn)卷，同第二輪一樣再次調(diào)查了專(zhuān)家意見(jiàn)的集中程度、協(xié)調(diào)程度。第三輪回收有效專(zhuān)家咨詢(xún)問(wèn)卷20份，統(tǒng)計(jì)結(jié)果表明，一級(jí)指標(biāo)和二級(jí)指標(biāo)的專(zhuān)家意見(jiàn)協(xié)調(diào)性高度一致，各指標(biāo)變異系數(shù)均低于0.2，表明專(zhuān)家對(duì)這些幾乎不再有分歧。最終我們確立了專(zhuān)題教育社區(qū)評(píng)價(jià)體系的5個(gè)一級(jí)指標(biāo)，38個(gè)二級(jí)指標(biāo)(具體指標(biāo)體系略)。第三輪專(zhuān)家咨詢(xún)問(wèn)卷運(yùn)用層次分析法重點(diǎn)調(diào)查了專(zhuān)家對(duì)5個(gè)一級(jí)指標(biāo)、38個(gè)二級(jí)指標(biāo)同級(jí)重要性的兩兩判斷，專(zhuān)家的同級(jí)指標(biāo)的兩兩判斷數(shù)據(jù)是確立專(zhuān)題教育社區(qū)指標(biāo)體系權(quán)重的科學(xué)依據(jù)。

三、基于層次分析法設(shè)定評(píng)價(jià)指標(biāo)的權(quán)重

20世紀(jì)70年代，薩蒂(T.L.Saaty) 教授首次提出了層次分析法(Analytic Hierarchy Process，簡(jiǎn)稱(chēng)AHP)[11]。它是將評(píng)價(jià)對(duì)象視為一個(gè)系統(tǒng)，從系統(tǒng)視角對(duì)指標(biāo)之間的相互關(guān)聯(lián)度及隸屬關(guān)系按不同層次結(jié)構(gòu)進(jìn)行矩陣分析，這種方法既有專(zhuān)家依據(jù)經(jīng)驗(yàn)對(duì)指標(biāo)重要性的定性分析，也有數(shù)據(jù)邏輯運(yùn)算和統(tǒng)計(jì)的定量分析。

層次分析法的基本步驟為：(1)構(gòu)造遞階層次結(jié)構(gòu)；(2)建立判斷矩陣；(3)計(jì)算被比較元素的相對(duì)權(quán)重；(4)單層次一致性檢驗(yàn)；(5)計(jì)算二級(jí)指標(biāo)相對(duì)于總目標(biāo)的組合權(quán)重[12]。如圖2所示。

圖2 層次分析法的流程圖[13]

(一)構(gòu)造遞階層次結(jié)構(gòu)

我們利用德?tīng)柗品ㄟM(jìn)行了三輪專(zhuān)家咨詢(xún)問(wèn)卷，確立了專(zhuān)題教育社區(qū)的評(píng)價(jià)指標(biāo)：一級(jí)指標(biāo)5個(gè)，二級(jí)指標(biāo)38個(gè)。這些指標(biāo)的相互關(guān)聯(lián)及隸屬關(guān)系如圖3所示。

圖3 專(zhuān)題教育社區(qū)評(píng)價(jià)體系結(jié)構(gòu)模型

(二)建立判斷矩陣

專(zhuān)家將對(duì)同屬一個(gè)層次的指標(biāo)進(jìn)行兩兩比較，比較時(shí)要求按照如表5所示的評(píng)分標(biāo)度給出它們相對(duì)重要性的判斷值。當(dāng)同一層級(jí)中的指標(biāo)經(jīng)過(guò)兩兩比較后，會(huì)生成一個(gè)判斷矩陣A=(aij)n×n。

表5 層次分析法評(píng)分標(biāo)度[14]

續(xù)表5

經(jīng)過(guò)兩兩判定后，專(zhuān)家就依據(jù)評(píng)分標(biāo)度選擇出重要性判斷值，這樣每一位專(zhuān)家根據(jù)一級(jí)指標(biāo)和二級(jí)指標(biāo)就會(huì)生成六個(gè)判斷矩陣。某位專(zhuān)家對(duì)一級(jí)指標(biāo)評(píng)判后形成的判斷矩陣如表6所示。

表6 某專(zhuān)家對(duì)一級(jí)指標(biāo)的判斷矩陣評(píng)分

本輪層次分析法邀請(qǐng)了有效參與第二輪德?tīng)柗品▎?wèn)卷的21位專(zhuān)家進(jìn)行矩陣賦值，回收有效問(wèn)卷20份。對(duì)這20份有效問(wèn)卷的一級(jí)指標(biāo)、二級(jí)指標(biāo)根據(jù)專(zhuān)家的賦值經(jīng)過(guò)兩兩判定后，總共得到120個(gè)判斷矩陣。

(三)計(jì)算單層次被比較元素的相對(duì)權(quán)重

首先將上述表6這位專(zhuān)家評(píng)分的正互反矩陣進(jìn)行化簡(jiǎn)，計(jì)算判斷矩陣每一行元素的積，進(jìn)行歸一化處理，計(jì)算指標(biāo)權(quán)重。我們按照上述方法，對(duì)上述這位專(zhuān)家二級(jí)指標(biāo)的5個(gè)判斷矩陣進(jìn)行計(jì)算，就會(huì)得到這位專(zhuān)家二級(jí)指標(biāo)判斷矩陣的權(quán)重系數(shù)值，如表7所示。

表7 上述同一專(zhuān)家對(duì)二級(jí)指標(biāo)的矩陣計(jì)算

我們按照上述計(jì)算步驟分別對(duì)其他19位專(zhuān)家的判斷矩陣的一級(jí)指標(biāo)、二級(jí)指標(biāo)的權(quán)重系數(shù)值進(jìn)行計(jì)算(計(jì)算數(shù)值略)。

(四)單層次一致性檢驗(yàn)

單層次一致性檢驗(yàn)也稱(chēng)層次單排序(權(quán)重計(jì)算)及判斷矩陣的一致性檢驗(yàn)。因?yàn)椋瑢?duì)于n×n正互反矩陣A=(aij)n×n，可以證明當(dāng)且僅當(dāng)A的主特征值λMax=n時(shí)，A是一致矩陣。但在實(shí)際中做到構(gòu)建的矩陣完全一致是無(wú)法做到。因此，在計(jì)算出λMax時(shí)，對(duì)于各專(zhuān)家的評(píng)價(jià)在邏輯上是否一致，需對(duì)判斷矩陣進(jìn)行一致性檢驗(yàn)。為此我們建立了一致性檢驗(yàn)指標(biāo)C.I.和R.I.，用以判斷矩陣偏離程度。將判斷矩陣的一致性指標(biāo)C.I.與平均隨機(jī)一致性標(biāo)準(zhǔn)值 R.I.[15]進(jìn)行比值，求得隨機(jī)一致性比率C.R.。當(dāng)n=5時(shí)，R.I.的值為1.12，即

當(dāng)C.R.＜0.1時(shí)，一般認(rèn)為該判斷矩陣具有合格的一致性；當(dāng) C.R.＞0.1時(shí)，則認(rèn)為該判斷矩陣一致程度無(wú)法接受，則應(yīng)該修正判斷矩陣判斷值，直到滿(mǎn)足一致性檢驗(yàn)條件。根據(jù)上述計(jì)算可得，C.R.＜0.1，則單層次一致性檢驗(yàn)合格。

運(yùn)用上述方法步驟，我們對(duì)20位專(zhuān)家打分的120個(gè)判斷矩陣，用層次分析法進(jìn)行單層次權(quán)重和單層次一致性檢驗(yàn)時(shí)，發(fā)現(xiàn)在20位專(zhuān)家標(biāo)度的120個(gè)判斷矩陣中，有8個(gè)矩陣未通過(guò)單層次一致性檢驗(yàn)。當(dāng)判斷矩陣不符合一致性要求時(shí)，需要對(duì)不合格要求的判斷矩陣進(jìn)行修正，調(diào)整判斷矩陣的元素取值。為了確保一致性要求，我們又請(qǐng)對(duì)應(yīng)專(zhuān)家對(duì)這8個(gè)矩陣再做一次判斷，重新統(tǒng)計(jì)比較的矩陣結(jié)果，并再次對(duì)這8個(gè)矩陣的一致性進(jìn)行檢驗(yàn)。最終依據(jù)20位專(zhuān)家對(duì)5個(gè)一級(jí)指標(biāo)和38個(gè)二級(jí)指標(biāo)重要性賦值情況，經(jīng)過(guò)構(gòu)造矩陣計(jì)算出一級(jí)指標(biāo)權(quán)重和二級(jí)指標(biāo)相對(duì)于一級(jí)指標(biāo)的單層次權(quán)重系數(shù)，并進(jìn)行單層次一致性檢驗(yàn)，結(jié)果顯示單層次一致性C.R.＜0.1全部合格。

20位專(zhuān)家參與決策，從而同一項(xiàng)指標(biāo)會(huì)獲得多個(gè)判斷矩陣。對(duì)于這些判斷矩陣的處理一般有兩種方案：一是將n個(gè)判斷矩陣進(jìn)行集結(jié)，然后再計(jì)算權(quán)重；二是將n個(gè)判斷矩陣的求權(quán)結(jié)果進(jìn)行加權(quán)平均。對(duì)于方案一，集結(jié)可能會(huì)嚴(yán)重影響合成后的判斷矩陣的一致性，操作較為復(fù)雜；而方案二則不存在這一問(wèn)題，同時(shí)也能極大保留各專(zhuān)家的原始意見(jiàn)[16-18]。因此，本研究中我們采取方案二進(jìn)行群組決策，并得出最終的各因素權(quán)重(權(quán)重?cái)?shù)值略)。

(五)計(jì)算二級(jí)指標(biāo)相對(duì)于總目標(biāo)的組合權(quán)重

為了得到二級(jí)指標(biāo)相對(duì)于總目標(biāo)的權(quán)重，需要把上述步驟中的權(quán)重進(jìn)行適當(dāng)?shù)挠?jì)算組合，其值等于各項(xiàng)二級(jí)指標(biāo)的權(quán)重與它所屬的一級(jí)指標(biāo)的權(quán)重的乘積[19]，即

按照此方法，我們計(jì)算出專(zhuān)題教育社區(qū)評(píng)價(jià)二級(jí)指標(biāo)相對(duì)于總目標(biāo)的權(quán)重，如表8所示。

表8 專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)的權(quán)重系數(shù)

隨后一個(gè)環(huán)節(jié)是確定每一個(gè)二級(jí)指標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)，我們從評(píng)價(jià)內(nèi)容、標(biāo)度和標(biāo)號(hào)三個(gè)方面完成了每個(gè)二級(jí)指標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)，前面專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)體系構(gòu)建路徑部分已經(jīng)對(duì)此做過(guò)詳細(xì)詮釋?zhuān)@里不再贅述。

四、結(jié)語(yǔ)

專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)體系制定出來(lái)以后，我們分別選取了《平安校園文化》《炎陵中小學(xué)科教研基地》和《預(yù)言家創(chuàng)新能力訓(xùn)練》三個(gè)社區(qū)進(jìn)行試測(cè)，這三個(gè)社區(qū)分別代表著社區(qū)建設(shè)水平。邀請(qǐng)專(zhuān)家分別進(jìn)入所選的專(zhuān)題教育社區(qū)進(jìn)行體驗(yàn)與調(diào)查，然后根據(jù)評(píng)價(jià)指標(biāo)體系的評(píng)分標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià)與評(píng)分，最后的專(zhuān)家評(píng)價(jià)結(jié)果是：《平安校園文化》社區(qū)是90.74；《炎陵中小學(xué)科教研基地》社區(qū)是83.56；《預(yù)言家創(chuàng)新能力訓(xùn)練》社區(qū)是64.96。這個(gè)試測(cè)結(jié)果客觀真實(shí)地反映了這三個(gè)社區(qū)的建設(shè)質(zhì)量。

本研究評(píng)價(jià)指標(biāo)的篩選和指標(biāo)權(quán)重的確定雖然嚴(yán)格遵循德?tīng)柗品ê蛯哟畏治龇ǖ脑瓌t和步驟實(shí)施，且結(jié)果符合統(tǒng)計(jì)學(xué)的要求，但也不能完全排除主、客觀及其他因素的影響。為了減小專(zhuān)家在評(píng)價(jià)中的主觀性，確保評(píng)價(jià)行為更為客觀、科學(xué)，我們建議使用評(píng)價(jià)指標(biāo)對(duì)專(zhuān)題教育社區(qū)進(jìn)行評(píng)價(jià)時(shí)，參評(píng)同一社區(qū)的專(zhuān)家至少三人或三人以上，結(jié)果取其平均值，這樣可以降低一個(gè)專(zhuān)家對(duì)社區(qū)評(píng)價(jià)結(jié)果的主觀差異性，使評(píng)價(jià)結(jié)果更加客觀、科學(xué)、合理，符合實(shí)際情況。當(dāng)然，專(zhuān)題教育社區(qū)評(píng)價(jià)指標(biāo)體系是一個(gè)不斷調(diào)整和完善的過(guò)程，隨著理論研究與實(shí)踐探索的逐步發(fā)展，評(píng)價(jià)指標(biāo)體系將會(huì)更加優(yōu)化。

[1] 張于心,智明光.綜合評(píng)價(jià)指標(biāo)體系和評(píng)價(jià)方法[J].北方交通大學(xué)學(xué)報(bào),1995,(3):393-400.

[2] 李遠(yuǎn)遠(yuǎn),云俊.多屬性綜合評(píng)價(jià)指標(biāo)體系理論綜述[J].武漢理工大學(xué)學(xué)報(bào)?信息與管理工程版,2009,(2):305-309.

[3] 曾祥翊.專(zhuān)題教育社區(qū)的概念與特征[J].中國(guó)電化教育,2013,(10):102-106.

[4] 張彩慶,解永樂(lè).指標(biāo)體系的優(yōu)化與權(quán)重的確定[A].2005中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集(下)[C].沈陽(yáng):東北大學(xué)出版社,2005.1915-1918.

[5] 劉仁,卞樹(shù)檀,于強(qiáng).評(píng)估指標(biāo)體系構(gòu)建的方法研究[J].電子設(shè)計(jì)工程,2013,(1):34-36.

[6] 王高玲,別如娥.基于Delphi法在篩選中國(guó)公眾健康素養(yǎng)評(píng)價(jià)指標(biāo)中的應(yīng)用研究[J].中國(guó)健康教育,2008,24(2):81-84.

[7] 關(guān)勛強(qiáng),李瑞興,劉運(yùn)成.醫(yī)學(xué)研究生教育評(píng)價(jià)研究與實(shí)踐[M].北京:軍事醫(yī)學(xué)科學(xué)出版社,2001.80-84.

[8] 王春枝,斯琴.德?tīng)柗品ㄖ械臄?shù)據(jù)統(tǒng)計(jì)處理方法及其應(yīng)用研究[J].內(nèi)蒙古財(cái)經(jīng)學(xué)院學(xué)報(bào)(綜合辦版),2011,9(4):92-96.

[9] 韓鵬,陳校云,張鐵山,余中光,許樹(shù)強(qiáng).基于德?tīng)柗品ǖ尼t(yī)院門(mén)診及住院醫(yī)學(xué)人文關(guān)懷指標(biāo)體系研究[J].中國(guó)現(xiàn)代醫(yī)學(xué)雜志,2015,25(17):70-77.

[10] 樊長(zhǎng)軍,張馨,連宇江等.基于德?tīng)柗品ǖ母咝D書(shū)館公共服務(wù)能力指標(biāo)體系建設(shè)[J].情報(bào)雜志,2011,30(3):97-100.

[11] Saaty T.L.A scaling method for priorities in hierarchical structures[J].Journal of mathematical psychology,1977,15(3):46-51.

[12] 王連芬,許樹(shù)柏.層次分析法引論[M].北京:中國(guó)人民大學(xué)出版社,1990.1-25.

[13] 張小琳.基于修正層次分析法的我國(guó)石油貿(mào)易風(fēng)險(xiǎn)問(wèn)題研究[D].北京:對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué),2014.

[14] Thomas L S.Decision Making-The Analytic Hierarchy and Network Processes (AHP/ANP)[J].Journal of Systems Science and Systems Engineering,2004,(1):1-35.

[15] 許樹(shù)柏.實(shí)用決策方法——層次分析法原理[M].天津:天津大學(xué)出版社,1988.2-11.

[16] 郝海,蹤家峰.系統(tǒng)分析與評(píng)價(jià)方法[M].北京:經(jīng)濟(jì)科學(xué)出版社,2007.117-150.

[17] AHP中的群組決策方法[DB/OL].http://wenku.baidu.com/view/9532bb07cc175527072208ca.html,2016-04-10.

[18] 王佳利.基于AHP的網(wǎng)絡(luò)輔助教學(xué)質(zhì)量評(píng)價(jià)研究[J].現(xiàn)代教育技術(shù),2013,(6):102-106.

[19] 暴奉賢,陳宏立.經(jīng)濟(jì)預(yù)測(cè)與決策方法[M].廣州:暨南大學(xué)出版社,2001.189.

Research on the Method of the Construction of the Evaluation Indicator System for Special Educative Community

Feng Rui1, Dong Liya2, Li Wen1
(1.School of Journalism and Communication, Yangzhou University, Yangzhou Jiangsu 225002; 2.Jinling Huiwen School,Nanjing Jiangsu 210036)

Special educative community is an online special learning community based on the National Public Platform of Educational Resources. It is learners-centered, based on social relationships network with activities as the carrier to promote knowledge generation and consumption between individual and organization of a learning community and has become a kind of typical social characteristics of learning form of “Internet” and education. Community builders have developed 167 online special educational learning communities, more than 150 thousands registered members and 7 millions visiors since April 2014. These communities have extensive social in fl uence to teachers and students in various schools at all levels in the country. But there is a gap among these communities. In order to provide the guidance for special educative community builders to improve the community quality and measure the community level, this study constructs an evaluation indicator system of special educative community by literature research method, target decomposition method, Delphi method and AHP method. This evaluation indicator system includes 5 fi rst-level indicators and 38 second-level indicators. At present, the evaluation indicator system has been proved by the experts and the practice.

Special Educative Community; Evaluation Indicator System; Delphi Method

G434

A

馮銳：博士，教授，碩士生導(dǎo)師，研究方向?yàn)榻虒W(xué)設(shè)計(jì)、教育信息化、學(xué)習(xí)技術(shù)(frzx0519@163.com)。

董利亞：碩士，中學(xué)二級(jí)，研究方向?yàn)榫W(wǎng)絡(luò)教育應(yīng)用、學(xué)習(xí)評(píng)價(jià)、信息化教學(xué)設(shè)計(jì)(dongliya789@126.com)。

李聞：在讀碩士，研究方向?yàn)樾畔⒒虒W(xué)設(shè)計(jì)、數(shù)字化教學(xué)資源的設(shè)計(jì)與開(kāi)發(fā)、新媒體的教育應(yīng)用(403046575@qq.com)。

2016年9月11日

責(zé)任編輯：趙云建

1006—9860(2016)12—0044—08

*本文受教育部在線教育研究中心2016年度在線教育研究基金重點(diǎn)項(xiàng)目“在線專(zhuān)題教育社區(qū)評(píng)價(jià)體系的構(gòu)建”(項(xiàng)目編號(hào)：2016ZD313)資助。