焦寶臣，陳詩明，劉振昌，楊 陽，張四海

(南開大學(xué) 信息化建設(shè)與管理辦公室，天津 300071)

研究生管理信息系統(tǒng)應(yīng)用效果評價(jià)研究

焦寶臣，陳詩明，劉振昌，楊 陽，張四海

(南開大學(xué) 信息化建設(shè)與管理辦公室，天津 300071)

研究生管理信息系統(tǒng)作為高校研究生教育信息化的重要手段，備受關(guān)注.目前許多高校已經(jīng)開展了研究生系統(tǒng)的建設(shè)，但缺乏對其應(yīng)用效果的評價(jià).筆者從實(shí)際使用角度提出了將不同種類用戶的劃分和使用情況作為研制指標(biāo)體系的思路，并構(gòu)建了具有二層級的應(yīng)用效果評價(jià)指標(biāo).采用層次分析法，通過專家打分的方式，確定指標(biāo)權(quán)重；以南開大學(xué)為例進(jìn)行了應(yīng)用效果評價(jià)，結(jié)果顯示應(yīng)用效果處于良好水平；最終形成了一整套可行的研究生管理信息系統(tǒng)應(yīng)用效果評價(jià)方案.通過應(yīng)用效果評價(jià)，不但可以直觀地判斷學(xué)校當(dāng)前研究生系統(tǒng)應(yīng)用水平，也可為系統(tǒng)升級和發(fā)展提供重要的建設(shè)性意見.

應(yīng)用效果；層次分析法；評價(jià)指標(biāo)體系；研究生管理信息系統(tǒng)

0 引言

研究生教育是高校教育、科研工作的核心內(nèi)容，利用信息化手段來改善高校研究生教學(xué)管理水平備受各高校關(guān)注.其中建設(shè)研究生管理信息系統(tǒng)(以下簡稱為“研究生系統(tǒng)”)是重要的信息化手段.將傳統(tǒng)的研究生教學(xué)、科研和管理工作，通過構(gòu)建業(yè)務(wù)系統(tǒng)以更加規(guī)范、高效的信息化形式展現(xiàn)出來，這對于提高學(xué)校整體辦學(xué)質(zhì)量有重要的意義.

目前，國內(nèi)很多高校已經(jīng)建設(shè)了研究生管理信息系統(tǒng)，學(xué)術(shù)界也開展了廣泛研究.這一領(lǐng)域的研究大多集中在對高校信息化水平或某一地域信息化水平進(jìn)行評價(jià)，也有從績效角度對信息系統(tǒng)或高校信息化進(jìn)行評價(jià)[1-5].這些研究往往過多地關(guān)注整體信息化水平，缺乏從應(yīng)用效果角度提出有針對性的評價(jià)或建議.因此，以研究生系統(tǒng)為突破口開展應(yīng)用效果評價(jià)研究，能夠從實(shí)際使用的角度對信息系統(tǒng)的情況進(jìn)行綜合評價(jià)，對系統(tǒng)未來發(fā)展給出更加直接的建設(shè)性意見.

研究生管理信息系統(tǒng)是典型的信息系統(tǒng)，對其從實(shí)際使用角度開展應(yīng)用效果評價(jià)研究，可作為高校業(yè)務(wù)管理信息系統(tǒng)應(yīng)用效果評價(jià)研究的范例.其評價(jià)思路、評價(jià)指標(biāo)研制方法，均對其他系統(tǒng)應(yīng)用效果評價(jià)具有非常重要的借鑒價(jià)值.

1 評價(jià)思路

開展研究生系統(tǒng)應(yīng)用效果評價(jià)，通常首先是從經(jīng)濟(jì)學(xué)的角度分析系統(tǒng)的成本和收益情況[6-7].這樣能夠獲得較為直觀的經(jīng)濟(jì)應(yīng)用效果，但并不能為系統(tǒng)進(jìn)一步發(fā)展提供重要的改進(jìn)方向.對研究生系統(tǒng)進(jìn)行應(yīng)用效果評價(jià)，應(yīng)堅(jiān)持從實(shí)際使用角度來研究評價(jià)體系和方法，這樣才能對研究生系統(tǒng)進(jìn)行更加有效的評價(jià)，為其進(jìn)一步發(fā)展和改進(jìn)提供明確的意見或建議.

對研究生系統(tǒng)進(jìn)行應(yīng)用效果評價(jià)的具體步驟如下：①分層級構(gòu)建評價(jià)指標(biāo).從實(shí)際使用角度對研究生系統(tǒng)進(jìn)行分析，構(gòu)建評價(jià)指標(biāo)，并進(jìn)行分層級，形成系統(tǒng)的評價(jià)指標(biāo)；②確定指標(biāo)權(quán)重值.采用數(shù)學(xué)方法對不同層級指標(biāo)進(jìn)行權(quán)重分析，形成評價(jià)指標(biāo)體系；③建立評語等級集.對指標(biāo)建立評語等級，形成問卷調(diào)查表;④以某高校為例，進(jìn)行問卷調(diào)查，利用已建立的評價(jià)指標(biāo)體系進(jìn)行分析，最后得出評價(jià)結(jié)果.

2 評價(jià)指標(biāo)的研制

2.1 構(gòu)建一級指標(biāo)

從實(shí)際使用角度對研究生系統(tǒng)進(jìn)行應(yīng)用效果評價(jià)研究，就是從系統(tǒng)使用者的角度來分析評價(jià)指標(biāo).系統(tǒng)的使用者包括：研究生(碩士、博士)、任課老師、導(dǎo)師、輔導(dǎo)員、研究生院從事管理的工作人員、系統(tǒng)管理員、系統(tǒng)開發(fā)人員、系統(tǒng)維護(hù)人員.以上人員可以分為3類，如圖1所示.

圖1 研究生系統(tǒng)相關(guān)人員示意圖

A為研究生相關(guān)工作中從事管理類工作的人員，包括：研究生院工作人員和研究生輔導(dǎo)員.這類人員主要從研究生院管理工作的角度來審視研究生系統(tǒng)應(yīng)用情況.

B為研究生相關(guān)工作中辦理具體事務(wù)的人員，包括：研究生、任課老師、導(dǎo)師(碩士生導(dǎo)師、博士生導(dǎo)師).相對于A類人員來說，這一類人員

是被管理的對象，是研究生相關(guān)工作的主體人員.這類人員從具體辦理研究生相關(guān)業(yè)務(wù)角度來審視研究生系統(tǒng)的應(yīng)用情況.

C為系統(tǒng)自身情況相關(guān)的人員，包括：系統(tǒng)管理員、系統(tǒng)開發(fā)人員、系統(tǒng)維護(hù)人員等.這類人員更多的是從系統(tǒng)軟件角度來審視研究生系統(tǒng)實(shí)際應(yīng)用情況.

結(jié)果語步常用詞匯：result,findings,find,result in,indicate,predict,occur,show,suggest,provide,present,demonstrate,include等

依據(jù)上述研究生系統(tǒng)實(shí)際使用人員的分類，可以從3個(gè)方面來評價(jià)研究生系統(tǒng)應(yīng)用效果，也就是評價(jià)體系的一級指標(biāo)，分別是：

(1)“對研究生院管理工作改進(jìn)效果”.從研究生院管理工作角度來分析系統(tǒng)應(yīng)用效果.

(2)“對業(yè)務(wù)辦理工作改進(jìn)效果”.是指研究生系統(tǒng)的建設(shè)對要辦理業(yè)務(wù)的普通使用者(普通老師和學(xué)生)辦理相關(guān)業(yè)務(wù)的改進(jìn)效果，即從普通辦理業(yè)務(wù)人員角度來分析系統(tǒng)應(yīng)用效果.

(3)“研究生系統(tǒng)自身狀況”.這是從系統(tǒng)自身情況相關(guān)人員角度來分析系統(tǒng)應(yīng)用效果.

2.2 二級指標(biāo)

在得出上述3個(gè)一級指標(biāo)的基礎(chǔ)上，分別研制出其所含的二級指標(biāo)，能直接表達(dá)系統(tǒng)的應(yīng)用效果.表1為具有二層級的研究生應(yīng)用效果評價(jià)指標(biāo)，以及二級指標(biāo)的說明.

表1 研究生系統(tǒng)應(yīng)用效果的二層級評價(jià)指標(biāo)

表2 研究生系統(tǒng)應(yīng)用效果評價(jià)指標(biāo)及其權(quán)重

3 確定指標(biāo)權(quán)重值

在分層級構(gòu)建出評價(jià)指標(biāo)后，采用合適的數(shù)學(xué)方法確定不同層級指標(biāo)的權(quán)重值，形成完整的評價(jià)體系.常用確定分層級指標(biāo)權(quán)重值的方法是層次分析法(analytic hierarchy process，AHP).AHP在決策分析、產(chǎn)業(yè)結(jié)構(gòu)研究、科技成果評價(jià)、發(fā)展戰(zhàn)略規(guī)劃、人才考核評價(jià)及發(fā)展目標(biāo)分析的許多領(lǐng)域都取得了令人滿意的成果[8].其在計(jì)算指標(biāo)權(quán)重值方面也有成熟的應(yīng)用[2]，具體方法步驟如下：

(1)分層次的指標(biāo)為同一指標(biāo)下同一層級的指標(biāo)，依據(jù)兩兩比較原則，構(gòu)建調(diào)查表;

(2)研究生系統(tǒng)相關(guān)專家做問卷調(diào)查;

(3)依據(jù)問卷調(diào)查結(jié)果，構(gòu)建判斷矩陣;

(4)采用特征根法計(jì)算得出指標(biāo)的權(quán)重值，具體運(yùn)算過程可用軟件Expert Choice實(shí)現(xiàn)[9].

下面以南開大學(xué)為例，通過上述步驟構(gòu)建研究生應(yīng)用效果評價(jià)指標(biāo)體系.表2為依據(jù)AHP法采用Expert Choice軟件計(jì)算得到的南開大學(xué)研究生系統(tǒng)應(yīng)用效果評價(jià)指標(biāo)及其權(quán)重值.從表2中的一級指標(biāo)及其權(quán)重中可以看出，“對業(yè)務(wù)辦理工作改進(jìn)效果”的權(quán)重值為0.558，要明顯大于“對研究生管理工作改進(jìn)效果”的0.320和“研究生系統(tǒng)自身狀況”的0.122.說明從實(shí)際使用效果角度來看，“業(yè)務(wù)辦理工作改進(jìn)”對系統(tǒng)的使用具有決定性的影響,也就是說，研究生系統(tǒng)建設(shè)應(yīng)更多地考慮辦理實(shí)際業(yè)務(wù)的普通用戶(研究生、導(dǎo)師)的切身感受.

在所有二級指標(biāo)中“無紙化程度”的權(quán)重為0.301，要明顯高于其他二級指標(biāo).因此，在研究生系統(tǒng)建設(shè)或升級改造中,應(yīng)更加注重實(shí)現(xiàn)網(wǎng)上辦公，盡量避免線下操作，從根本上實(shí)現(xiàn)無紙化辦公.

通過上述分析，可以明確得知，在建設(shè)或升級研究生系統(tǒng)時(shí)應(yīng)更多地從業(yè)務(wù)辦理方面來下功夫，即更多地站在普通用戶的角度來構(gòu)建系統(tǒng)，這樣才能使系統(tǒng)建成之后有更好的使用效果.此外，這種采用AHP法構(gòu)建研究生應(yīng)用效果評價(jià)指標(biāo)體系的方式也可為其他信息管理系統(tǒng)應(yīng)用效果評價(jià)研究提供可行的借鑒方案.

4 評價(jià)實(shí)例

南開大學(xué)現(xiàn)有在校研究生1.1萬余人，研究生系統(tǒng)自2007年開始建設(shè)使用，至今已有近9年的時(shí)間，期間在2014年經(jīng)過了一次升級.該系統(tǒng)有較廣泛的使用和較成熟的用戶，能夠?yàn)閼?yīng)用效果評價(jià)研究提供良好的實(shí)例.

以南開大學(xué)為例確定了指標(biāo)權(quán)重基礎(chǔ)之后，通過建立評語等級，利用指標(biāo)形成問卷調(diào)查表.采用四級評語來標(biāo)識指標(biāo)的等級.分別為：“A”級對應(yīng)100分；“B”級對應(yīng)85分；“C”級對應(yīng)75分；“D”級對應(yīng)60分.將構(gòu)建評價(jià)體系中的二級指標(biāo)(如表2)按照A、B、C、D 4級評語來標(biāo)識，形成問卷調(diào)查表.隨機(jī)抽取一定數(shù)量的用戶(包括：研究生、導(dǎo)師、任課老師、輔導(dǎo)員和研究生院工作人員，等等)進(jìn)行問卷調(diào)查.對每一項(xiàng)指標(biāo)的調(diào)查結(jié)果求取平均值作為最后的結(jié)果，再與該指標(biāo)對應(yīng)的權(quán)重值作乘法，最后將結(jié)果求和作為研究生應(yīng)用效果值.表3為按照上述方式得出的南開大學(xué)研究生系統(tǒng)應(yīng)用效果評價(jià)結(jié)果.最后得到的應(yīng)用效果值是86.184，處于B級良好水平.

表3 研究生系統(tǒng)應(yīng)用效果評價(jià)結(jié)果

5 結(jié)論

從實(shí)際應(yīng)用角度對研究生系統(tǒng)應(yīng)用效果進(jìn)行評價(jià)，構(gòu)建具有二層級的評價(jià)指標(biāo)體系，采用AHP法確定指標(biāo)權(quán)重；以南開大學(xué)研究生系統(tǒng)為例，進(jìn)行問卷調(diào)查，最后得出系統(tǒng)應(yīng)用效果值,從而形成了一套可行的研究生應(yīng)用效果評價(jià)方案.該方案也可為相關(guān)信息系統(tǒng)應(yīng)用效果評價(jià)研究提供借鑒，有廣闊的應(yīng)用前景.

雖然筆者對研究生系統(tǒng)應(yīng)用效果評價(jià)進(jìn)行了初步研究，在指標(biāo)體系構(gòu)建上形成了較為可行的思路方法.但是，由于AHP法本身采用專家打分的方式獲得指標(biāo)值，難免會(huì)受專家喜好的影響.因此從數(shù)學(xué)上尋找更加優(yōu)良的方法，剔除人為的感性影響，盡量以定量的方式對系統(tǒng)進(jìn)行應(yīng)用效果評價(jià)是下一步努力的方向.

[1] 謝幼如,常亞潔. 績效導(dǎo)向的教育信息化評價(jià)模型的構(gòu)建[J]. 中國電化教育, 2015(1): 56-61.

[2] 李文光,范坤,趙瑩. 深圳市基礎(chǔ)教育信息化建設(shè)與應(yīng)用評價(jià)指標(biāo)體系的探索[J].中國電化教育, 2014(1):40-44.

[3] 李玉石. 高校信息化評價(jià)指標(biāo)及應(yīng)用研究[D]. 天津: 河北工業(yè)大學(xué)經(jīng)濟(jì)管理學(xué)院, 2007.

[4] 謝忠新. 學(xué)校信息化應(yīng)用評估模型的研究[D]. 上海: 華東師范大學(xué)教育學(xué)部, 2009.

[5] 陳明選,湯巍楠.中小學(xué)數(shù)字化校園建設(shè)與應(yīng)用績效的優(yōu)化[J].中國電化教育, 2012(3):30-36.

[6] 寧東玲. 信息系統(tǒng)項(xiàng)目應(yīng)用效果的評價(jià)研究[J]. 項(xiàng)目管理技術(shù), 2012, 10(10): 52-55.

[7] 張淑娜. 制造業(yè)信息化制造技術(shù)應(yīng)用效果評價(jià)研究[D]. 哈爾濱: 哈爾濱理工大學(xué)經(jīng)濟(jì)管理學(xué)院, 2008.

[8] 張炳江. 層次分析法及其應(yīng)用案例[M].北京: 電子工業(yè)出版社, 2014.

[9] 孔令波. 制造業(yè)管理型信息系統(tǒng)評價(jià)體系的研究[D].昆明: 昆明理工大學(xué)機(jī)電工程學(xué)院, 2006.

Research on the Application Effect Evaluation of the Graduate Management Information System

JIAO Baochen, CHEN Shiming, LIU Zhenchang, YANG Yang, ZHANG Sihai

(Office of Informatization Construction and Management, Nankai University, Tianjin 300071, China)

An increasing amount of attention was widely drawn to the Graduate Management Information system, which could be considered as an important means of the college graduate educational informatization. Currently, the construction of the graduate system was promoted in most of college. Nevertheless, it was deficient in the application effect evaluation of the graduate system. From the view of the practical application, a way of building the index system was proposed, which was according to the partition and application of the user. The evaluation index of the application effect with the double levels was constructed. The weight parameters were determined by analytic hierarchy process (AHP), through the expert evaluating method. As an example, the Nankai University was taken to proceed the application effect evaluation. The result showed that the application effect of the graduate system of Nankai University reached high level. A feasible project of the application effect evaluation was proposed in the Graduate Management Information system. Through the method of application effect evaluation, the application level could be estimated effectively and directly in the graduate system. Moreover, the indispensable suggestion could be presented for updating and developing the system.

aplication effect; analytic hierarchy process; evaluation index system; graduate management information system

2016-11-08；

2017-02-18

天津市教育信息化協(xié)會(huì)資助項(xiàng)目

焦寶臣(1982— )，男，天津人，南開大學(xué)工程師，博士，主要從事教育信息化建設(shè)研究，E-mail:bcjiao@nankai.edu.cn.

1671-6833(2017)02-0009-04

TP311

A

10.13705/j.issn.1671-6833.2017.02.003