張 偉,柳玉輝

(1.東北大學 信息科學與工程學院， 沈陽 110819; 2.東北大學 研究院，沈陽 110819)

計算機工程

目標導向的課程質(zhì)量評估方法及系統(tǒng)實現(xiàn)

張 偉1,柳玉輝2

(1.東北大學 信息科學與工程學院， 沈陽 110819; 2.東北大學 研究院，沈陽 110819)

根據(jù)國際工程教育評估組織ABET將評價重點放在學生“學到了什么”的精神，本文提出了依據(jù)學生在各種場合表現(xiàn)出的實際能力來評價一門課程的教學質(zhì)量的“以目標為導向”的方法，并實現(xiàn)了課程評價信息系統(tǒng)。該方法的評價邏輯是：從學生學到的能力評價課程目標達成度，從課程目標達成度評價專業(yè)培養(yǎng)水平。該方法的優(yōu)點是，不需要增加額外的測試，即可以定量評價課程質(zhì)量，并促使教師主動改善課程設計。

ABET標準；課程質(zhì)量評價系統(tǒng)；專業(yè)質(zhì)量評估

課程建設是學校教學工作的一項經(jīng)常性基本建設，是學科專業(yè)建設的基礎性工程，是教學工作的核心內(nèi)容之一。加強課程建設和評估，尤其是專業(yè)學位課程建設和評估，對于進一步深化教學改革，提高教育教學質(zhì)量和辦學水平，培養(yǎng)高層次、高素質(zhì)、有創(chuàng)新精神的科學研究和工程技術方面的高級專門人才具有重要意義[1]。

隨著我國本科生的數(shù)量逐年提高，高等學校教學質(zhì)量問題日益成為全社會關注的焦點。首先，由于連續(xù)大規(guī)模擴招導致教育資源不足成為制約學校保證人才培養(yǎng)質(zhì)量的瓶頸；其次，課程評價內(nèi)容單一，特別是只關注對學生課程成績的評價，忽視了能力的培養(yǎng)；評價只關注結果不關注過程；有時也忽略了課程目標與專業(yè)培養(yǎng)目標的聯(lián)系和貢獻。第三，大學生所學習的課程的培養(yǎng)效果和培養(yǎng)質(zhì)量評價標準和方法如何適應目前擴招的形式，并且在質(zhì)量評價的“數(shù)據(jù)化、文檔化”方面與國際接軌，都是十分值得探討的課題。本文的研究正是在這樣的背景下開展的[1-3]。

從國外情況看，ABET鑒定要求工程技術類專業(yè)用直接或者間接的評估方法測量專業(yè)的培養(yǎng)效果。為了保證評估更加可信，評估過程至少需要采用一種以上的直接評估方法來對培養(yǎng)效果進行測量，以避免引入太多的主觀性。這就促使各個學校積極探索可靠但不復雜的直接評估方法。在這個探索的過程中，國外很多大學開發(fā)了一種基于課程評分的直接評估方法，目的是探索專業(yè)培養(yǎng)效果評估的可行性與可靠性。一開始的時候，教師們認為課程評分一般來說并不是評價專業(yè)培養(yǎng)效果的理想指標，因為教師評分標準與過程的不同會導致評分結果的變動。但是，事實上成績平均積點(grade point average，GPA)已經(jīng)得到了各高校及企業(yè)雇主的廣泛認可，并且它將作為唯一被普遍接受的測量學生學業(yè)成就的指標而繼續(xù)存在。在這個事實的啟發(fā)下，大學充分利用課程評分的結果開發(fā)了對專業(yè)培養(yǎng)效果的直接測量方法。

為了評估學生的專業(yè)學習效果，必須搜集學生的能力達到了專業(yè)培養(yǎng)目標的各種證據(jù)。這些證據(jù)只能是能夠證明學生能力的作業(yè)、具有特定標準的出口測驗、資格考試等等，不論口試還是筆試。如果專業(yè)培養(yǎng)效果評估與成績平均積點計算之間并不協(xié)調(diào)，那么就說明這兩種評價體系之間出現(xiàn)了脫節(jié)，即專業(yè)培養(yǎng)效果評估更加關注整體的效果，而課程評價更加關注課程的學習效果。按照ABET體系開展的課程質(zhì)量評估，更注重課程目標與專業(yè)培養(yǎng)目標的呼應，并且強調(diào)數(shù)據(jù)化和文檔化[4-7]。

1 目標導向的課程(目標)描述

本文參考ABET的基本框架，就我校計算機專業(yè)本科生學位課程培養(yǎng)質(zhì)量評估方法進行改革研究，包括三個方面的內(nèi)容：(1)課程目標的識別(文檔化，數(shù)量化)；(2)依據(jù)學生的學習結果，對課程目標的實際達成度進行評價(包括實際能力水平與預設培養(yǎng)目標的達成度進行測量與分析)；(3)形成文檔化和數(shù)量化的課程質(zhì)量評估報告。

課程目標是課程設計中，期望學生通過該課程學習達到的具體領域的知識和能力的水平，這些目標的制訂既依據(jù)專業(yè)培養(yǎng)計劃也依據(jù)企業(yè)用人崗位的要求。

在ABET評估中，重點評估學生學到了什么(包括知識、素質(zhì)和能力)，因為課程評估是專業(yè)評估的基礎，所以每門課程都必須有明確的可度量的目標。以一門課程為例，其課程目標通常以下列方式描述：

課程描述說明：

a.給出了建議的課程大綱的格式，如果采用不同的格式，請注意包含必須的信息。

b.并不要求所有的CS專業(yè)課程都要覆蓋算法、數(shù)據(jù)結構、軟件設計、編程語言概念、計算機組成與構造這5方面的知識。

c.在鑒定專家訪問期間至少要出示如下課程材料，如果這些材料被放在網(wǎng)站上，請指出網(wǎng)址，并且使專家現(xiàn)場鑒定期間可以訪問：

c1、課程名稱、代碼、學分、周學時；

c2、教材及其他教學材料；

c3、教師姓名及聯(lián)系方式；

c4、教學進程表(書面，如果僅有電子形式請指出URL地址)；

c5、教案(授課目標、教學方法、評估方法，這些是如何有助于培養(yǎng)目標實現(xiàn)的)；

c6、本課程的教授政策；

c7、相關教學材料及學習材料位置說明文件；

c8、為學生布置的任務、項目、測試、考試及其他學習材料；

c9、學生的作品、作業(yè)及試卷批改結果；

c10、給學生的結果反饋記錄；

c11、與學生進行的任何溝通、研討、團隊工作的電子記錄；

c12、課程效果的評價記錄，包括學生調(diào)查、學生成績分析等；

c13、調(diào)查結果分析記錄等。

下面以《面向?qū)ο蟪绦蛟O計》課程為例，說明如何按照上述標準格式描述課程目標。

課程描述(Course Descriptions)舉例：

面向?qū)ο蟪绦蛟O計 4(3，2)

課程介紹：

本課程旨在介紹當代問題的解決方法與編程方法，課程重點為算法概念及軟件生命周期的概念。課程內(nèi)容也包括相應工具的使用及對計算機給社會所帶來的影響的研究。主要面向CS專業(yè)或相關專業(yè)學生。

課程類別：CS專業(yè)本科生必修課。

課程教材：(略)。

課程目標與預期授課結果：

學生修完該課程后將達到如下

1.能夠理解用計算機程序來解決一個實際問題的基本過程；

2.能夠理解面向?qū)ο缶幊痰慕鉀Q問題的基本概念；

3.能夠應用一種計算機編程語言尤其是JAVA來實現(xiàn)簡單的計算機程序；

4.能夠在Eclipse環(huán)境中進行JAVA編程.

先修課程：

《離散數(shù)學》，或者在本校數(shù)學水平測試中取得滿意的分數(shù)，或者由教師同意。

課程主要知識點：

·面向?qū)ο蟪绦蚧A

·對象和類

·理解對象定義

·對象交互

·對象組

·更復雜的功能

·類設計

課堂授課與實驗安排：

課堂授課：周3學時；動手實驗：周2學時

課程對專業(yè)培養(yǎng)目標的貢獻：

·公共教育目標1：對計算機科學與編程的介紹是寬基礎面的計算機相關專業(yè)的基本部分；

·公共教育目標2：課程會介紹給學生一種高級編程語言為學生的后續(xù)學習和將來工作做準備；

·公共教育目標3：課程會為學生提供一個書面表達設計思想的學習機會；

·CS專業(yè)本科生專業(yè)教育目標1：學習本課程使學生在當前和未來的信息化建設當中能夠應用理論、技術、方法、工具和能力構建功能有效的、可靠的高質(zhì)量計算機系統(tǒng)；

·CS專業(yè)本科生專業(yè)教育目標2：課程中以小組為單位的項目實踐能夠使學生鍛煉團隊工作的能力。

計算機對社會及職業(yè)道德所帶來的影響：

計算機對社會及職業(yè)道德的影響討論在學生第一堂課的作業(yè)中就做了要求，學生可以向有實際項目經(jīng)驗的人去咨詢但一定要由他們自己寫出來。

問題分析與設計：

學生需要學習根據(jù)面向?qū)ο蠓独ソ忉屝枨?。理解一個方案是如何解決問題的比建立一個方案更重要。

程序?qū)崿F(xiàn)：

學生要寫9～10個程序，每個程序都要應用在課程中學習的一個新的設計要素。一個程序一般要求1周以內(nèi)完成，在每周的實踐課上學生可以修改他們的程序。

課程負責人：(略)

課程描述撰寫人及撰寫日期：(略)

可以看出，課程目標重點是描述學生應該學會哪些知識和能力，其標準是課程負責人根據(jù)業(yè)界與學術界的對于工程職業(yè)共同要求制訂的。

2 目標導向的課程質(zhì)量評估及系統(tǒng)實現(xiàn)

每一門課程都應該有一套定義完善的、文本化的、可測量的學習課程學習目標描述，而且這些目標要與專業(yè)培養(yǎng)目標相呼應：課程目標要支持專業(yè)培養(yǎng)目標。

課程教學質(zhì)量(即課程效果)主要通過測量學生學到的知識和能力來獲得，測量方法主要包括作業(yè)、測驗、實驗項目以及期中與期末考試，據(jù)此，教師根據(jù)評分數(shù)字，測量學生在每一門課程的每一項課程目標的掌握水平和達成度。

《面向?qū)ο蟪绦蛟O計》課程有4項課程目標，分別編號為1到4，課程評分將被用來對專業(yè)培養(yǎng)效果進行評估，表1顯示的是根據(jù)對全體學生的能力測試計算，得到的各項課程目標的達成度。該課程使用的測量手段包括作業(yè)、測驗、實驗項目以及期中與期末考試。由教師確定各項測量手段對于四項課程目標學習效果的貢獻率(見表2)，并用來指導設計具體的測試。

表1 各課程目標的達成度

表2 各種考核對課程目標學習效果的影響權重

注：上表中最后一行“總計”為一個學生在課程目標i上最多可以得到的分數(shù)。

課程總體分析：

學生總體表現(xiàn)是良好。在實驗室中，學生獲得優(yōu)秀的人數(shù)多于其它考核的人數(shù)，而目前考核的結果中，對實驗室成績權重偏低；明年考核應提高實驗室成績權重。

單項課程目標分析：

(1)能夠理解用計算機程序來解決一個實際問題的基本過程：

該課程目標達成度為81.2%，主要貢獻來自于作業(yè)、實驗和期末考試。學生表現(xiàn)令人滿意，以后繼續(xù)保持，并進一步提高這項能力。

(2)能夠理解面向?qū)ο缶幊痰慕鉀Q問題的基本概念：

該課程目標達成度為42.3%，主要貢獻來自于作業(yè)、期中和期末考試。教學效果一般。

改進措施：明年應強化面向?qū)ο缶幊毯皖惖母拍罱虒W內(nèi)容，同時調(diào)整Rubrics設計，也調(diào)整實驗室成績對該課程目標的影響度。

(3)能夠應用一種計算機編程語言尤其是JAVA來實現(xiàn)簡單的計算機程序：

該課程目標達成度為75.5%，主要貢獻來自于作業(yè)、實驗、期中和期末考試。教學效果中等。

改進措施：明年應安排更多教學課時和實驗題目(尤其是綜合實驗項目)，提高學生實際編寫JAVA程序的能力。

(4)能夠在Eclipse環(huán)境中進行JAVA編程：

該課程目標達成度為85.3%，主要貢獻來自于作業(yè)、實驗和期末考試。教學效果良好。

以上對課程學習效果及專業(yè)培養(yǎng)效果的計算可以通過開發(fā)一個簡單的Excel程序來完成。在評估過程中我們已經(jīng)意識到，要使得評估工作取得成功，首先要想辦法使得評估過程本身不過于繁瑣，盡量減少對教師額外增加的負擔，因此評估方法要盡量的直接、簡單。

在傳統(tǒng)的評分系統(tǒng)中，教師只要給出一名學生的總成績即可。而在本文所提出的評估方法中，教師必須對各項評分對于特定課程目標的培養(yǎng)效果的分值進行額外的計算。一旦每一門課程的學習效果數(shù)值提交到系里，系里的專業(yè)評估委員會就能夠用表3所示的“專業(yè)培養(yǎng)目標與課程目標的關系”的方法[7]計算出每一項專業(yè)培養(yǎng)效果的達成程度，并做出評價比較。

表3 專業(yè)目標-課程目標映射表

這種新的評估方法使我們可以詳細分析哪一項專業(yè)培養(yǎng)效果、甚至哪一門課程需要進一步的提高，這就提高了分析結果的可用性。

我們按照“以學生學習效果度量課程目標達成度”-“以各課程目標達成度度量專業(yè)培養(yǎng)目標達成度”-“以專業(yè)培養(yǎng)目標達成度評估專業(yè)培養(yǎng)質(zhì)量”的數(shù)據(jù)關系，設計并實現(xiàn)了一個課程質(zhì)量評估系統(tǒng)[8-14]。

3 結論

根據(jù)國際工程教育評估組織ABET將評價重點放在學生“學到了什么”的精神，本文提出了依據(jù)學生在各種場合表現(xiàn)出的實際能力來評價一門課程的教學質(zhì)量的“以目標為導向”的方法，并實現(xiàn)了課程評價信息系統(tǒng)。該方法的評價邏輯是：從學生學到的能力評價課程目標達成度，從課程目標達成度評價專業(yè)培養(yǎng)水平。該方法的優(yōu)點是，不需要增加額外的測試，即可以定量評價課程質(zhì)量，并促使教師主動改善課程設計。

通過上面的評估過程可以看出，本文所提出的評估方法要做到可行、可信，必要前提是課程評分過程的客觀、公正。教師必須緊緊圍繞課程學習效果來制定評分方法，必須有能夠有效評價學生學習表現(xiàn)的評分標準。為了使本文所提出的基于課程評分的直接評估結果更為可靠，教師們必須對于培養(yǎng)目標的達成承擔更多的責任，并緊緊圍繞專業(yè)培養(yǎng)效果來制定、執(zhí)行其對課程學習效果的測量。也許完全按照分數(shù)的權重分配來設計作業(yè)或問題會有一定困難，但這不是關鍵因素，只要選定的測量手段能夠相對合理地反映出與權重分配的一致性。要求教師在制定測量手段的時候更加的積極、主動，承擔起更多的專業(yè)培養(yǎng)效果評估的重任，這會有效推動教與學的提高，從而提升整個專業(yè)的培養(yǎng)效果。

[1]李雁冰.課程評價論.上海：上海教育出版社[M].2002:47-65.

[2]顧佩華，沈民奮，陸小華譯.重新認識工程教育-國際CDIO 培養(yǎng)模式與方法[M].北京：高等教育出版社，2009:5-40.

[3]代林利.大學內(nèi)部學術質(zhì)量保障體系的系統(tǒng)建構(以悉尼大學為例)[J].比較教育研究，2006(3):32-35.

[4]陳加榮,葛鎖網(wǎng).高校內(nèi)部教育質(zhì)量保障體系構建的研究[D].揚州：揚州大學碩士論文，2005:38-43.

[5]張偉.基于ABET的高校教學質(zhì)量體系構建及教師教學質(zhì)量評估[J].遼寧大學學報，2008,35(4):370-376.

[6]張偉,巫家敏.應用型大學內(nèi)部教學質(zhì)量保障之組織體系的探索與實踐[J].遼寧大學學報，2009，36(1):89-96.

[7]張偉,王麗云.CDIO教學改革中的教學質(zhì)量評估系統(tǒng)[J].遼寧大學學報，2013，40(3):213-219.

[8]教指委編，高等學校計算機科學與技術專業(yè)發(fā)展戰(zhàn)略研究報告及專業(yè)規(guī)范(試行)[M].北京：高等教育出版社，2006:19-331.

[9]劉乃嘉，劉啟新,蔣東興.高等學校知識管理系統(tǒng)模型[J].工業(yè)技術經(jīng)濟，2005,24(1):105-106.

[10]陳華光.知識管理系統(tǒng)的設計與實現(xiàn)[J].科技資訊，2006,6(17):132.

[11]周曉慶.知識管理系統(tǒng)和CIMS系統(tǒng)的構建與設計[J].計算機應用，2005,25(9):2054-2056.

[12]陸晶，賽英.基于C/S體系結構的數(shù)據(jù)挖掘平臺的設計[J].計算機工程與設計，2005,26(3):598-600.

[13]Greg Buczek.即時應用 SQL Server 2000[M].北京：人民郵電出版社,2001:1-12.

[14]鄭莉，張瑞豐.C++案例教程[M].北京：清華大學出版社，2005,32(12):601-700.

(責任編輯：劉劃 英文審校：劉敬鈺)

Anoutcome-orientedcoursequalityevaluationmethodanditssystemimplementation

ZHANG Wei1,LIU Yu-hui2

(1.College of Information Sci.and Eng.,Northeastern University,Shenyang 110819,China; 2.Research Academy,Northeastern University,Shenyang 110819,China)

In accordance with the change of ABET Engineering Criteria 2000(ABET EC2000),which emphasizes what knowledge and skill a student really learns from a course,an outcome-oriented course quality evaluation method is proposed and an evaluation system is implemented in this paper.By integrating the grades of students′ performances in various occasions of a course such as project practices or medterm exams,the outcomes of the course(i.e.,the course quality)is numerically measured in this evaluation method.Not only the course quality evaluation result can be used to effect continuous improvement of the course but also to estimate the extent to which the program educational objectives are being met.

course quality evaluation;ABET engineering criteria;program quality management and evaluation

2014-07-12

東北大學“985工程”(項目編號：26311005)

張偉(1962-)，男，遼寧沈陽人，教授，主要研究方向：計算機理論，人工智能，E-mail：zhangwei@ise.neu.edu.cn。

2095-1248(2014)05-0061-06

G4，TP319

A

10.3969/j.issn.2095-1248.2014.05.012