李月恩

（山東建筑大學，山東 濟南250014）

研究評價問題，作業(yè)評價通常是最常用的也是最廣泛的一種應用場景。在作業(yè)評價上，伴隨著教學模式改革的推進，作業(yè)評價方式較多，研究也較多。馬秋華等[1]指出構(gòu)建旨在促進學生全面發(fā)展的作業(yè)發(fā)展性評價體系是推動基礎教育課程改革的關鍵點，每一位教師在學生作業(yè)發(fā)展性評價體系的建立上都應放眼考試評價改革經(jīng)驗和整合傳統(tǒng)考試評價文化，并立足本校情，因校制宜，融各種評價方法為一體。付肖娟等[2]認為，教師在作業(yè)批改中應該有情感和價值因素的注入，作業(yè)不僅是一種評價尺度，更是一種指導學生進一步學習的指揮棒。這說明，作業(yè)評價要科學和公平。易中等[3]研究中發(fā)現(xiàn)：在大學建筑類專業(yè)學習的過程中，對于學生作業(yè)的綜合評價指標過于籠統(tǒng)，用一些比較模糊性的概念來評價所指向的設計方案，在面對復雜的設計方案的時候，還是需要將各種指標進行分類，這就形成了模糊綜合評價方法，評價指標屬于不同的層次，評價從低到高建立多個目標和層次的多級分類評價，這樣使得評價方案更準確地反映設計者的水平。焦建利[4]以創(chuàng)客課程評價學生的7種方法為基礎，給出了定量和定性綜合應用的案例，實際過程中效果良好。

在評價中，學者們不局限于傳統(tǒng)的評價思路和方法，評價創(chuàng)新研究也較多，如陶雄軍[5]結(jié)合多年的本科建筑設計課程教學經(jīng)驗，通過實際分析，歸納出相對評價法、差異點評法、互動點評法等建筑設計課程課堂作業(yè)點評方法。嚴宏君[6]在教學中，從學生的實際情況開發(fā)出總體性評價方式，這樣的評價方式便于對每一位學生的教學檔案進行跟蹤分析。

在評價方法研究領域，很多專家也做出了比較深入的分析，尤其是在一些基金項目、科研課題以及重要的科研事業(yè)上的評價工作。比如：吳述堯[7]的研究集中在同行評議方法在科學基金項目管理績效評估中的應用；馬強等[8]介紹了德爾菲法、層次分析法、集結(jié)方法等在同行評議中的應用；王芳等[9]為探討解決同行評議在科技項目立項評審環(huán)節(jié)存在的問題，將負向評價思想引入同行評議，構(gòu)建負向半定量評審方法，以期有效解決現(xiàn)行科技項目立項評審中的問題。不過，在楊翠[10]的研究中也曾認為，同行評議雖然被廣泛應用于科研或各種評審中，但該制度仍然存在某些不足。吳浩[11]認為，同行評議作為我國目前重要的科技評價方法之一，在具體實踐的過程中受到了一些學者的質(zhì)疑。在研究中，作者提出了新的評價方法，并指出評價方法需要運用一定的外部環(huán)境，評價方法的發(fā)展也需要在實踐中不斷完善。

一些學者借鑒新的評價尺度和方法，例如王偉等[12]通過比較同行評議法和層次分析法(AHP)，針對兩種評估方法的優(yōu)缺點，在確定評價目標的前提下，提出基于同行評議和層次分析法的模型，通過選擇參與評估的專家，確立評估指標體系和權重，由決策者做出最后決定，給出評定結(jié)果。該模型采用定性和定量相結(jié)合的方法，綜合多種方法進行評估，通過此法能夠進一步提高評估的客觀性。與產(chǎn)品設計創(chuàng)新評價相關的設計評價的定量研究比較深入，很多方式可以借鑒，如魏巍等[13]的研究，針對跨學科研究評價給出了新的方法。盛怡瑾等[14]使用文獻調(diào)研法和網(wǎng)站調(diào)研法對所關注對象進行評價，提高了評價的準確性、公平性、一致性，能夠有效控制時間，對增強評價和關注成本的綜合方法進行了一定探索。寧連舉等[15]提出面向產(chǎn)品價值評價指標體系評斷方法，具體是利用層次分析法確定產(chǎn)品該模型的具體權重，對其進行實例說明和驗證。華爾天等[16]也從產(chǎn)品創(chuàng)新的角度，分析了用戶需求特征，構(gòu)建用戶需求體系，明確產(chǎn)品創(chuàng)新評價要素及其影響因素，并在此基礎上提出了產(chǎn)品創(chuàng)新評價模型，創(chuàng)新評價策略與實現(xiàn)方法。劉曉敏等[17]從產(chǎn)品設計創(chuàng)新的角度，采用一種基于發(fā)明問題解決理論(TRIZ)和約束理論(TOC)的產(chǎn)品創(chuàng)新集成及評價過程模型，根據(jù)實際建立的產(chǎn)品形態(tài)學矩陣，并集成一種層次分析法與加權計分法的評價策略來評價所建立的模型，最終確定出最優(yōu)的產(chǎn)品設計方案。羅建設等[18]通過質(zhì)量功能布置定性描述技術特征之間的相關影響關系，建立功能模型分析技術系統(tǒng)存在的標準，利用價值工程理論的價值評價尺度對各類問題進行分析并確定最終的產(chǎn)品創(chuàng)新方向。相關研究成果比較豐富。近年來，一些學者也在探索新的課程評價方法，趙莉香等[19]通過構(gòu)建科學的課程目標形成評價基準,綜合并改進當前國內(nèi)外創(chuàng)新學習效果評價方法,對學生在整個課程學習中的效果進行測量和評定。龔力[20]提出了一種結(jié)合有效匿名集合及概率圖模型的匿名性評估方法。

本文通過借鑒同行評議的方法，在課程評價中，評價者對于被評價人的項目研究結(jié)果給出評定的分數(shù)，從不同的統(tǒng)計角度對評價者給出的成績進行分析，具體的方法是采用典型的6種同行評議和1種專家判斷模型，通過對比這7種模型，具體分析何種評價模式更具有科學性和合理性以及最大的區(qū)分度。

1 同行評價方法

1.1 專家評價法

面對很多課程的評價，按照常規(guī)課程考試的模式，試卷方式是主要的方式，面對一些作業(yè)類別的作業(yè)則是需要進行作業(yè)評價，典型的評價方式是將評價指標細化，按照每個層次加權評分，常規(guī)的模版如表1所示。這種方法看著非常合理，然而在正式評定過程中，通常選擇幾位老師根據(jù)學生的情況，分別給定成績，然后算出平均值，最后作為學生的成績。評價流程如圖1所示。

表1 典型項目評價表

圖1 學生作業(yè)評價基本流程

最終學生的成績采用計算采用式（1）：

式中，n為參與評價的專家數(shù)目，am則是每一位專家給出的分項成績。

1.2 同行評議

同行評議的方法比較多，本文研究分為2種情況，共6種方法，分別是：第一種情況：匿名情況下有3種：①全體成員參與評定；②小組代表評定；③小組加權（平均）評定。第二種情況：實名情況下有3種：①全體成員參與評定；②小組代表評定；③小組加權（平均）評定。

根據(jù)6種分類情況，匿名與實名通常會有不同的評定分數(shù)，之所以分為2種情況，主要是為了研究人為因素以及相關的科學評價外因素干擾程度。在評價過程中，由于參與評價個體差異、所處外在環(huán)境不同，就會依賴于定性分析，定量評價方法則易產(chǎn)生評價與實際情況相互干擾的問題。在本次研究中將展開較為詳細的分析。

根據(jù)評價方式，其中所需的數(shù)學計算公式比較簡單，全體成員參與評定計算方法為式（2）：

式中，n為參與評價同行人數(shù)，bi則是每一位同行給出的評定成績。需注意的是，在同行評價中，每位同行評價所給出的最高分值不宜過大，依據(jù)教學經(jīng)驗，本文認為5~20分為宜，在案例研究中，分數(shù)最高值為10分。小組代表評定采用的計算方式與式（2）相同，只不過n的選擇對象不同。

同樣道理，對于小組加權（平均）評定的計算方式，則稍微復雜一些，主要計算過程如下式（3）：

此計算為各成員對于被評價項目所給出的成績，式中p意味著這個小組有p位成員，他們代表某個團隊。然后需要計算小組的平均值，將這個平均值作為小組給出的基礎成績，用式（4）表示。

最后加和所有小組的成績，然后取平均，用算式（5）表示：

式中，n為參與評價的小組數(shù)目，p則是每一小組參與給出的評定成績的人數(shù)。匿名與實名在數(shù)據(jù)采集和數(shù)據(jù)統(tǒng)計上的方法一致，計算過程一樣。

2 被評價課題研究內(nèi)容及工作

2.1 被評價問題描述

基于本學期課堂教學“產(chǎn)品設計開發(fā)”的內(nèi)容制定，主要訓練學生開展基于市場需求的設計開發(fā)活動，通過模擬真實產(chǎn)品開發(fā)流程以及產(chǎn)品設計過程，培養(yǎng)學生的理性設計思維和產(chǎn)品創(chuàng)新、評價、多學科交流、團隊協(xié)作等方面的能力，掌握和理解產(chǎn)品設計的流程和方法，提高學生應對高難度并行、系統(tǒng)化產(chǎn)品設計題目的解決策略和方法。課題研究項目為：無人領域的智能機器人設計開發(fā)。本課程教學學時為40學時，課程采用設計理論與實踐相結(jié)合的方式進行。

2.2 被評價項目（設計）情況

本項目圍繞無人機的設計開發(fā)展開，項目分為5個小組，分別是創(chuàng)意組、市場組、信息組、制造組、財務組。每個小組的工作情況通過PPT的形式做課堂匯報，各工作組態(tài)度認真，項目推進過程中經(jīng)過多輪的評審，最后的工作匯報均達到課程預計要求。

2.3 被評價項目同行給出的測評成績

（1）全體同學給出的成績。依據(jù)每個小組做出的課程作業(yè)的答辯情況，每一位同學對這個小組的工作做出評價，對本小組回避，獲得如表2的統(tǒng)計數(shù)據(jù)，其中缺省部分為回避事項。

表2 全員參與的同行評價數(shù)據(jù)記錄

（2）小組代表給出的成績。一般情況下，小組代表給出成績是最常用的一種同行評議方法，如果選擇的評價者具有專業(yè)水平，這種方式就成為專家評價法，小組代表在評價中回避自己小組，只給與另外4個小組成績。小組代表給出的成績?nèi)绫?所示。

表3 小組代表給出的成績

3 數(shù)據(jù)分析

在同行評議中，所有的數(shù)據(jù)采集是在同一時間獲取的，5個小組完成之后，同時給出評價。這種方式可以有效避免人與人之間評價的相互影響，評價結(jié)果接近每一位參與評價的人的真實判斷。經(jīng)過分析，全班同學對于每一個小組的平均成績?nèi)鐖D2所示。通過這個數(shù)據(jù)表格，可以直觀地看出：

圖2 全班給出成績的平均值

實名評價與匿名評價的確存在著差異，在本次實驗數(shù)據(jù)的采集與計算中，可以看到實名評價的分數(shù)要低于匿名評價的分數(shù)，這一點與一般同行評價的常識性認識不一致。換言之，實名給出的成績要略低于匿名給出的成績。這說明，實名給出成績的時候，同行評價的時候更重視自己的判斷，由此可以推論，若實際評價允許，實名評價是同行大樣本評價中比較好的評價方式。同時，實名評價與匿名評價對于各小組的名詞排序沒有影響，給出的排序順序為：創(chuàng)意組＞制造組＞市場組＞信息組＞財務組。

在本次評價中，作者作為課題總的指導老師，對于各小組也給出了一個成績，主要是從老師的角度給出的判斷，評價過程中，未受到其他同學評價的影響，成績?nèi)鐖D3所示。

圖3 指導老師給出的成績

由圖3可以看出：作者作為指導老師給出的成績要高于全班同學給出的平均值。另外，因為指導老師給出判斷的主要目的是形成區(qū)分度，所以給予小組成績中出現(xiàn)了強制排序的情況。其小組排列順序為：創(chuàng)意組＞信息組＞市場組＞財務組＞制造組。

從這一點可以看出，作為指導老師與全體同行判斷之間還是存在很大差異。例如末位排序以及中間其他小組的排序均出現(xiàn)了差異，只有市場組順序不變。

由多種評價方式給出的結(jié)果如圖4所示，通過分析發(fā)現(xiàn)：

圖4 多種評價方式給出成績的平均值

小組實名平均的排名、小組代表匿名與其他同行評議測評的順序不同，但首尾排序不變，差異比較大的是同行評議與指導老師成績評定差異較大。這說明，在判斷某項設計方案中，專家判斷與同行（大眾）判斷的確存在較大差異，計算實名下全班給出成績與指導老師給出成績之間的偏差，如圖5所示。為了方便分析，給出每種評價方式與指導老師給出成績的偏差，計算結(jié)果如圖6所示。

圖5 實名下全班給出成績與指導老師給出成績之間的偏差

圖6 各小組的不同評價與指導老師給出成績的偏差

由此得出：指導老師給出的成績最具有區(qū)分度，全體匿名的成績比較平和，差距不大，小組平均的給定方式為折中方式。根據(jù)本次實驗結(jié)果，可以為課程評價的選擇提供合適的評定參考。通過案例分析及對比評價標準，全體評價中的實名評審給出的成績比較低，實名評價與匿名評價排列順序相同；指導老師給出的評價與同行評價存在明顯差異，既有分值的差異，也存在排列順序的差異；分析差異的表現(xiàn)形式，對表現(xiàn)差異的結(jié)果計算了偏差和標準差，其中發(fā)現(xiàn)指導老師給出的評價區(qū)分度最大。

4 結(jié)論

根據(jù)現(xiàn)在數(shù)據(jù)分析的結(jié)果，以后的研究可以持續(xù)進行相近數(shù)據(jù)采集和測試，盡可能減少指導老師與全體同行評價的差距。在評價后續(xù)研究可開展結(jié)合兩種方法的加權計算的研究。此外，在多種評價的方式中，實名普遍比匿名的分值要高，匿名的區(qū)分度要高于實名評價，如果動態(tài)評價某項目，則會出現(xiàn)統(tǒng)計意義上的評價與專家評價會逐步趨同，這對于項目管理和產(chǎn)品設計管理有普遍的意義和價值。