李月恩

（山東建筑大學(xué)，山東 濟(jì)南250014）

研究評價(jià)問題，作業(yè)評價(jià)通常是最常用的也是最廣泛的一種應(yīng)用場景。在作業(yè)評價(jià)上，伴隨著教學(xué)模式改革的推進(jìn)，作業(yè)評價(jià)方式較多，研究也較多。馬秋華等[1]指出構(gòu)建旨在促進(jìn)學(xué)生全面發(fā)展的作業(yè)發(fā)展性評價(jià)體系是推動(dòng)基礎(chǔ)教育課程改革的關(guān)鍵點(diǎn)，每一位教師在學(xué)生作業(yè)發(fā)展性評價(jià)體系的建立上都應(yīng)放眼考試評價(jià)改革經(jīng)驗(yàn)和整合傳統(tǒng)考試評價(jià)文化，并立足本校情，因校制宜，融各種評價(jià)方法為一體。付肖娟等[2]認(rèn)為，教師在作業(yè)批改中應(yīng)該有情感和價(jià)值因素的注入，作業(yè)不僅是一種評價(jià)尺度，更是一種指導(dǎo)學(xué)生進(jìn)一步學(xué)習(xí)的指揮棒。這說明，作業(yè)評價(jià)要科學(xué)和公平。易中等[3]研究中發(fā)現(xiàn)：在大學(xué)建筑類專業(yè)學(xué)習(xí)的過程中，對于學(xué)生作業(yè)的綜合評價(jià)指標(biāo)過于籠統(tǒng)，用一些比較模糊性的概念來評價(jià)所指向的設(shè)計(jì)方案，在面對復(fù)雜的設(shè)計(jì)方案的時(shí)候，還是需要將各種指標(biāo)進(jìn)行分類，這就形成了模糊綜合評價(jià)方法，評價(jià)指標(biāo)屬于不同的層次，評價(jià)從低到高建立多個(gè)目標(biāo)和層次的多級分類評價(jià)，這樣使得評價(jià)方案更準(zhǔn)確地反映設(shè)計(jì)者的水平。焦建利[4]以創(chuàng)客課程評價(jià)學(xué)生的7種方法為基礎(chǔ)，給出了定量和定性綜合應(yīng)用的案例，實(shí)際過程中效果良好。

在評價(jià)中，學(xué)者們不局限于傳統(tǒng)的評價(jià)思路和方法，評價(jià)創(chuàng)新研究也較多，如陶雄軍[5]結(jié)合多年的本科建筑設(shè)計(jì)課程教學(xué)經(jīng)驗(yàn)，通過實(shí)際分析，歸納出相對評價(jià)法、差異點(diǎn)評法、互動(dòng)點(diǎn)評法等建筑設(shè)計(jì)課程課堂作業(yè)點(diǎn)評方法。嚴(yán)宏君[6]在教學(xué)中，從學(xué)生的實(shí)際情況開發(fā)出總體性評價(jià)方式，這樣的評價(jià)方式便于對每一位學(xué)生的教學(xué)檔案進(jìn)行跟蹤分析。

在評價(jià)方法研究領(lǐng)域，很多專家也做出了比較深入的分析，尤其是在一些基金項(xiàng)目、科研課題以及重要的科研事業(yè)上的評價(jià)工作。比如：吳述堯[7]的研究集中在同行評議方法在科學(xué)基金項(xiàng)目管理績效評估中的應(yīng)用；馬強(qiáng)等[8]介紹了德爾菲法、層次分析法、集結(jié)方法等在同行評議中的應(yīng)用；王芳等[9]為探討解決同行評議在科技項(xiàng)目立項(xiàng)評審環(huán)節(jié)存在的問題，將負(fù)向評價(jià)思想引入同行評議，構(gòu)建負(fù)向半定量評審方法，以期有效解決現(xiàn)行科技項(xiàng)目立項(xiàng)評審中的問題。不過，在楊翠[10]的研究中也曾認(rèn)為，同行評議雖然被廣泛應(yīng)用于科研或各種評審中，但該制度仍然存在某些不足。吳浩[11]認(rèn)為，同行評議作為我國目前重要的科技評價(jià)方法之一，在具體實(shí)踐的過程中受到了一些學(xué)者的質(zhì)疑。在研究中，作者提出了新的評價(jià)方法，并指出評價(jià)方法需要運(yùn)用一定的外部環(huán)境，評價(jià)方法的發(fā)展也需要在實(shí)踐中不斷完善。

一些學(xué)者借鑒新的評價(jià)尺度和方法，例如王偉等[12]通過比較同行評議法和層次分析法(AHP)，針對兩種評估方法的優(yōu)缺點(diǎn)，在確定評價(jià)目標(biāo)的前提下，提出基于同行評議和層次分析法的模型，通過選擇參與評估的專家，確立評估指標(biāo)體系和權(quán)重，由決策者做出最后決定，給出評定結(jié)果。該模型采用定性和定量相結(jié)合的方法，綜合多種方法進(jìn)行評估，通過此法能夠進(jìn)一步提高評估的客觀性。與產(chǎn)品設(shè)計(jì)創(chuàng)新評價(jià)相關(guān)的設(shè)計(jì)評價(jià)的定量研究比較深入，很多方式可以借鑒，如魏巍等[13]的研究，針對跨學(xué)科研究評價(jià)給出了新的方法。盛怡瑾等[14]使用文獻(xiàn)調(diào)研法和網(wǎng)站調(diào)研法對所關(guān)注對象進(jìn)行評價(jià)，提高了評價(jià)的準(zhǔn)確性、公平性、一致性，能夠有效控制時(shí)間，對增強(qiáng)評價(jià)和關(guān)注成本的綜合方法進(jìn)行了一定探索。寧連舉等[15]提出面向產(chǎn)品價(jià)值評價(jià)指標(biāo)體系評斷方法，具體是利用層次分析法確定產(chǎn)品該模型的具體權(quán)重，對其進(jìn)行實(shí)例說明和驗(yàn)證。華爾天等[16]也從產(chǎn)品創(chuàng)新的角度，分析了用戶需求特征，構(gòu)建用戶需求體系，明確產(chǎn)品創(chuàng)新評價(jià)要素及其影響因素，并在此基礎(chǔ)上提出了產(chǎn)品創(chuàng)新評價(jià)模型，創(chuàng)新評價(jià)策略與實(shí)現(xiàn)方法。劉曉敏等[17]從產(chǎn)品設(shè)計(jì)創(chuàng)新的角度，采用一種基于發(fā)明問題解決理論(TRIZ)和約束理論(TOC)的產(chǎn)品創(chuàng)新集成及評價(jià)過程模型，根據(jù)實(shí)際建立的產(chǎn)品形態(tài)學(xué)矩陣，并集成一種層次分析法與加權(quán)計(jì)分法的評價(jià)策略來評價(jià)所建立的模型，最終確定出最優(yōu)的產(chǎn)品設(shè)計(jì)方案。羅建設(shè)等[18]通過質(zhì)量功能布置定性描述技術(shù)特征之間的相關(guān)影響關(guān)系，建立功能模型分析技術(shù)系統(tǒng)存在的標(biāo)準(zhǔn)，利用價(jià)值工程理論的價(jià)值評價(jià)尺度對各類問題進(jìn)行分析并確定最終的產(chǎn)品創(chuàng)新方向。相關(guān)研究成果比較豐富。近年來，一些學(xué)者也在探索新的課程評價(jià)方法，趙莉香等[19]通過構(gòu)建科學(xué)的課程目標(biāo)形成評價(jià)基準(zhǔn),綜合并改進(jìn)當(dāng)前國內(nèi)外創(chuàng)新學(xué)習(xí)效果評價(jià)方法,對學(xué)生在整個(gè)課程學(xué)習(xí)中的效果進(jìn)行測量和評定。龔力[20]提出了一種結(jié)合有效匿名集合及概率圖模型的匿名性評估方法。

本文通過借鑒同行評議的方法，在課程評價(jià)中，評價(jià)者對于被評價(jià)人的項(xiàng)目研究結(jié)果給出評定的分?jǐn)?shù)，從不同的統(tǒng)計(jì)角度對評價(jià)者給出的成績進(jìn)行分析，具體的方法是采用典型的6種同行評議和1種專家判斷模型，通過對比這7種模型，具體分析何種評價(jià)模式更具有科學(xué)性和合理性以及最大的區(qū)分度。

1 同行評價(jià)方法

1.1 專家評價(jià)法

面對很多課程的評價(jià)，按照常規(guī)課程考試的模式，試卷方式是主要的方式，面對一些作業(yè)類別的作業(yè)則是需要進(jìn)行作業(yè)評價(jià)，典型的評價(jià)方式是將評價(jià)指標(biāo)細(xì)化，按照每個(gè)層次加權(quán)評分，常規(guī)的模版如表1所示。這種方法看著非常合理，然而在正式評定過程中，通常選擇幾位老師根據(jù)學(xué)生的情況，分別給定成績，然后算出平均值，最后作為學(xué)生的成績。評價(jià)流程如圖1所示。

表1 典型項(xiàng)目評價(jià)表

圖1 學(xué)生作業(yè)評價(jià)基本流程

最終學(xué)生的成績采用計(jì)算采用式（1）：

式中，n為參與評價(jià)的專家數(shù)目，am則是每一位專家給出的分項(xiàng)成績。

1.2 同行評議

同行評議的方法比較多，本文研究分為2種情況，共6種方法，分別是：第一種情況：匿名情況下有3種：①全體成員參與評定；②小組代表評定；③小組加權(quán)（平均）評定。第二種情況：實(shí)名情況下有3種：①全體成員參與評定；②小組代表評定；③小組加權(quán)（平均）評定。

根據(jù)6種分類情況，匿名與實(shí)名通常會(huì)有不同的評定分?jǐn)?shù)，之所以分為2種情況，主要是為了研究人為因素以及相關(guān)的科學(xué)評價(jià)外因素干擾程度。在評價(jià)過程中，由于參與評價(jià)個(gè)體差異、所處外在環(huán)境不同，就會(huì)依賴于定性分析，定量評價(jià)方法則易產(chǎn)生評價(jià)與實(shí)際情況相互干擾的問題。在本次研究中將展開較為詳細(xì)的分析。

根據(jù)評價(jià)方式，其中所需的數(shù)學(xué)計(jì)算公式比較簡單，全體成員參與評定計(jì)算方法為式（2）：

式中，n為參與評價(jià)同行人數(shù)，bi則是每一位同行給出的評定成績。需注意的是，在同行評價(jià)中，每位同行評價(jià)所給出的最高分值不宜過大，依據(jù)教學(xué)經(jīng)驗(yàn)，本文認(rèn)為5~20分為宜，在案例研究中，分?jǐn)?shù)最高值為10分。小組代表評定采用的計(jì)算方式與式（2）相同，只不過n的選擇對象不同。

同樣道理，對于小組加權(quán)（平均）評定的計(jì)算方式，則稍微復(fù)雜一些，主要計(jì)算過程如下式（3）：

此計(jì)算為各成員對于被評價(jià)項(xiàng)目所給出的成績，式中p意味著這個(gè)小組有p位成員，他們代表某個(gè)團(tuán)隊(duì)。然后需要計(jì)算小組的平均值，將這個(gè)平均值作為小組給出的基礎(chǔ)成績，用式（4）表示。

最后加和所有小組的成績，然后取平均，用算式（5）表示：

式中，n為參與評價(jià)的小組數(shù)目，p則是每一小組參與給出的評定成績的人數(shù)。匿名與實(shí)名在數(shù)據(jù)采集和數(shù)據(jù)統(tǒng)計(jì)上的方法一致，計(jì)算過程一樣。

2 被評價(jià)課題研究內(nèi)容及工作

2.1 被評價(jià)問題描述

基于本學(xué)期課堂教學(xué)“產(chǎn)品設(shè)計(jì)開發(fā)”的內(nèi)容制定，主要訓(xùn)練學(xué)生開展基于市場需求的設(shè)計(jì)開發(fā)活動(dòng)，通過模擬真實(shí)產(chǎn)品開發(fā)流程以及產(chǎn)品設(shè)計(jì)過程，培養(yǎng)學(xué)生的理性設(shè)計(jì)思維和產(chǎn)品創(chuàng)新、評價(jià)、多學(xué)科交流、團(tuán)隊(duì)協(xié)作等方面的能力，掌握和理解產(chǎn)品設(shè)計(jì)的流程和方法，提高學(xué)生應(yīng)對高難度并行、系統(tǒng)化產(chǎn)品設(shè)計(jì)題目的解決策略和方法。課題研究項(xiàng)目為：無人領(lǐng)域的智能機(jī)器人設(shè)計(jì)開發(fā)。本課程教學(xué)學(xué)時(shí)為40學(xué)時(shí)，課程采用設(shè)計(jì)理論與實(shí)踐相結(jié)合的方式進(jìn)行。

2.2 被評價(jià)項(xiàng)目（設(shè)計(jì)）情況

本項(xiàng)目圍繞無人機(jī)的設(shè)計(jì)開發(fā)展開，項(xiàng)目分為5個(gè)小組，分別是創(chuàng)意組、市場組、信息組、制造組、財(cái)務(wù)組。每個(gè)小組的工作情況通過PPT的形式做課堂匯報(bào)，各工作組態(tài)度認(rèn)真，項(xiàng)目推進(jìn)過程中經(jīng)過多輪的評審，最后的工作匯報(bào)均達(dá)到課程預(yù)計(jì)要求。

2.3 被評價(jià)項(xiàng)目同行給出的測評成績

（1）全體同學(xué)給出的成績。依據(jù)每個(gè)小組做出的課程作業(yè)的答辯情況，每一位同學(xué)對這個(gè)小組的工作做出評價(jià)，對本小組回避，獲得如表2的統(tǒng)計(jì)數(shù)據(jù)，其中缺省部分為回避事項(xiàng)。

表2 全員參與的同行評價(jià)數(shù)據(jù)記錄

（2）小組代表給出的成績。一般情況下，小組代表給出成績是最常用的一種同行評議方法，如果選擇的評價(jià)者具有專業(yè)水平，這種方式就成為專家評價(jià)法，小組代表在評價(jià)中回避自己小組，只給與另外4個(gè)小組成績。小組代表給出的成績?nèi)绫?所示。

表3 小組代表給出的成績

3 數(shù)據(jù)分析

在同行評議中，所有的數(shù)據(jù)采集是在同一時(shí)間獲取的，5個(gè)小組完成之后，同時(shí)給出評價(jià)。這種方式可以有效避免人與人之間評價(jià)的相互影響，評價(jià)結(jié)果接近每一位參與評價(jià)的人的真實(shí)判斷。經(jīng)過分析，全班同學(xué)對于每一個(gè)小組的平均成績?nèi)鐖D2所示。通過這個(gè)數(shù)據(jù)表格，可以直觀地看出：

圖2 全班給出成績的平均值

實(shí)名評價(jià)與匿名評價(jià)的確存在著差異，在本次實(shí)驗(yàn)數(shù)據(jù)的采集與計(jì)算中，可以看到實(shí)名評價(jià)的分?jǐn)?shù)要低于匿名評價(jià)的分?jǐn)?shù)，這一點(diǎn)與一般同行評價(jià)的常識(shí)性認(rèn)識(shí)不一致。換言之，實(shí)名給出的成績要略低于匿名給出的成績。這說明，實(shí)名給出成績的時(shí)候，同行評價(jià)的時(shí)候更重視自己的判斷，由此可以推論，若實(shí)際評價(jià)允許，實(shí)名評價(jià)是同行大樣本評價(jià)中比較好的評價(jià)方式。同時(shí)，實(shí)名評價(jià)與匿名評價(jià)對于各小組的名詞排序沒有影響，給出的排序順序?yàn)椋簞?chuàng)意組＞制造組＞市場組＞信息組＞財(cái)務(wù)組。

在本次評價(jià)中，作者作為課題總的指導(dǎo)老師，對于各小組也給出了一個(gè)成績，主要是從老師的角度給出的判斷，評價(jià)過程中，未受到其他同學(xué)評價(jià)的影響，成績?nèi)鐖D3所示。

圖3 指導(dǎo)老師給出的成績

由圖3可以看出：作者作為指導(dǎo)老師給出的成績要高于全班同學(xué)給出的平均值。另外，因?yàn)橹笇?dǎo)老師給出判斷的主要目的是形成區(qū)分度，所以給予小組成績中出現(xiàn)了強(qiáng)制排序的情況。其小組排列順序?yàn)椋簞?chuàng)意組＞信息組＞市場組＞財(cái)務(wù)組＞制造組。

從這一點(diǎn)可以看出，作為指導(dǎo)老師與全體同行判斷之間還是存在很大差異。例如末位排序以及中間其他小組的排序均出現(xiàn)了差異，只有市場組順序不變。

由多種評價(jià)方式給出的結(jié)果如圖4所示，通過分析發(fā)現(xiàn)：

圖4 多種評價(jià)方式給出成績的平均值

小組實(shí)名平均的排名、小組代表匿名與其他同行評議測評的順序不同，但首尾排序不變，差異比較大的是同行評議與指導(dǎo)老師成績評定差異較大。這說明，在判斷某項(xiàng)設(shè)計(jì)方案中，專家判斷與同行（大眾）判斷的確存在較大差異，計(jì)算實(shí)名下全班給出成績與指導(dǎo)老師給出成績之間的偏差，如圖5所示。為了方便分析，給出每種評價(jià)方式與指導(dǎo)老師給出成績的偏差，計(jì)算結(jié)果如圖6所示。

圖5 實(shí)名下全班給出成績與指導(dǎo)老師給出成績之間的偏差

圖6 各小組的不同評價(jià)與指導(dǎo)老師給出成績的偏差

由此得出：指導(dǎo)老師給出的成績最具有區(qū)分度，全體匿名的成績比較平和，差距不大，小組平均的給定方式為折中方式。根據(jù)本次實(shí)驗(yàn)結(jié)果，可以為課程評價(jià)的選擇提供合適的評定參考。通過案例分析及對比評價(jià)標(biāo)準(zhǔn)，全體評價(jià)中的實(shí)名評審給出的成績比較低，實(shí)名評價(jià)與匿名評價(jià)排列順序相同；指導(dǎo)老師給出的評價(jià)與同行評價(jià)存在明顯差異，既有分值的差異，也存在排列順序的差異；分析差異的表現(xiàn)形式，對表現(xiàn)差異的結(jié)果計(jì)算了偏差和標(biāo)準(zhǔn)差，其中發(fā)現(xiàn)指導(dǎo)老師給出的評價(jià)區(qū)分度最大。

4 結(jié)論

根據(jù)現(xiàn)在數(shù)據(jù)分析的結(jié)果，以后的研究可以持續(xù)進(jìn)行相近數(shù)據(jù)采集和測試，盡可能減少指導(dǎo)老師與全體同行評價(jià)的差距。在評價(jià)后續(xù)研究可開展結(jié)合兩種方法的加權(quán)計(jì)算的研究。此外，在多種評價(jià)的方式中，實(shí)名普遍比匿名的分值要高，匿名的區(qū)分度要高于實(shí)名評價(jià)，如果動(dòng)態(tài)評價(jià)某項(xiàng)目，則會(huì)出現(xiàn)統(tǒng)計(jì)意義上的評價(jià)與專家評價(jià)會(huì)逐步趨同，這對于項(xiàng)目管理和產(chǎn)品設(shè)計(jì)管理有普遍的意義和價(jià)值。