李月恩
(山東建筑大學(xué),山東 濟(jì)南250014)
研究評價(jià)問題,作業(yè)評價(jià)通常是最常用的也是最廣泛的一種應(yīng)用場景。在作業(yè)評價(jià)上,伴隨著教學(xué)模式改革的推進(jìn),作業(yè)評價(jià)方式較多,研究也較多。馬秋華等[1]指出構(gòu)建旨在促進(jìn)學(xué)生全面發(fā)展的作業(yè)發(fā)展性評價(jià)體系是推動(dòng)基礎(chǔ)教育課程改革的關(guān)鍵點(diǎn),每一位教師在學(xué)生作業(yè)發(fā)展性評價(jià)體系的建立上都應(yīng)放眼考試評價(jià)改革經(jīng)驗(yàn)和整合傳統(tǒng)考試評價(jià)文化,并立足本校情,因校制宜,融各種評價(jià)方法為一體。付肖娟等[2]認(rèn)為,教師在作業(yè)批改中應(yīng)該有情感和價(jià)值因素的注入,作業(yè)不僅是一種評價(jià)尺度,更是一種指導(dǎo)學(xué)生進(jìn)一步學(xué)習(xí)的指揮棒。這說明,作業(yè)評價(jià)要科學(xué)和公平。易中等[3]研究中發(fā)現(xiàn):在大學(xué)建筑類專業(yè)學(xué)習(xí)的過程中,對于學(xué)生作業(yè)的綜合評價(jià)指標(biāo)過于籠統(tǒng),用一些比較模糊性的概念來評價(jià)所指向的設(shè)計(jì)方案,在面對復(fù)雜的設(shè)計(jì)方案的時(shí)候,還是需要將各種指標(biāo)進(jìn)行分類,這就形成了模糊綜合評價(jià)方法,評價(jià)指標(biāo)屬于不同的層次,評價(jià)從低到高建立多個(gè)目標(biāo)和層次的多級分類評價(jià),這樣使得評價(jià)方案更準(zhǔn)確地反映設(shè)計(jì)者的水平。焦建利[4]以創(chuàng)客課程評價(jià)學(xué)生的7種方法為基礎(chǔ),給出了定量和定性綜合應(yīng)用的案例,實(shí)際過程中效果良好。
在評價(jià)中,學(xué)者們不局限于傳統(tǒng)的評價(jià)思路和方法,評價(jià)創(chuàng)新研究也較多,如陶雄軍[5]結(jié)合多年的本科建筑設(shè)計(jì)課程教學(xué)經(jīng)驗(yàn),通過實(shí)際分析,歸納出相對評價(jià)法、差異點(diǎn)評法、互動(dòng)點(diǎn)評法等建筑設(shè)計(jì)課程課堂作業(yè)點(diǎn)評方法。嚴(yán)宏君[6]在教學(xué)中,從學(xué)生的實(shí)際情況開發(fā)出總體性評價(jià)方式,這樣的評價(jià)方式便于對每一位學(xué)生的教學(xué)檔案進(jìn)行跟蹤分析。
在評價(jià)方法研究領(lǐng)域,很多專家也做出了比較深入的分析,尤其是在一些基金項(xiàng)目、科研課題以及重要的科研事業(yè)上的評價(jià)工作。比如:吳述堯[7]的研究集中在同行評議方法在科學(xué)基金項(xiàng)目管理績效評估中的應(yīng)用;馬強(qiáng)等[8]介紹了德爾菲法、層次分析法、集結(jié)方法等在同行評議中的應(yīng)用;王芳等[9]為探討解決同行評議在科技項(xiàng)目立項(xiàng)評審環(huán)節(jié)存在的問題,將負(fù)向評價(jià)思想引入同行評議,構(gòu)建負(fù)向半定量評審方法,以期有效解決現(xiàn)行科技項(xiàng)目立項(xiàng)評審中的問題。不過,在楊翠[10]的研究中也曾認(rèn)為,同行評議雖然被廣泛應(yīng)用于科研或各種評審中,但該制度仍然存在某些不足。吳浩[11]認(rèn)為,同行評議作為我國目前重要的科技評價(jià)方法之一,在具體實(shí)踐的過程中受到了一些學(xué)者的質(zhì)疑。在研究中,作者提出了新的評價(jià)方法,并指出評價(jià)方法需要運(yùn)用一定的外部環(huán)境,評價(jià)方法的發(fā)展也需要在實(shí)踐中不斷完善。
一些學(xué)者借鑒新的評價(jià)尺度和方法,例如王偉等[12]通過比較同行評議法和層次分析法(AHP),針對兩種評估方法的優(yōu)缺點(diǎn),在確定評價(jià)目標(biāo)的前提下,提出基于同行評議和層次分析法的模型,通過選擇參與評估的專家,確立評估指標(biāo)體系和權(quán)重,由決策者做出最后決定,給出評定結(jié)果。該模型采用定性和定量相結(jié)合的方法,綜合多種方法進(jìn)行評估,通過此法能夠進(jìn)一步提高評估的客觀性。與產(chǎn)品設(shè)計(jì)創(chuàng)新評價(jià)相關(guān)的設(shè)計(jì)評價(jià)的定量研究比較深入,很多方式可以借鑒,如魏巍等[13]的研究,針對跨學(xué)科研究評價(jià)給出了新的方法。盛怡瑾等[14]使用文獻(xiàn)調(diào)研法和網(wǎng)站調(diào)研法對所關(guān)注對象進(jìn)行評價(jià),提高了評價(jià)的準(zhǔn)確性、公平性、一致性,能夠有效控制時(shí)間,對增強(qiáng)評價(jià)和關(guān)注成本的綜合方法進(jìn)行了一定探索。寧連舉等[15]提出面向產(chǎn)品價(jià)值評價(jià)指標(biāo)體系評斷方法,具體是利用層次分析法確定產(chǎn)品該模型的具體權(quán)重,對其進(jìn)行實(shí)例說明和驗(yàn)證。華爾天等[16]也從產(chǎn)品創(chuàng)新的角度,分析了用戶需求特征,構(gòu)建用戶需求體系,明確產(chǎn)品創(chuàng)新評價(jià)要素及其影響因素,并在此基礎(chǔ)上提出了產(chǎn)品創(chuàng)新評價(jià)模型,創(chuàng)新評價(jià)策略與實(shí)現(xiàn)方法。劉曉敏等[17]從產(chǎn)品設(shè)計(jì)創(chuàng)新的角度,采用一種基于發(fā)明問題解決理論(TRIZ)和約束理論(TOC)的產(chǎn)品創(chuàng)新集成及評價(jià)過程模型,根據(jù)實(shí)際建立的產(chǎn)品形態(tài)學(xué)矩陣,并集成一種層次分析法與加權(quán)計(jì)分法的評價(jià)策略來評價(jià)所建立的模型,最終確定出最優(yōu)的產(chǎn)品設(shè)計(jì)方案。羅建設(shè)等[18]通過質(zhì)量功能布置定性描述技術(shù)特征之間的相關(guān)影響關(guān)系,建立功能模型分析技術(shù)系統(tǒng)存在的標(biāo)準(zhǔn),利用價(jià)值工程理論的價(jià)值評價(jià)尺度對各類問題進(jìn)行分析并確定最終的產(chǎn)品創(chuàng)新方向。相關(guān)研究成果比較豐富。近年來,一些學(xué)者也在探索新的課程評價(jià)方法,趙莉香等[19]通過構(gòu)建科學(xué)的課程目標(biāo)形成評價(jià)基準(zhǔn),綜合并改進(jìn)當(dāng)前國內(nèi)外創(chuàng)新學(xué)習(xí)效果評價(jià)方法,對學(xué)生在整個(gè)課程學(xué)習(xí)中的效果進(jìn)行測量和評定。龔力[20]提出了一種結(jié)合有效匿名集合及概率圖模型的匿名性評估方法。
本文通過借鑒同行評議的方法,在課程評價(jià)中,評價(jià)者對于被評價(jià)人的項(xiàng)目研究結(jié)果給出評定的分?jǐn)?shù),從不同的統(tǒng)計(jì)角度對評價(jià)者給出的成績進(jìn)行分析,具體的方法是采用典型的6種同行評議和1種專家判斷模型,通過對比這7種模型,具體分析何種評價(jià)模式更具有科學(xué)性和合理性以及最大的區(qū)分度。
面對很多課程的評價(jià),按照常規(guī)課程考試的模式,試卷方式是主要的方式,面對一些作業(yè)類別的作業(yè)則是需要進(jìn)行作業(yè)評價(jià),典型的評價(jià)方式是將評價(jià)指標(biāo)細(xì)化,按照每個(gè)層次加權(quán)評分,常規(guī)的模版如表1所示。這種方法看著非常合理,然而在正式評定過程中,通常選擇幾位老師根據(jù)學(xué)生的情況,分別給定成績,然后算出平均值,最后作為學(xué)生的成績。評價(jià)流程如圖1所示。
表1 典型項(xiàng)目評價(jià)表
圖1 學(xué)生作業(yè)評價(jià)基本流程
最終學(xué)生的成績采用計(jì)算采用式(1):
式中,n為參與評價(jià)的專家數(shù)目,am則是每一位專家給出的分項(xiàng)成績。
同行評議的方法比較多,本文研究分為2種情況,共6種方法,分別是:第一種情況:匿名情況下有3種:①全體成員參與評定;②小組代表評定;③小組加權(quán)(平均)評定。第二種情況:實(shí)名情況下有3種:①全體成員參與評定;②小組代表評定;③小組加權(quán)(平均)評定。
根據(jù)6種分類情況,匿名與實(shí)名通常會(huì)有不同的評定分?jǐn)?shù),之所以分為2種情況,主要是為了研究人為因素以及相關(guān)的科學(xué)評價(jià)外因素干擾程度。在評價(jià)過程中,由于參與評價(jià)個(gè)體差異、所處外在環(huán)境不同,就會(huì)依賴于定性分析,定量評價(jià)方法則易產(chǎn)生評價(jià)與實(shí)際情況相互干擾的問題。在本次研究中將展開較為詳細(xì)的分析。
根據(jù)評價(jià)方式,其中所需的數(shù)學(xué)計(jì)算公式比較簡單,全體成員參與評定計(jì)算方法為式(2):
式中,n為參與評價(jià)同行人數(shù),bi則是每一位同行給出的評定成績。需注意的是,在同行評價(jià)中,每位同行評價(jià)所給出的最高分值不宜過大,依據(jù)教學(xué)經(jīng)驗(yàn),本文認(rèn)為5~20分為宜,在案例研究中,分?jǐn)?shù)最高值為10分。小組代表評定采用的計(jì)算方式與式(2)相同,只不過n的選擇對象不同。
同樣道理,對于小組加權(quán)(平均)評定的計(jì)算方式,則稍微復(fù)雜一些,主要計(jì)算過程如下式(3):
此計(jì)算為各成員對于被評價(jià)項(xiàng)目所給出的成績,式中p意味著這個(gè)小組有p位成員,他們代表某個(gè)團(tuán)隊(duì)。然后需要計(jì)算小組的平均值,將這個(gè)平均值作為小組給出的基礎(chǔ)成績,用式(4)表示。
最后加和所有小組的成績,然后取平均,用算式(5)表示:
式中,n為參與評價(jià)的小組數(shù)目,p則是每一小組參與給出的評定成績的人數(shù)。匿名與實(shí)名在數(shù)據(jù)采集和數(shù)據(jù)統(tǒng)計(jì)上的方法一致,計(jì)算過程一樣。
基于本學(xué)期課堂教學(xué)“產(chǎn)品設(shè)計(jì)開發(fā)”的內(nèi)容制定,主要訓(xùn)練學(xué)生開展基于市場需求的設(shè)計(jì)開發(fā)活動(dòng),通過模擬真實(shí)產(chǎn)品開發(fā)流程以及產(chǎn)品設(shè)計(jì)過程,培養(yǎng)學(xué)生的理性設(shè)計(jì)思維和產(chǎn)品創(chuàng)新、評價(jià)、多學(xué)科交流、團(tuán)隊(duì)協(xié)作等方面的能力,掌握和理解產(chǎn)品設(shè)計(jì)的流程和方法,提高學(xué)生應(yīng)對高難度并行、系統(tǒng)化產(chǎn)品設(shè)計(jì)題目的解決策略和方法。課題研究項(xiàng)目為:無人領(lǐng)域的智能機(jī)器人設(shè)計(jì)開發(fā)。本課程教學(xué)學(xué)時(shí)為40學(xué)時(shí),課程采用設(shè)計(jì)理論與實(shí)踐相結(jié)合的方式進(jìn)行。
本項(xiàng)目圍繞無人機(jī)的設(shè)計(jì)開發(fā)展開,項(xiàng)目分為5個(gè)小組,分別是創(chuàng)意組、市場組、信息組、制造組、財(cái)務(wù)組。每個(gè)小組的工作情況通過PPT的形式做課堂匯報(bào),各工作組態(tài)度認(rèn)真,項(xiàng)目推進(jìn)過程中經(jīng)過多輪的評審,最后的工作匯報(bào)均達(dá)到課程預(yù)計(jì)要求。
(1)全體同學(xué)給出的成績。依據(jù)每個(gè)小組做出的課程作業(yè)的答辯情況,每一位同學(xué)對這個(gè)小組的工作做出評價(jià),對本小組回避,獲得如表2的統(tǒng)計(jì)數(shù)據(jù),其中缺省部分為回避事項(xiàng)。
表2 全員參與的同行評價(jià)數(shù)據(jù)記錄
(2)小組代表給出的成績。一般情況下,小組代表給出成績是最常用的一種同行評議方法,如果選擇的評價(jià)者具有專業(yè)水平,這種方式就成為專家評價(jià)法,小組代表在評價(jià)中回避自己小組,只給與另外4個(gè)小組成績。小組代表給出的成績?nèi)绫?所示。
表3 小組代表給出的成績
在同行評議中,所有的數(shù)據(jù)采集是在同一時(shí)間獲取的,5個(gè)小組完成之后,同時(shí)給出評價(jià)。這種方式可以有效避免人與人之間評價(jià)的相互影響,評價(jià)結(jié)果接近每一位參與評價(jià)的人的真實(shí)判斷。經(jīng)過分析,全班同學(xué)對于每一個(gè)小組的平均成績?nèi)鐖D2所示。通過這個(gè)數(shù)據(jù)表格,可以直觀地看出:
圖2 全班給出成績的平均值
實(shí)名評價(jià)與匿名評價(jià)的確存在著差異,在本次實(shí)驗(yàn)數(shù)據(jù)的采集與計(jì)算中,可以看到實(shí)名評價(jià)的分?jǐn)?shù)要低于匿名評價(jià)的分?jǐn)?shù),這一點(diǎn)與一般同行評價(jià)的常識(shí)性認(rèn)識(shí)不一致。換言之,實(shí)名給出的成績要略低于匿名給出的成績。這說明,實(shí)名給出成績的時(shí)候,同行評價(jià)的時(shí)候更重視自己的判斷,由此可以推論,若實(shí)際評價(jià)允許,實(shí)名評價(jià)是同行大樣本評價(jià)中比較好的評價(jià)方式。同時(shí),實(shí)名評價(jià)與匿名評價(jià)對于各小組的名詞排序沒有影響,給出的排序順序?yàn)椋簞?chuàng)意組>制造組>市場組>信息組>財(cái)務(wù)組。
在本次評價(jià)中,作者作為課題總的指導(dǎo)老師,對于各小組也給出了一個(gè)成績,主要是從老師的角度給出的判斷,評價(jià)過程中,未受到其他同學(xué)評價(jià)的影響,成績?nèi)鐖D3所示。
圖3 指導(dǎo)老師給出的成績
由圖3可以看出:作者作為指導(dǎo)老師給出的成績要高于全班同學(xué)給出的平均值。另外,因?yàn)橹笇?dǎo)老師給出判斷的主要目的是形成區(qū)分度,所以給予小組成績中出現(xiàn)了強(qiáng)制排序的情況。其小組排列順序?yàn)椋簞?chuàng)意組>信息組>市場組>財(cái)務(wù)組>制造組。
從這一點(diǎn)可以看出,作為指導(dǎo)老師與全體同行判斷之間還是存在很大差異。例如末位排序以及中間其他小組的排序均出現(xiàn)了差異,只有市場組順序不變。
由多種評價(jià)方式給出的結(jié)果如圖4所示,通過分析發(fā)現(xiàn):
圖4 多種評價(jià)方式給出成績的平均值
小組實(shí)名平均的排名、小組代表匿名與其他同行評議測評的順序不同,但首尾排序不變,差異比較大的是同行評議與指導(dǎo)老師成績評定差異較大。這說明,在判斷某項(xiàng)設(shè)計(jì)方案中,專家判斷與同行(大眾)判斷的確存在較大差異,計(jì)算實(shí)名下全班給出成績與指導(dǎo)老師給出成績之間的偏差,如圖5所示。為了方便分析,給出每種評價(jià)方式與指導(dǎo)老師給出成績的偏差,計(jì)算結(jié)果如圖6所示。
圖5 實(shí)名下全班給出成績與指導(dǎo)老師給出成績之間的偏差
圖6 各小組的不同評價(jià)與指導(dǎo)老師給出成績的偏差
由此得出:指導(dǎo)老師給出的成績最具有區(qū)分度,全體匿名的成績比較平和,差距不大,小組平均的給定方式為折中方式。根據(jù)本次實(shí)驗(yàn)結(jié)果,可以為課程評價(jià)的選擇提供合適的評定參考。通過案例分析及對比評價(jià)標(biāo)準(zhǔn),全體評價(jià)中的實(shí)名評審給出的成績比較低,實(shí)名評價(jià)與匿名評價(jià)排列順序相同;指導(dǎo)老師給出的評價(jià)與同行評價(jià)存在明顯差異,既有分值的差異,也存在排列順序的差異;分析差異的表現(xiàn)形式,對表現(xiàn)差異的結(jié)果計(jì)算了偏差和標(biāo)準(zhǔn)差,其中發(fā)現(xiàn)指導(dǎo)老師給出的評價(jià)區(qū)分度最大。
根據(jù)現(xiàn)在數(shù)據(jù)分析的結(jié)果,以后的研究可以持續(xù)進(jìn)行相近數(shù)據(jù)采集和測試,盡可能減少指導(dǎo)老師與全體同行評價(jià)的差距。在評價(jià)后續(xù)研究可開展結(jié)合兩種方法的加權(quán)計(jì)算的研究。此外,在多種評價(jià)的方式中,實(shí)名普遍比匿名的分值要高,匿名的區(qū)分度要高于實(shí)名評價(jià),如果動(dòng)態(tài)評價(jià)某項(xiàng)目,則會(huì)出現(xiàn)統(tǒng)計(jì)意義上的評價(jià)與專家評價(jià)會(huì)逐步趨同,這對于項(xiàng)目管理和產(chǎn)品設(shè)計(jì)管理有普遍的意義和價(jià)值。