馮艷賓 馬洪超

1 引言

開放型試題具有條件開放性、過程開放性、結(jié)論開放性等特征，它注重探究性和生成性的考查，能更好地考查出被試的靈活性和創(chuàng)造性，已被廣泛地應(yīng)用到語言測試和人才評估等領(lǐng)域中。由于開放型試題沒有固定標準答案，開放型試題的評分常常帶有比較明顯的主觀性。開放型試題評價標準的不確定性與主觀性使得它的運用受到一定限制。

為克服開放性題型評分的主觀性，等級描述型評定方法（SOLO分類評價法）和要素分析型評定方法（PTA量表法）已被應(yīng)用到開放性考試中去（高凌飚，2004，文慶城，2005，趙利霞,2010）。SOLO分類評價法主要采用等級描述的方法，按等級標準對被評價者的整體情況進行賦值，它適用于層次分明、強調(diào)邏輯的分析型、論述型的開放型試題；PTA量表法則是一種要素分析的方法，其中的因素又分為不同等級，然后將基本單元的標定分數(shù)加總求和。PTA量表法則更適合于分類細致，操作性強，更傾向于操作性、表現(xiàn)性的開放型試題。在決策分析中SOLO分類評價法和PTA量表法中的等級判定和要素分析均帶有很強的主觀性，評分結(jié)果并不精確。層次分析法（Analytic Hierarchy Process，AHP）雖然是一種要素分析與等級相結(jié)合的方法，但AHP并非側(cè)重將所有因素內(nèi)部細分為若干個等級，而是分析因素之間的關(guān)系，注重因素在被試之間的比較，關(guān)注因素之間的權(quán)重計算。它是一種決策分析法，更適用于以選拔為目的的開放型試題。

2 層次分析法

層次分析法（Analytic Hierarchy Process，AHP）是由美國運籌學家Saaty教授提出的。其基本思想是通過分析復雜問題包含的各種因素及其相互關(guān)系，將問題所設(shè)計的全部因素按不同的層次進行分類，標出上一層與下層因素之間的關(guān)系，形成一個多層次結(jié)構(gòu)。在每一層次，均按某一準則對該層因素進行相對重要性判斷，構(gòu)造判斷矩陣，并通過解矩陣特征值，確定因素的排序權(quán)重，最后再進一步計算出各層次因素對總目標的組合權(quán)重。AHP是一種定性和定量相結(jié)合的多屬性決策方法，是將決策者的經(jīng)驗判斷進行量化決策分析的有效方法。AHP層次結(jié)構(gòu)模型的構(gòu)建，可分為目標層、準則層和方案層（見圖1）。對從屬于上一層的同層各因素，采用1～9標度進行兩兩比較，建立兩兩比較判別矩陣A。表1是兩兩比較矩陣的標度表。

表1 1～9標度表

構(gòu)造出兩兩比較矩陣A后，要對矩陣A進行一致性檢驗，即先求出衡量兩兩比較矩陣A的一致性指標CI=，再基于隨機一致性指標RI構(gòu)造一致性比率CR=，當CR＜0.1時可以認為A的不一致程度在容許范圍之內(nèi)，上述公式中，λ是矩陣A的最大特征值，n是矩陣A的階數(shù)。經(jīng)一致性檢驗通過后，根據(jù)各個比較矩陣得出的權(quán)向量，逐層進行線性加權(quán)，計算出方案層諸方案對總目標的測評指標值，根據(jù)該測評指標的值的大小進行決策。

2.1 AHP基本步驟

下面以留學生漢語口語測評為例，說明層次分析法的分析步驟。學生的口語測評結(jié)果為目標層；準則層分為：話題描述、詞語表達和朗讀回答；方案層是待評價的學生。準測層中的三個測評指標的權(quán)重可通過構(gòu)建判斷矩陣來計算獲得，在此設(shè)定話題描述的權(quán)重為50%，詞語表達的權(quán)重為35%，朗讀回答的權(quán)重為15%。層次分析法的過程如圖1。

圖1 留學生口語測評的層次結(jié)構(gòu)

由圖1的層次結(jié)構(gòu)知，方案層（參加測驗的學生）依次對于準則層：話題描述、詞語表達、朗讀回答三個測評指標進行兩兩比較可得出了下面三個判斷矩陣（見表2）。

表2 被試學生的三個測評指標兩兩比較矩陣

經(jīng)計算得三個矩陣的最大特征值λmax均等于3，一致性比率CR均等于0，滿足一致性，說明學生的測評沒有誤差。話題描述準則下的比較矩陣如下：根據(jù)公式Aw=λmaxw，求得λmax對應(yīng)的特征向量并歸一化后得w1=(1/6,2/3,1/6)T，即方案層三個學生在話題描述準則下的權(quán)值分別為1/6,2/3,1/6。同理，可求得方案層三個學生在話語表達和朗讀回答準則下的權(quán)值，結(jié)果見表3。

表3 被試學生在三個測評指標下的權(quán)值

現(xiàn)已知準則層三個測評準則的權(quán)重分別是50%、35%、15%，根據(jù)“線性加權(quán)和”得方案層三個學生總測評指標分別為：

根據(jù)三個學生的總測評指標大小關(guān)系0.4560＞0.4187＞0.1253,可得三個學生的測評結(jié)果順序為：學生2＞學生1＞學生3。

2.2 AHP評分中逆序現(xiàn)象

在準則層各因素權(quán)重不變的情況下，方案層被試數(shù)量的增加或減少，會帶來兩兩比較矩陣的變化，這種變化可能會對最終的測評結(jié)果有影響。以下在方案層原有被試的基礎(chǔ)上，增加一名學生4，設(shè)定該學生的能力特征和學生2完全一致。通過對準則層的三個測評指標進行兩兩比較，得出兩兩比較矩陣，見表4。

經(jīng)檢驗，三個判斷矩陣的最大特征值λ均等于3，一致性比率CR均等于0，滿足一致性，說明對學生的測評沒有誤差。進一步根據(jù)各個比較矩陣的最大特征向量，求得各被試學生測評權(quán)值，見表5。

表4 增加了學生的三個測評指標兩兩比較矩陣

表5 被試學生在三個測評指標下的權(quán)值

根據(jù)“線性加權(quán)和”得方案層四個學生總測評指標分別為:

根據(jù)四個學生的總測評指標大小關(guān)系0.3238＞0.2960=0.2960＞0.0842，得四個學生的測評結(jié)果順尋為學生1＞學生2=學生4＞學生3。增加了學生4，造成了學生1和學生2的測評結(jié)果順序發(fā)生逆轉(zhuǎn)。

2.3 逆序的原因和解決辦法

不少文獻對層次分析法中的逆序問題進行的多方面研究，面對逆序出現(xiàn)的各種復雜情況，解決方法也主要是根據(jù)具體類型的逆序現(xiàn)象提出相應(yīng)的解決方案（Belton V,1983，吳江,1990，徐澤水,2004）。在單一準則下(即準則層只有一個測評指標），方案層中新方案的增加不改變原有方案的排序（汪浩，1993）。而多準則（即準則層有多個測評指標）條件下，方案層中增加新方案所帶來的逆序問題是由獲得總測評指標的“線性加權(quán)和”規(guī)則造成（劉奇志，1995）。設(shè)上文案例中準則層的三個測評指標的權(quán)重為α1，α2，α3，方案層三個方案分別在三個測評指標下的權(quán)值為aij（i,j=1,2,3），見表6。

表6 三個學生在三個測評指標下的權(quán)值

學生i的總測評指標Si= α1ai1+α2ai2+α3ai3（i=1,增加學生4（能力和學生2相同）后，新方案層四個學生分別在三個測評指標下的權(quán)值為i,j=1,2,3,4），見表7。這 時 ，學 生i的 總 測 評 指 標能力相同，則有

表7 四個學生在三個測評指標下的權(quán)值

在方案層增加了學生4后，由于學生1和學生2在準則層三個測評指標下的權(quán)重由aij變成了，進而通過“線性加權(quán)和”得到的總測評指標和之間的大小關(guān)系并不總與S1和S2之間的大小關(guān)系保持一致，從而造成逆序產(chǎn)生（汪浩，1993）。

為了克服上述由于方案層增加(或減少)新方案而帶來的逆序問題，將“線性加權(quán)和”規(guī)則轉(zhuǎn)換成“指數(shù)加權(quán)積”規(guī)則，即總測評指標當方案層增加新方案時，得到新的的總測評指標之間的大小關(guān)系和Si是一致的（劉奇志，1995）。

下面，采用總測評指標的“指數(shù)加權(quán)積”方法以及表3的數(shù)據(jù)，求得方案層是三個學生時的總測評指標值為：

由三個學生的總測評指標值，得三個學生的優(yōu)劣次序為：學生2＞學生1＞學生3。

在方案層增加學生4的情況下，采用總測評指標的“指數(shù)加權(quán)積”方法以及表5的數(shù)據(jù),求得四個學生總測評指標值分別為：

根據(jù)四個學生的總測評指標值，得四個學生的優(yōu)劣次序為：學生2=學生4＞學生1＞學生3,其中學生1和學生2的優(yōu)劣關(guān)系沒有發(fā)生改變。

3 結(jié)論

在決策過程中，通過引入AHP方法，可以更好地控制評分者的心理、經(jīng)驗、決策水平帶來的誤差，實現(xiàn)主觀評價的客觀化，避免由于主觀原因造成的誤差。但是采用總測評指標的“線性加權(quán)和”規(guī)則的層次分析法求得的評級結(jié)果會隨著評價對象數(shù)量的變化而出現(xiàn)逆序現(xiàn)象，從而干擾決策者的評價結(jié)果，而采用“指數(shù)加權(quán)積”規(guī)則的層次分析法，在兩兩比較矩陣一致的條件下，可有效解決逆序現(xiàn)象，實現(xiàn)了評價結(jié)果的保序性。

AHP方法廣泛應(yīng)用與決策評價當中。在大規(guī)?？荚囍?，隨著考生數(shù)量的增加，兩兩比較次數(shù)會大大增加，構(gòu)成的矩陣也會增大。當數(shù)量增大到一定程度時，評價者對準則把握的準確性也將降低。所以，在多測評指標的考核中，需要精細區(qū)分考生差異的優(yōu)中選優(yōu)時，AHP方法的效果會更好。此外，AHP法比較適合于計算各指標因子的權(quán)重，但對具體模糊指標的評定不夠準確，在遇到因素眾多、規(guī)模較大的問題時，判斷矩陣難以滿足一致性的要求。

[1] 高凌飚，吳維寧.開放型試題如何評分?——介紹兩種質(zhì)性評分方法[J].學科教育，2004(8):1-6.

[2] 文慶城，許應(yīng)華.PTA量表法評價化學猜想與假設(shè)能力探討[J].教學與管理,2005(6):39-40.

[3] 趙利霞.國內(nèi)SOLO分類評價理論研究文獻綜述:1998—2008[J].江蘇教育研究,2010(19):10-14.

[4] Belton V,G.T.,On a shortcoming of Saaty's method of analytic hierarchies.Omega,1983.3(11):228-230.

[5] 吳江.AHP用于方案選擇時的逆序問題[J].系統(tǒng)工程理論與實踐,1990(3):49-52.

[6] 徐澤水.AHP中新元素導入的強保序性研究[J].控制與決策,2004(4):433-436.

[7] 劉奇志.層次分析積因子方法的保序性[J].系統(tǒng)工程學報,1995(1):61-70.

[8] 汪浩,馬達.層次分析標度評價與新標度方法[J].系統(tǒng)工程理論與實踐,1993,13(9),24-26.