[摘要] 對《考試說明》的滿意程度調查是考前收集高考命題改革信息的最佳方式。在滿意度理論基礎上,調查量表具備較高信度、效度,可以作為調查《考試說明》滿意度的有效工具。調查表明,高考對各類學校提供了公平競爭的機會,歷史學科應關注教學與考試方式之間的差異,高考應對文科綜合組卷方式進行深入研究,新課程高考應注意考試變化的幅度,因而應進行漸進式改革。
[關鍵詞] 滿意度;新課程;高考命題
[中圖分類號] G632.479[文獻標識碼] A[文章編號] 1008-004X(2009)12-021-05
一、問題的提出
高考命題改革是高考改革的關鍵,它規(guī)定著“考什么”的核心問題。高考命題的本質是服務,服務的宗旨是“有助于高校選拔人才,有助于中學開展素質教育”[1] 2~4。高考命題直接的服務對象是高校和普通高中及其考生。在普通高中推行課程改革(以下簡稱“新課程”)的大背景下,服務對象對高考命題改革的評價是判斷新課程高考命題改革成功與否的關鍵。服務對象的滿意程度則是對新課程高考命題改革的基本評價。
服務對象的滿意度屬于主觀性評價,現(xiàn)代公共管理理論認為,對于“公共服務”、“公共產品”的評價,人們更多關心的是該活動是否取得了實際效果,而不是該活動的質量本身。這意味著我們需要對服務的實際效果加以評估。例如社區(qū)生活中,人們更多地是關心自己及家人的安全程度,而不是有關警察及防治犯罪服務數(shù)量的報告。同樣,人們關心高考命題改革,主要是感知高校選拔人才的適合性以及促進基礎教育教學的程度,而不單是關于試卷本身的質量報告。從邏輯上講,對新課程高考命題改革調查目的有二:一是對命題改革后的高考試卷進行滿意度分析;二是對前試卷標志物——《考試說明》進行滿意度分析,進而實現(xiàn)其對此后高考命題以參考和指導。顯然,第一目的屬于事后檢討。一旦命題改革失敗,滿意度測量便失去意義;第二目的雖然與測量實際之“標的”有一定誤差,但更具備預測和修正意義。當然,這是從理論意義而言。具體而論,此次調查分析主要通過普通高中的教師、教研人員和教育工作者對于《考試說明》的主觀感受來調查高考命題改革的滿意程度。其直接出發(fā)點基于以下兩點:
1. 以普通高中的教師、教研人員及教育工作者作為調查對象,是由調查的可行性、相關性及基礎性所決定的。首先是可行性。高考命題改革中對于“高校選拔人才適合性”的主觀判斷具有一定的延遲性,高校需要經(jīng)過幾年時間的觀察和積累,才可能對此有比較客觀的判斷;而高中則不然,高中對高考命題改革的任何微小變化都比較敏感,且主觀感受強烈、迅速,并能及時地提出客觀、明確的意見。
其次是相關性。現(xiàn)行高校選才模式是按“層”取才,即按照高考總分排序錄取,高校最關心的是高考總分的合理性,而對具體考試內容并不特別注意;相比較而言,高中則是高考命題改革的直接利益相關者,因為高考命題改革,對高中教學具有實際的導向作用,所以,他們普遍對高考命題改革極為關注。
最后是基礎性。絕大部分參加高考的學生(復讀生、社會考生除外)是高考的一次性應對者,對新課程高考命題改革前后變化不具備比較條件。相對廣大考生而言,普通高中的教師、教研人員和所有教育工作者,卻是歷年高考的親歷者,而且肩負著廣大考生的切身利益,因此,他們對高考命題的歷史沿革及其改革所帶來的變化效果,不僅特別關注,而且對改革走向最具發(fā)言權。
2. 以對高考《考試說明》為調查內容是由調查的經(jīng)驗性和時效性所決定的。關于經(jīng)驗性,高考命題改革是在普通高中課程改革(以下簡稱“新課改”)的大背景下進行的。與改革前高中教學相比,“新課改”在課程理念、教材內容、教學方法進行了全方位調整,這也注定了高考命題將隨之進行大幅度變化。先期進入“新課改”高考命題的相關省市實踐經(jīng)驗證明,在國家統(tǒng)一的《考試大綱》指導下,能否出臺符合“新課改”精神、符合本地教學實際情況和學生實際水平的《考試說明》,是高考命題改革極為關鍵的環(huán)節(jié)。關于時效性,《考試說明》是對《考試大綱》的具體化,是高考命題的具體依據(jù),是學校指導學生復習、備考的依據(jù),對高考試卷具有明確的示范作用。更為重要的是,《考試說明》對高考命題改革的趨勢進行了詳細的說明和示例,是高考命題的模板,是高考命題的晴雨表。高考屬于高功利性考試,調查分析具有強烈的時效性要求,必須預先獲取高中的感知體驗,如果等到高考后再做調查則為時已晚。因此,對《考試說明》的調查分析,應該說最具時效性和先導性。
二、高考命題調查的理論依據(jù)
1. 顧客滿意度理論是衡量服務質量的有效工具。本調查所依據(jù)的理論,是質量管理學范疇之顧客滿意度理論。所謂顧客滿意度(customer satisfaction),是“顧客對其要求已被滿足的程度的感受”(ISO9000∶2000《質量管理體系基礎和術語》),是質量管理學的基礎概念。該理論的基本理念之一,是將“人”逐漸取代“資本”而成為備受研究者重視的因素。在這種理念下,人們開始從服務對象(顧客)的角度關注經(jīng)濟社會生產、生活的質量,同時從使用者的角度衡量質量的合適指標,從而使生產、生活質量成為衡量公共產品及社會服務的統(tǒng)一的質量指標。在該理論基礎上,一些研究者將影響服務對象滿意度按照一定的邏輯關系表達出來之后,通過數(shù)學方法形成測量顧客滿意度模型。1989年,美國密歇根大學商學院質量研究中心費耐爾博士更是提出了由期望、服務后的感知等多重因素組成的計量經(jīng)濟學的邏輯模型,即費耐爾邏輯模型[2]。這個模型把服務對象滿意度的數(shù)學運算方法和服務對象的心理感知結合起來,是迄今最為成熟和被廣泛運用的理論模型。這一模型形成后,瑞典首先采用(圖1)。該模型包含5個結構變量和6個關系關聯(lián),其中感知價值、預期質量是顧客滿意度的原因變量;顧客抱怨、顧客忠誠是兩個結果變量。具體來說,顧客滿意度=實際—預期。當顧客實際感知高于預期質量時,就會產生顧客忠誠的結果;當顧客對服務預期質量較高,而實際感知較低時,會產生顧客抱怨,但會形成我們在研究過程中需要解決的“問題”。正因為此,這一測量模型后來成為各個國家和地區(qū)計量經(jīng)濟學測量的基礎模型。
2. 高考命題改革的實質是提高高考的服務質量。歸根結底,考試是為人類社會發(fā)展的客觀需求服務的,它既為社會生產服務,為社會生活服務,也為實現(xiàn)個體價值服務。人類越是追求自身價值,追求自身活動效率,追求物質文明、精神文明和政治文明,那么,考試就越能獲得發(fā)展的空間。因為考試來源于人類各種“競爭”的需要。何況在當今,考試已經(jīng)滲透到社會生產和社會生活的各個領域,成為一項重要的公共服務,因此,考試形成當前規(guī)模,而且頻率增快,就更不可缺少自身質量效應了。更何況高考作為考試服務之一種,是服務于人們對高等教育資源的競爭需要,是為著一代又一代年輕人獲得高等教育這一社會稀缺資源的主要途徑,是教育公平的重要組成部分,是決定社會分層的重要因素之一。因而,考試命題質量便自然凸顯,必然要求高考命題改革“止于至善”,即以服務對象(顧客)的滿意為界。
三、高考命題改革之研究思路及其方法
回顧我們的做法,調查研究的基本思路是:以顧客滿意度理論為依據(jù),提出對高考考試說明滿意度測量的科學假設(scientific hypothesis),將概念轉化為操作定義設計調查量表,選取有代表性的樣本進行調查,同時進行科學驗證和數(shù)據(jù)解釋,最后得出符合邏輯的結論。
具體做法是,將調查結果解釋分為兩個步驟:一是對調查量表本身進行科學驗證,包括項目分析和信度分析兩個部分,用以證明測量工具本身的科學性;二是對調查數(shù)據(jù)進行解釋,以得出結論。
這里,必須強調的是,調查分析之全過程必須采用實證研究方法,即以問卷調查為主要方式。問卷項目采用李克特5點量表法(Likert-type scale),即分別針對《考試說明》的預期質量(包括總體預期、對教師開展復習預期、對學生復習預期3個題項)、質量感知(包括能力要求、涉及內容、能力層級、主客觀題比例、賦分、題型示例、試卷變化程度7個題項)、價值感知(包括學生水平、教學實際、學科發(fā)展3個題項)、滿意程度(相對于預期、總體滿意度2個題項)4個層面15個題項進行調查,滿意度模型如圖2所示:
具體到天津市,關于新課程高考例題調查,我們采取的是隨機抽樣的方式,樣本覆蓋全市20個區(qū)縣,每個區(qū)縣按1∶1∶1比例隨機抽取市屬重點、區(qū)屬重點和普通高中(含民辦中學),每份問卷均由相關學科具備兩次以上高三任課教師填寫。全市共下發(fā)問卷2000份,實際回收1936份,問卷回收率為96.8%。為保證測量結果的可靠性,對回收問卷中有漏填、重復填涂的問卷進行了數(shù)據(jù)刪除處理,實際有效問卷1878份,占全部問卷的93.9%,問卷有效率為97%。
四、調查數(shù)據(jù)及其分析
1. 量表(調查問卷)的科學性、有效性檢驗。調查問卷以公認的滿意度理論作為依據(jù),保證其理論基礎的嚴謹性;但將理論概念轉化為可操作定義設計調查量表后,必須對量表本身進行信度及效度檢驗,保證量表本身的科學性和有效性,以此保證量表調查結果的有效性。換句話說,若要保證測量的準確性,那么,“量尺”必須是優(yōu)良的。就這次調查,其問卷項目分析結果顯示,調查表所設計的4個層面15個題項的“決斷值”(critical ratio CR值)均達到十分顯著性水平(α <0.01),表明這些題項能鑒別不同受試者的反應程度,說明題項的鑒別功能較強。同時嚴格按李克特量表中常用的信度檢驗方法(“Cronbach α”系數(shù)),信度分析結果表明,量表的α系數(shù)分別為0.844、0.861、0.850、
0.852,均超過了0.80,表明該量表具有較高的信度,具有可靠的使用價值[3]。
2. 滿意度分析。首先是關于總體滿意度測量。就我們對天津地區(qū)的調查結果分析,對《考試說明》非常滿意的占7%;滿意程度高的占28.4%;基本滿意的占53.4%;滿意程度低的占10.4%;非常不滿意的占0.7%。即基本滿意以上的占到了88.9%,其中滿意程度高以上的占到了35.5%。結果顯示,目前中學對考試說明還是比較滿意的,不過其中的基本滿意占到了53.4%,表明中學對《考試說明》持有謹慎的態(tài)度。不過通過后期深入調查發(fā)現(xiàn),造成這種謹慎態(tài)度的原因主要來自于兩個方面:一是大力支持高考內容改革,但對具體內容改革的實質內涵與具體操作方式還沒有具備成熟的意見;二是支持高考內容跟隨“新課改”進行調整,但“新課改”原本應在不斷完善之中改革,說明絕大多數(shù)中學對“新課改”本身存有一些意見,導致了他們對高考內容的不同意見。
其次是關于各學科滿意度測量。從各學科滿意度統(tǒng)計匯總(見表1)可以觀測到,各學科滿意度測量均值基本在3.3左右,只有歷史學科滿意度低于3。據(jù)此深入調查后發(fā)現(xiàn),歷史學科是“新課改”教學體例變化最大的一門學科,教材及其授課方式由課改前的“通史”體例調整為現(xiàn)在的“專史”體例,在實際教學中存在一定問題,教師保留一部分意見;為方便廣大考生備考與復習,在國家《考試大綱》要求下,《考試說明》仍按通史體例編寫。說明教師對歷史學科滿意度不高,是因為他們對該學科“新課改”的意見較大。
再次是關于滿意度差異比較。不同類別學校即市屬重點、區(qū)屬重點、普通高中(含民辦學校)對《考試說明》滿意度差異不顯著(見表2),表明《考試說明》較好地把握了學科的主觀知識點和難易程度,以能力為導向,使各層次學校都能達到比較滿意的程度。
不同學科間滿意度差異顯著,主要體現(xiàn)在歷史和地理學科與其他學科之間(見表3、表4)。但這仍是表征的,經(jīng)深入了解后發(fā)現(xiàn),中學對于文科綜合測試組卷形式、考務方式比較關注,這也是導致與其他學科滿意度差異的主要原因。
3. 影響滿意度的因素分析。經(jīng)使用偏最小二乘估計方法得到滿意度結構方程模型后得知,質量感知因素是決定新課程《考試說明》滿意程度的主要因素,解釋量達67.32%。即中學教師對《考試說明》的質量感知如何是影響其滿意程度的主要因素。本文對質量感知作進一步分析后發(fā)現(xiàn),中學對于“新課程”高考的內容、形式的變化程度最為關注,該項單獨解釋量為0.231,其他各項對滿意程度影響由大到小依次為:題型示例的示范效果,內容設計,能力層級,賦分比例,能力層級。聯(lián)合解釋變異量為33.1%。說明各類中學對“主客觀試題比例設計”一項并不關注,因此該項對滿意度影響可以忽略不計(見表5)。
五、結論
通過以上分析,簡短結論如下:1.調查量表如果是建立在明確的理論基礎之上的,因為其信度、效度較高,能達到業(yè)內公認的統(tǒng)計標準,所以可以作為調查《考試說明》滿意度的有效工具。2.這次以天津地區(qū)為樣本進行《考試說明》問題調查,因為調查數(shù)據(jù)樣本量充足,因而具有代表性。尤其是絕大多數(shù)中學對《考試說明》滿意度較高,不同類別學校(市重點、區(qū)縣重點、普通高中、民辦高中)滿意度不存在顯著性差異,表明目前高考對各類學校仍然提供了公平競爭的機會。3.不同學科間,譬如歷史與地理學科及其他學科之間存在滿意度之顯著性差異,表明歷史學科在“新課改”過程中的教材模式、教學方式、考查方式還需進一步磨合;說明中學對于文科綜合科目具體的組卷方案比較關注,需要在高考過程中充分考慮文綜組卷形式可能對考生帶來實際影響。4.中學對《考試說明》質量感知程度的前兩位排列(考試變化程度、題型示例的示范效果)表示關注,說明絕大多數(shù)中學對新課程高考變化程度極為敏感,同時說明新課程高考之變化幅度不可大起大落,而應平穩(wěn)過渡;題型示例依然是中學復習時主要的實操手段,對中學復習、教學有較強的導向作用,因而對于新課程高考而言,仍可以通過題型示例對高考的“能力立意”之意圖進行滲透。
[參考文獻]
[1]教育部考試中心.普通高等學校招生全國統(tǒng)一考試大綱[M].北京:高等教育出版社,2007.
[2]裴飛,湯萬金,咸奎桐,等.顧客滿意度研究與應用綜述[J].世界標準化與質量管理,2006,(10).
[3]Henson R K. Understanding internal consistency reliability estimates: A conceptual primer on coefficient alpha[J].Measurement and Evaluation in Counseling and Development,2001(34):177-189.
[責任編輯:黎 陽]
NCEE Question -setting Reform under New Curriculum:
from Perspective of Customer Satisfaction Theory
CHEN Chang1, CHEN Shi-jun2
(1.Proposition Department of Tianjin Education Admission Examinations, Tianjin 300387,China;
2.Institute of Higher Education in Tianjin University, Tianjin 300072, China)
Abstract:From a perspective of customer-satisfaction theory, the present study, based on a survey on students' degree of satisfaction to the \"Guidelines for NCEE\", find some useful information about the NCEE question-setting reform as follows: firstly, though NCEE is a chance for the candidates to compete fairly, the subject of history needs to attach more importance to the gap between teaching and examination; secondly, the question-setting mode for the test paper of liberal-arts students still has rooms for further researches; thirdly, the college-entrance-examination reform under the new curriculum should be implemented in a gradual process.
Key words: satisfaction theory; new curriculum; question-settings of NCEE