柴永生，喻小琴

(1.江蘇省教育考試院，南京 210024；2.江蘇省教育科學研究院，南京 210013)

0 引言

題庫(Item Bank)是以一定的教育測量理論為基礎，編制、收集具有一定質量要求，并附有代表試題特性的參數(shù)，經(jīng)過分類編碼便于檢索的大量試題的集合[1]。江蘇省中等職業(yè)學校學生學業(yè)水平考試(以下簡稱“江蘇中職學考”)采用標準化考試方式進行，是面向該省中職學生進行的學業(yè)水平檢測考試，在學業(yè)水平檢測考試中，標準化題庫發(fā)揮了極其重要的作用。

1 建立題庫的現(xiàn)實背景

隨著計算機技術和教育測量理論的發(fā)展，國內(nèi)外部分考試機構建立了適應大規(guī)?？荚嚨念}庫，其核心目標是實現(xiàn)命題及考試的科學化、標準化和規(guī)范化。

1.1 建立題庫是考試招生制度改革發(fā)展的必然要求

題庫有利于實現(xiàn)考試“一年多考”的目標，有利于實現(xiàn)考試形式由紙筆考試向機考、網(wǎng)考的轉變，有利于實現(xiàn)考試的科學化、標準化、專業(yè)化、規(guī)范化、經(jīng)濟化。隨著考試技術的發(fā)展，題庫成為考試機構專業(yè)化的重要體現(xiàn)。《國家中長期教育改革和發(fā)展規(guī)劃綱要(2010-2020 年)》提出“完善國家考試科目試題庫”[2]，國務院印發(fā)的《關于深化考試招生制度改革的實施意見》提出“加強國家教育考試機構、國家題庫和外語能力測評體系建設”[3]，《教育部關于普通高中學業(yè)水平考試的實施意見》提出“加快題庫建設”[4]，均把題庫建設放在國家教育改革和發(fā)展的戰(zhàn)略高度。隨著職教高考制度的逐步建立，各級各類職業(yè)教育統(tǒng)籌發(fā)展，職業(yè)教育內(nèi)部多種升學通道的考試招生體系需要大規(guī)模題庫來支撐?？梢姡㈩}庫是我國各級各類教育考試發(fā)展的必然要求。

1.2 建立題庫具有一定的理論和實踐基礎

就理論基礎而言，建立題庫需要遵循相關教育測量理論。部分研究者將心理測量理論、經(jīng)典測量理論、項目反應理論、自適應模型等運用于題庫建設，深度挖掘試題試卷的價值，推動了題庫的發(fā)展。在實踐方面，國外不少專業(yè)考試機構已建立起具有科學性、穩(wěn)定性、權威性的題庫，以適應大規(guī)模考試，如美國的TOEFL、SAT、GRE，英國的UCLES(劍橋大學考試委員會)主導的EFL(英語作為外語)水平考試等。我國在題庫建設方面也進行了一些探索，如漢語水平考試、全國英語等級考試以及部分省份的考試題庫等。這些探索在促進考試實施的經(jīng)濟性、命題的靈活性和科學性以及考試標準的穩(wěn)定性方面發(fā)揮了積極作用。

1.3 建立題庫是標準化考試的內(nèi)在要求

盡管標準化考試本身有其優(yōu)缺點，但是否選擇標準化考試取決于考試的目標、方式、要求及效益等。江蘇中職學考實行標準化考試，主要考慮6個因素：一是考核目標，通過考試檢測中職學生是否達到教學標準規(guī)定的水平；二是考試性質，該項考試為標準參照考試，也是合格性考試；三是考生人數(shù)，每年符合報考條件的考生十余萬，覆蓋所有中職專業(yè)學生，規(guī)模較大；四是考試課程，有4門公共基礎課程及33個專業(yè)大類基礎課程，數(shù)量較大；五是考試方式，除思想政治、語文、數(shù)學外，英語和專業(yè)基礎課程實行機考；六是考試條件，要求基本完成考點標準化建設，具備組織標準化考試的軟硬件條件。采用標準化考試方式，題庫必不可少，它直接關系標準化考試水平的高低，在多方面對標準化考試給予有力支撐。

2 職業(yè)教育考試題庫的系統(tǒng)設計

目前，題庫已不再是傳統(tǒng)意義上的題卷存儲庫，而是集命題隊伍管理、征題審題、組卷考試、統(tǒng)計分析、對接機考等功能于一體的綜合管理平臺。在設計職業(yè)教育考試題庫系統(tǒng)框架時應注意以下方面：

2.1 指標體系

題庫建設指標關系題庫的總體水平，決定著題庫的科學性、專業(yè)性和公平性。20世紀90年代，就有研究者從命題質量評價的角度提出了信度、效度、難度、區(qū)分度等定量指標。隨著對試題試卷質量研究的不斷深入，后來也出現(xiàn)了一些新的指標。例如：有研究者提出標準化題庫的六大要素，包括難度、區(qū)分度、標準偏差、效度、信度、覆蓋率。也有研究者從命題質量角度提出了“四度六性”，“四度”包括信度、效度、難度、區(qū)分度，這是命題質量評價的定量指標，“六性”包括科學性、準確性、公平性、適用性、合法性、完整性，這是命題質量評價的定性指標[5]。在職業(yè)教育考試題庫建設實踐中，考試機構應根據(jù)不同的考試目標和要求確定相應的定量和定性指標，構建有利于實現(xiàn)考試目標、發(fā)揮題庫功能、科學完整的指標體系。江蘇中職學考題庫建設指標中包含了定量指標和定性指標，其中定量指標包括信度、效度、難度、區(qū)分度、覆蓋率等，定性指標包括科學性、標準性、規(guī)范性、安全性等，這些指標構成了有機統(tǒng)一的指標體系。

2.2 試題屬性

試題屬性指試題包含的各類特征信息，對試題的命制、管理及質量評價等起到關鍵作用。從全面性方面講，試題包括很多屬性。有研究者提出，試題的屬性指標主要分基本信息、學科屬性、測量屬性、素材屬性、等值屬性5類[6]。在這種分類中，每類屬性均規(guī)定了試題不同方面詳細的內(nèi)容，例如：基本信息包括題型、預期難度、測試類型、評分方式、答案、編寫日期等。題庫中的試題并非一定要包含所有屬性，而是要根據(jù)考試目標、試題功能、題庫需要等確定試題屬性。江蘇中職學考題庫中的試題包括自然屬性、內(nèi)容屬性、形式屬性、統(tǒng)計屬性等方面，其結構如圖1所示：

圖1 江蘇中職學考題庫試題屬性

可以看出，江蘇中職學考題庫試題的屬性體現(xiàn)了考試目標、內(nèi)容要求和考試方式，且具有統(tǒng)計分析特性，為實現(xiàn)目標、命題管理、成績分析和使用等奠定了基礎。

2.3 題型的選擇

標準化考試的試題編制和組織實施由專門的考試機構負責，考試題型主要采用以選擇題為主的客觀題型，考試計分和合分采用統(tǒng)計學方法，考試分數(shù)的解釋采用常模[7]。標準化考試包括試題編制標準化、考試實施標準化、閱卷評分標準化及分數(shù)使用標準化等，其中試題編制標準化是題庫建設的重要內(nèi)容。在編制試題前，確定試題的題型至關重要。江蘇中職學考實施標準化考試方式，根據(jù)考試科目特點設置多種題型。機考英語課程題型與采用紙筆考試方式時相同，基本都是選擇題；其他機考專業(yè)課程，僅設置單選題、多選題和判斷題三種題型。機考課程的題型選擇兼顧了考試內(nèi)容、學科特點、知識覆蓋、考試效率等因素，均從規(guī)定的選項中選擇正確答案，從這個意義上看，江蘇中職學考的基本題型是選擇題。需要說明的是，標準化考試不等于選擇題考試，部分主觀性試題如填空題、解答題等，也能運用于標準化考試。江蘇之所以將選擇題作為題庫的基本題型，就是因為綜合考慮了考試的目標、形式、效率和效益等因素。

2.4 題庫系統(tǒng)設計

對職業(yè)教育考試題庫的系統(tǒng)設計一般要考慮以下幾方面：建設題庫的目標、所組試卷的功能定位、試題質量控制、試題參數(shù)設置與校準、組卷策略等[6]。這是對題庫管理系統(tǒng)進行的整體設計，屬于題庫系統(tǒng)設計的“微觀”方面。隨著計算機技術的快速發(fā)展和教育測量理論的深入應用，考試技術不斷成熟，為建立集試題管理系統(tǒng)、試卷生成系統(tǒng)和命題教師管理系統(tǒng)等于一體的大規(guī)模題庫系統(tǒng)提供了技術支撐。在當前復雜的外部環(huán)境下，應注重職業(yè)教育考試題庫的系統(tǒng)性和整體性，也就是說，在設計題庫系統(tǒng)時，既要關注題庫內(nèi)部因素，如題庫的目標、功能、參數(shù)、題型、策略等，又要關注題庫外部因素，如安全、標準、基礎條件等。江蘇中職學考題庫系統(tǒng)包括五個部分：標準規(guī)范體系、安全保障體系、基礎設施、數(shù)據(jù)存儲體系、題庫管理系統(tǒng)。

標準規(guī)范體系。標準規(guī)范是題庫系統(tǒng)建設和運行的依據(jù)，包括命題管理標準、試題質量標準、評價標準、信息編碼標準、試題試卷標準等。有了這些標準規(guī)范，才能實現(xiàn)征題與命題、命題與考試、命題與統(tǒng)計分析等模塊之間的業(yè)務承接和數(shù)據(jù)貫通，在不同模塊之間建立聯(lián)系，形成有機整體，最終實現(xiàn)建設高水平職業(yè)教育考試題庫系統(tǒng)的目標。

安全保障體系。安全是題庫系統(tǒng)建設和運行的重中之重，在建設過程中要加強環(huán)境、數(shù)據(jù)、軟件等信息化層面的安全管理。

基礎設施。這是題庫系統(tǒng)建設和運行的重要保障，確保題庫系統(tǒng)在保密辦公環(huán)境中運行。

數(shù)據(jù)存儲體系。統(tǒng)籌命題及資源數(shù)據(jù)的存儲結構和使用模式，將基礎信息庫、題庫、資源合為一體，為實際應用提供數(shù)據(jù)資料。

題庫管理系統(tǒng)。這是題庫建設的核心，包含系統(tǒng)業(yè)務模塊、基礎業(yè)務模塊、征題業(yè)務模塊、第三方工具等建設要素。

3 職業(yè)教育考試題庫的實踐探索

建設基于標準化的職業(yè)教育考試題庫是一項周期長、投入大、人力多的系統(tǒng)工程，僅就編寫試題而言，從確定試題屬性各類指標、組織大批學科教師編寫和修改試題，到對試題的科學性和有效性抽樣測試，以及對試題參數(shù)進行評估和校正等，都需要投入大量的人力、物力、財力以及時間統(tǒng)籌建設。

3.1 命題規(guī)范的制定

命題規(guī)范包括考試目標、命題思路、工作原則、技術標準及編制程序等重要內(nèi)容，是試題編制的指導性文件，能夠指導命題教師按統(tǒng)一的標準編制試題。試題設計的質量關系到整個題庫的質量，關系到考核的準確性和有效性。試題要有科學性、綱領性、有效性、嚴謹性、公平性和針對性[8]。江蘇省根據(jù)中職學校教學實際，建立了一套符合中職學考特點和要求的命題規(guī)范。有了科學完整的命題規(guī)范和素質較高的命題隊伍，題庫試題的質量就有了重要保證。

3.2 題庫建設的推進

職業(yè)教育考試題庫建設是一個復雜的系統(tǒng)工程，需充分調(diào)研，周密計劃，有序推進。江蘇中職學考具有與普通高中學業(yè)水平考試不同的特殊性和復雜性，涉及上百個中職專業(yè)和數(shù)十個專業(yè)綜合課程。每個課程都有單獨的考試大綱和要求，情況十分復雜?？荚嚪譃楣P試和機考兩種形式。3個筆試科目命制10余套電子試卷，存儲于題庫中。34個機考課程每科命制3000道及以上試題，命題任務量大。江蘇專門制定題庫建設總體規(guī)劃，大致分為調(diào)研籌備、系統(tǒng)研發(fā)、征題審題、組卷考試、維護升級等五部分。每個部分制定詳細具體的工作計劃，并加大人力、物力、財力保障力度，穩(wěn)步推進題庫建設工作。

3.3 題庫系統(tǒng)的管理

職業(yè)教育考試題庫建成后，試題內(nèi)容的修訂、組卷策略的調(diào)整、試題參數(shù)的校準、題庫系統(tǒng)的維護等便成為題庫管理工作的主要內(nèi)容。首先，要定期或不定期修訂題庫試題，處理好試題曝光、知識更新等原因造成合格試題數(shù)量減少的問題；其次，要跟蹤試題的各項參數(shù)指標，不斷提高試題的質量，特別是用于考試后的試題，要及時統(tǒng)計它們的實測難度，然后對命題教師預估的難度進行校準，使試題的“真實”難度更準確；再次，對實測數(shù)據(jù)進行統(tǒng)計分析，合理調(diào)整組卷策略中的能力層次、覆蓋面及知識點比例，使所組試卷更有效地實現(xiàn)考試目標；最后，還要對題庫系統(tǒng)的軟硬件環(huán)境進行檢查和維護，采取防護措施，確保題庫運行的安全性。

3.4 題庫使用的效果

當前，職業(yè)教育考試題庫的使用主要包括組卷考試及統(tǒng)計分析兩個方面。組卷考試是題庫使用的重要內(nèi)容，所組試卷對試題質量和教學質量進行檢驗，才能發(fā)揮題庫的檢測功能。江蘇加強對中職學考題庫的研究，根據(jù)部分中職學生模擬測試結果，研究確定組卷策略，組卷后由部分中高職院校專業(yè)教師對試卷進行審查校對，最后用于考試。從目前情況看，江蘇中職學考題庫容量大，試題較為成熟，已具備多次考試的基礎。每次入闈組卷時間較短，約一周；需要的專業(yè)教師不多，約20人；根據(jù)考生人數(shù)確定組卷套數(shù)，每次組卷數(shù)百套，試卷數(shù)量大。可以看出，江蘇中職學考題庫極大地節(jié)約了每次封閉命題付出的經(jīng)濟成本，題庫使用的經(jīng)濟效益顯著。

題庫作為教育測量工具，更重要的功能是收集測試數(shù)據(jù)，進行統(tǒng)計分析，從中發(fā)現(xiàn)試題編制、教學過程以及學生學習的問題。江蘇中職學考每次考試結束后，教育部門均組織專家對考試成績進行統(tǒng)計分析，形成分析報告，評價中職學校教學質量和中職學生學業(yè)水平，從而促進中等職業(yè)教育的發(fā)展。由此可見，江蘇中職學考題庫蘊含著巨大的社會效益。

4 題庫發(fā)展趨勢展望

當前，題庫促進了命題模式和工作方式不斷變化，使教育考試進一步科學化、標準化、專業(yè)化、規(guī)范化。從長遠發(fā)展的角度看，題庫將促進現(xiàn)行考試命題理論和技術的改進，推進教育考試改革。題庫已成為一個由計算機管理的動態(tài)的質量控制系統(tǒng)，它不僅是試題本身的管理平臺，也是命題工作的管理平臺，將來還是實現(xiàn)自適應考試的平臺。隨著計算機技術、網(wǎng)絡技術和命題技術的不斷發(fā)展，題庫建設將呈現(xiàn)以下發(fā)展趨勢。

4.1 智能化

所謂題庫智能化，就是由題庫系統(tǒng)自身的邏輯算法對題庫內(nèi)部試題進行分析，能動地實現(xiàn)題庫管理目標和要求，這是標準化題庫建設追求的重要目標。根據(jù)當前題庫建設發(fā)展的要求看，題庫智能化主要包括：一是智能分析試題質量。這是一種考前進行的題庫內(nèi)部分析，主要用來檢測試題的規(guī)范性問題。即根據(jù)題庫實際，將關于試題規(guī)范性和重題等質量方面的人工審查項目交由題庫系統(tǒng)自身來檢測，并將發(fā)現(xiàn)的問題反饋給管理者，由管理者組織專業(yè)教師修訂。盡管這一分析對提高試題質量的作用有限，但這種嘗試有利于提高修訂效率，修訂記錄也可作為分析試題質量的參考。二是智能組卷。目前的題庫根據(jù)考試機構制定的規(guī)則，即通過組卷策略實現(xiàn)自動組卷，而組卷策略卻不能通過題庫系統(tǒng)智能生成。今后的題庫應能夠通過系統(tǒng)分析各門課程的試題情況，綜合考慮覆蓋面、題型、難度、題量等指標，自動生成組卷策略，減少主觀因素對試卷的影響。三是智能等值，即通過對幾年實測數(shù)據(jù)的智能分析，將由題庫系統(tǒng)所組各套試卷的難度控制在規(guī)定區(qū)間，盡量做到試卷間的“同質性”，確?？荚嚨目陀^公平。

4.2 網(wǎng)絡化

題庫網(wǎng)絡化指基于安全和效率，在網(wǎng)絡中對題庫進行建設、維護與管理，主要包括前端網(wǎng)絡化和后端網(wǎng)絡化兩個方面。前端網(wǎng)絡化指題庫建設過程中征題、審題等工作在公共網(wǎng)絡中進行，需要兩個前提：一是公共網(wǎng)絡的安全，即采取措施防范網(wǎng)絡安全風險，確保網(wǎng)絡安全；二是試題內(nèi)涵的界定，按傳統(tǒng)思路，國家題庫屬于涉密信息系統(tǒng)，按照涉密相關的管理規(guī)定，國家題庫的功能定位很難與外部交互[9]。因此，準確界定試題內(nèi)涵對題庫網(wǎng)絡化十分關鍵。由于試題的正式入庫有個過程，故應將正式入庫前與試題有關的內(nèi)容定性為試題素材，命題教師在公共網(wǎng)絡中進行操作，但仍需要求命題教師保密。后端網(wǎng)絡化指審定合格的試題進入正式題庫后，題庫的修訂、組卷、維護等工作在涉密網(wǎng)絡中進行，實行網(wǎng)絡化管理。前端網(wǎng)絡化與后端網(wǎng)絡化并非是完全隔絕的兩個階段，隨著網(wǎng)絡安全技術的日趨成熟及網(wǎng)絡化考試技術的不斷發(fā)展，題庫最終會實現(xiàn)“完全意義”上的網(wǎng)絡化。

4.3 自適應化

題庫的自適應化能夠滿足題庫客觀精準地考查學生學業(yè)水平的要求，與之對應的是“計算機自適應測驗(Computer-Adaptive Test，CAT)”。在題庫系統(tǒng)的構建中，通常以經(jīng)典測量理論(CTT)作為參數(shù)設置、選題策略的指導[10]。通過大數(shù)據(jù)技術，由計算機根據(jù)被試能力水平自動選擇測試題，最終對被試能力進行評估。也就是說，如果考生之前的題目正確率較高，接下來為考生分配更難的題目；如果考生之前的題目正確率較低，接下來為考生分配更簡單的題目。隨著分配試題的變換，計算機系統(tǒng)對被試能力的估計精度越來越高，最后的估計值將聚焦于一點，該點就是被試的能力水平較精確的估計值。這種測驗要求題庫具有很強的自適應能力，以便實現(xiàn)針對不同對象進行檢測并得出相對客觀準確的評價結論，從而提高自適應考試的針對性和有效性，這應是題庫建設發(fā)展的高階目標。

5 結語

建立基于標準化的職業(yè)教育考試題庫，無論是促進考試招生改革發(fā)展，還是推動教育整體發(fā)展，都具有深遠意義。職業(yè)教育考試招生是十分復雜的系統(tǒng)工程，考試面向的對象不同，涉及的學科門類眾多，選拔的目標要求不一，對于題庫建設具有較高的要求。建立大規(guī)模、多課程、全覆蓋的職業(yè)教育考試題庫，要綜合考慮考試的性質、目標、內(nèi)容、特點等因素，明確題庫建設的定量指標和定性指標等技術性要求，建立完整、詳細且滿足需求的指標體系。在此基礎上，系統(tǒng)設計題庫的總體框架，加大相應投入，建設并完善題庫系統(tǒng)。在條件成熟的情況下，逐步探索滿足智能化、網(wǎng)絡化、自適應化要求的職業(yè)教育考試題庫，進一步推動職業(yè)教育考試招生的改革發(fā)展。