鄭瓊,胡麗君
(1.溫州醫(yī)科大學 婦兒教研室,浙江 溫州325035;2.重慶醫(yī)科大學附屬兒童醫(yī)院 兒外科,重慶400014)
??谱o士[1]的培養(yǎng)給臨床護理人員在專業(yè)發(fā)展上提供了一個全新的平臺。系統(tǒng)規(guī)范的??谱o士培養(yǎng)體系的建立需要依賴多種手段,其中最重要的就是對??谱o士進行專業(yè)的培訓與考核[2]。培訓是促進受訓對象達到所要求的規(guī)范標準的途徑,考核則是檢驗培訓效果和篩選培訓合格的??谱o士的主要手段。專科護士培養(yǎng)體系的建立對??谱o士能力的提升和價值的實現(xiàn)具有重要意義。專科護士考核一般分為實驗考核與理論考核,目前,我國對于??谱o士培訓的相關研究較多,但是對于專科護士考核的研究相對較少。為此,本研究以教育學理論為指導設計了兒科??谱o士理論考核試卷,現(xiàn)報道如下。
1.1 研究對象 選擇2010-2011年參加兒科??谱o士培訓的護士共32名,均為女性,年齡23~48歲,平均(30.8±3.2)歲;兒科工作年限:3~5年12名,5~7年5名,8~10年8名,>10年7名;學歷:中專3名,大專22名,本科7名;職稱:護師21名,主管護師8名,副主任護師3名。
1.2 方法
1.2.1 組建考核試卷設計小組 遵從教考分離原則,考核試卷設計小組成員不與培訓教師重復。考核試卷設計小組共包括11名成員,其中主任醫(yī)生1名、副主任醫(yī)師2名、副主任護師2名、主管護師2名、兒科教研室教學人員5名和護理研究生1名。
1.2.2 考核試卷的設計
1.2.2.1 設計依據 (1)考核的類型 為了能更科學有效地設計考核試卷,設計前應先確定考核的目的與類型,并依據不同考核目的采用不同的考核設計標準和考核方案。①確定考核的測試性質:考核分為總結性測試和診斷性測試2種類型[3]??偨Y性測試的目的是為了了解培訓對象所掌握知識、技能的程度,確定培訓對象在后續(xù)教學過程中的學習起點及預知其在后續(xù)教程中成功的可能性,并為重新制訂新的教學目標而提供依據。診斷性測試的目的是為了在教學啟動前,了解培訓對象已經掌握的知識和技能水平,在此基礎上合理調整教學內容,從而更有效地適應培訓對象的學習需要。本研究中,理論考核的目是為了了解并判斷參訓人員知識與技能的掌握程度是否達到要求,因此本研究中的理論考核就應兼具總結性和診斷性測試的性能。②確定考核類型:在教育學中,考核類型包括標準參照考核和常模參照考核2種。標準參照考核[4]又被稱為目標參照考核,用于評定受試人員對所要求內容的掌握水平是否已經達到某一標準,是一種參照一組明確設定的目標或能力而編制的考題,反映的是考生對知識掌握的弱點和欠缺,例如自學考試和高中畢業(yè)會考等。常模參照考核[3]又被稱為選拔性考核,是依照常模來解釋考生的成績、比較考生成績高低的考核。其方式為預先確定考核所需要選拔的人數(shù),在考核后確定標準標準分數(shù)線,符合此標準線的受試人員則被選拔,如高考和研究生入學考試等。本研究中的理論考核是為了了解參加培訓的兒科護理人員是否達到兒科??谱o士的基本要求,并通過考核發(fā)現(xiàn)其存在的不足,以便為后續(xù)的培訓提供參照,故屬于標準參照考核。③依據考核類型實施命題設計:標準參照考核和常模參照考核在命題設計上有很大區(qū)別[5]。標準參照考核只要求把達標與未達標的考生嚴格區(qū)分開,難度分布應較廣,能反映不同內容,不過分追求每道試題的區(qū)分度。常模參照考核要求把不同水平的考生盡可能地區(qū)分開,一般試題難度中等,但區(qū)分度要大。本研究中的理論考核是為了區(qū)分參考人員中達標者與不達標者,如在考核中有一部分考點應該是參考人員需掌握的基本內容,可能大部分甚至全部參考人員都能回答,無需過分追求該類試題的區(qū)分度,因此在命題設計時應重點考慮標準參照考核的需要和特點。(2)認知的不同層次 Blom等[6]將教育的目標分為3個領域,即認知、情感和運動技能目標領域。理論考核主要考查的是認知目標領域,該領域是由識記、領會、應用、分析、綜合和評價共6個層次構成的一個完整體系。在該體系中,低層次是高層次的基礎,高層次是在低層次要求上的提高和發(fā)展,由簡單到復雜。本研究依據兒科的??铺攸c,在試題設計時歸納出了4個認知層次,其所占的比重分別為:①20%識記層次,指能夠正確表述和認識科學事實、原理、規(guī)律和術語,知道課程的基礎知識,并能正確地進行判斷和選擇;②30%理解層次,指能將所學知識加以歸納和解釋,能領悟某一原理或概念與其他原理或概念之間的聯(lián)系與區(qū)別,并能做出正確的解釋和表述;③35%簡單應用層次,指能用所學的概念、方法和原理正確地分析和解決較為簡單的問題;④15%綜合應用層次,指能夠運用所學知識,靈活分析和解決較為復雜的問題。(3)培訓內容 依照理論知識培訓的內容和要求設計考核試卷:65%的護理理論知識,其中5%為相關護理學基礎理論、10%為護理專業(yè)基本操作理論、20%為兒科??萍膊∽o理理論、20%為兒科??铺厥庾o理技術理論、10%為兒科??谱o理進展;35%的兒科疾病理論知識,其中10%為相關兒科專業(yè)基礎知識、20%為兒科專科疾病知識、5%為兒科??萍膊≈R進展。
1.2.2.2 試題難度的預設 在教育學的經典測量理論(classical measurement theory,CTT)[7]中,難度為考生答題時所感受出的困難程度,反映在數(shù)值上就是考生在該試題上的得分率或通過率,通常又被稱為統(tǒng)計難度,統(tǒng)計難度不是試題本身的屬性,而是試題對于一組特定考生的適應性,其數(shù)值會隨著受測群體的變化而發(fā)生改變,常常被用于測試后的評價。而在項目反應理論(item response theory,IRT)中[8],難度則被定義為試題本身固有的一種特性,試題的難易程度取決于剛好能夠答對的那一部分人自身水平的高低,水平高的剛好能夠答對該測試題,而水平低的可能不能答對,該題則難;水平低的剛好也能答對該測試題,該題則易。這種難度與考生的能力建立在同一水平上,其設定往往來源于試卷設計人員對考核對象水平的主觀估計,但又不因設計人員主觀估計的變化而改變。依據兒科??铺攸c及專家函詢結果的綜合分析,設計小組選擇采用IRT理論來預設試題難度,很難、較難、一般和較易難度試題的比例分別為5∶30∶45∶20;考核后采用CTT理論對試題進行分析。
1.2.2.3 試卷題型、題量、分值分布和完卷時間的預設 試卷總分100分,共有單項選擇題(包括A1、A2、A3和A4型4種)、填空題、名詞解釋、簡答題和論述題5種題型。其中選擇題共40題,每題1分;填空題5題共14空,每空0.5分;名詞解釋共9題,每題2分;簡答題共6題,可選做5題,每題4分;論述題1個,包括3小問題,每個小問題的分值分別為3、3、9分??陀^性與主觀性試題的分值比例接近1∶1,完卷時間為2h。
1.2.3 試卷的修改和生成 (1)試卷的修改 通過專家函詢法,試卷設計小組對試卷的版面、試題表述的準確性和簡潔性、試題與教學大綱內容的相符性、命題方案與認知層次的一致性、考點內容的必要性和重要性、標準答案的準確性、評分標準的合理性等都進一步加以修正。設計小組對試卷共進行了5次修改,對論述題的設計和修改進行了3次專題討論。(2)試卷的生成 使用《試卷管理和試卷自動生成系統(tǒng)V 1.0.0版》軟件,將試題逐題輸入軟件內,自動生成A、B、C共3套理論考核試卷。隨機抽取其中2套試卷作為考核試卷,其中被抽取的A卷為培訓前考核試卷,C卷為培訓后考核試卷,B卷則作為備用試卷(故以下僅分析A、C卷)。試卷統(tǒng)一由專人印刷、封存、保管,遵循教考分離的原則。
1.3 考核試卷的評價指標 (1)信度:反應試卷成績的可靠程度,用Cronbachα系數(shù)反映,要求>0.7。(2)效度:由12位相關專家根據試題表述的準確性與簡潔性、試題設置與教學大綱內容的相符性、命題方案與認知層次的一致性、考試內容的必要性和重要性、標準答案的準確性及評分標準的合理性等評價每道試題的內容效度CVI值,要求>0.8。采用Likert 5級計分法,“非常同意”為5分、“比較同意”為4分、“一般”為3分、“比較不同意”為2分、“不同意”為1分。(3)難度的評價:用“統(tǒng)計難度”即以答對試題的考生人數(shù)與總考生人數(shù)的比(用P表示)來反映試題的難易程度。衛(wèi)生部國家考試中心規(guī)定,難度值<0.4為“難”、0.4~0.8為“中”、>0.8為“易”。(4)區(qū)分度:反映了考核試題對不同水平考生的區(qū)分程度和辨別能力。區(qū)分度≥0.4,試題很好;0.30~0.39,試題良好;0.20~0.29,試題尚可,仍需改進;≤0.19,試題應考慮修改或放棄。
1.4 統(tǒng)計學處理 采用SPSS 14.0統(tǒng)計軟件及重慶醫(yī)科大學統(tǒng)計學教研室提供的試卷定量分析系統(tǒng)2.0版本作試卷及數(shù)據分析,難度評價采用正態(tài)性檢驗(W檢驗),以P<0.05或P<0.01表示差異有統(tǒng)計學意義。
結果顯示,本研究設計的兒科專科護士考核試卷內容效度均>0.8,說明試卷版面形式設計較合適,表述也比較準確、清晰、簡潔,對知識體系的代表性較好,能體現(xiàn)考核的目的和要求;試卷的信度、效度、難度及區(qū)分度的情況見表2、3、4。
表1 試卷的總體分析
表2 試卷及各類題型的難度系數(shù)
表3 試卷及各類題型的區(qū)分度
表4 試卷難度與區(qū)分度的綜合分析
3.1 考核試卷題型分配和形式符合兒科專科護士的考核需要
3.1.1 考核試卷題型分配合理 考核試卷中的客觀性試題為單選題和填空題,主觀性題為名詞解釋、簡答和問答題,客觀題和主觀題的分值分別設定為47、53分,比例接近1∶1。對于以衡量被測者是否達到要求標準為目的的標準參照考試類型,題型分配比較合理。
3.1.2 考核試卷形式符合要求 理論考核中,應保證試卷的組織形式或試題的呈現(xiàn)形式不影響考生的答題質量。因此,試題在表述上應保證意思表達清晰且準確,試卷在組織形式上應簡潔有條理。如果考生需花費大量時間才能讀懂試題題干或對試題在表述上就產生了主觀理解偏差,這都可能影響考生答題的速度和效果。此外,試題內容能否很好地代表所考核的知識體系也可能影響考生的答題質量。表1中,試卷的內容效度均高于0.8,說明了試卷版面形式上設計較合理,表述也比較準確、清晰和簡潔,試卷對知識體系的代表性較好,能體現(xiàn)考核的目的和要求。
3.2 進一步提高試卷信度、難度系數(shù)
3.2.1 控制隨機誤差,提高試卷信度 試卷的信度Cronbachα系數(shù)均高于0.7,說明試卷在對考生成績的檢測上比較可靠,此試卷可以考慮采用??梢酝ㄟ^提高試卷設計的信度來提高試卷的可靠度,而Cronbachα系數(shù)的大小主要受隨機誤差的影響,而影響隨機誤差的因素又比較復雜,如試題的難度、命題質量、試題的題量、考試的時間設置、評分中的主觀性,甚至考場的紀律都可能是影響Cronbachα系數(shù)的因素。為了減少這些隨機誤差,本研究遵循“五嚴”原則,具體為:(1)嚴格的教考分離制度:試卷設計人員與實施培訓的教師為2套,禁止互相交流試卷內容,以免授課內容可能存在的傾向性。(2)嚴格的命題制度:由具有豐富教學和命題經驗的教師進行命題,出題范圍嚴格依照教學大綱的要求,多次討論、審核并修改試題的形式與內容,以保證命題質量。(3)嚴格的試卷管理和保密制度:試卷從命題、印刷、分裝和保管都必須由專員管理,貼上封條并僅能在考試當場開封,考試完畢后即由監(jiān)考人員將答卷密封上交。(4)嚴格的監(jiān)考制度:嚴肅考場紀律,使考試的結果能真實客觀地反映出每一位考生的能力和水平。(5)嚴格的試卷批閱制度:制訂標準答案并給出明確的得分點,在閱卷前對改卷人員實施統(tǒng)一培訓以保證評分標準的一致性。實施封閉閱卷,進行2次評分,取2次分數(shù)的平均值,以減少試卷評分過程中產生的主觀誤差。
3.2.2 篩選合適的試題區(qū)分度和難度系數(shù) 試卷質量的整體評價由區(qū)分度和難度系數(shù),構成。表2顯示,兩套試卷的整體難度系數(shù)均在0.4~0.8,說明本研究設計的試卷難度較適中。在試卷的5類題型中,A卷名詞解釋的難度比較大,A、C卷中其他題型的難度較適中,符合試卷設計的預設要求。本研究依照Seyer理論,綜合分析了試題的難度和區(qū)分度,將不同質量的試題人為地劃分為7大類,所占比例如表4所示,一類、二類理想試題為35.48%,六類不可接受試題為9.68%,七類試題為19.35%(這類試題為視情況保留或刪除試題)。因此如果需要進一步完善試卷,則應適當修改第六類試題,使其更能符合考核的要求,而對于一類及二類等較為理想的試題則加以保留。
3.3 需要注意的問題
3.3.1 區(qū)分度 區(qū)分度作為篩選和完善試題的主要依據,受到多種因素的影響,如試題太難或太易等。太難的試題所有人都可能答錯,太容易的試題所有人都可能答對,這都會使試題區(qū)分度為零。此外,由于理論知識中某些非常重要且必須掌握的內容,可能大多數(shù)人通過培訓后也都能掌握,因此在標準參照考核類型的考核中,這類試題的區(qū)分度也可能會為零。這都是需要在刪除無區(qū)分度或區(qū)分度小的試題時綜合考慮的因素,這類試題需要依據考核的實際情況而作適當刪除或保留。
3.3.2 難度系數(shù) 考生自身水平可能造成難度系數(shù)對區(qū)分度的影響。難度系數(shù)高的試題對水平高來說,區(qū)分度有可能會相對較高;而對水平低的考生來說,如果大家都答不對,那區(qū)分度就可能比較低甚至為零。難度系數(shù)低的試題對水平低的考生來說,區(qū)分度可能會相對較高;而對水平高的考生來說,由于可能出現(xiàn)都答對的情況,這時區(qū)分度就會比較低甚至為零。所以,在設計考核試題時應依據考核的目的綜合地考慮統(tǒng)計難度和區(qū)分度。本研究以測試護理人員是否達到相關標準為目的,因此對試題統(tǒng)計難度要求應當適中,且對區(qū)分度的要求并不高。
[1]梁玉華.澳門護理發(fā)展:回顧與前瞻[J].中國護理管理.2004,4(6):60-62.
[2]Lyon B L,Minarik P A.Statutory and regulatory issues for clinical nurse specialist practice:Ensuring the public’s access to CNS service[J].Clin Nurse Specialist,2001,15(3):108-114.
[3]佟慶偉.常模參照考試與目標參照考試[J].教育理論與實踐,1990,10(1):28-30.
[4]許華琳.常模參照性測試與尺度參照性測試比較[J].寧波大學學報:教育科學版.2004,26(3):79-81.
[5]劉景軒,趙世明.標準參照考試的概念與理論問題[M].中國高等醫(yī)學教育,1998,(2):39-41.
[6]李建新.布魯姆的“目標教學”理論及在教學實踐中的應用[J].楚雄師專學報,2000,15(4):92-94.
[7]沐守寬.CTT與IRT測量原理之比較[J].上海師范大學學報:基礎教育版,2010,35(4):6-9.
[8]趙守盈,石艷梅,朱丹.項目反應理論在大規(guī)模選拔性考試試題質量評價中的應用[J].教育學報,2013(1):71-77.