陳宇清 郭伊莉
摘要:通過(guò)對(duì)肇慶醫(yī)學(xué)高等專(zhuān)科學(xué)校2018級(jí)高職護(hù)理專(zhuān)業(yè)2個(gè)班級(jí)2019至2020學(xué)年第一學(xué)期《基礎(chǔ)護(hù)理學(xué)》課題期末理論考試網(wǎng)絡(luò)護(hù)理學(xué)(高職)題庫(kù)抽題組卷試卷214份定量分析,顯示網(wǎng)絡(luò)護(hù)理學(xué)題庫(kù)的網(wǎng)絡(luò)平臺(tái)組卷試卷的難度、區(qū)分度、信度、效度、穩(wěn)定性都能較好地滿足設(shè)計(jì)要求,對(duì)學(xué)生進(jìn)行有效評(píng)估。但也存在A、B兩卷均有個(gè)別相互提示題、知識(shí)點(diǎn)之間的重疊,并有部分超綱的題目,缺少“病人的安全”“護(hù)士職業(yè)防護(hù)”內(nèi)容等問(wèn)題,不能滿足《基礎(chǔ)護(hù)理學(xué)》課程標(biāo)準(zhǔn)對(duì)教學(xué)內(nèi)容的全部要求。因此,應(yīng)定期更新試題,使題庫(kù)試題與學(xué)科發(fā)展、教材建設(shè)等保持同步,并繼續(xù)完善網(wǎng)絡(luò)題庫(kù)試題質(zhì)量以及組題方法,以保證科學(xué)評(píng)價(jià)教學(xué)效果。
關(guān)鍵詞:基礎(chǔ)護(hù)理學(xué);試題庫(kù);試卷分析
中圖分類(lèi)號(hào):R471;G642文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):2095-6916(2021)16-0111-03
考試是檢驗(yàn)教學(xué)效果最有效的手段,提高考試的準(zhǔn)確性、客觀性和可靠性,已成為職業(yè)院校教學(xué)與考試改革的重要任務(wù)。教考分離是指將教學(xué)與考試分離進(jìn)行,即將由任課教師命題及評(píng)分的做法,改為由教學(xué)管理部門(mén)組織人員從規(guī)范、標(biāo)準(zhǔn)的試題庫(kù)中科學(xué)篩選、組合出符合要求的試卷,并統(tǒng)一組織考試,統(tǒng)一評(píng)閱試卷[1]。題庫(kù)建設(shè)是實(shí)現(xiàn)考試規(guī)范化、科學(xué)化的重要措施,是實(shí)現(xiàn)考教分離,體現(xiàn)考試的公正與公平原則,促進(jìn)教學(xué)質(zhì)量提高,保證人才培養(yǎng)質(zhì)量的重要手段[2]?!秶?guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要(2010—2020年)》[3]中提出了“在高等教育中需強(qiáng)化信息技術(shù)的應(yīng)用”,在推進(jìn)護(hù)理學(xué)專(zhuān)業(yè)教育改革發(fā)展,加快教育信息化的進(jìn)程,促進(jìn)考試工作科學(xué)化、標(biāo)準(zhǔn)化、規(guī)范化的過(guò)程中,網(wǎng)絡(luò)題庫(kù)作為護(hù)理學(xué)專(zhuān)業(yè)教育評(píng)價(jià)的重要載體發(fā)揮著重要作用?!痘A(chǔ)護(hù)理學(xué)》是護(hù)理學(xué)專(zhuān)業(yè)的核心課程 [2],本研究擬在我校進(jìn)行網(wǎng)絡(luò)題庫(kù)《基礎(chǔ)護(hù)理學(xué)》題庫(kù)的測(cè)試,對(duì)考試成績(jī)、試題難度、區(qū)分度以及試卷的信度和效度等進(jìn)行分析,提出切實(shí)可行的網(wǎng)絡(luò)平臺(tái)試卷命題意見(jiàn),為建立一個(gè)優(yōu)質(zhì)、可靠、系統(tǒng)、有效的《基礎(chǔ)護(hù)理學(xué)》網(wǎng)絡(luò)題庫(kù)提供依據(jù)。
一、對(duì)象與方法
(一) 研究對(duì)象
選擇肇慶醫(yī)學(xué)高等專(zhuān)科學(xué)校2018級(jí)高職護(hù)理專(zhuān)業(yè)2個(gè)班級(jí)2019至2020學(xué)年第一學(xué)期《基礎(chǔ)護(hù)理學(xué)》課程期末理論考試網(wǎng)絡(luò)題庫(kù)抽題組卷試卷214份作為研究對(duì)象,其中試卷A108份,試卷B106份,合計(jì)214份。
(二)研究方法
本研究采用資料分析法。
(三)組卷及考試實(shí)施
1.組卷及試題設(shè)置
考試的題目來(lái)源于某公司網(wǎng)絡(luò)題庫(kù)(護(hù)理學(xué))基礎(chǔ)護(hù)理學(xué)學(xué)科的一類(lèi)題庫(kù),題庫(kù)共有2880道試題,包括填空題、選擇題、簡(jiǎn)答題及案例分析等題型。本次組卷使用網(wǎng)絡(luò)題庫(kù)平臺(tái)系統(tǒng)的“智能組卷”功能,通過(guò)填寫(xiě)題庫(kù)平臺(tái)的“雙向細(xì)目表”設(shè)置題型、子題數(shù)量、分值、難易度比例及考核內(nèi)容要求等,試卷整體難度控制中等,其中較易10%,易20%,中50%,難10%,較難10%,試題按照課程標(biāo)準(zhǔn)要求(了解、熟悉、掌握)及認(rèn)知分級(jí)(記憶、理解、應(yīng)用)設(shè)置合適比例并由試題庫(kù)智能化根據(jù)“雙向細(xì)目表”隨機(jī)出題。組卷完成后,教研室組織非任課教師進(jìn)行全卷及細(xì)目表查看,將超綱的題目進(jìn)行試題的替換操作。為與護(hù)士執(zhí)業(yè)資格考試題型接軌,本次試題題型全部采用單項(xiàng)選擇題(Al/A2、A3/A4),共計(jì)120小題。使用系統(tǒng)的防作弊功能,將同一試卷的試題隨機(jī)排序并對(duì)每道試題設(shè)置為不能回看。
2.考試實(shí)施
課程結(jié)束后1周對(duì)學(xué)生進(jìn)行閉卷考核,學(xué)生登錄指定網(wǎng)址,進(jìn)入題庫(kù)平臺(tái)客戶端,填寫(xiě)賬號(hào)信息,完成考試;對(duì)監(jiān)考教師及任課教師進(jìn)行統(tǒng)一培訓(xùn),保證考試的公平及公正;考試前對(duì)全體學(xué)生開(kāi)展考試系統(tǒng)的學(xué)習(xí)培訓(xùn),確保每個(gè)學(xué)生均掌握了系統(tǒng)的操作方法;考前1天,做好各項(xiàng)硬件設(shè)施的調(diào)試,并安排計(jì)算機(jī)技術(shù)人員參與監(jiān)考,確保當(dāng)考試系統(tǒng)出現(xiàn)問(wèn)題時(shí)能被正確處理,保證考試不被耽誤。
二、結(jié)果
(一)試卷基本情況
試題的考試時(shí)間設(shè)置為90分鐘,全部學(xué)生均在90分鐘內(nèi)交卷,其中1名學(xué)生考試過(guò)程出現(xiàn)過(guò)中斷,重新登錄后順利完成考試。試卷覆蓋了《基礎(chǔ)護(hù)理學(xué)》課程的17章49節(jié),章節(jié)知識(shí)覆蓋率為89.1%,A卷有2題相互提示,2個(gè)考點(diǎn)出現(xiàn)重復(fù),B卷有1個(gè)考點(diǎn)出現(xiàn)重復(fù)。
(二) 成績(jī)分布
2套考試平均成績(jī)分別為92.3分、91.4分(換算成百分制為分75.8及76.6分),及格率為94.4%、95.3%,具體結(jié)果詳見(jiàn)表1??荚嚦煽?jī)分布2套試卷考試成績(jī)均基本符合正態(tài)分布(圖1)。
表1護(hù)理專(zhuān)業(yè)214名學(xué)生《基礎(chǔ)護(hù)理學(xué)》課程考試成績(jī)
試題人數(shù)平均分最高分最低分及格率(%)優(yōu)秀率(%)A卷10892.31164494.47.4B卷10691.41176395.36.6合計(jì)21491.91174494.87.0注:及格率為成績(jī)≥72分(百分制60分);優(yōu)秀率為成績(jī)≥108分(百分制90分)的學(xué)生比例
圖1試卷成績(jī)分布直方圖
(三)試卷質(zhì)量評(píng)價(jià)指標(biāo)
1.難度
難度是指試題或試卷的難易程度,是評(píng)價(jià)試題或試卷質(zhì)量的主要指標(biāo)之一。本研究采試題的通過(guò)率作為難度的指標(biāo),P=X/W,X為樣本平均得分,W為試題總分,當(dāng)P0.3表示試題難度高,0.3
2.試卷的區(qū)分度
區(qū)分度是指試卷區(qū)分考生能力的程度,是評(píng)價(jià)試卷質(zhì)量、篩選試題的主要指標(biāo)和依據(jù)。本研究采用高低分組法[4]計(jì)算區(qū)分度,采用公式為D=(PH-PL)/F計(jì)算,其中PH代表高分組(成績(jī)排序前面27%的部分為高分組)的平均分,PL代表低分組(成績(jī)排序后27%的部分為低分組)的平均分,F(xiàn)代表總分。D0.40表示區(qū)分度很好;0.30D<0.4表示區(qū)分度良好;0.20D<0.30表示區(qū)分度尚可,須跟進(jìn)修改;D<0.19表示區(qū)分度差[5]。結(jié)果顯示,試題區(qū)分度波動(dòng)在0~0.8之間,其中兩卷均存在區(qū)分度為0的題目,A卷整卷的區(qū)分度為0.23,B卷整卷的區(qū)分度為0.22,區(qū)分度尚可。
3.試卷的信度
信度是指測(cè)量工具的可靠性、精確性和穩(wěn)定性的程度,是測(cè)量分?jǐn)?shù)不受測(cè)量誤差影響的程度。因?qū)W生期末考試的不可重復(fù)性,采用Cronbach's系數(shù)法衡量所有題目間的一致性程度。一般認(rèn)為, Cronbach's系數(shù)大于0.7, 即信度較高。統(tǒng)計(jì)結(jié)果顯示,A卷Cronbach's系數(shù)為0.726;B卷Cronbach's系數(shù)為0.715,說(shuō)明2份試卷的信度良好。
4. 效度
測(cè)量效度是指測(cè)量者想從實(shí)際收集和分析的結(jié)果中得到印證的程度,在教育評(píng)價(jià)領(lǐng)域,測(cè)量效度具有準(zhǔn)確性、關(guān)聯(lián)性和實(shí)用性方面的屬性。效度分析包括內(nèi)容效度和試卷效度系數(shù),內(nèi)容效度指考卷的內(nèi)容對(duì)所要考查的全部?jī)?nèi)容的代表程度(符合課程標(biāo)準(zhǔn)的情況),參照課程標(biāo)準(zhǔn),試卷章節(jié)覆蓋率和細(xì)目覆蓋率即為內(nèi)容效度,試卷根據(jù)雙向細(xì)目表在網(wǎng)絡(luò)題庫(kù)中智能組卷,選題滿足考試要求,且避免主觀因素的影響,通過(guò)網(wǎng)絡(luò)題庫(kù)組卷具有較高的內(nèi)容效度,其期望值在90%~95%。后者通過(guò)信度系數(shù)的算術(shù)根(X效=α)評(píng)價(jià)。當(dāng)X效>0.87,表示試卷效度很好,當(dāng)0.75 52套試卷成績(jī)的比較 使用單因素方差分析對(duì)2套試卷的成績(jī)進(jìn)行比較,A、B2套試卷的成績(jī)比較(見(jiàn)表2)。 表2A、B2套試卷成績(jī)比較 平方和自由度均方F值P值組間16.418116.4180.1270.722三、討論 (一) 試卷基本情況分析 2018級(jí)高職護(hù)理專(zhuān)業(yè)A卷考生106人,B卷考生108人,共計(jì)214人,從課程考試成績(jī)的基本情況(表1)和分?jǐn)?shù)分布情況(圖1)來(lái)看,試卷總體情況達(dá)考試要求,2套試卷成績(jī)呈現(xiàn)正態(tài)分布,90~100分占比最大,且全部學(xué)生均在90分鐘內(nèi)交卷,說(shuō)明課程教學(xué)效果較好。從試卷的內(nèi)容分析,A、B2卷均有個(gè)別題相互提示,及個(gè)別考點(diǎn)重復(fù),在組卷時(shí),應(yīng)保持各個(gè)題目的獨(dú)立性,提示在題庫(kù)中的網(wǎng)絡(luò)試題知識(shí)點(diǎn)的歸類(lèi)及編碼應(yīng)確保其正確性,同時(shí)要避免知識(shí)點(diǎn)之間的重疊,并且需要重視超綱、重復(fù)考點(diǎn)以及答案選項(xiàng)不合適等問(wèn)題,同時(shí)某一試題的表述不能成為另外一個(gè)試題的答案或答案提示。試卷覆蓋了《基礎(chǔ)護(hù)理學(xué)》課程的十六章四十九節(jié),章節(jié)知識(shí)覆蓋率為89.1%,說(shuō)明網(wǎng)絡(luò)題庫(kù)題量大,考核范圍較全面,但也有部分超綱的題目,故題庫(kù)智能抽題組卷的內(nèi)容是否適合考生,仍需要教師進(jìn)行審核。同時(shí),在編制“雙相細(xì)目表”時(shí)發(fā)現(xiàn),題庫(kù)內(nèi)容不能滿足《基礎(chǔ)護(hù)理學(xué)》課程標(biāo)準(zhǔn)對(duì)教學(xué)內(nèi)容的全部要求,缺少“病人的安全”“護(hù)士職業(yè)防護(hù)”等內(nèi)容,因此,應(yīng)定期更新試題(題型、內(nèi)容),使題庫(kù)試題與學(xué)科發(fā)展、教材建設(shè)等保持同步。2套試卷中難度值較大的題目主要是A3/A4型題,該題型以臨床案例為題干,要求學(xué)生具有較強(qiáng)的評(píng)判性思維的能力及綜合分析能力,提示學(xué)生將基礎(chǔ)知識(shí)運(yùn)用于臨床實(shí)際案例還有一定的難度。護(hù)理學(xué)是一門(mén)應(yīng)用型學(xué)科,在教學(xué)中應(yīng)需要進(jìn)一步理論結(jié)合實(shí)際,提高學(xué)生的臨床判斷、臨床決策和綜合分析能力。 (二)試卷質(zhì)量分析 高質(zhì)量的試卷應(yīng)難易度適中,覆蓋面廣,且具有較高的區(qū)分度、信度和效度,學(xué)生考試成績(jī)呈正態(tài)分布[5]。2卷難度分別為0.76及0.77,整體難度適中,題目難度的確定,主要取決于考試的目的和類(lèi)型,本次考試的目的主要是檢驗(yàn)指定年級(jí)學(xué)生的《基礎(chǔ)護(hù)理學(xué)》課程的學(xué)習(xí)情況,考試難度應(yīng)該是中等難度[3],該網(wǎng)絡(luò)題庫(kù)的智能組卷功能可以預(yù)設(shè)試題難度,調(diào)整不同難度題目的比例。由此可見(jiàn),高質(zhì)量的網(wǎng)絡(luò)題庫(kù)網(wǎng)絡(luò)平臺(tái)出卷可以更好地控制試卷整體難度,較好地實(shí)現(xiàn)考試目的。2套試卷的區(qū)分度均大于0.22,提示考題對(duì)學(xué)生能力的區(qū)分度尚可,課程評(píng)價(jià)型考核對(duì)區(qū)分度要求不高,適中即可,主要是試卷內(nèi)容的覆蓋面要廣。試題的區(qū)分度波動(dòng)0~0.8,在其中2卷均存在區(qū)分度為0的題目,一方面可能確實(shí)存在需要?jiǎng)h除的題目,另一方面也可能與本研究的樣本量較小有關(guān)。2套試題信度系數(shù)均大于0.70,提示試題的穩(wěn)定性和可靠性程度在正常范圍,考試結(jié)果可信,此次成績(jī)能較為真實(shí)地反映學(xué)生實(shí)際水平。試卷的內(nèi)容效度達(dá)89.1%,提示題庫(kù)已有題目跟“雙向細(xì)目表”匹配度高,試卷效度系數(shù)均為0.85,效度等級(jí)為“較好”,說(shuō)明試卷與要考核的內(nèi)容比較吻合。2套試卷比較的單因素方差分析P值為0.722,P值大于0.05,提示2套試卷的成績(jī)沒(méi)有統(tǒng)計(jì)學(xué)差異,說(shuō)明該網(wǎng)絡(luò)題庫(kù)試題屬性,如題目?jī)?nèi)容、參考答案、所屬章節(jié)、難度系數(shù)、知識(shí)點(diǎn)歸類(lèi)等準(zhǔn)確性高,基于網(wǎng)絡(luò)題庫(kù)的《基礎(chǔ)護(hù)理學(xué)》課程試題組卷題目質(zhì)量穩(wěn)定、可靠,在隨機(jī)智能組卷的考試中能滿足試題考試設(shè)計(jì)要求,且保證考試的公平性。 結(jié)論 基于網(wǎng)絡(luò)護(hù)理學(xué)題庫(kù)的網(wǎng)絡(luò)平臺(tái)自動(dòng)組卷,提高了出卷的效率,可通過(guò)“雙向細(xì)目表”從題庫(kù)中準(zhǔn)確、高效地挑選合適的題目,基于網(wǎng)絡(luò)題庫(kù)的組卷試卷的難度、區(qū)分度、信度、效度、穩(wěn)定性都能較好地滿足設(shè)計(jì)要求,說(shuō)明試題可靠有效,整卷質(zhì)量較好,能真實(shí)反映學(xué)生的學(xué)習(xí)效果,達(dá)到考核目的,是對(duì)學(xué)生該門(mén)課程理論水平的有效評(píng)估方法。為適應(yīng)護(hù)理學(xué)學(xué)科發(fā)展趨勢(shì),護(hù)理學(xué)專(zhuān)業(yè)題庫(kù)內(nèi)試題的內(nèi)容和題型需要不斷更新和完善,開(kāi)發(fā)有效可靠的測(cè)試題是一個(gè)持續(xù)改進(jìn)的過(guò)程,可基于規(guī)劃教材知識(shí)內(nèi)容變化進(jìn)行試題增刪,對(duì)難度過(guò)大或區(qū)分度較差的題型,進(jìn)行適當(dāng)修改或刪除,同時(shí)應(yīng)進(jìn)一步完善題庫(kù)的功能(選題、組卷和反饋等),使試卷更真實(shí)反映教學(xué)效果及學(xué)生的知識(shí)掌握情況。網(wǎng)絡(luò)題庫(kù)試題的基本類(lèi)型包括選擇題、名詞解釋、填空題、簡(jiǎn)答題和案例分析等,本研究?jī)H對(duì)護(hù)士執(zhí)業(yè)考試相關(guān)題型進(jìn)行了分析,接下來(lái)會(huì)根據(jù)教學(xué)環(huán)節(jié)的需要,進(jìn)一步開(kāi)展對(duì)于其他題型的測(cè)試研究。 參考文獻(xiàn): [1] 張雪艷,馬立立.高?!敖炭挤蛛x”多元化評(píng)價(jià)機(jī)制的構(gòu)建[J].沈陽(yáng)師范大學(xué)學(xué)報(bào),2016(5). [2] 陳明.基于教考分離制度的藥理學(xué)試題庫(kù)建設(shè)研究[J].衛(wèi)生職業(yè)教育,2016(15). [3] DIANEM,BILLINGS,JUDIH A HALSTEAD,等.護(hù)理教師必讀——實(shí)用教學(xué)指導(dǎo)[M].孫宏玉,主譯.北京:北京大學(xué)出版社,2019. [4] 楊永利,程志偉,杜玉慧,等.預(yù)防醫(yī)學(xué)專(zhuān)業(yè)《衛(wèi)生統(tǒng)計(jì)學(xué)》試卷質(zhì)量評(píng)價(jià)[J].中國(guó)衛(wèi)生統(tǒng)計(jì),2016(4). [5] 閆平,王榮福,張春麗,等.八年制臨床醫(yī)學(xué)專(zhuān)業(yè)核醫(yī)學(xué)課程考試成績(jī)和試卷分析的評(píng)價(jià)與思考[J].中華醫(yī)學(xué)教育雜志,2017(1). 作者簡(jiǎn)介:陳宇清(1980—),女,漢族,廣東肇慶人,單位為肇慶醫(yī)學(xué)高等專(zhuān)科學(xué)校,主要研究方向?yàn)樽o(hù)理教育和腫瘤護(hù)理。 郭伊莉(1984—),女,漢族,廣東潮州人,單位為肇慶醫(yī)學(xué)高等專(zhuān)科學(xué)校,主要研究方向?yàn)樽o(hù)理教育和護(hù)理心理。 (責(zé)任編輯:董惠安)