摘要:在信息化技術(shù)和作戰(zhàn)模式不斷發(fā)展變革的形勢(shì)下,為滿足作戰(zhàn)部隊(duì)提高操作使用能力和快速形成戰(zhàn)斗力的需要,采用理論學(xué)習(xí)和操作訓(xùn)練相結(jié)合、模擬訓(xùn)練和實(shí)裝操作相結(jié)合、單兵訓(xùn)練和體系訓(xùn)練相結(jié)合的訓(xùn)練裝備體系正在成為部隊(duì)進(jìn)行裝備訓(xùn)練的重要方式。為對(duì)訓(xùn)練裝備體系的使用效果進(jìn)行評(píng)估,本文研究建立了一套訓(xùn)練裝備使用效果評(píng)估方法,評(píng)估作戰(zhàn)部隊(duì)使用訓(xùn)練裝備體系進(jìn)行訓(xùn)練的效果,為工業(yè)部門設(shè)計(jì)和改進(jìn)訓(xùn)練裝備提供理論支撐,為部隊(duì)采購(gòu)和使用訓(xùn)練裝備提供理論依據(jù)。
Abstract: Under the situation of continuous development and change of information technology and operation mode, in order to meet the needs of improving operational capability and rapidly forming combat effectiveness of the combat forces, the training equipment system which combines theoretical learning and operational training, simulation training and practical operation, individual training and system training is becoming an important way of equipment training. In order to evaluate the use effect of training equipment system, this paper studies and establishes a set of evaluation method to evaluate the use effect of training equipment system by combat forces, to provide theoretical support for industrial departments to design and improve training equipment, and to provide theoretical basis for departments to purchase and use training equipment.
關(guān)鍵詞:訓(xùn)練裝備體系;使用效果;評(píng)估;信息化
Key words: training equipment system;use effect;evaluation;informatization
中圖分類號(hào):TP29 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào):1006-4311(2020)19-0211-03
0 ?引言
在信息化技術(shù)和作戰(zhàn)模式不斷發(fā)展變革的形勢(shì)下,科技進(jìn)步促進(jìn)高技術(shù)裝備大量列裝部隊(duì),但實(shí)戰(zhàn)化要求帶來(lái)的高訓(xùn)練強(qiáng)度將對(duì)裝備帶來(lái)大量損耗,進(jìn)而提高裝備的維修保障費(fèi)用和不可用時(shí)間。為提高部隊(duì)的訓(xùn)練水平,實(shí)現(xiàn)戰(zhàn)斗力的快速形成和提升,理論學(xué)習(xí)和操作訓(xùn)練相結(jié)合、模擬訓(xùn)練和實(shí)裝操作、單兵訓(xùn)練和體系訓(xùn)練相結(jié)合的訓(xùn)練裝備體系正逐漸成為裝備訓(xùn)練的重要手段。
開(kāi)展訓(xùn)練裝備體系使用效果的評(píng)估,是裝備訓(xùn)練不可缺少的環(huán)節(jié),有利于建立完善訓(xùn)練裝備體系的使用效果評(píng)估機(jī)制,有利于實(shí)現(xiàn)訓(xùn)練裝備體系的有效管理,有利于推動(dòng)訓(xùn)練內(nèi)容、訓(xùn)練方式和訓(xùn)練產(chǎn)品的改進(jìn)和革新。當(dāng)前針對(duì)訓(xùn)練裝備的研究集中于訓(xùn)練裝備的體系架構(gòu)[1]、產(chǎn)品[2]和訓(xùn)練方式[3],針對(duì)訓(xùn)練裝備使用效果的評(píng)估僅關(guān)注操作人員的部分操作能力,如文獻(xiàn)[4]和文獻(xiàn)[5]選取了指揮能力、維修能力、情報(bào)能力等幾個(gè)方面對(duì)裝備使用人員進(jìn)行虛擬仿真訓(xùn)練的效果進(jìn)行了評(píng)估,維度較為單一,沒(méi)有站在用戶角度對(duì)訓(xùn)練裝備體系的使用效果進(jìn)行系統(tǒng)性的評(píng)估,未形成一套完善的考評(píng)體系。國(guó)外學(xué)者對(duì)培訓(xùn)效果評(píng)估的模型已進(jìn)行了大量研究,其中最為廣泛和經(jīng)典的是Kirkpatrick提出的四級(jí)評(píng)價(jià)模型,從評(píng)估的深度和難度將培訓(xùn)效果分為四個(gè)遞進(jìn)的層次:反應(yīng)、知識(shí)、行為、效果[6]。這一模型簡(jiǎn)稱柯式模型,模型形式雖簡(jiǎn)單,但全面、系統(tǒng)、操作性強(qiáng)。綜上,本文將基于柯式四級(jí)評(píng)估模型建立訓(xùn)練裝備體系使用效果的評(píng)估框架,對(duì)評(píng)估的指標(biāo)體系和評(píng)估方法進(jìn)行論述。
1 ?訓(xùn)練裝備體系使用效果評(píng)估指標(biāo)體系
1.1 構(gòu)建原則
構(gòu)建訓(xùn)練裝備體系使用效果評(píng)估指標(biāo)體系的目的在于準(zhǔn)確全面地對(duì)訓(xùn)練裝備體系的使用效果、訓(xùn)練效果進(jìn)行評(píng)估,能夠檢驗(yàn)部隊(duì)使用訓(xùn)練裝備提升理論水平、實(shí)操能力的效果,查找訓(xùn)練裝備體系設(shè)計(jì)中的不足,為教員制定培訓(xùn)訓(xùn)練計(jì)劃提供指導(dǎo),為訓(xùn)練裝備的設(shè)計(jì)改進(jìn)提供依據(jù)。因此,為滿足上述要求,訓(xùn)練裝備體系使用效果評(píng)估指標(biāo)體系應(yīng)滿足以下原則。
1.1.1 全面性
全面性原則是指評(píng)估指標(biāo)的選取應(yīng)該能夠覆蓋訓(xùn)練裝備體系使用的各個(gè)方面,全面考慮訓(xùn)練裝備體系的使用者、使用方式和使用目標(biāo)。訓(xùn)練裝備體系使用過(guò)程中,涉及多種角色,采用理論培訓(xùn)、實(shí)操訓(xùn)練等多種方式,對(duì)各類崗位、流程和任務(wù)進(jìn)行訓(xùn)練,構(gòu)建訓(xùn)練裝備體系使用效果評(píng)估指標(biāo)體系時(shí),應(yīng)能夠保證構(gòu)建的指標(biāo)體系能夠全面完整系統(tǒng)地體系出訓(xùn)練裝備體系使用過(guò)程中各環(huán)節(jié)存在的問(wèn)題,對(duì)訓(xùn)練過(guò)程中的任務(wù)流程和崗位角色配合進(jìn)行跟蹤、評(píng)判。
1.1.2 針對(duì)性
針對(duì)性原則是指評(píng)估指標(biāo)的選取能夠有針對(duì)性地對(duì)訓(xùn)練裝備體系使用過(guò)程中的各種元素進(jìn)行度量和評(píng)估,在全面性的基礎(chǔ)上體現(xiàn)差異性,依據(jù)不同元素的重要性賦予相應(yīng)的權(quán)重。學(xué)員通過(guò)訓(xùn)練裝備體系對(duì)專業(yè)基礎(chǔ)理論、單兵單項(xiàng)操作、流程協(xié)同操作、故障處置操作等多種技能進(jìn)行訓(xùn)練,不同訓(xùn)練內(nèi)容下不同操作產(chǎn)生的最終影響不同,應(yīng)針對(duì)各項(xiàng)訓(xùn)練內(nèi)容的特點(diǎn)建立有針對(duì)性的細(xì)化指標(biāo)。
1.1.3 導(dǎo)向性
導(dǎo)向性是指訓(xùn)練裝備體系使用效果評(píng)估的指標(biāo)體系應(yīng)該能夠反映訓(xùn)練裝備體系的易用性、有效性,引導(dǎo)訓(xùn)練裝備的設(shè)計(jì)單位進(jìn)行設(shè)計(jì)和改進(jìn),以使訓(xùn)練裝備的使用更加方便,更加高效地提升學(xué)員的專業(yè)技能。
1.1.4 可操作性
指標(biāo)體系的建立最終是為了對(duì)訓(xùn)練裝備體系的使用效果評(píng)估進(jìn)行有效的應(yīng)用,因此,指標(biāo)的選取和計(jì)算應(yīng)具有較強(qiáng)的可操作性??刹僮餍詮?qiáng)主要包括三個(gè)方面:1)指標(biāo)數(shù)目應(yīng)合理,力求用精煉的指標(biāo)體現(xiàn)全面性、針對(duì)性和導(dǎo)向性的特征;2)指標(biāo)計(jì)算所需數(shù)據(jù)應(yīng)可測(cè)可獲取;3)指標(biāo)計(jì)算方法應(yīng)邏輯清晰、簡(jiǎn)潔易行。
1.2 指標(biāo)體系的構(gòu)建
本文將柯式評(píng)估模型與訓(xùn)練裝備的架構(gòu)、功能和使用流程相結(jié)合,構(gòu)建訓(xùn)練裝備體系使用效果評(píng)估的指標(biāo)體系。
訓(xùn)練裝備體系分為基礎(chǔ)理論培訓(xùn)層、模擬操作訓(xùn)練層和實(shí)裝操作訓(xùn)練層三個(gè)層次?;A(chǔ)理論培訓(xùn)層通過(guò)教員教學(xué)和學(xué)員自學(xué)的方式使學(xué)員掌握裝備相關(guān)專業(yè)的基礎(chǔ)理論。模擬操作訓(xùn)練層通過(guò)模擬仿真或半實(shí)物仿真等形式模擬真實(shí)的操作流程,對(duì)學(xué)員的實(shí)際操作進(jìn)行遞進(jìn)式訓(xùn)練,操作訓(xùn)練內(nèi)容從是否故障注入的角度可分為正常流程操作和故障處置操作,從角色參與范圍的角度可分為單兵操作、分隊(duì)操作和全系統(tǒng)全流程合成操作。實(shí)裝操作訓(xùn)練層是指學(xué)員通過(guò)操作真實(shí)裝備進(jìn)行訓(xùn)練,是訓(xùn)練的最高層次。訓(xùn)練裝備體系的使用者分為管理員、教員和學(xué)員三種角色,其中管理員是對(duì)訓(xùn)練裝備進(jìn)行系統(tǒng)管理、安全管理的人員,教員是進(jìn)行教學(xué)計(jì)劃安排和教學(xué)實(shí)施的人員,學(xué)員是各個(gè)崗位、專業(yè)需要進(jìn)行學(xué)習(xí)的人員。
構(gòu)建訓(xùn)練裝備體系使用效果評(píng)估指標(biāo)體系如圖1所示。
根據(jù)柯式評(píng)估模型,將指標(biāo)體系分為四個(gè)維度:反應(yīng)維、知識(shí)維、行為維和效果維。反應(yīng)維體現(xiàn)的是訓(xùn)練裝備的使用者在使用整個(gè)訓(xùn)練裝備過(guò)程中最直接的感受,包括管理員、教員和學(xué)員的使用過(guò)程中對(duì)訓(xùn)練裝備的評(píng)價(jià)。知識(shí)維是指學(xué)員在經(jīng)過(guò)訓(xùn)練裝備體系的訓(xùn)練后對(duì)理論知識(shí)的掌握情況,通過(guò)基礎(chǔ)理論培訓(xùn)層的理論考試對(duì)學(xué)員的知識(shí)維水平進(jìn)行考核。行為維是指學(xué)員通過(guò)訓(xùn)練裝備體系的訓(xùn)練后實(shí)際操作的水平,可通過(guò)模擬操作訓(xùn)練層和實(shí)裝操作訓(xùn)練層對(duì)學(xué)員操作的數(shù)據(jù)進(jìn)行考核評(píng)分。效果維是指學(xué)員通過(guò)訓(xùn)練后對(duì)整個(gè)部隊(duì)的能力提升的影響,可通過(guò)全流程訓(xùn)練、演習(xí)和實(shí)戰(zhàn)任務(wù)中的操作情況進(jìn)行評(píng)估。
四個(gè)維度的一級(jí)指標(biāo)分別為綜合滿意度、理論培訓(xùn)成績(jī)、操作行為成績(jī)和綜合表現(xiàn)成績(jī)。
反應(yīng)維對(duì)應(yīng)的“綜合滿意度”下一級(jí)設(shè)置“管理員滿意度”、“教員滿意度”和“學(xué)員滿意度”3個(gè)二級(jí)指標(biāo),分別對(duì)管理員、教員和學(xué)員使用的滿意度進(jìn)行評(píng)價(jià),覆蓋了所有使用訓(xùn)練裝備的角色種類。管理員滿意度表征管理員日常對(duì)系統(tǒng)正常和故障狀態(tài)下進(jìn)行運(yùn)維和管理操作的滿意度,設(shè)置性能管理滿意度和故障管理滿意度;教員滿意度表征教員在制定教學(xué)計(jì)劃、實(shí)施教學(xué)、使用理論培訓(xùn)教材和批閱試卷等操作的滿意度;學(xué)員滿意度表征學(xué)員在進(jìn)行學(xué)習(xí)和考試過(guò)程中的滿意度。
知識(shí)維對(duì)應(yīng)的“理論培訓(xùn)成績(jī)”下一級(jí)設(shè)置“基礎(chǔ)理論成績(jī)”、“操作理論成績(jī)”和“故障處置理論成績(jī)”3個(gè)二級(jí)指標(biāo),基礎(chǔ)理論成績(jī)表征學(xué)員對(duì)武器系統(tǒng)的功能組成、基本原理等知識(shí)的掌握情況,操作理論成績(jī)表征學(xué)員對(duì)負(fù)責(zé)崗位的正常流程操作知識(shí)的掌握情況,故障處置理論成績(jī)表征學(xué)員對(duì)異常情況的分析和相關(guān)處置措施理論的掌握情況。
行為維對(duì)應(yīng)的“操作行為成績(jī)”下一級(jí)設(shè)置“正常流程操作成績(jī)”和“故障處置操作成績(jī)”2個(gè)二級(jí)指標(biāo),表征各學(xué)員進(jìn)行正常流程下的操作和故障流程下的故障定位、處置操作。正常流程操作成績(jī)由口令正確性、操作正確性和操作及時(shí)性決定,故障處置操作成績(jī)由故障定位正確性、故障處理及時(shí)性和故障處置正確性決定。
效果維對(duì)應(yīng)一級(jí)指標(biāo)為“綜合表現(xiàn)成績(jī)”,表征整個(gè)部隊(duì)在使用訓(xùn)練裝備進(jìn)行培訓(xùn)訓(xùn)練后在實(shí)戰(zhàn)演練中的綜合表現(xiàn)。
2 ?訓(xùn)練裝備體系使用效果評(píng)估指標(biāo)計(jì)算方法
評(píng)估指標(biāo)計(jì)算采用自下而上的評(píng)估流程,每個(gè)維度的指標(biāo)從低層次逐級(jí)向上進(jìn)行綜合評(píng)估,以一級(jí)指標(biāo)作為各維度評(píng)估結(jié)果。各維度各級(jí)指標(biāo)都采用歸一化處理,以0-100的分值進(jìn)行評(píng)估,保證評(píng)估的標(biāo)準(zhǔn)化。
2.1 反應(yīng)維
反應(yīng)維指標(biāo)通過(guò)問(wèn)卷調(diào)查和算術(shù)平均方法進(jìn)行計(jì)算,計(jì)算流程如圖2所示。
具體步驟為:①向所有管理員、教員和學(xué)員分別發(fā)放調(diào)查問(wèn)卷,其中,向每位管理員分別發(fā)放性能管理滿意度問(wèn)卷和故障管理滿意度問(wèn)卷,向每位教員分別發(fā)放計(jì)劃滿意度問(wèn)卷、教學(xué)滿意度問(wèn)卷、教材滿意度問(wèn)卷和批閱滿意度問(wèn)卷,向每位學(xué)員發(fā)放學(xué)習(xí)滿意度問(wèn)卷和考試滿意度問(wèn)卷,每份問(wèn)卷的評(píng)分為0-100分,問(wèn)卷評(píng)分即各項(xiàng)滿意度的評(píng)估結(jié)果;②分別對(duì)每位管理員、教員和學(xué)員所做的問(wèn)卷評(píng)分結(jié)果進(jìn)行算術(shù)平均,得到單人“管理員滿意度”、單人“教員滿意度”和單人“學(xué)員滿意度”;③將單人“管理員滿意度”、單人“教員滿意度”和單人“學(xué)員滿意度”分別進(jìn)行算術(shù)平均,得到全體“管理員滿意度”、全體“教員滿意度”和全體“學(xué)員滿意度”;④將得到的全體“管理員滿意度”、全體“教員滿意度”和全體“學(xué)員滿意度”進(jìn)行算術(shù)平均,得到綜合滿意度,即為反應(yīng)維指標(biāo)計(jì)算結(jié)果。
2.2 知識(shí)維
知識(shí)維指標(biāo)通過(guò)理論考試和算術(shù)平均的方式進(jìn)行量化評(píng)估,計(jì)算流程為知識(shí)維:首先對(duì)每一位學(xué)員的三項(xiàng)考試成績(jī)進(jìn)行算術(shù)平均,得到單人“理論培訓(xùn)成績(jī)”,然后對(duì)所有學(xué)員的單人“理論培訓(xùn)成績(jī)”進(jìn)行加權(quán)平均,得到全體“理論培訓(xùn)成績(jī)”,即為知識(shí)維指標(biāo)計(jì)算結(jié)果。
2.3 行為維
行為維指標(biāo)通過(guò)操作評(píng)分、算術(shù)平均和加權(quán)平均的方法進(jìn)行量化評(píng)估。對(duì)每個(gè)學(xué)員的正常流程操作成績(jī)和故障處置操作成績(jī)進(jìn)行算術(shù)平均,得到每個(gè)學(xué)員的單人“操作行為成績(jī)”,然后對(duì)所有學(xué)員的單人“操作行為成績(jī)”進(jìn)行算術(shù)平均,得到全體“操作行為成績(jī)”,即為行為維指標(biāo)計(jì)算結(jié)果。
正常流程操作成績(jī)和故障處置操作成績(jī)的具體計(jì)算方法如下。
2.3.1 正常流程操作成績(jī)
每個(gè)學(xué)員的最終正常流程操作成績(jī)是由學(xué)員參與的所有正常流程評(píng)分進(jìn)行加權(quán)平均得到的,每個(gè)項(xiàng)目的權(quán)重由專家根據(jù)流程的重要性和安全性影響評(píng)分得到。每個(gè)學(xué)員在每個(gè)項(xiàng)目中的正常流程操作成績(jī)是通過(guò)對(duì)學(xué)員在負(fù)責(zé)崗位進(jìn)行操作訓(xùn)練時(shí)的口令正確性、操作正確性和操作及時(shí)性進(jìn)行綜合評(píng)定獲取的,計(jì)算公式如下式所示。
2.3.2 故障處置操作成績(jī)
每個(gè)學(xué)員的最終故障處置操作成績(jī)是由學(xué)員參與的所有故障處置操作項(xiàng)目評(píng)分進(jìn)行加權(quán)平均得到的,每個(gè)項(xiàng)目的權(quán)重由專家根據(jù)項(xiàng)目的重要性評(píng)分得到。與正常流程操作成績(jī)的計(jì)算方法類似,每個(gè)學(xué)員在每個(gè)項(xiàng)目中的故障處置操作成績(jī)是通過(guò)對(duì)學(xué)員在負(fù)責(zé)崗位進(jìn)行操作訓(xùn)練時(shí)的故障定位正確性、故障處置正確性和故障處理及時(shí)性進(jìn)行綜合評(píng)定獲取的,計(jì)算公式如下式所示。
2.4 效果維
效果維指標(biāo)“綜合表現(xiàn)成績(jī)”通過(guò)對(duì)整個(gè)部隊(duì)的訓(xùn)練素質(zhì)、任務(wù)執(zhí)行情況等綜合表現(xiàn)進(jìn)行定性分級(jí)量化,并由專家打分評(píng)定,分值為[0,100]。
3 ?結(jié)語(yǔ)
本文提出的訓(xùn)練裝備使用效果評(píng)估方法包括指標(biāo)體系和指標(biāo)計(jì)算方法,是基于訓(xùn)練裝備的體系和作戰(zhàn)部隊(duì)的訓(xùn)練方式構(gòu)建的,不僅能夠用于評(píng)估作戰(zhàn)部隊(duì)的訓(xùn)練效果,也能夠用于評(píng)估訓(xùn)練裝備體系的設(shè)計(jì)水平,為工業(yè)部門設(shè)計(jì)和改進(jìn)訓(xùn)練裝備提供理論支撐,為部隊(duì)采購(gòu)和使用訓(xùn)練裝備提供理論依據(jù)。
參考文獻(xiàn):
[1]鄭超,周暢,張陽(yáng),劉宸寧,陽(yáng)加遠(yuǎn).信息化條件下的訓(xùn)練裝備體系研究[J].信息技術(shù)與信息化,2020(01):220-224.
[2]賈麗,杜浩,李梓,等.基于虛擬現(xiàn)實(shí)技術(shù)的裝備維修訓(xùn)練系統(tǒng)設(shè)計(jì)[J].科技資訊,2019,017(008):11-13.
[3]雷震,李慶全,何國(guó)良,等.信息化條件下美軍武器裝備訓(xùn)練的主要做法及啟示[J].中國(guó)科技信息,2015(007):67-68,75.
[4]羅博峰,謝常達(dá),彭雙震.虛擬仿真訓(xùn)練效果評(píng)估研究[J]. 艦船電子工程,2019(11).
[5]時(shí)揚(yáng).裝備虛擬訓(xùn)練評(píng)估問(wèn)題研究[J].艦船電子工程,2019,39(06):15-16,27.
[6]Craig R L. The ASTD training and development handbook: A guide to human resource development[M]// The ASTD training and development handbook : a guide to human resource development. 1996.