摘要:文章采用“沙漠掘金”經(jīng)典課程改編的沙盤模擬情景任務,對某通信公司的64名員工進行施測,考察分析決策能力、計劃組織能力、溝通協(xié)調(diào)能力和團隊意識四大類特征,將測評結果與其他測評方法進行關聯(lián)分析,驗證了測評的效度。并分析了本次測評在分組人數(shù)安排和任務難度設置方面的不足,指出了沙盤模擬用于測評上需要注意和改進的地方。
關鍵詞:沙盤模擬;人才測評;評價中心;構想效度
一、 沙盤模擬的簡介
沙盤模擬是一種管理仿真游戲(Simulation Game),其思想源于軍事作戰(zhàn)指揮中用沙堆對地形地貌進行模擬,將外部環(huán)境和內(nèi)部資源用直觀的方式明白呈現(xiàn),以便組織進行討論決策。沙盤模擬通常設計為一場操作簡單、過程直觀的情境式任務,對復雜的管理問題進行模擬,使企業(yè)經(jīng)營管理的各個環(huán)節(jié)簡單化、直觀化。這種游戲可以幫助參與者快速了解企業(yè)流程,“在實踐中學習”管理策略。因而最初是用于管理教學引入中國。
由于沙盤模擬集角色扮演、案例分析和專家診斷于一體,又兼具游戲性強、操作性強、團隊合作性強等特點,能夠展現(xiàn)參與者多方面的能力素質(zhì),因而很適合作為一種測評技術。在有名的央視商戰(zhàn)模擬比賽——《贏在中國》欄目中,就多次用到ERP(Enterprise Resource Planning)沙盤模擬,用以考察參賽者們的戰(zhàn)略思維、團隊合作、資源規(guī)劃、分析決策等方面的能力素質(zhì)。它的新穎性、直觀性和趣味性也受到了一些企業(yè)的青睞,但比起結構化面試、無領導小組討論等評價中心技術,仍不夠成熟和缺少接受度。當前的學術研究也主要圍繞沙盤模擬的教學培訓作用,如軟件工具的使用、考核模式、教學滿意度等實證研究,缺少對將沙盤模擬作為一種測評手段的應用研究。
二、 運用于人才測評
本研究目的在于考察沙盤模擬的評價功能,并對測評效果進行效度分析。
1. 施測對象??紤]到沙盤模擬是一個團隊游戲,團隊內(nèi)部有明確的分工,應試者需要承擔不同的角色,這種情況很適合經(jīng)營性企業(yè)的不同職能的應試者的招聘或選拔。在本研究中,選用的施測對象是某通信公司的員工,涉及策劃、采購、營銷、人力資源、技術五大職能部門共64人。
2. 測驗工具。在模擬情境的設計上,選用根據(jù)“沙漠掘金”這一經(jīng)典的ERP沙盤模擬游戲改編的“抗震救災”情境任務。
“沙漠掘金”課程設計了一個幾支探險家隊伍分別穿越沙漠爭奪金礦的模擬場景,通過設計天氣變化,行程路線上的障礙,金幣的使用、水和食物的采購等,將企業(yè)工作中的種種問題如戰(zhàn)略管理、目標決策、資源配置、團隊關系等折射出來。參與者們通過選擇、決策、行動導致不同的結果,從而引發(fā)思索,自覺引導自身行為的改變。該課程目前已經(jīng)被列入清華大學、浙江大學多家高校的EMBA課程;同時也被Coco-cola、Philips、上汽集團等多家公司采用作為內(nèi)訓。
“抗震救災”的情境設置與“沙漠掘金”類似,不同之處在于將前往金礦掘金的任務變成了前往災區(qū)救災,成功的條件是最快到達目的地,以及所余的資源(包括水、食物和金幣)總量最多。其他如出發(fā)前的準備,中途各隊之間可進行資源交換,以及天氣障礙等等都一樣。
3. 評分方法。根據(jù)任務情境,結合中層管理者勝任特征要求,專家們討論決定將“分析決策”、“計劃組織”、“溝通協(xié)調(diào)”、“團隊意識”四種能力素質(zhì)作為測評指標要素。其具體含義見表1。計分采用10分制。評分標準為優(yōu):9.0~10.0;良:7.5~8.5;中:6.0~7.0;差:6.0以下;最小起評分為0.5分。
三、 測評的實施和結果
1. 測驗的實施。事先將64名被試分為8組,分組依據(jù)是盡量使一組包含不同部門的人,也考慮到組員之間的自主選擇。并每組配備一名專家,以在比賽過程中在旁觀察記錄,并根據(jù)評分表對各人表現(xiàn)進行打分。
在安靜空曠的大廳中擺有8張桌子,每組組員在規(guī)定位置就坐。每人手中都發(fā)放有規(guī)則解說單,在主持人講解完測評規(guī)則,宣布比賽開始后,眾人開始討論和決定。中央大屏幕顯示時間和天氣狀況,每一組都必須在規(guī)定時間內(nèi)做出決策,并有工作人員幫忙督促和隨時更新各組數(shù)據(jù)。
2. 測評的結果。首先將各人得分匯總,結合各指標的分數(shù)高低和小組中的表現(xiàn)來判斷應試者的角色類型(領導者、策劃者、決策者、組織者、協(xié)調(diào)者、配合者、個人主義者、一般參與者),專家根據(jù)應試者在沙盤模擬環(huán)節(jié)的綜合表現(xiàn)以及在團隊中發(fā)揮的作用對被試形成綜合性評價。
在本研究中,為了檢驗沙盤模擬的測評效度,在沙盤模擬測驗施測之前采用《管理者素質(zhì)診斷測驗》(MCT)對實驗對象進行了測量。《管理者素質(zhì)診斷測驗》(MCT)是國內(nèi)人才測評C公司自主研發(fā)的管理素質(zhì)測驗工具,包含一千五百道管理情境性試題,考察七大類通用管理素質(zhì)。經(jīng)過多年的實踐檢驗,擁有良好的信度和效度。在本研究中使用了“分析決策能力”、“團隊領導能力”、“計劃控制能力”、“溝通協(xié)調(diào)能力”四大管理素質(zhì)分測驗。
此處首先通過考察沙盤模擬和《管理者素質(zhì)診斷測驗》(MCT)的相容效度,來驗證測評的有效性。將兩種評價方式的結果進行標準分數(shù)轉(zhuǎn)化,然后進行相關分析,得到表2。
兩種測驗方法的結果之間具有顯著性相關,表明在《管理素質(zhì)測驗》中得分優(yōu)異的人,往往在沙盤模擬測驗中也表現(xiàn)優(yōu)異,沙盤模擬的測評效果與《管理素質(zhì)測驗》趨于一致。
3. 測評維度的構想效度檢驗。沙盤模擬是否很好地測量了應試者在“分析決策”、“計劃組織”、“溝通協(xié)調(diào)”、“團隊意識”4個測評維度上的表現(xiàn),是這種評價技術的構想效度的體現(xiàn)。從測量學的角度來說,構想效度是指測驗能夠測量到理論上的構想和特質(zhì)的程度,即測驗的結果是否能證實或解釋某一理論的假設。前面采用的相容效度是從測驗整體考察所考察對象的有效性,此處采用多質(zhì)多法(Multitrait-multimethod Matrix Appro-ach,簡稱MTMM)來對沙盤模擬所考察的特質(zhì)維度的構想效度進行驗證。
多質(zhì)多法是多種特質(zhì)在多種測評方法中進行評定時對構想效度的檢驗方法。用這種方法可以決定會聚效度和區(qū)分效度。作為構想效度的兩個重要指標,會聚效度是指同一種測評維度在不同測評方法之間的相關;區(qū)分效度是指同一測評方法內(nèi)不同測評維度之間不相關的程度。
對沙盤模擬的構想效度進行驗證時,沙盤模擬和管理素質(zhì)測驗共有的測評維度被看成是特質(zhì),兩種測評方法則被看成是方法。如果沙盤模擬和管理素質(zhì)測驗兩種測評方法以特質(zhì)維度作為測評要素的構想正確的話,則作以下假設:
假設一:兩種測評方法間的同一測評維度顯著相關,即會聚效度高;
假設二:這種會聚效度高于沙盤模擬內(nèi)不同維度之間的相關度,即會聚效度高于區(qū)分效度。
對兩種測評方法的得分進行相關分析后,從表3中數(shù)據(jù)可看出,不同測評方法測量同一維度的匯聚效度,要低于同一方法內(nèi)測量不同維度的區(qū)分效度。假設失敗。但這一結果與以前研究者的研究結論是相符的,原因稍后討論。
四、 討論
1. 測驗結果的解釋。多特多質(zhì)法的結果表示沙盤模擬與MCT測驗兩種測評方法對同一測評要素的匯聚效度低于區(qū)分效度,這是為什么呢?原因可能是多方面的,首先,同一測評維度在不同的測評情境中的不一致性是一個重要原因。表面上名稱相同的測評維度在不同測評情境中的定義內(nèi)涵、可被觀察到的表現(xiàn)行為不同,影響了最后結果的相關性。其次是評分者對同一測評情境中的不同測評維度難以區(qū)分,可能籠統(tǒng)地去評判,導致同一測評情境中的測評維度間的評分獨立性較低,相關較高,這也會影響到多質(zhì)多法的區(qū)分效度和會聚效度。
事實上,對于決定情境性測驗的評分結果,測評情境(測評方法)的影響大于測評維度的影響,即情境測驗實際上考察的是應試者在不同情境中的表現(xiàn),(下轉(zhuǎn)第62頁)而不是測評維度上的表現(xiàn)。這一觀點已被多項研究證實。正是由于情境測驗的評價方法在構想維度上存在嚴重問題,在人才測評中開始提倡以任務為導向的評價中心技術。這種方法提倡我們在設計情境測驗時舍棄構建測評維度,直接選取真實的工作任務為測評情境,并根據(jù)任務分析法得到的行為列表對應試者在測評中的行為表現(xiàn)進行評價,根據(jù)客觀的行為列表評分及總體評分做出人才選拔決策。這種方法不僅簡化了測評的程序,得到的評價結果也更有意義。
2. 沙盤模擬測評的設計。本次測評的目的是用于研究,所以選用被試人數(shù)較多。限于專家人手限制,每組分為8人,結果在操作過程中出現(xiàn)有些組員被擠到外圈子去,插不上話,事不關己的現(xiàn)象,這對測評的效果也會有一定的影響。建議與無領導小組討論一樣,每組5人~6人為佳。在測評的時間上,原定為兩小時,但最后卻因為大家都沒完成任務,不得不加時。這對如何控制好任務難度,以及操作的標準化提出了改進的要求。
將沙盤模擬用于人才測評的研究,反過來也會對沙盤模擬作為課程教學的改進和提高起到一定作用。在教學方面如使用Excel工具、進行學員之間的互相評分等,也對沙盤模擬的測評應用有著啟示和借鑒。隨著人力資源管理中測評選拔技術的不斷升級,新型的、更加仿真化的人才測評手段越來越被人們需要。沙盤模擬作為一種新興的情境測評技術,受到許多測評公司的關注和青睞,但在實際應用中尚處于起步階段,有著廣闊的空間等著人們?nèi)ヌ剿骱烷_發(fā)。
參考文獻:
1. 岳琴,李桂榮.ERP沙盤企業(yè)模擬經(jīng)營實驗考核模式探索.商業(yè)經(jīng)濟,2012,(1).
2. 陳紅兵,牛江濤,楊彥楠.Excel在ERP沙盤比賽中的應用.中國管理信息化,2009,(16).
3. 戴海琦,張鋒,陳雪楓.心理與教育測量.暨南大學出版社,2007,(1).
4. 周子玉,劉耀中.以任務為導向的評價中心技術. 中國人力資源開發(fā),2009,(8).
作者簡介:葉茂林,華東師范大學心理學博士,暨南大學管理學院企業(yè)管理系/人力資源管理研究所及暨南大學管理人才評價中心教授、博士生導師,人力資源管理教研室主任,研究生導師,中國心理學會社會心理學分會理事;張珊珊,暨南大學管理學院應用心理系碩士生;孟晉,勝任力人才測評公司。
收稿日期:2012-05-18。