戶 鯤，李 睿

(1.北京宇航系統(tǒng)工程研究所，北京100076；2.中國運載火箭技術(shù)研究院戰(zhàn)術(shù)武器事業(yè)部，北京100076)

1 引言

靶場試驗是國防武器裝備研制的重要環(huán)節(jié)，貫穿了研制、生產(chǎn)、使用和維護的全過程，能夠為研制單位設(shè)計驗證、生產(chǎn)單位工藝驗證、武器裝備定型、部隊列裝等提供依據(jù)。一項武器裝備研制過程中通常需要進行多次靶場試驗任務(wù)。

隨著國防現(xiàn)代化的發(fā)展，國防工業(yè)企業(yè)在研武器裝備多，研制周期緊張，靶場試驗任務(wù)越來越密集。建立一套科學(xué)、合理的靶場試驗任務(wù)績效評估體系，分析每次靶場試驗任務(wù)的績效改進點，并指導(dǎo)后續(xù)靶場試驗任務(wù)的開展，對國防工業(yè)企業(yè)降低任務(wù)成本、增加任務(wù)產(chǎn)出以及實現(xiàn)企業(yè)目標(biāo)具有重要的現(xiàn)實意義。

一些學(xué)者對靶場試驗任務(wù)的評估開展了研究。陳萬玉等[1]提出了一種結(jié)合卓越績效管理模式的質(zhì)量管理體系，提高了靶場試驗的運行績效。馬駿等[2]提出建立資深的考評隊伍和先進的訓(xùn)練監(jiān)控評估系統(tǒng)，采取人機結(jié)合的評估方法，對靶場試驗任務(wù)進行定量與定性的考評。魏陽等[3]提出一種試驗技術(shù)狀態(tài)管理方法，從試驗技術(shù)狀態(tài)的角度對靶場實驗結(jié)果進行評定。韓建軍等[4]分析了國防工業(yè)企業(yè)的特點，提出了融入科研生產(chǎn)、質(zhì)量管理、綜合計劃等指標(biāo)的完成型和增量型相結(jié)合的考核評價體系，為靶場試驗任務(wù)評估提供了參考。還有一些學(xué)者聚焦在靶場試驗任務(wù)的質(zhì)量管理[5]、風(fēng)險控制[6]、靶場建設(shè)[7]等方面。

對靶場試驗任務(wù)績效評估的研究多是從質(zhì)量管理的角度，通過分析所滿足的質(zhì)量標(biāo)準(zhǔn)來對靶場試驗任務(wù)進行績效評估。雖然一些研究提出了參考指標(biāo)，但沒有指明具體的量化評估方法。本文結(jié)合國防工業(yè)企業(yè)的實際情況，設(shè)計相關(guān)指標(biāo)，采用DEA方法對靶場試驗任務(wù)進行定量化的績效評估。

2 靶場試驗任務(wù)績效評估方法

2.1 評估方法選擇

靶場試驗任務(wù)的績效評估是指對照統(tǒng)一的標(biāo)準(zhǔn)，對試驗任務(wù)的質(zhì)量保證、計劃管理、資源利用、成本控制等方面做出綜合評價，從而對靶場任務(wù)的效率和效果進行客觀評判。對靶場試驗任務(wù)進行績效評估具有一些特殊性。首先，評估標(biāo)準(zhǔn)特殊。圓滿成功是靶場試驗任務(wù)追求的首要目標(biāo)，為實現(xiàn)這一目標(biāo)，各項工作都有嚴(yán)格的質(zhì)量要求和過程控制，績效評估需要參照和遵循相關(guān)質(zhì)量和標(biāo)準(zhǔn)文件。其次，評估指標(biāo)特殊。在相關(guān)質(zhì)量和標(biāo)準(zhǔn)文件中，對程序和規(guī)范的描述有時候是定性描述，需要仔細(xì)分析這些描述并設(shè)計定量指標(biāo)，以便收集這些指標(biāo)來建模分析。最后，評估主體特殊。鑒于靶場試驗任務(wù)一般都具有保密性要求，評估主體應(yīng)當(dāng)是試驗任務(wù)的組織者，不能有外部獨立評估機構(gòu)參與，評估主體所關(guān)心的相關(guān)利益應(yīng)當(dāng)納入模型設(shè)計中。

靶場試驗任務(wù)績效評估的結(jié)果應(yīng)當(dāng)盡量客觀，減少人為主觀因素的影響?？紤]到一項武器裝備研制過程需要開展多次靶場試驗任務(wù)，對于這種重復(fù)性強的評估對象，評估結(jié)果還要能夠指導(dǎo)后續(xù)靶場試驗任務(wù)的開展?；谝陨弦蛩?，設(shè)計合適的績效評估方法非常重要。

績效評估方法的研究廣泛存在于企業(yè)管理、政府管理、公共事業(yè)管理等領(lǐng)域[8]-[10]，常用的方法包括層次分析法(Analytic Hierarchy Process，AHP)，模糊綜合評價法(Fuzzy Comprehensive Evaluation，F(xiàn)CE)以及數(shù)據(jù)包絡(luò)分析法(Data Envelopment Analysis，DEA)等。AHP和FCE經(jīng)常結(jié)合使用：首先AHP確定各項指標(biāo)的權(quán)重，然后運用FCE求出被評估對象的綜合評分[11]。AHP方法，以及AHP和FCE結(jié)合的方法，評估過程中都包含大量主觀成分。用這兩種方法對靶場試驗任務(wù)開展績效評估還存在一定的不足：靶場試驗任務(wù)具有大規(guī)模、綜合性強的特點，這就需要大量的指標(biāo)標(biāo)度工作，容易引起專家判斷混亂，從而得到不一致的判斷矩陣；解決矩陣不一致性的過程往往也比較耗時，需要專家進行多輪迭代；這兩種方法還不能很好地指出績效改進的問題點，在解決突出問題并指導(dǎo)后續(xù)任務(wù)開展方面有所欠缺。

相較而言，DEA方法結(jié)合“相對效率評估”的思想，無需先給定輸入、輸出權(quán)向量，分析更具客觀性。另外，DEA方法能夠衡量某一次靶場試驗任務(wù)相對最優(yōu)靶場試驗任務(wù)的差距，并給出具體的調(diào)整量，適合用來對靶場試驗任務(wù)進行績效評估。本文采用DEA系列模型中規(guī)模報酬不變條件下的C2R模型和規(guī)模報酬變化條件下的BC2模型對靶場試驗任務(wù)績效進行評估。

2.2 規(guī)模報酬不變條件下的C2R模型

C2R模型由Charnes、Cooper和Rhodes三位學(xué)者[]提出，是經(jīng)典的DEA模型。C2R模型用于評估決策單元是否總體具有有效性。

設(shè)需要評價p次靶場試驗任務(wù)，分別表示為Ti，其中i=1，2，…，p。每次試驗任務(wù)都具有m種類型輸入，表示試驗任務(wù)對“資源”的消耗，設(shè)Ti的輸入為向量xi=(x1，i，x2，i，…，xm，i)T。每次試驗任務(wù)都具有n種類型輸出，表示試驗任務(wù)取得的“產(chǎn)出”，設(shè)Ti的輸出為向量yi=(y1，i，y2，i，…，yn，i)T。又設(shè)m種類型輸入的權(quán)系數(shù)為向量v=(v1，v2，…，vm)T，n種類型輸出的權(quán)系數(shù)為向量u=(u1，u2，…，un)T。

利用投入產(chǎn)出比的指標(biāo)對試驗任務(wù)進行效率評價，則試驗任務(wù)Ti的效率評價值為(uTyi)/(vTxi)。當(dāng)對特定的第r次試驗任務(wù)Tr進行相對績效評估時，可以選取適當(dāng)?shù)臋?quán)系數(shù)向量v和u，使得Tr效率評價值最大，基于該思路就得到C2R模型

(1)

(2)

表1 C2R模型有效性判斷準(zhǔn)則

若Tr為技術(shù)無效，說明在現(xiàn)有技術(shù)水平下，Tr輸入太多而輸出太少。θ*值越小，效率越低，改進空間也就越大。若Tr為弱技術(shù)有效，說明Tr在保持原輸出不變的條件下輸入可以減少S-*，或者在保持原輸入不變的條件下，輸出可以增加S+*。若Tr為技術(shù)有效，說明Tr的運作效率高，全部輸入都發(fā)揮了最大限度的效用，獲得了最大的輸出。

2.3 規(guī)模報酬可變條件下的BC2模型

C2R模型隱含著規(guī)模報酬不變的假設(shè)，即在試驗任務(wù)規(guī)模效率等于1的條件下去分析其技術(shù)效率。實際情況中，非DEA有效既有可能受技術(shù)無效率的影響，也有可能受規(guī)模不合理的影響。Banker、Charnes和Cooper等[13]改進以上局限并提出了BC2模型，將規(guī)模報酬不變條件下的技術(shù)效率ET分解為規(guī)模報酬可變條件下的純技術(shù)效率EPT和規(guī)模效率Es的乘積，即ET=EPT×Es。純技術(shù)效率是指排除規(guī)模因素外，單純從技術(shù)角度進行有效性評估。規(guī)模效率評估實際規(guī)模與最優(yōu)規(guī)模之間的差距。BC2模型如下

(3)

表2 BC2模型有效性判斷準(zhǔn)則

3 靶場試驗任務(wù)績效評估分析

3.1 決策單元選擇

DEA模型的決策單元即評估對象，可以是企事業(yè)單位、技術(shù)方案、事件活動等。決策單元選取的主導(dǎo)原則是：就其“輸入的資源”和“輸出的產(chǎn)品”而言，每個決策單元都可以看作是相同的實體，即每個決策單元有相同的輸入和輸出[14]。同型號的靶場試驗任務(wù)由于任務(wù)背景基本相同，投入和產(chǎn)出可進行橫向比較，滿足上述要求。本文選取某單位近3年某型號執(zhí)行成功的7次靶場試驗任務(wù)作為待評估的決策單元。

3.2 輸入輸出指標(biāo)

績效評估的內(nèi)容體現(xiàn)在輸入輸出指標(biāo)的設(shè)計。每一次靶場試驗任務(wù)，均需要投入一定的人力、物力和時間。另外，配套的質(zhì)量活動也是靶場試驗任務(wù)取得圓滿成功的有力保障。這些對于國防工業(yè)企業(yè)而言都屬于靶場試驗任務(wù)的成本。從以上4個角度梳理得到某型號靶場試驗任務(wù)輸入指標(biāo)如表3所示。表中隱去了一些每一次靶場試驗任務(wù)輸入量都相同的輸入指標(biāo)。

表3 某型號靶場試驗任務(wù)輸入指標(biāo)

技術(shù)崗位人員數(shù)量，包括型號總師、副總師、技術(shù)顧問、測試人員、特種車輛司機等人員的數(shù)量。服務(wù)保障崗位人員數(shù)量，包括政工、保衛(wèi)、保密、技安、醫(yī)生、司機、廚師、攝影攝像、會計等相關(guān)人員的數(shù)量。參試設(shè)備數(shù)量，包括所有參與靶場試驗任務(wù)的單機、系統(tǒng)級測試設(shè)備的數(shù)量。車輛調(diào)配數(shù)量，即靶場試驗任務(wù)期間所有保障類車輛調(diào)配次數(shù)總和。測試時間，指靶場試驗任務(wù)期間實際有開展技術(shù)陣地測試、發(fā)射陣地測試工作的天數(shù)。測試等待時間，包括測前準(zhǔn)備、測試期間暫停、無效測試、測試完成后等待的天數(shù)總和。質(zhì)量復(fù)查報告數(shù)量，指在靶場試驗任務(wù)期間開展質(zhì)量復(fù)查工作所產(chǎn)生的報告數(shù)量。質(zhì)量復(fù)查應(yīng)該盡可能在靶場試驗任務(wù)進場之前完成，靶場試驗任務(wù)期間的質(zhì)量復(fù)查報告越少越好。

從待評估的靶場試驗任務(wù)收集得到的輸入指標(biāo)數(shù)據(jù)如表4所示，表中所有數(shù)據(jù)都已經(jīng)過脫密處理。

表4 某型號靶場試驗任務(wù)輸入數(shù)據(jù)

參照某單位質(zhì)量工作體系和質(zhì)量工作要求中有關(guān)靶場試驗任務(wù)的描述，以及評估主題所關(guān)注的指標(biāo)，從組織指揮、技術(shù)操作、設(shè)備設(shè)施、任務(wù)軟件、成本管理5方面進行梳理，得到某型號靶場試驗任務(wù)輸出指標(biāo)如表5所示。

表5 某型號靶場試驗任務(wù)輸出指標(biāo)

問題處理及時率，指能夠按照質(zhì)量要求及時處理的靶場問題數(shù)占發(fā)生問題總數(shù)的比率。試驗文書正確率，指未出現(xiàn)差錯的試驗文書數(shù)量占總數(shù)量的比率，試驗文書是靶場工作的指導(dǎo)依據(jù)，包括管理類及技術(shù)類文件、圖紙、通知單等。技術(shù)操作正確率，指在靶場試驗任務(wù)的重要時段，如技術(shù)陣地測試、發(fā)射陣地測試、進場、轉(zhuǎn)場、加注、發(fā)射等階段，技術(shù)操作正確次數(shù)占總共操作次數(shù)的比率。設(shè)備設(shè)施正常率，指整個靶場試驗任務(wù)過程中，設(shè)備設(shè)施正常運行的次數(shù)，占總使用次數(shù)的比率。測試工位保障率，指在技術(shù)陣地測試和發(fā)射陣地測試期間，有效保障測試的工位數(shù)占所需工位數(shù)的比率。靶場測試工位通常為公共設(shè)施。任務(wù)軟件正確率，指整個靶場試驗任務(wù)過程中，軟件正常運行的次數(shù)占軟件總運行次數(shù)的比率。成本超預(yù)算比率，指靶場試驗任務(wù)期間實際費用超過預(yù)算費用的比率，包括交通費、住宿費、伙食費、運輸費等，顯然成本超預(yù)算比率越低，試驗任務(wù)效率越高。為符合DEA模型應(yīng)用條件，本文采用“1-x”方法，即利用1減去原始值得到“1-成本超預(yù)算比率”指標(biāo)。

從待評估的靶場試驗任務(wù)收集得到的輸出指標(biāo)數(shù)據(jù)如表6所示，表中所有數(shù)據(jù)都已脫密處理。

表6 某型號靶場試驗任務(wù)輸出數(shù)據(jù)

3.3 模型計算分析

運用pyDEA軟件進行模型計算，得到靶場試驗任務(wù)的C2R模型評估結(jié)果和BC2模型評估結(jié)果分別如表7和表8所示。

表7 某型號靶場試驗任務(wù)C2R模型評估結(jié)果

表8 某型號靶場試驗任務(wù)BC2模型評估結(jié)果

從表7可以看出，各靶場試驗任務(wù)的技術(shù)效率分別為0.8229、1、1、1、0.9395、1、1。相對于T2、T3、T4、T6、T7，試驗任務(wù)T1、T5技術(shù)無效。

對于T1，在維持輸出指標(biāo)數(shù)據(jù)不變的條件下，技術(shù)崗位人員數(shù)量可以減少28.3257；服務(wù)保障崗位人員數(shù)量可以減少2.7662；參試設(shè)備數(shù)量可以減少29.9275；車輛調(diào)配數(shù)量可以減少47.1048；測試時間可以減少6.8269；測試等待時間可以減少10.0863；質(zhì)量復(fù)查報告數(shù)量可以減少6.2343。輸入指標(biāo)x1～x7可減少比例分別為38.80%、25.15%、17.71%、17.71%、24.38%、26.54%、41.56%，重點應(yīng)該分析本次試驗任務(wù)質(zhì)量復(fù)查報告數(shù)量、技術(shù)崗位人員數(shù)量、測試等待時間投入過多的原因，并從這些問題點進行績效改進。對于T1，在維持輸入指標(biāo)數(shù)據(jù)不變的條件下，問題處理及時率可以提升0.0148；試驗文書正確率可以提升0.0109；技術(shù)操作正確率可以提升0.0068；任務(wù)軟件正確率可以提升0.0166；1-成本超預(yù)算比率可以提升0.0016；設(shè)備設(shè)施正常率和測試工位保障率達(dá)到了最優(yōu)水平，重點的績效改進方向應(yīng)該在任務(wù)軟件正確率、問題處理及時率和試驗文書正確率等方面。

對于T5，輸入方面重點應(yīng)該分析技術(shù)崗位人員數(shù)量、質(zhì)量復(fù)查報告數(shù)量、車輛調(diào)配數(shù)量投入過多的原因。輸出方面重點的績效改進方向應(yīng)該在設(shè)備設(shè)施正常率、技術(shù)操作正確率、試驗文書正確率等方面。

從表8可以看出，各靶場試驗任務(wù)的純技術(shù)效率分別為0.8293、1、1、1、0.9763、1、1。相對于T2、T3、T4、T6、T7，試驗任務(wù)T1、T5純技術(shù)無效。

對于T1，在維持輸出指標(biāo)數(shù)據(jù)不變的條件下，輸入指標(biāo)x1～x7分別可以減少29.5289、3.5661、28.8472、45.4045、6.5847、9.2644、6.1508；可減少比例分別為40.45%、32.42%、17.07%、17.07%、23.52%、24.38%、41.01%。重點應(yīng)該分析質(zhì)量復(fù)查報告數(shù)量、技術(shù)崗位人員數(shù)量、服務(wù)保障崗位人員數(shù)量投入過多的原因。對于T1，在維持輸入指標(biāo)數(shù)據(jù)不變的條件下，輸出指標(biāo)y1～y7分別可以提升0.0228、0.0200、0.0143、0.0058、0.0085、0.0243、0.0098，重點的績效改進方向應(yīng)該在任務(wù)軟件正確率、問題處理及時率、試驗文書正確率等方面。

對于T5，輸入方面重點應(yīng)該分析技術(shù)崗位人員數(shù)量、車輛調(diào)配數(shù)量、質(zhì)量復(fù)查報告數(shù)量投入過多的原因。輸出方面重點的績效改進方向應(yīng)該在測試工位保障率、技術(shù)操作正確率、試驗文書正確率等方面。

綜合表7和表8的數(shù)據(jù)，得到績效評估排序如表9所示。其中規(guī)模報酬變動列的IRS表示試驗任務(wù)處于規(guī)模報酬遞增階段；CRS表示試驗任務(wù)處于規(guī)模報酬不變階段。

表9 某型號靶場試驗績效評估排序

試驗任務(wù)T2、T3、T4、T6、T7是純技術(shù)有效和規(guī)模有效的。對于技術(shù)無效的T1，主要是因為純技術(shù)無效造成。對于技術(shù)無效的T5，主要是因為規(guī)模無效造成。T1和T5都處于規(guī)模報酬遞增階段。最終得到績效評估排序為：T2、T3、T4、T6、T7排在第一梯隊，剩下的試驗任務(wù)排序T5>T1。

4 對策建議

結(jié)合該型號7次靶場試驗任務(wù)的績效評估結(jié)果，從優(yōu)化輸入角度，對于后續(xù)靶場試驗任務(wù)，應(yīng)適當(dāng)減少質(zhì)量復(fù)查報告數(shù)量和技術(shù)崗位人員。為此，可研究將靶場質(zhì)量復(fù)查工作前移，在型號出廠評審前，以總裝測試為基礎(chǔ)，搜集完整的各系統(tǒng)考核指標(biāo)和數(shù)據(jù)，通過計算機仿真技術(shù)，模擬靶場全系統(tǒng)測試流程，對關(guān)鍵檢驗點逐一核查并開展質(zhì)量復(fù)查，從而實現(xiàn)減少報告和技術(shù)人員數(shù)量的目標(biāo)。

從優(yōu)化輸出角度，應(yīng)提高試驗文書的正確率。當(dāng)前試驗文書錯誤多，一個主要原因是由于軟件功能、基礎(chǔ)設(shè)施限制，設(shè)計人員在完成產(chǎn)品三維設(shè)計后，依舊需要將產(chǎn)品的幾何信息和非幾何信息反映在二維圖樣和相關(guān)輔助文件中，增加了出錯的可能。為此，可借鑒基于模型的工程定義(Model Based Definition，MBD)技術(shù)，積極推行無紙化設(shè)計和制造聯(lián)動，消除信息轉(zhuǎn)換和傳遞錯誤的風(fēng)險。

5 結(jié)束語

靶場試驗任務(wù)的績效評估工作是一項重要工作，對提升試驗任務(wù)的質(zhì)量，降低試驗任務(wù)的成本，保障試驗任務(wù)的進度都具有指導(dǎo)意義。本文利用DEA模型進行了靶場試驗任務(wù)的績效評估。從人力、物力、時間、質(zhì)量活動等方面設(shè)計了靶場試驗任務(wù)的輸入指標(biāo)，并根據(jù)質(zhì)量管理規(guī)則從組織指揮、技術(shù)操作、設(shè)備設(shè)施、任務(wù)軟件、成本管理等方面設(shè)計了靶場試驗任務(wù)的輸出指標(biāo)。利用DEA系列模型中的C2R模型和BC2模型分析了各靶場試驗任務(wù)的技術(shù)效率、純技術(shù)效率和規(guī)模效率，得到了靶場試驗任務(wù)的績效評估排序。

結(jié)果表明，DEA方法不僅能夠客觀準(zhǔn)確地衡量靶場試驗任務(wù)的效率，還能幫助找出試驗任務(wù)效率低下的原因，并從輸入松弛和輸出松弛的角度分析各試驗任務(wù)的改進方向，為后續(xù)試驗任務(wù)提供指導(dǎo)。