李國強(qiáng)，徐 啟，李 立，于亞笛

（1.北京跟蹤與通信技術(shù)研究所，北京 100094；2.中國航空綜合技術(shù)研究所，北京 100028；3.北京空間科技信息研究所，北京 100094；4.國家市場監(jiān)督管理總局國家標(biāo)準(zhǔn)技術(shù)審評中心，北京 100026）

0 引言

標(biāo)準(zhǔn)化工作評估是依據(jù)某種評價(jià)準(zhǔn)則，應(yīng)用某種技術(shù)或手段，按照一定的程序，對標(biāo)準(zhǔn)化工作過程與結(jié)果的有效性進(jìn)行測量和判斷的過程，是對標(biāo)準(zhǔn)化工作實(shí)施閉環(huán)管理和持續(xù)優(yōu)化的一個(gè)重要手段。軍工行業(yè)標(biāo)準(zhǔn)化工作是我國軍工行業(yè)和裝備制造領(lǐng)域的重要技術(shù)基礎(chǔ)，對軍工行業(yè)相關(guān)部門、單位組織開展標(biāo)準(zhǔn)化工作的情況進(jìn)行評估是衡量標(biāo)準(zhǔn)化工作完成質(zhì)量、分析標(biāo)準(zhǔn)化工作體系是否運(yùn)行有效、形成“以評促改”的評估改進(jìn)機(jī)制，調(diào)動(dòng)各級各類人員參與標(biāo)準(zhǔn)化工作的積極性和主動(dòng)性的重要抓手。

1 國內(nèi)外相關(guān)評估方法分析

目前未檢索到關(guān)于標(biāo)準(zhǔn)化工作評估理論和方法的專門資料，盡管在文獻(xiàn)[1]中提出了可從軍事效果、經(jīng)濟(jì)效果和技術(shù)效果等三個(gè)方面評估軍用標(biāo)準(zhǔn)化工作效果的設(shè)想，并將標(biāo)準(zhǔn)化系數(shù)作為實(shí)施評估的指標(biāo)，但這種方法更適用于對某類裝備自身標(biāo)準(zhǔn)化程度的評估，無法體現(xiàn)組織/單位的標(biāo)準(zhǔn)化工作質(zhì)量與水平。

國際上也缺乏針對標(biāo)準(zhǔn)化工作評估開展的專門研究，可資參照的類似評估工作主要集中在質(zhì)量領(lǐng)域，如美國波多里奇國家質(zhì)量獎(jiǎng)、歐洲質(zhì)量管理基金會(huì)卓越獎(jiǎng)、日本戴明質(zhì)量獎(jiǎng)等。在我國，發(fā)布了國家標(biāo)準(zhǔn)GB/T 19273－2017《企業(yè)標(biāo)準(zhǔn)化工作 評價(jià)與改進(jìn)》，規(guī)定了企業(yè)標(biāo)準(zhǔn)化工作評價(jià)與改進(jìn)的原則與依據(jù)、基本要求、策劃、實(shí)施、結(jié)果與管理、改進(jìn)等要求[2]。通過對以上國內(nèi)外相關(guān)評估理論與方法進(jìn)行綜合分析，可得到以下結(jié)論作為軍工行業(yè)標(biāo)準(zhǔn)化工作評估方法研究的借鑒：

1）通過建立評估模型以表征各評估要素間的邏輯關(guān)系，有助于理解評估要素和評估指標(biāo)的關(guān)系與內(nèi)涵；

2）評估要素的設(shè)置需與評估需求（目的）、評估對象等相適應(yīng)；

3）定量與定性評估相結(jié)合的方式可提升評估工作的客觀公正性；

4）評估組織體系中各類角色的具體分工不同，但基本可分為決策機(jī)構(gòu)、執(zhí)行機(jī)構(gòu)、專家顧問團(tuán)隊(duì)、被評對象等；

5）采用“自評+評估團(tuán)隊(duì)評估”的評估程序，確保評估的全面性、公正性。

2 評估要素體系設(shè)計(jì)

2.1 設(shè)計(jì)思路

隨著我國科技的迅猛發(fā)展，軍工型號研制模式發(fā)生了巨大變化，各部門、各單位圍繞技術(shù)進(jìn)步、產(chǎn)品研制與保障，不同程度地開展了相應(yīng)專業(yè)技術(shù)領(lǐng)域標(biāo)準(zhǔn)體系建設(shè)、標(biāo)準(zhǔn)化工作隊(duì)伍建設(shè)、各級各類標(biāo)準(zhǔn)編制與實(shí)施應(yīng)用等標(biāo)準(zhǔn)化工作。其對標(biāo)準(zhǔn)化工作評估的需求主要體現(xiàn)在以下幾個(gè)方面：

1）通過評估，加強(qiáng)標(biāo)準(zhǔn)化意識，幫助建立（提升）對標(biāo)準(zhǔn)化工作的認(rèn)識，為提高標(biāo)準(zhǔn)化工作的規(guī)范性奠定基礎(chǔ)；

2）通過評估，查找標(biāo)準(zhǔn)化工作機(jī)制存在的不足，提出針對性的改進(jìn)要求并實(shí)施整改，保證工作目標(biāo)實(shí)現(xiàn)過程的正確性，逐漸形成“以評促改”的評估改進(jìn)機(jī)制；

3）通過評估，為樹立標(biāo)準(zhǔn)化工作標(biāo)桿提供基準(zhǔn)，通過對標(biāo)準(zhǔn)化工作的最佳實(shí)踐進(jìn)行挖掘并加以推廣，調(diào)動(dòng)人員參與標(biāo)準(zhǔn)化工作的積極性和主動(dòng)性；

4）通過評估，形成標(biāo)準(zhǔn)化工作提升長效機(jī)制，激勵(lì)工作基礎(chǔ)薄弱的機(jī)構(gòu)強(qiáng)化標(biāo)準(zhǔn)化工作技能，鼓勵(lì)基礎(chǔ)雄厚、成果豐碩的機(jī)構(gòu)進(jìn)一步提升標(biāo)準(zhǔn)化工作水平。

5）通過評估，分析標(biāo)準(zhǔn)化工作對強(qiáng)化能力建設(shè)、提升產(chǎn)品質(zhì)量的技術(shù)支撐效力，對標(biāo)準(zhǔn)化工作取得的成效進(jìn)行總結(jié)固化。

軍工行業(yè)標(biāo)準(zhǔn)化工作評估要素與評估指標(biāo)的設(shè)計(jì)將以上述評估需求為導(dǎo)向，以《標(biāo)準(zhǔn)化法》[2]及有關(guān)部門標(biāo)準(zhǔn)化制度文件為依據(jù)，以軍工行業(yè)當(dāng)前和可預(yù)見的標(biāo)準(zhǔn)化專項(xiàng)工作為補(bǔ)充，以現(xiàn)有國內(nèi)外標(biāo)準(zhǔn)化工作相關(guān)評估方法調(diào)研分析結(jié)論為參考，綜合使用系統(tǒng)分析法、對比分析法等軟科學(xué)研究方法，進(jìn)行評估要素與評估指標(biāo)設(shè)計(jì)。

2.2 評估要素內(nèi)容設(shè)計(jì)

依據(jù)3.1的設(shè)計(jì)思路，軍工行業(yè)標(biāo)準(zhǔn)化工作評估要素內(nèi)容設(shè)計(jì)主要包括基礎(chǔ)評估要素（A）、效能評估要素（B）和獎(jiǎng)懲要素（C）等三類要素，三者共同作用，體現(xiàn)軍工行業(yè)標(biāo)準(zhǔn)化工作的綜合效果。評估要素的內(nèi)容詳見表1。

表1 軍工行業(yè)標(biāo)準(zhǔn)化工作評估要素表

2.3 評估要素權(quán)重設(shè)計(jì)

采用定量與定性相結(jié)合的方式進(jìn)行評估可更加客觀公正地展現(xiàn)評估結(jié)果。由于各個(gè)評估要素的重要程度（即權(quán)重）不同，進(jìn)行定量評估時(shí)需要區(qū)別對待。實(shí)際開展評估工作前，可通過專家打分、調(diào)查問卷等方式獲取權(quán)重樣本數(shù)據(jù)，并采取層次分析法[4]、特征值法[5]等方法確立各評估要素的權(quán)重。本文通過采用特征值法，給出要素權(quán)重設(shè)計(jì)示例：

1）建立判斷矩陣

將表1中隸屬于同一個(gè)上層要素且處于同一層次的評估項(xiàng)目抽取出來并建立權(quán)重咨詢表及判斷矩陣。例如為標(biāo)準(zhǔn)化組織與管理、關(guān)鍵標(biāo)準(zhǔn)研究與標(biāo)準(zhǔn)制定、標(biāo)準(zhǔn)應(yīng)用實(shí)施、標(biāo)準(zhǔn)化信息服務(wù)、標(biāo)準(zhǔn)化資源保障等五個(gè)評估要素建立權(quán)重咨詢表，如表2所示。

表2 評估要素權(quán)重咨詢表示例

通過權(quán)重評估咨詢單對各指標(biāo)的重要性進(jìn)行兩兩比較，以常用的1～9標(biāo)度方法（表3）表示比較結(jié)果，最后根據(jù)咨詢結(jié)果建立相應(yīng)的判斷矩陣。

表3 1～9標(biāo)度方法

對于n個(gè)指標(biāo)，可以得到判斷矩陣C=(Cij)n×n。

C具有以下幾點(diǎn)性質(zhì)：Cij＞0；Cij=1Cij(i≠j)；Cii=1(i，j=1，2，...，n)

2）計(jì)算指標(biāo)權(quán)重

利用方根法計(jì)算指標(biāo)權(quán)重，計(jì)算步驟如下：

首先，計(jì)算判斷矩陣C中每行元素的乘積Mi：

然后，計(jì)算Mi的n次方根

其中，Wi就是各項(xiàng)指標(biāo)的權(quán)重；

3）判斷矩陣的一致性檢驗(yàn)

一致性檢驗(yàn)是為了驗(yàn)證專家在判斷指標(biāo)重要性時(shí)，各判斷之間大體協(xié)調(diào)一致，不出現(xiàn)極端矛盾的情況。計(jì)算步驟為：

首先，計(jì)算判斷矩陣C的最大特征根λmax：

然后，計(jì)算一致性指標(biāo)CI：

最后，計(jì)算隨機(jī)一致性比率CR：

其中RI是平均隨機(jī)一致性指標(biāo)，根據(jù)判斷矩陣階數(shù)n查詢平均隨機(jī)一致性指標(biāo)查詢表可得。

當(dāng)CR＜0.1時(shí)，認(rèn)為判斷矩陣具有滿意的一致性，否則需要調(diào)整矩陣，直至具有滿意一致性。

4）計(jì)算指標(biāo)組合權(quán)重

利用前面的計(jì)算方法，可以得到評估項(xiàng)i的權(quán)重Wi，然后就要利用層次關(guān)系計(jì)算i在上一層要素中占的組合權(quán)重Pi。

其中Qi是包含指標(biāo)i的上一層要素的權(quán)重。

考慮到易操作性，將評估項(xiàng)權(quán)重進(jìn)行取整處理。設(shè)置標(biāo)準(zhǔn)化工作基礎(chǔ)要素分?jǐn)?shù)為72分，標(biāo)準(zhǔn)化工作效能要素分?jǐn)?shù)為28分，加分項(xiàng)20分，扣分項(xiàng)40分，總分滿分120分。各子要素的權(quán)重（即分值）如表1。

2.4 評估要素模型構(gòu)建

為增進(jìn)相關(guān)人員對標(biāo)準(zhǔn)化工作評估要素和評估項(xiàng)目的理解，設(shè)計(jì)標(biāo)準(zhǔn)化工作評估要素模型，對各項(xiàng)評估要素間的關(guān)系進(jìn)行表征。通過對評估要素和評估項(xiàng)目進(jìn)行梳理，對要素、項(xiàng)目間的關(guān)系進(jìn)行綜合分析，演化得到軍工行業(yè)標(biāo)準(zhǔn)化工作評估要素模型見圖1。

圖1 軍工行業(yè)標(biāo)準(zhǔn)化工作評估要素模型

在評估模型中，標(biāo)準(zhǔn)化工作基礎(chǔ)是基石，標(biāo)準(zhǔn)化工作基礎(chǔ)和獎(jiǎng)懲項(xiàng)要素共同作用于標(biāo)準(zhǔn)化工作效能的提升，標(biāo)準(zhǔn)化工作效能是切實(shí)發(fā)揮標(biāo)準(zhǔn)化工作對技術(shù)進(jìn)步和型號研制建設(shè)支撐作用的表征。在標(biāo)準(zhǔn)化工作基礎(chǔ)中組織與管理能力是基礎(chǔ)的基礎(chǔ)，為其他所有工作服務(wù)；關(guān)鍵標(biāo)準(zhǔn)研究與標(biāo)準(zhǔn)制修訂能力是標(biāo)準(zhǔn)化工作質(zhì)量的顯性體現(xiàn)，標(biāo)準(zhǔn)應(yīng)用實(shí)施能力是體現(xiàn)標(biāo)準(zhǔn)化效益的重要方面；標(biāo)準(zhǔn)化信息服務(wù)能力和標(biāo)準(zhǔn)化資源保障能力是必不可少的保障支持；標(biāo)準(zhǔn)化工作效能提升是軍工行業(yè)標(biāo)準(zhǔn)化能力提升的方向，是樹立標(biāo)準(zhǔn)化標(biāo)桿的載體。

3 評估實(shí)施模式研究

3.1 評估組織體系

標(biāo)準(zhǔn)化工作評估涉及各類組織機(jī)構(gòu)和人員，包括評估的決策機(jī)構(gòu)、執(zhí)行機(jī)構(gòu)、技術(shù)顧問、評估隊(duì)伍以及被評對象等，各類組織的職責(zé)如下：

1）評估決策機(jī)構(gòu)：確定評估計(jì)劃、確定納入考核評估的單位名單、確定評估標(biāo)準(zhǔn)、評估隊(duì)伍名單，對評估中涉及的其他重大事宜進(jìn)行決策。

2）評估執(zhí)行機(jī)構(gòu)：起草評估計(jì)劃和評估標(biāo)準(zhǔn)，組織成立評估隊(duì)伍，并為評估提供標(biāo)準(zhǔn)化技術(shù)支持。

3）技術(shù)顧問：為標(biāo)準(zhǔn)化工作評估工作提供決策咨詢和技術(shù)支持，參與審查評估計(jì)劃和評估標(biāo)準(zhǔn)，指導(dǎo)評估工作的開展。

4）評估隊(duì)伍：由具有高級職稱、熟悉所在專業(yè)領(lǐng)域標(biāo)準(zhǔn)化工作的多位專家（一般為5～7位）組成的評估組，負(fù)責(zé)具體實(shí)施評估工作。

5）被評對象：被評對象為納入考核范圍的部門（單位），其主要職責(zé)是根據(jù)評估要求開展自評，并提交自評報(bào)告及相關(guān)證明材料，為評估提供必要的場地、人員等資源。

3.2 評估程序研究

參考國內(nèi)外相關(guān)評估程序，結(jié)合軍工行業(yè)標(biāo)準(zhǔn)化工作評估的實(shí)際需求，本文定義了一個(gè)適合軍標(biāo)準(zhǔn)化工作評估的過程模型，模型中的活動(dòng)及內(nèi)容同時(shí)適用于外部專家和各部門（單位）內(nèi)部對標(biāo)準(zhǔn)化工作水平進(jìn)行評估。評估過程模型具體如圖2所示。

圖2 軍工行業(yè)標(biāo)準(zhǔn)化工作評估過程模型

該模型描述了評估過程四個(gè)階段的活動(dòng)內(nèi)容以及活動(dòng)所需信息，各個(gè)階段內(nèi)容如下：

1）評估策劃：為順利進(jìn)入評估所必須的準(zhǔn)備階段，是為整合所有評估過程所需人力、資源等而進(jìn)行的活動(dòng)，其內(nèi)容包括處理評估需求并分配相應(yīng)資源，例如確定評估目標(biāo)、評估內(nèi)容，協(xié)調(diào)參與人員，明確評估實(shí)施形式。對評估事項(xiàng)的計(jì)劃主要是指制定評估標(biāo)準(zhǔn)，制定工作計(jì)劃。當(dāng)工作計(jì)劃制定完成后，通過領(lǐng)導(dǎo)審批或?qū)＜視?huì)議評審的方式審核其正確性，最后形成正式文件，對評估中各項(xiàng)具體工作進(jìn)行指導(dǎo)和監(jiān)督。

2）評估實(shí)施：為產(chǎn)生評估結(jié)果而進(jìn)行的活動(dòng)，根據(jù)需要通過選擇自評與現(xiàn)場評估相結(jié)合、會(huì)議評估、資料審查等評估形式收集評估數(shù)據(jù)，并組織相關(guān)人員進(jìn)行評估數(shù)據(jù)收集與分析。

3）評估總結(jié)：對評估問卷的調(diào)查結(jié)果和處理后的評估數(shù)據(jù)進(jìn)行定性和定量的分析，發(fā)現(xiàn)并總結(jié)問題，給出評估總結(jié)報(bào)告。

4）交流改進(jìn)：將評估結(jié)果以及評估過程中發(fā)現(xiàn)的最佳實(shí)踐、問題和建議反饋給相關(guān)單位，開展評估結(jié)果的交流。被評單位開展評估中發(fā)現(xiàn)問題的整改。

模型中評估的支持過程指的是評估中的項(xiàng)目管理，對評估的時(shí)間、人員、資源進(jìn)行綜合把握。

4 結(jié)語

標(biāo)準(zhǔn)化工作評估對于提升軍工行業(yè)各部門各單位的標(biāo)準(zhǔn)化工作水平，進(jìn)而提高我國軍工行業(yè)整體的標(biāo)準(zhǔn)化支撐能力具有重要意義。目前，各軍工行業(yè)的標(biāo)準(zhǔn)化工作評估仍處于起步階段，通過將本文確立的評估要素和評估程序?qū)⒆鳛閷?shí)施標(biāo)準(zhǔn)化工作評估的輸入，并在后續(xù)評估工作中進(jìn)行持續(xù)的優(yōu)化與改進(jìn)，將對標(biāo)準(zhǔn)化工作精準(zhǔn)服務(wù)于我國軍工行業(yè)技術(shù)進(jìn)步和能力提升提供重要支撐。