譚燕萍

摘 要：文章從檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估涵義入手，對(duì)元評(píng)估開展的必要性、主體與模式、內(nèi)容、方法及程序進(jìn)行探討。在此基礎(chǔ)上提出搞好檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估的相關(guān)建議：積極推動(dòng)檔案安全風(fēng)險(xiǎn)評(píng)估和元評(píng)估的研究與實(shí)踐；加強(qiáng)對(duì)檔案安全風(fēng)險(xiǎn)評(píng)估指標(biāo)體系的再評(píng)估；重視評(píng)估專家隊(duì)伍建設(shè)，充分發(fā)揮專家的作用。

關(guān)鍵詞：元評(píng)估；檔案安全；風(fēng)險(xiǎn)評(píng)估；評(píng)估指標(biāo)

檔案安全風(fēng)險(xiǎn)評(píng)估，是對(duì)檔案實(shí)體和檔案信息資源所面臨的威脅及其可能造成的影響的可能性的評(píng)估。[1]檔案安全風(fēng)險(xiǎn)評(píng)估的目的就是通過科學(xué)的方法、程序查找檔案安全隱患和漏洞、薄弱環(huán)節(jié)，及時(shí)采取必要的措施，最大可能地規(guī)避和降低風(fēng)險(xiǎn)，確保檔案的安全。因此，評(píng)估的科學(xué)與否、評(píng)估質(zhì)量的高低直接決定著評(píng)估效果的好與壞。因而，判斷檔案安全風(fēng)險(xiǎn)評(píng)估本身的科學(xué)性就成了檔案安全保障體系建設(shè)不可缺少的一個(gè)重要環(huán)節(jié)。而元評(píng)估就是評(píng)估的評(píng)估，是判定原評(píng)估科學(xué)性的方法。美國(guó)學(xué)者丹尼爾·L·斯塔弗爾比姆（Daniel L. Stufflebeam）非常形象地指出：“元評(píng)估對(duì)評(píng)估領(lǐng)域的重要性，就如審計(jì)制度對(duì)于會(huì)計(jì)領(lǐng)域的重要性一樣?！盵2]鑒于此，本文將從元評(píng)估的角度來解析檔案安全風(fēng)險(xiǎn)評(píng)估科學(xué)性的問題。

1 檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估的涵義及其開展的必要性

1.1 檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估的涵義。元評(píng)估的產(chǎn)生與發(fā)展得益于元科學(xué)（科學(xué)的科學(xué)，Meta-science）[3]發(fā)展的推動(dòng)，是元科學(xué)研究方法和研究成果應(yīng)用于評(píng)估學(xué)領(lǐng)域的結(jié)果。元評(píng)估（Meta-evaluation）即對(duì)評(píng)估本身進(jìn)行評(píng)估。[4]20世紀(jì)以來，隨著評(píng)估學(xué)發(fā)展成為社會(huì)科學(xué)研究的重要領(lǐng)域，元評(píng)估研究亦逐漸成為推進(jìn)評(píng)估學(xué)發(fā)展的重要途徑。1940年皮多·奧若塔（Pedro Orata）提出“評(píng)估的評(píng)估”（evaluation of evaluation），是元評(píng)估概念的雛形。1969年邁克爾·斯克里文（Michael Scriven）首次提出“元評(píng)估”概念。[5]

元評(píng)估又稱為“元評(píng)價(jià)”[6]“再評(píng)價(jià)”[7]“再評(píng)估”[8]“后設(shè)評(píng)估”[9]等。美國(guó)學(xué)者丹尼爾·L·斯塔弗爾比姆（Daniel L. Stufflebeam）將其定義為“經(jīng)由記述、獲取及運(yùn)用關(guān)于評(píng)估的效用性、可行性、適當(dāng)性及精確性等描述性信息和判斷性信息的過程，據(jù)以引導(dǎo)評(píng)估，并公開報(bào)導(dǎo)其優(yōu)點(diǎn)和缺點(diǎn)?！?[10]國(guó)內(nèi)學(xué)者張道民認(rèn)為“元評(píng)估亦稱為評(píng)估的評(píng)估。它是以已有的評(píng)估（原評(píng)估，primary-evaluation）活動(dòng)及結(jié)果為對(duì)象，從整體上多視角地進(jìn)行反思認(rèn)識(shí)，進(jìn)而對(duì)其可信度（可靠性）和有效度（功效性）作出客觀、科學(xué)、全面的評(píng)估結(jié)論。”[11]

元評(píng)估，同樣適用于檔案安全風(fēng)險(xiǎn)評(píng)估領(lǐng)域。在檔案安全風(fēng)險(xiǎn)評(píng)估領(lǐng)域，元評(píng)估是指按照一定的理論框架，運(yùn)用可行的科學(xué)方法和價(jià)值標(biāo)準(zhǔn)，對(duì)檔案安全風(fēng)險(xiǎn)評(píng)估標(biāo)準(zhǔn)、評(píng)估方案、評(píng)估過程、評(píng)估方法和評(píng)估結(jié)果的科學(xué)性和有效性進(jìn)行分析，從而對(duì)檔案安全風(fēng)險(xiǎn)評(píng)估做出價(jià)值判斷的過程。從我國(guó)在天津[12]、河南[13]等地開展的檔案安全風(fēng)險(xiǎn)評(píng)估實(shí)踐來看，在評(píng)估結(jié)束后開始注重對(duì)檔案安全風(fēng)險(xiǎn)評(píng)估活動(dòng)本身的經(jīng)驗(yàn)總結(jié)，從評(píng)估的組織領(lǐng)導(dǎo)、評(píng)估標(biāo)準(zhǔn)、評(píng)估方案、評(píng)估方法、程序、結(jié)論等方面提出意見和建議。整個(gè)過程雖然缺乏嚴(yán)格的元評(píng)估程序與標(biāo)準(zhǔn)，但從某種程度來說，這實(shí)際上已經(jīng)邁出了元評(píng)估探索的步伐，對(duì)檔案安全風(fēng)險(xiǎn)評(píng)估技術(shù)方法的改進(jìn)、評(píng)估質(zhì)量的提高，起到了重要的作用。

1.2 檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估開展的必要性。檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估開展的必要性主要體現(xiàn)在以下兩個(gè)方面：

第一，檔案安全風(fēng)險(xiǎn)評(píng)估誤差的客觀存在，需要元評(píng)估對(duì)原來的評(píng)估進(jìn)行偏差控制，使偏差控制在合理的范圍，提高評(píng)估的信度和效度，從而提高評(píng)估的整體質(zhì)量。檔案安全風(fēng)險(xiǎn)評(píng)估過程中，一些客觀因素的影響，使得評(píng)估不可避免存在誤差，影響評(píng)估的質(zhì)量。這些因素主要有：由于評(píng)估指標(biāo)體系本身（包括評(píng)估指標(biāo)及評(píng)估內(nèi)容的選擇、評(píng)估權(quán)重的確定等方面）設(shè)計(jì)不科學(xué)產(chǎn)生的誤差；由于評(píng)估專家組成員結(jié)構(gòu)不合理、不良心理因素產(chǎn)生的誤差；由于風(fēng)險(xiǎn)本身的動(dòng)態(tài)性、復(fù)雜性而產(chǎn)生的誤差。

偏差控制是元評(píng)估的一項(xiàng)重要功能，元評(píng)估首先檢測(cè)與識(shí)別檔案安全風(fēng)險(xiǎn)評(píng)估偏差。元評(píng)估通過方差法、肯德爾和諧系數(shù)法等分析原評(píng)估數(shù)據(jù)和流程，識(shí)別原來評(píng)估的偏差環(huán)節(jié)。在偏差識(shí)別的基礎(chǔ)上運(yùn)用統(tǒng)計(jì)方法和其他各種方法，對(duì)原來評(píng)估的偏差原因進(jìn)行分析，對(duì)偏差值進(jìn)行計(jì)算，從而對(duì)評(píng)估偏差予以糾正，保證檔案安全風(fēng)險(xiǎn)評(píng)估的質(zhì)量。

第二，元評(píng)估是檔案安全風(fēng)險(xiǎn)評(píng)估科學(xué)理論形成和完善的推進(jìn)器。由于風(fēng)險(xiǎn)的復(fù)雜性，它處在一個(gè)動(dòng)態(tài)的不斷變化的過程中：未知的、新的風(fēng)險(xiǎn)隨時(shí)有可能發(fā)生，已識(shí)別出來的風(fēng)險(xiǎn)其發(fā)生的可能性和產(chǎn)生的后果嚴(yán)重性也不是一成不變的。因此，在風(fēng)險(xiǎn)控制的過程中，需要定期或不定期的對(duì)已經(jīng)識(shí)別的風(fēng)險(xiǎn)發(fā)生的可能性和產(chǎn)生的后果進(jìn)行重新評(píng)估。風(fēng)險(xiǎn)的復(fù)雜性、風(fēng)險(xiǎn)評(píng)估的周期性決定了檔案安全風(fēng)險(xiǎn)評(píng)估科學(xué)理論的形成是一個(gè)及其復(fù)雜的過程。馬克思主義認(rèn)識(shí)論科學(xué)地揭示了認(rèn)識(shí)的規(guī)律，檔案安全風(fēng)險(xiǎn)評(píng)估科學(xué)理論的形成與完善也需要經(jīng)歷一個(gè)由實(shí)踐到認(rèn)識(shí)、由認(rèn)識(shí)到實(shí)踐的多次反復(fù)的過程，需要在實(shí)踐中不斷的檢驗(yàn)、修正與完善。元評(píng)估則是連接實(shí)踐與認(rèn)識(shí)的鏈條，元評(píng)估通過對(duì)風(fēng)險(xiǎn)評(píng)估方案、評(píng)估指標(biāo)、評(píng)估方法、評(píng)估過程的檢驗(yàn)來驗(yàn)證風(fēng)險(xiǎn)評(píng)估理論的正確性，在不斷修正與完善基礎(chǔ)上形成科學(xué)的評(píng)估理論。

2 檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估主體及模式

2.1 元評(píng)估主體。元評(píng)估主體是指元評(píng)估行為的實(shí)施者，主要回答由誰來進(jìn)行元評(píng)估的問題。可以有幾種選擇：一是原評(píng)估者，二是原評(píng)估組織者，三是外部專業(yè)評(píng)估者。第一種可信度不高，第二種受理論與技術(shù)的限制，第三種理論上科學(xué)高效、客觀公正，需要較高的花費(fèi)，但即便如此很大程度上也受該行業(yè)發(fā)展成熟度的影響。理想化的選擇是元評(píng)估主體要比原評(píng)估主體素質(zhì)更高，不但能勝任原評(píng)估還能對(duì)原評(píng)估進(jìn)行優(yōu)劣評(píng)價(jià)。因此，檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估主體的選擇，需要考慮各方面的因素，選擇最適當(dāng)?shù)脑u(píng)估主體，可以采取內(nèi)部評(píng)估專家與外部評(píng)估專家相結(jié)合的方式。

2.2 元評(píng)估模式。關(guān)于元評(píng)估的模式，不管是Cook和Gruder（1978）的七種元評(píng)估模式，還是stufflebeam（1974）的元評(píng)估模式，或是Gowin的QUEMAC模式，所依據(jù)的分類標(biāo)準(zhǔn)共同的地方是元評(píng)估與原評(píng)估是同時(shí)實(shí)施，還是在原評(píng)估完成后實(shí)施，即形成性元評(píng)估（pro-active meta-evaluation）和總結(jié)性元評(píng)估（retro-active meta-evaluation）。形成性元評(píng)估強(qiáng)調(diào)在評(píng)估的不同階段，尤其是各個(gè)階段的銜接處，應(yīng)及時(shí)進(jìn)行元評(píng)估，以便及時(shí)修正評(píng)估的方案、技術(shù)或操作中可能出現(xiàn)的問題；若等到評(píng)估結(jié)束，某種無效甚至有害的評(píng)估已產(chǎn)生不良影響，此時(shí)進(jìn)行元評(píng)估為時(shí)已晚。總結(jié)性元評(píng)估強(qiáng)調(diào)元評(píng)估作為經(jīng)驗(yàn)總結(jié)性質(zhì)的總結(jié)性評(píng)估的作用，即在評(píng)估結(jié)束后，對(duì)此次評(píng)估的方案設(shè)計(jì)、技術(shù)方法、實(shí)施程序、結(jié)論質(zhì)量及其產(chǎn)生的作用和影響做出全面的分析、評(píng)估和估價(jià)，為最終的決策提供咨詢建議或施加影響，也為改進(jìn)評(píng)估活動(dòng)提出意見和建議。在檔案安全風(fēng)險(xiǎn)評(píng)估的元評(píng)估中可以將元評(píng)估兩種模式各自的優(yōu)勢(shì)結(jié)合起來，加強(qiáng)原評(píng)估的過程管理，通過對(duì)原評(píng)估過程的評(píng)估，發(fā)揮內(nèi)部監(jiān)控的作用，做好對(duì)評(píng)估過程的評(píng)價(jià)與監(jiān)控，做到結(jié)果監(jiān)控與過程監(jiān)控相結(jié)合，外部監(jiān)控與內(nèi)部監(jiān)控相結(jié)合。

3 檔案安全風(fēng)險(xiǎn)元評(píng)估的內(nèi)容、方法及程序

3.1 元評(píng)估內(nèi)容。檔案安全風(fēng)險(xiǎn)元評(píng)估的內(nèi)容主要包括對(duì)檔案安全風(fēng)險(xiǎn)評(píng)估標(biāo)準(zhǔn)、評(píng)估方案、評(píng)估過程、評(píng)估方法和評(píng)估結(jié)果的可信度和有效度進(jìn)行整體、綜合的評(píng)估。具體主要包括：（1）評(píng)估目的是否明確；（2）評(píng)估標(biāo)準(zhǔn)是否合理；（3）評(píng)估指標(biāo)體系是否完整，指標(biāo)權(quán)重系數(shù)是否準(zhǔn)確；（4）評(píng)估實(shí)施方案是否合理；（5）評(píng)估方法是否科學(xué)；（6）評(píng)估結(jié)果是否真實(shí)、合理、有效；（7）評(píng)估功效能否發(fā)揮等。

3.2 元評(píng)估方法。檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估除了采用內(nèi)容分析法、經(jīng)驗(yàn)總結(jié)法等常用的定性評(píng)估的方法之外，還可以采用效度檢驗(yàn)和信度檢驗(yàn)等定量的方法來判斷。效度（Validity）即有效性，它是指測(cè)量工具或手段能夠準(zhǔn)確測(cè)出所需測(cè)量的事物的程度。如果一項(xiàng)評(píng)估的效度很低，則其實(shí)際效果肯定不佳。信度（Reliability）即可靠性，它是指采用同樣的方法對(duì)同一對(duì)象重復(fù)測(cè)量時(shí)所得結(jié)果的一致性程度。如果評(píng)估的信度很低，則其結(jié)果就缺乏可靠性。在檔案安

全風(fēng)險(xiǎn)評(píng)估的元評(píng)估中，可以運(yùn)用肯德（M.Kendall）和諧系數(shù)法對(duì)專家的評(píng)分差異進(jìn)行檢驗(yàn)。肯德爾和諧系數(shù)法計(jì)算公式[14]如下：

W=S/[（1/12）n2（m3-m）]，

式中，n為評(píng)估者人數(shù)；m為被評(píng)項(xiàng)目（指標(biāo)）的個(gè)數(shù)；s為各種被評(píng)因素秩和的離差平方和：S=∑（Rj-Rj）2=∑Rj2-（1/m）（∑Rj）2。W值越接近1，則表示專家的評(píng)分越一致，差異性越小。

3.3 元評(píng)估程序。根據(jù)丹尼爾·L·斯塔弗爾比姆（Daniel L. Stufflebeam）后設(shè)評(píng)估的十個(gè)步驟[15]，結(jié)合檔案安全風(fēng)險(xiǎn)元評(píng)估的實(shí)際情況，元評(píng)估可以按照以下程序開展：（1）建立一個(gè)合格的元評(píng)估小組；（2）決議元評(píng)估的判斷標(biāo)準(zhǔn)；（3）收集和檢視適當(dāng)可用的信息；（4）必要時(shí)收集新信息，包括實(shí)地訪談、觀察及問卷調(diào)查等；（5）分析定性和定量信息，并判斷評(píng)估符合所選定評(píng)估標(biāo)準(zhǔn)的程度；（6）形成元評(píng)估報(bào)告；（7）解釋及應(yīng)用元評(píng)估結(jié)果。

4 搞好檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估的幾點(diǎn)建議

我國(guó)檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估理論與實(shí)踐的發(fā)展都還處于起步和探索階段，有待于今后進(jìn)一步深入探究和挖掘。對(duì)于檔案安全風(fēng)險(xiǎn)評(píng)估元評(píng)估的發(fā)展完善，本文提出以下幾點(diǎn)建議：第一，積極推動(dòng)檔案安全風(fēng)險(xiǎn)評(píng)估和元評(píng)估的研究與實(shí)踐。檔案安全風(fēng)險(xiǎn)評(píng)估和元評(píng)估相輔相成，互為促進(jìn)。一是加強(qiáng)風(fēng)險(xiǎn)管理理論的學(xué)習(xí)，切實(shí)掌握風(fēng)險(xiǎn)評(píng)估的科學(xué)工具；二是借鑒其他領(lǐng)域風(fēng)險(xiǎn)管理、風(fēng)險(xiǎn)評(píng)估應(yīng)用的實(shí)踐經(jīng)驗(yàn)；三是加強(qiáng)檔案安全風(fēng)險(xiǎn)評(píng)估試點(diǎn)的經(jīng)驗(yàn)總結(jié)，特別是對(duì)評(píng)估試點(diǎn)的元評(píng)估，形成可以推廣的制度成果，推進(jìn)元評(píng)估與檔案安全風(fēng)險(xiǎn)評(píng)估的發(fā)展。第二，加強(qiáng)對(duì)檔案安全風(fēng)險(xiǎn)評(píng)估關(guān)鍵環(huán)節(jié)評(píng)估指標(biāo)體系的再評(píng)估。風(fēng)險(xiǎn)評(píng)估指標(biāo)的科學(xué)性、可行性直接影響著檔案安全風(fēng)險(xiǎn)評(píng)估的質(zhì)量。對(duì)指標(biāo)體系的再評(píng)估，主要檢驗(yàn)評(píng)估指標(biāo)體系的完整性，評(píng)估指標(biāo)的準(zhǔn)確性、獨(dú)立性，評(píng)估指標(biāo)權(quán)重系數(shù)的準(zhǔn)確性，并進(jìn)一步對(duì)評(píng)估指標(biāo)體系進(jìn)行修正與完善，從而提高元評(píng)估和檔案安全風(fēng)險(xiǎn)評(píng)估的質(zhì)量。第三，重視評(píng)估專家隊(duì)伍建設(shè)，充分發(fā)揮專家的作用。不管是元評(píng)估還是檔案安全風(fēng)險(xiǎn)（下轉(zhuǎn)7頁）評(píng)估都離不開評(píng)估專家的智力支持，評(píng)估專家成為元評(píng)估主體不可或缺的組成部分。一方面要大力發(fā)揮評(píng)估專家的作用，使他們積極的參與到元評(píng)估和檔案安全風(fēng)險(xiǎn)評(píng)估中來，為檔案安全風(fēng)險(xiǎn)評(píng)估和元評(píng)估理論和實(shí)踐的發(fā)展貢獻(xiàn)力量；另一方面為專家專業(yè)素質(zhì)提升提供發(fā)展平臺(tái)。通過提供必要的考察、交流、培訓(xùn)的機(jī)會(huì)，促進(jìn)檔案安全風(fēng)險(xiǎn)評(píng)估專家的培養(yǎng)和發(fā)展，從而使他們更好的為元評(píng)估和檔案安全風(fēng)險(xiǎn)評(píng)估服務(wù)。

*本文系廣西民族大學(xué)科研基金資助課題項(xiàng)目“檔案安全風(fēng)險(xiǎn)評(píng)估專家咨詢制度設(shè)計(jì)”（項(xiàng)目編號(hào)：2016MDYB015）階段性成果。