楊 武,陸巧玲,周 婷

浙江大學環(huán)境與資源學院, 杭州 310058

自20世紀90年代以來,以各種形式的生態(tài)補償政策和工程為代表的生態(tài)保護項目在全球廣泛實施。隨著大量保護資金的投入,這些項目產生的生態(tài)、經濟和社會效益?zhèn)涫苤匾?對生態(tài)保護項目開展實地評估的呼吁也越來越強烈[1]。21世紀初期,研究者開始對全球各地的生態(tài)保護項目進行績效評估。Sierra和 Russman[2]對哥斯達黎加森林生態(tài)補償項目的短期生態(tài)效果進行了評估,結果顯示短期效果不明顯,可能存在時滯效應。Ferraro 和 Hanauer[3]基于1973—2000年長期地理和社會經濟數(shù)據(jù),采用準實驗設計的評估間接佐證了時滯效應的推測,顯示哥斯達黎加的保護地網絡顯著減少了森林退化和促進了森林恢復,并通過促進旅游起到了扶貧的作用。Blackman等[4]對墨西哥保護地的評估顯示保護地對減少森林退化的效應呈現(xiàn)顯著的空間差異性。不過,Wendland 等[5]通過準實驗設計的評估顯示俄羅斯的保護地在1985—2010年間對減少森林干擾沒有顯著作用。Ferraro等[6]比較波利維利亞、哥斯達黎加、印度尼西亞和泰國的研究顯示監(jiān)管更嚴格的保護地并沒有起到更好的保護效果。鑒于已有研究中實驗設計和評估方法嚴密性水平差異較大,導致評估結果缺少可靠性和可比性,Baylis 等[7]撰文呼吁大力推進生態(tài)保護項目的績效評估,并采用嚴密的實驗設計或準實驗設計,嚴謹?shù)剡M行因果推理。

圖1 政策績效評估流程圖 Fig.1 Procedures of impact evaluation for ecological compensation programs

自1998年長江大洪水以來,我國陸續(xù)實施了天然林保護工程、退耕還林還草工程、京津風沙源治理工程、森林生態(tài)效益補償基金、退田還湖還濕工程、生態(tài)轉移支付等一系列生態(tài)保護項目[8]。國內外學者對我國生態(tài)保護項目的成效也非常關注,并開展了一些案例研究。譬如,Zheng 等[9]量化了北京河北跨流域“稻改旱”項目的成本和收益,顯示項目取得了良好的生態(tài)效果和經濟效益。Li等[10]的評估顯示退耕還林顯著增加了陜西省周至縣農戶的家庭收入并降低了貧富差距。但是,Yang 等[11]在臥龍自然保護區(qū)的研究顯示其他生態(tài)、社會和經濟一樣的情況下,每退耕還林和退耕還竹一畝地,農戶分別損失634元和194元。Ouyang 等[12]在全國2000—2010年生態(tài)系統(tǒng)評估的結果顯示,我國一系列的生態(tài)保護項目(包括天然林保護工程和退耕還林還草工程等)總體上增強了重要的生態(tài)系統(tǒng)調節(jié)服務。

然而,筆者2018年[8]對Web of Science和中國知網檢索的7299篇生態(tài)補償文獻的系統(tǒng)梳理顯示,定量的評估案例僅有105篇,而其中只有27篇研究符合績效評估研究設計和統(tǒng)計分析的基本要求?？傮w上,國內生態(tài)保護項目績效評估還處于起步階段,主要體現(xiàn)在定量化不足、研究設計不嚴密、基準線選取不規(guī)范、評估方法過于簡易、因果推理證據(jù)不足以及評估結果可信度較差。與此同時,2016年《關于健全生態(tài)保護補償機制的意見》中明確指出 “到2020年實現(xiàn)重要區(qū)域生態(tài)保護補償全覆蓋,基本建立符合我國國情的生態(tài)保護補償制度體系”[13]。2018年9月中共中央、國務院《關于全面實施預算績效管理的意見》提出“將政策和項目全面納入績效管理,從數(shù)量、質量、時效、成本、效益等方面,綜合衡量政策和項目預算資金使用效果”、 “對重大項目的責任人實行績效終身責任追究制,切實做到花錢必問效、無效必問責”。因此,迫切需要識別出政策真正的作用,保證評估的合理性與公平性,才能真正用于政策績效管理。

綜上所述,不管是從學術研究、國家戰(zhàn)略,還是實際生態(tài)管理的角度,都亟待從技術上推動和完善我國生態(tài)保護項目的績效評估,提高評估結果可靠性。因此,本文結合過去十多年的理論和案例研究經驗,對績效評估的技術流程進行了系統(tǒng)地歸納與梳理,以期為進一步開展生態(tài)保護項目績效評估提供技術參考。總體上,系統(tǒng)而嚴密的政策績效評估技術流程一般可以分為五大部分(圖1)：(1)問題的確立；(2)研究設計；(3)基準線的選?。?4)模型構建、驗證、校正和因果推理分析；(5)模型結果評估和應用。其中,問題的確立包括確定評估的政策、評估的目的(如生態(tài)效果、經濟效率、社會公平)、評估的范圍(如某縣的退耕還林區(qū)域)、評估的尺度(如像元、農戶)和評估的周期(如2000—2015年)。問題確立后,需結合實際情況選擇合適的研究設計、選取政策績效評估的基準線(即不實施政策的對照組),然后篩選評估指標進行模型的構建、驗證、校正和因果推理分析,最后對模型結果進行評估和應用(如果需要,返回上一步繼續(xù)對模型進行調試)。本文將對研究設計、基準線選取和評估方法展開介紹,并討論評估分析中常見的問題及解決方式。

1 研究設計

生態(tài)保護項目績效評估的研究設計可以分為3種：非實驗設計,實驗設計和準實驗設計,參見示意圖2。非實驗設計通常就是將政策實施前后的效果差異作為政策的效應。實驗設計也就是通常所說的隨機控制試驗,除了有實驗組之外,還需要設計完全隨機空白對照組。政策績效研究中幾乎很難達到實驗設計的要求,因此退而其次是選擇準實驗設計。準實驗設計又稱半實驗設計或類實驗設計,是借鑒實驗設計的思路,通過統(tǒng)計學的方法找到盡可能近似的匹配對照組,然后比較實驗組和匹配對照組的差異作為政策效應。事實上,正是因為實際的政策績效評估中幾乎無法找到完全隨機空白對照,所以需要更復雜更嚴密的統(tǒng)計方法來分析政策效果。

圖2 研究設計類型示意圖Fig.2 Research design types

2 基準線的選取

圖3 不同類型基準線及其政策效果示意圖Fig.3 Different types of baselines and corresponding policy effects

在非實驗設計的情況下,研究的政策應該是影響生態(tài)效果的主導性驅動力；否則,非實驗設計的偏差就會很大,評估結果可信度會大幅降低。通常,研究者會選擇政策剛剛實施前的狀態(tài)作為評估的基準線(圖3)。這種基準線是一種靜態(tài)的基準線,潛在的假設條件是如果不實施政策,研究樣本在評估終期的狀態(tài)與評估起始點的狀態(tài)是一樣的。顯然,這一假設條件在很多時候也是不成立的；所以,在實際的評估中,研究者會對這一靜態(tài)的基準線進行修正,采用動態(tài)的基準線,包括下降基準線和上升基準線。譬如,可以根據(jù)歷史趨勢線進行外推[14],把外推得到的研究樣本在評估終期的狀態(tài)作為基準線(圖3)。如果研究區(qū)域的歷史趨勢線難以獲得,實際操作時可以采用鄰近相似區(qū)域的歷史趨勢線代替[15]。舉例來說,如果A縣的歷史森林變化趨勢線難以獲得,可以采用社會經濟情況類似的鄰近B縣(或者A縣所隸屬的地級市C市)的歷史森林變化趨勢線代替。

在實驗設計的情況下,政策評估的基準線就是隨機選取的未實施政策的樣本(即空白對照組)在評估終期的狀態(tài)。這種基準線選取的潛在假設條件是認為實驗設計已經控制了所有影響政策效應的變量。顯然,在實際案例中這個假設條件是很難滿足的,實際的研究最多只能夠控制研究者能夠收集到數(shù)據(jù)的主要變量。

在準實驗設計的情況下,政策評估的基準線是通過統(tǒng)計分析選取的政策實施前初始狀態(tài)最接近實驗組的樣本(即匹配的空白對照組)在評估終期的狀態(tài)。這種基準線的選取采用的是一種數(shù)值逼近思維,認為既然找不到完全隨機控制的空白對照組,那么就列出一組可能影響政策實施效果的主要指標,通過統(tǒng)計分析找到與實驗組初始狀態(tài)最相似的樣本作為對照組。

3 評估方法

考慮到現(xiàn)有的文獻、教材和專著中缺乏對生態(tài)保護項目績效評估方法的系統(tǒng)梳理與歸納,本節(jié)系統(tǒng)介紹了績效評估中常用的分析方法,并總結了各方法的使用情況和相關參考案例,旨在拓寬研究者的分析思路,在方法選擇和使用上擁有更多的理論基礎和參考依據(jù)。

3.1 簡單差值法

簡單差值法是指績效評估時用后一個時間點的數(shù)值減去前一個時間點的數(shù)值的方法。在生態(tài)保護項目績效評估中,當政策是最大的主導性驅動力時,運用簡單差值法可以簡易明了地近似獲得評估時間段內政策的作用效應,如公式(1)所示：

Δy=yt1-yt0

(1)

式中,Δy是政策的作用效應,yt1和yt0分別表示評估終點和起點時政策效果指標的狀態(tài)值。

事實上,無論政策實施與否,我們所關心的效果指標在一定時間段內很難是靜態(tài)的狀態(tài),因此若能獲得政策實施前的歷史趨勢進而獲得動態(tài)基準線,將會大大提高評估的準確度,相關案例如筆者對四川臥龍?zhí)烊涣直Ｗo工程恢復效果的研究[11]

3.2 多元線性回歸法

多元線性回歸是指研究某一個因變量(或響應變量)與其余多個自變量的相互依賴關系的線性回歸方法[16]。多元線性回歸是政策績效評估中常用的分析方法,包括：一般多元線性回歸[17- 21]、雙重差分法[22- 24]和空間自相關回歸[25- 27]等。進行政策績效評估時,只需要在自變量中加入一個政策的啞變量；譬如,政策實施和不實施的分析單元的值分別設定為1和0。一般多元線性回歸的公式為：

y=Xβ+b+ε

(2)

式中,y為因變量矢量；X為自變量矢量；β為回歸系數(shù)矢量；b為截距；ε為誤差項,服從標準正態(tài)分布。

雙重差分法(Difference in Difference method, DID)作為估計處理效應的工具方法,常被用來評估政策實施的跨期效果。雙重差分模型的一般公式為：

yit=α+β(Gi×Dt)+γGi+δDt+εit

(3)

式中,Gi為分組虛擬變量(實驗組=1,對照組=0)；Dt為分期虛擬變量(政策實施后=1,政策實施前=0)；交互項Gi×Dt表示處理組在政策實施后的效應,其系數(shù)即為雙重差分模型的處理效應。

根據(jù)Tobler 的地理學第一定律,世界上的一切事物都是相互關聯(lián)的,距離越近的事物之間的相關性越大。地理學中這種潛在的相互依賴關系就是我們所說的空間相關性。舉例來說,越靠近森林邊界的荒地越有可能恢復為森林,交通越便利的森林越容易被盜伐[28]。當回歸模型中存在空間相關性時,殘差就與自變量或因變量存在相關性,因而違背一般多元線性回歸的假設。所以,在對有明顯空間分布特征的事物進行多元線性回歸分析時,需要檢驗其是否存在空間相關性。當空間相關性檢驗顯著時,一般多元線性回歸模型就不適用了,需要構建空間自相關模型?？臻g自相關模型的一般性混合模型公式：

y=ρWy+Xβ+μ

(4)

μ=λWμ+ε

(5)

式中,y是n×1的依變量矢量；n是研究單元數(shù)量；ρ是y的空間滯后變量的系數(shù)；W是n×n的空間權重矩陣；X是n×k的自變量和截距的矩陣；k等于自變量數(shù)量加1(1指截距的維度)；β是k×1的系數(shù)矢量；μ是n×1的誤差項矢量；λ是空間誤差項的相關性系數(shù)；ε是n×1的誤差項矢量。

3.3 工具變量分析法和中介分析法

工具變量分析法和中介分析法本質上都屬于分步回歸,模型中可以有一個或多個工具變量或中介變量。在統(tǒng)計分析中,某一個外生變量與模型中內生自變量高度相關,但與隨機誤差項不相關,那么我們可以用此變量與相應的回歸系數(shù)替代與之高度相關的內生自變量,這個變量就稱為工具變量,這種方法稱之為工具變量分析法[29]。以兩個工具變量為例的一般回歸方程如下：

x=γ0+Z1γ1+Z2γ2+v

(6)

(7)

工具變量的識別是該方法的一個難點,相關研究利用地理隔離找到有效的工具變量[30- 31],如 Kathryn Graddy在研究紐約魚市需求曲線時,以富爾頓漁場的天氣為工具變量(影響魚市供給量,且與遠在紐約的需求量無關),解決了魚的價格的內生性問題[30]。

中介分析法是指通過構建中介變量(也稱中間變量)來識別或者解釋自變量和因變量的內在關系和作用機理的方法。當政策通過某一個或多個因素間接作用于結果時可用此法更大限度地識別政策作用效應。中介分析法需要引入中介變量,在考慮自變量X對因變量Y的影響時,如果X通過影響變量M來影響Y,那么M為中介變量。

中介變量和自變量X與因變量Y之前的關系可以表示為：

Y=Xc+e1

(8)

M=Xa+e2

(9)

Y=Xc′+Mb+e3

(10)

在公式(8),(9),(10)中,中介效應等于系數(shù)ab的乘積,它與總效應和間接效應有如下關系：

c=c′+ab

(11)

式中,Y為因變量；X為自變量；M為中介變量；c為自變量對因變量的總效應；a為自變量對中介變量的效應；b為中介變量對因變量的效應；c′為自變量對因變量的直接效應；e1、e2、e3為誤差項。

3.4 匹配法

匹配法的基本思路是找到與實驗組個體在可測變量取值方面盡可能相似的控制組個體,以作為實驗的空白對照；進而計算平均處理效應(Average Treatment Effect, ATE)或參與者處理效應(Average Treatment Effect on the Treated, ATE)。因此,該方法的重點與難點在于找到匹配的對照組。常用的方法有最近鄰匹配法(Nearest Neighbor Matching, NNM)與傾向得分匹配法(Propensity Score Matching, PSM)。最近鄰匹配法可采用馬氏距離(Mahalanobis distance)來衡量實驗組與對照組個體間的距離,即相似度,并根據(jù)距離最近原則進行匹配：

(12)

傾向得分匹配法一般先用logit回歸得到傾向得分,再根據(jù)得分采用一定的法則進行匹配。常用的匹配法則有：k近鄰匹配[32](k=1, 2, …,n)、卡尺匹配[33- 34]、核匹配[35- 37]等。

得到匹配樣本后計算平均處理效應(ATE)或者參與者處理效應(ATT)：

(13)

(14)

該方法在政策績效評估中的運用較為廣泛[9, 38- 39],如徐大偉和李斌[39]利用核匹配法評估了遼東山區(qū)生態(tài)補償財政項目的生態(tài)經濟效果。部分學者將匹配法與雙重差分法結合以解決雙重差分法中存在系統(tǒng)誤差的問題,如北京河北跨流域“稻改旱”項目評估中采用雙重差分法的同時,利用傾向得分匹配法去除了項目參與戶與非參與戶由于自身差異造成的不同響應的干擾[9]。

3.5 結構方程法

結構方程法(是一種驗證性多元統(tǒng)計分析技術。一個典型的結構方程包括結構模型和測量模型兩部分；其中結構模型表征外生變量與內生變量之間關系,測量模型表征多個內生變量之間的關系。結構方程的一般公式(Bollen & Noble 2011)可以表達如下：

結構模型：

ηj=αη+BηJ+ΓξJ+ζJ

(15)

測量模型：

yj=αy+Λyηj+τj

(16)

Xj=αx+Λxξj+δj

(17)

式中,ηj是潛在內生性變量矢量；B是潛在內生性變量之間相關系數(shù)的矩陣；Γ是潛在外生性變量影響潛在內生性變量的回歸系數(shù)矩陣；ξJ是第j個分析單元的潛在外生性變量矢量；yj是對應ηj的一系列測量指標的矢量；Λy是ηj對yj的回歸系數(shù)矩陣；Xj是對應ηj的一系列測量指標的矢量；Λx是ξJ對Xj的回歸系數(shù)矩陣；αη、αy、αx是截距矢量；ζJ、τj、δj是誤差項。當只有結構模型,沒有測量模型時,結構方程就退化為路徑分析法(Path analysis)。當沒有結構模型,只有一個測量模型時,結構方程就退化為因子分析法(Factor analysis)。

3.6 貝葉斯網絡分析法

貝葉斯網絡(Bayesian networks)又稱為信念網絡、因果網絡或有向無環(huán)圖模型,由Judea Pearl于1985年[40]提出,是貝葉斯定理的擴展,是一種基于概率推理的圖形化網絡,可以用于模擬人類推理過程中的因果關系。貝葉斯網絡的拓撲結構是一個有向無環(huán)圖。有向無環(huán)圖的節(jié)點表示隨機變量(可以是觀測變量,也可以是潛在變量或未知參數(shù)),有因果關系的變量則用單向箭頭連接在一起,表示其中一個節(jié)點是因,另一個節(jié)點是果,兩個節(jié)點之間就會產生一個條件概率值。把一個研究系統(tǒng)中所涉及的隨機變量根據(jù)因果關系繪制在一個有向無環(huán)圖中,就形成了貝葉斯網絡,與結構方程獲得的路徑圖(Path diagram)殊途同歸。只不過貝葉斯網絡是非參數(shù)方法而結構方程是參數(shù)法。

一個貝葉斯網絡BN可以定義為：BN=(G,θ),其中G是X上聯(lián)合概率分布的有向非循環(huán)圖,θ表示貝葉斯網絡的參數(shù),X上的聯(lián)合概率分布可以定義為：

(18)

圖4是基于結構方程或貝葉斯網絡的原理構建的生態(tài)保護項目作用效應和機理的廣義概念框架。在實際評估案例中,可能只有一種政策,也可能同時存在多項政策,不同政策之間也可能存在交互效應；可能既有自然中介因子,又有人類中介因子,也可能只有其中一種。

圖4 生態(tài)政策作用效應和機理的廣義概念框架Fig.4 General conceptual framework of effects and mechanisms for ecological policies

干擾因子是與模型中因變量和自變量同時相關的外源性的因素。自然和人類中介因子各自內部和之間也可能產生影響。因果效應是對應某一特定的時間段的,不同的時間段上可能產生作用與反作用從而形成反饋。為簡化示意圖,圖中未標出反饋路徑。

結構方程法和貝葉斯網絡分析法都可以相對全面、精確地分析政策的作用效應和作用機理,為政策調控提供可靠的依據(jù),但它們對于樣本的數(shù)量要求較高,一般需100個以上,因果關系越復雜,需要的樣本量也越大。在生態(tài)保護項目績效分析中這兩個方法也有諸多案例,如在分析吳起縣退耕還林對農戶收入的影響時,Lin和Yao用結構方程法有效識別了政策對農戶收入的間接影響,發(fā)現(xiàn)退耕還林主要通過轉移農戶勞動力的方式間接影響著他們的收入[41]； Sun和Müller用貝葉斯網絡分析法探討了退耕還林對麗江的土地利用和家庭生計的潛在影響[42]。Yang等[11]運用結構方程揭示了退耕還林和退耕還竹兩項政策同時實施時對臥龍自然保護區(qū)農戶生計活動和社會經濟收入的作用效應和機理。

4 討論

4.1 干擾因子

除了評估的項目對評估的效果指標會產生影響,許多其他因子也會影響評估的效果指標或者中介因子,從而對績效評估結果造成誤差。這些因子被稱為干擾因子,包括地理因子(如海拔、坡度、坡向、濕度)、生態(tài)因子(如初始的植被覆蓋率)、人口因子(如人口數(shù)、戶數(shù)、年齡、受教育程度、性別比例)、社會經濟因子(如收入、城市化程度、社交網絡)、以及其他政策等。以評估退耕還林工程對農戶家庭收入的影響為例,退耕還林釋放了參與農戶的勞動力,這些農戶除了保留一部分勞動力繼續(xù)從事傳統(tǒng)的農業(yè)生產,還可以利用釋放出來的勞動力打工或者開農家樂賺取額外的收入。這個時候,農業(yè)生產、打工和開農家樂都是退耕還林影響農戶家庭收入的中介因子。戶主或者戶主配偶的受教育程度或社會關系既可能影響該農戶的打工收入,也可能同時影響其農業(yè)收入、農家樂收入或家庭總收入,從而成為評估模型中必須考慮的干擾因子[11]。這種情況下可考慮用中介分析法、匹配法、結構方程法或貝葉斯網絡分析法將干擾因子納入到評估模型。

4.2 選擇誤差

生態(tài)保護項目設計時本身可能會對實施對象或目標區(qū)域等有篩選要求,進而造成實驗組與對照組間的選擇誤差。這類干擾比較隱蔽,容易被忽略,因而在評估中尤其要注意。以評估自然保護區(qū)對動植物棲息地的影響為例,相對于保護區(qū)外的區(qū)域,保護區(qū)往往在被劃為保護區(qū)之前就具有一些鮮明不同的特征(如植被覆蓋率高、偏遠、受人類活動影響小)。如果評估時直接比較保護區(qū)內與保護區(qū)外棲息地的變化,可能輕而易舉就得到保護區(qū)非常有效地保護了動植物棲息地的結論。但是,事實可能只是保護區(qū)的底子要比保護區(qū)外好,更有利于棲息地的自然恢復,并非建立保護區(qū)的政策產生了作用。再以退牧還草工程為例,被選為退牧還草實施區(qū)域的地方正是因為多年的過度放牧導致草場快速退化。如果評估時直接比較退牧還草工程區(qū)與工程區(qū)外草場恢復的效果,可能工程區(qū)外草場恢復的效果更好,進而得出退牧還草工程抑制了草場恢復的結論。但是,事實可能只是工程區(qū)在政策實施前草場質量本來就很差,原本就比工程區(qū)外需要更長的時間恢復。以上兩個例子說明選擇誤差可能造成評估結果偏高,也可能偏低。如果忽略選擇誤差,甚至可能得出完全相反的錯誤結論。因此,當判斷可能存在選擇誤差時,需要在模型中對項目設計時的篩選條件進行控制,以消除選擇誤差。

4.3 空間依賴性

空間依賴性在生態(tài)保護項目績效評估中也是一個不可忽略的因素。空間依賴性主要表現(xiàn)在三個方面：一是選擇合適的空間尺度；二是空間相關性；三是溢出效應。選擇合適的空間尺度比較好理解,因為在不同尺度上的生態(tài)和社會經濟效益可能是不同的。以生態(tài)旅游開發(fā)政策對自然保護區(qū)的經濟效益為例,當?shù)剞r戶獲得的經濟效益往往非常有限,大部分的收益通常都被旅游開發(fā)公司和地方政府攫取了[43- 44]。因此,在農戶尺度和自然保護區(qū)尺度上的經濟效益是完全不同的,實際操作中往往需要在多個尺度上評估對不同分析單元的影響[45]。空間相關性的實質是生態(tài)系統(tǒng)本身的動態(tài)變化呈現(xiàn)空間異質性。舉例來說,離森林越近的地方可能越容易恢復成森林。溢出效應則是因為對生態(tài)系統(tǒng)的影響可能跨越所評估系統(tǒng)的邊界。譬如,森林涵養(yǎng)的水會從上游流到下游,固定的二氧化碳可能來自系統(tǒng)外。空間相關性和溢出效應的處理比較復雜,需要根據(jù)實際案例和具體情況對評估模型進行修正。如果已知造成空間相關性和溢出效應的原因,可以在模型中加入相應的變量(如每個像元到最近森林或河流的距離,每個農戶到最近公路的距離)。如果不知道造成空間相關性和溢出效應的原因,可以假設不同的空間相關性情景(如幾何鄰近關系、像元中心點的距離、到最近的k個鄰居的距離),構建空間自相關模型[28, 46]。

4.4 污染問題

污染問題也是造成績效評估誤差的一個重要因素。污染問題產生的原因可能是除評估政策之外的任何影響評估效果的政策、事件或其他外部因素。譬如,在四川大熊貓臥龍自然保護區(qū),除了實施退耕還林工程,保護區(qū)管理局還實施了退耕還竹工程,這兩個項目高度相似,勢必有顯著的交互效應,在開展績效評估時就需要同時納入模型[11]。在評估天然林保護工程生態(tài)效益時,個別林斑由于公路改造或建旅游基礎設施被破壞了,就需要作為離群值被剔除從而避免造成不可控的非系統(tǒng)性誤差。此外,溢出效應也可能造成污染。如實驗組產生的溢出效應可能波及對照組,從而影響評估的基準線和評估結果。在實際評估中,當存在污染問題時,需盡可能進行排除以獲得更準確可靠的政策或工程效應。

4.5 普適性

生態(tài)保護項目績效評估最大的挑戰(zhàn)可能來自于目前缺乏普適性的作用機理理論,這進一步增加了評估誤差的來源。一方面,生態(tài)保護項目的影響是多維度(如生態(tài)、社會和經濟效益)、多尺度的(如像元、農戶和鄉(xiāng)鎮(zhèn))、甚至跨越多個人與自然耦合系統(tǒng)(如遷徙的鳥類繁殖和越冬的棲息地可能屬于相隔千里的不同生態(tài)系統(tǒng))[47]。另一方面,生態(tài)保護項目的作用機理并不是單一的,而是存在多條作用路徑。同一個項目在不同的實施區(qū)域,或者不同的項目在同一個實施區(qū)域作用的機理都可能不一樣。研究者在開展績效評估時需要熟悉當?shù)氐膶嶋H情況,反復琢磨和核實是否存在遺漏的中介因子和作用路徑,或替代性路徑[3, 28]。

盡管系統(tǒng)而嚴密的生態(tài)保護項目績效評估存在以上諸多難點,而目前我國的研究才處于起步階段,但是隨著國際上對生態(tài)保護項目績效評估主流化的呼吁[7],以及我國一系列相關項目的實施,對重大生態(tài)保護項目開展系統(tǒng)的績效評估已經成為國家與地方的戰(zhàn)略需求。相信未來這一研究方向會越來越受到重視,理論基礎和技術方法也會逐步完善。