朱耿平， 范靖宇， 王夢(mèng)琳， 陳 敏， 喬慧捷

1天津師范大學(xué)生命科學(xué)學(xué)院，天津市動(dòng)植物抗性重點(diǎn)實(shí)驗(yàn)室，天津 300387； 2北京林業(yè)大學(xué),林木有害生物防治北京市重點(diǎn)實(shí)驗(yàn)室，北京 100083； 3中國(guó)科學(xué)院動(dòng)物研究所，動(dòng)物生態(tài)與保護(hù)生物學(xué)院重點(diǎn)實(shí)驗(yàn)室,北京 100101

ROC曲線形狀在生態(tài)位模型評(píng)價(jià)中的重要性
——以美國(guó)白蛾為例

朱耿平1*， 范靖宇1， 王夢(mèng)琳1， 陳 敏2， 喬慧捷3

1天津師范大學(xué)生命科學(xué)學(xué)院，天津市動(dòng)植物抗性重點(diǎn)實(shí)驗(yàn)室，天津 300387；2北京林業(yè)大學(xué),林木有害生物防治北京市重點(diǎn)實(shí)驗(yàn)室，北京 100083；3中國(guó)科學(xué)院動(dòng)物研究所，動(dòng)物生態(tài)與保護(hù)生物學(xué)院重點(diǎn)實(shí)驗(yàn)室,北京 100101

【目的】生態(tài)位模型在生物地理學(xué)、入侵生物學(xué)和保護(hù)生物學(xué)中具有廣泛的應(yīng)用，被越來(lái)越多地用于預(yù)測(cè)物種潛在分布和現(xiàn)實(shí)分布的研究中。本文以美國(guó)白蛾為例介紹pROC方案在生態(tài)位模型評(píng)價(jià)中的應(yīng)用及其注意事項(xiàng)，以期對(duì)物種潛在分布預(yù)測(cè)進(jìn)行合理的評(píng)價(jià)，促進(jìn)生態(tài)位模型在我國(guó)的合理運(yùn)用和發(fā)展。【方法】介紹ROC曲線和AUC值基本原理，總結(jié)其在生態(tài)位模型評(píng)價(jià)中的應(yīng)用，從物種存在分布點(diǎn)和不存在分布點(diǎn)的可信度出發(fā)，分析AUC值用于模型評(píng)價(jià)的優(yōu)點(diǎn)和不足，最后介紹局部受試者工作特征曲線的線下面積方案(pROC方案)來(lái)彌補(bǔ)傳統(tǒng)AUC值的不足。【結(jié)果】AUC值雖獨(dú)立于閾值，但因其綜合靈敏度和特異度，而屏蔽這2個(gè)指標(biāo)各自的特征，不能分別評(píng)估預(yù)測(cè)結(jié)果的靈敏度和特異度，同時(shí)對(duì)遺漏率和記賬錯(cuò)率不能進(jìn)行權(quán)衡，會(huì)誤導(dǎo)使用者對(duì)模型的評(píng)價(jià)。與AUC值相比，ROC曲線的形狀更具有價(jià)值，蘊(yùn)含豐富的模型評(píng)價(jià)信息?！窘Y(jié)論】模型評(píng)價(jià)需要將靈敏度和特異度區(qū)別對(duì)待，ROC曲線形狀比AUC值在生態(tài)位模型評(píng)價(jià)中更為重要，pROC方案相對(duì)于傳統(tǒng)AUC值具有優(yōu)勢(shì)，但容易對(duì)過(guò)度模擬做出不當(dāng)判斷。模型評(píng)價(jià)與作者研究目的密切相關(guān)：當(dāng)以預(yù)測(cè)物種潛在分布為目的時(shí)(如入侵物種潛在分布、氣候變化對(duì)物種分布的影響和譜系生物地理學(xué))，模型評(píng)價(jià)應(yīng)當(dāng)給予靈敏度(或者遺漏率)更多的權(quán)重；當(dāng)以預(yù)測(cè)物種現(xiàn)實(shí)分布為目的時(shí)(如保護(hù)區(qū)界定和瀕危物種引入)，模型評(píng)價(jià)應(yīng)當(dāng)給予靈敏度和特異度同等的權(quán)重。

生態(tài)位模型； 靈敏度； 特異度； ROC曲線； AUC值； 遺漏錯(cuò)誤；記賬錯(cuò)誤

近年來(lái)，生態(tài)位模型被越來(lái)越多地用于預(yù)測(cè)物種潛在分布(potential distribution)和現(xiàn)實(shí)分布(realized distribution)，廣泛用于入侵生物學(xué)、保護(hù)生物學(xué)、全球氣候變化對(duì)物種分布的影響、譜系生物地理學(xué)及傳染病空間傳播等領(lǐng)域(喬慧捷等，2013； 朱耿平等，2013； Petersonetal.，2011)。近30年來(lái)，研究者開(kāi)發(fā)了20多種生態(tài)位模型(Elithetal.，2006； Qiaoetal.，2012)，每個(gè)模型有不同的理論基礎(chǔ)、分析方式和數(shù)據(jù)需求，所預(yù)測(cè)的物種地理分布處于現(xiàn)實(shí)分布和潛在分布之間(Jiménez-Valverdeetal.，2011)。隨著全球物種分布數(shù)據(jù)的共享和地理信息系統(tǒng)(geographic information system， GIS)技術(shù)的快速發(fā)展，以統(tǒng)計(jì)學(xué)理論為基礎(chǔ)，分析分布點(diǎn)和環(huán)境因子相關(guān)性為基礎(chǔ)的相關(guān)性方案(correlative approach)的生態(tài)位模型迅速發(fā)展。與以實(shí)驗(yàn)數(shù)據(jù)為基礎(chǔ)的實(shí)驗(yàn)機(jī)理方案(mechanistic approach)的模型相比，這種相關(guān)性模型構(gòu)建參數(shù)相對(duì)簡(jiǎn)單，具有開(kāi)放性，應(yīng)用也更廣泛(Petersonetal.，2015)。

在生態(tài)位模型評(píng)價(jià)中，產(chǎn)生了包括總體準(zhǔn)確度(overall accuracy)、靈敏度(sensitivity)、特異度(specificity)、真實(shí)技巧統(tǒng)計(jì)(true skill statistic， TSS)和卡帕值(Kappa)等多種方法(Andersonetal.，2003； Qiaoetal.，2015)。在這些統(tǒng)計(jì)方法中，受試者工作特征(receiver operating characteristic， ROC)曲線的線下面積(area under the curve， AUC)值因其獨(dú)立于閾值(threshold)、評(píng)價(jià)結(jié)果直觀可見(jiàn)等特征，成為生態(tài)位模型應(yīng)用中最流行的評(píng)價(jià)方法之一，被廣泛應(yīng)用于判斷和比較不同模型之間的預(yù)測(cè)效果(Elithetal.，2006)。但研究顯示，AUC值在模型評(píng)價(jià)時(shí)具有誤導(dǎo)性(Jiménez-Valverde，2012； Loboetal.，2008； Petersonetal.，2008)，特別是以模擬物種潛在分布為目的的生態(tài)位模型應(yīng)用中(Jiménez-Valverde，2012)。

我國(guó)學(xué)者多以AUC值大小來(lái)評(píng)價(jià)所構(gòu)建模型的優(yōu)劣，在模擬入侵物種的潛在分布和全球變化對(duì)物種的分布影響中，僅僅提供AUC值來(lái)評(píng)估模型的預(yù)測(cè)能力價(jià)值不大(Loboetal.，2008； Petersonetal.，2008)。本研究中，作者從物種存在分布點(diǎn)和不存在分布點(diǎn)的可信度出發(fā)，介紹AUC值的誤導(dǎo)性，然后介紹局部受試者工作特征曲線的線下面積(partial area under the receiver operating characteristic curve， pROC)方案來(lái)彌補(bǔ)AUC值的不足，強(qiáng)調(diào)ROC曲線的形狀比AUC值更為重要，最后以預(yù)測(cè)入侵害蟲(chóng)美國(guó)白蛾Hlyphantriacunea(Drury)的潛在分布為例，介紹pROC方案在生態(tài)位模型評(píng)價(jià)中的應(yīng)用及注意事項(xiàng)，以期對(duì)物種潛在分布預(yù)測(cè)(生物入侵、全球變化生物學(xué)和譜系生物地理學(xué))進(jìn)行合理評(píng)價(jià)，促進(jìn)生態(tài)位模型在我國(guó)的運(yùn)用和發(fā)展。

1 ROC曲線及AUC值的誤導(dǎo)性

1.1 ROC曲線及AUC值基本原理

生態(tài)位模型的輸出結(jié)果一般有2種：二元分布結(jié)果(binary distribution)和連續(xù)的概率分布(continuous probability distribution)。二元分布結(jié)果指的是模型直接輸出為物種在/不在某地存在；而連續(xù)的分布結(jié)果指的是模型輸出物種能夠在某地出現(xiàn)的概率或物種在某地的適應(yīng)性。針對(duì)二元的輸出結(jié)果，最常用的評(píng)價(jià)方法是模糊矩陣(fuzzy matrix)以及衍生其上的評(píng)價(jià)指標(biāo)，如TSS、Kappa值等(Alloucheetal.，2006)。如果希望將上述評(píng)價(jià)指標(biāo)應(yīng)用在連續(xù)的概率結(jié)果上，則需要選擇閾值對(duì)概率性結(jié)果進(jìn)行二值化 (Liuetal.，2005)?；诙植冀Y(jié)果，生態(tài)位模型評(píng)價(jià)中會(huì)產(chǎn)生2類錯(cuò)誤：一類是過(guò)低估計(jì)，將物種的實(shí)際存在分布區(qū)預(yù)測(cè)為不存在的分布，稱為假陰性，或遺漏錯(cuò)誤(omission error)，即模型預(yù)測(cè)結(jié)果對(duì)物種存在分布點(diǎn)的遺漏；另一類是過(guò)高估計(jì)，將實(shí)際的不存在分布區(qū)預(yù)測(cè)為存在分布區(qū)，為假陽(yáng)性，或記賬錯(cuò)誤(commission error)，即模型預(yù)測(cè)結(jié)果對(duì)物種不存在分布點(diǎn)錯(cuò)誤地記錄為存在分布點(diǎn)。前者是基于物種存在分布點(diǎn)進(jìn)行評(píng)估，后者是基于不存在分布點(diǎn)。這2類錯(cuò)誤的大小與閾值的變化大小相關(guān)，隨著閾值增大，遺漏錯(cuò)誤會(huì)增加，而記賬錯(cuò)誤會(huì)降低(Pearson，2007)。這些方法基于二元的預(yù)測(cè)結(jié)果，因此受限于閾值選取的方法，當(dāng)變更閾值后，模型的評(píng)價(jià)結(jié)果會(huì)發(fā)生較大變化。為了能夠客觀平穩(wěn)地評(píng)價(jià)模型，統(tǒng)計(jì)學(xué)家提出了利用ROC曲線的AUC值來(lái)評(píng)價(jià)模型的方法(Maneletal.，2001)。AUC值是一種被廣泛用于估計(jì)預(yù)測(cè)模型準(zhǔn)確率的評(píng)價(jià)方法，它不受閾值限制(王運(yùn)生等，2007； Maneletal.，2001； Metz，1978)。

AUC值本質(zhì)上是靈敏度(sensitivity)和特異度(specificity)在不同閾值下的綜合指標(biāo)。靈敏度是實(shí)際有分布且被預(yù)測(cè)為分布的概率，即真陽(yáng)性率，反映了模型預(yù)測(cè)物種存在分布的能力；特異度是指實(shí)際沒(méi)有該物種分布且被正確預(yù)測(cè)為無(wú)分布的概率，即真陰性率，反映了模型預(yù)測(cè)該物種不存在分布的能力。隨著閾值的增大，靈敏度降低，而特異度增加(Pearson，2007)。ROC曲線分析通過(guò)改變閾值，獲得多對(duì)真(假)陽(yáng)性率值之間的對(duì)應(yīng)關(guān)系，它以假陽(yáng)性率(1-特異度)為橫坐標(biāo)，真陽(yáng)性率(靈敏度)為縱坐標(biāo)，繪制而成的曲線即為ROC曲線(圖1)，ROC曲線下的面積為AUC值。當(dāng)ROC曲線為斜率為45°的對(duì)角線時(shí)，即AUC值為0.5，表示該模型為隨機(jī)模型，結(jié)果的準(zhǔn)確率為50%；AUC值>0.5，表示模型的輸出結(jié)果好于隨機(jī)模型；AUC值<0.5，表示模型的輸出結(jié)果差于隨機(jī)模型。一般認(rèn)為，AUC值為0.5～0.7時(shí)模型價(jià)值較低；0.7～0.9時(shí)價(jià)值中等；>0.9時(shí)價(jià)值較高(Swets，1988)。在常用的模型評(píng)價(jià)指標(biāo)中(準(zhǔn)確度、靈敏度、特異度、Kappa值、TSS和AUC等)，只有AUC值不受模型預(yù)測(cè)閾值的影響，這種閾值獨(dú)立性使研究者不需要設(shè)定閾值就能對(duì)模型做出判斷。

A:模型a和b具有相同的AUC值，但ROC曲線的形狀不同；B:pROC方案。A: Models a and b have same AUC values but different ROC curve shapes; B: The pROC approach. 圖1 相同AUC值但不同的ROC曲線形狀Fig.1 Same AUC values but different ROC curve shapes

1.2 AUC值的誤導(dǎo)性

AUC值的誤導(dǎo)性在于它是靈敏度和特異度的“綜合表現(xiàn)”，無(wú)法分別去評(píng)估模型的靈敏度和特異度，即不同閾值下靈敏度和特異度的各自大小，而這些信息蘊(yùn)含在ROC曲線的形狀中：當(dāng)ROC曲線向左上側(cè)伸展時(shí)，模型靈敏度相對(duì)較特異度好；當(dāng)ROC曲線向左下側(cè)伸展時(shí)，模型特異度相對(duì)較靈敏度好(Jiménez-Valverde，2012)。如圖1A，模型a、b具有相同的AUC值，但它們的靈敏度和特異度隨預(yù)測(cè)閾值的變化趨勢(shì)不同，ROC曲線的形狀不同，在相同AUC值下，模型b具有相對(duì)較高的敏感度。

物種分布點(diǎn)可分為存在的分布點(diǎn)(presence)和不存在的分布點(diǎn)(absence)。這2類數(shù)據(jù)的可信度不同，物種存在分布點(diǎn)的可信度遠(yuǎn)大于不存在分布點(diǎn)，這是由分布點(diǎn)的本身特性決定的。在物種分布調(diào)查時(shí)，如果某地點(diǎn)采集到該物種標(biāo)本，則可以確信該物種分布點(diǎn)的存在；但如果某地點(diǎn)未采集到該物種標(biāo)本，那么尚不能確立該物種不存在的分布，因?yàn)槟车攸c(diǎn)未采集到該物種并不代表該物種的不存在，未采集到標(biāo)本可能與采集者運(yùn)氣、采集力度等多種因素有關(guān)。在生態(tài)模型構(gòu)建和評(píng)價(jià)時(shí)，多數(shù)研究者采用的物種存在分布點(diǎn)是真實(shí)可靠的，使用擬不存在物種分布點(diǎn)(pseudo absence)或背景數(shù)據(jù)(background)來(lái)替代物種不存在分布點(diǎn)。由于存在分布點(diǎn)比不存在分布點(diǎn)更可靠，因此，在模型評(píng)價(jià)時(shí)，測(cè)試數(shù)據(jù)中的物種存在分布點(diǎn)和不存在分布點(diǎn)不宜同等對(duì)待，應(yīng)給予物種存在分布點(diǎn)更多的權(quán)重(Loboetal.，2010； Petersonetal.，2008)，即對(duì)模型敏感性或遺漏率給予更多的權(quán)重。因此，在ROC曲線評(píng)價(jià)模型時(shí)，靈敏度和特異度應(yīng)當(dāng)區(qū)別對(duì)待，應(yīng)給予靈敏度更多的權(quán)重，而AUC值簡(jiǎn)單地將二者綜合，并且對(duì)遺漏率和記賬錯(cuò)率給予同等的權(quán)重。如圖1A，模型a、b具有相同的AUC值和不同的ROC曲線，但模型b的AUC值中靈敏度占有更多的權(quán)重，在預(yù)測(cè)物種潛在分布可能性上具有相對(duì)更高的靈敏度，因此,模型b在生物入侵和全球變化對(duì)物種分布影響中的預(yù)測(cè)結(jié)果更為可靠。

2 pROC方案

針對(duì)上述問(wèn)題，Petersonetal.(2008)提出采用pROC方案來(lái)彌補(bǔ)AUC值在模型評(píng)價(jià)中的不足。不同部分ROC曲線的線下面積是不同的，間接反映了ROC曲線的形狀，pROC方案通過(guò)對(duì)ROC曲線進(jìn)行分割并計(jì)算部分ROC曲線下面積值來(lái)評(píng)估模型表現(xiàn)，這種切割依據(jù)源于研究者對(duì)測(cè)試數(shù)據(jù)可靠性的判斷。具體做法如下：首先,研究者需要對(duì)所測(cè)試物種存在分布數(shù)據(jù)的可信度進(jìn)行估測(cè)和判斷，即所用測(cè)試物種存在分布數(shù)據(jù)中有多少是可靠的，能夠真實(shí)反映物種實(shí)際地理分布，有多少是錯(cuò)誤或不符合實(shí)際的。測(cè)試數(shù)據(jù)的可靠性與物種分布特性、數(shù)據(jù)來(lái)源、標(biāo)本采集和記錄，以及數(shù)據(jù)整理方式等密切相關(guān)。例如，測(cè)試數(shù)據(jù)主要源于數(shù)據(jù)庫(kù)和文獻(xiàn)記載，有些地理分布需要查詢地理坐標(biāo)，研究者可以判斷90%的測(cè)試數(shù)據(jù)是可靠的；如果測(cè)試數(shù)據(jù)基于研究者的實(shí)際調(diào)查和GPS儀記錄地理坐標(biāo)，則可以判斷99%的測(cè)試數(shù)據(jù)是可靠的。隨后,基于研究者對(duì)測(cè)試數(shù)據(jù)的可信度判斷(即錯(cuò)誤數(shù)據(jù)占所有測(cè)試數(shù)據(jù)的百分比，E)，pROC方案將傳統(tǒng)ROC曲線進(jìn)行分割，采用錯(cuò)誤率0～E之間的ROC曲線來(lái)評(píng)估模型的預(yù)測(cè)能力(圖1B)，這種pROC方案能夠間接反映ROC曲線的形狀。當(dāng)E=0時(shí)，pROC為傳統(tǒng)ROC曲線。

Petersonetal.(2008)建議使用AUC比率(AUC ratio)來(lái)評(píng)估模型的預(yù)測(cè)能力。AUC比率=AUCE/AUC0.5，其中，AUCE為ROC曲線在錯(cuò)誤率0～E區(qū)間曲線下面積的值，AUC0.5為對(duì)角線(AUC=0.5)在錯(cuò)誤率0～E區(qū)間對(duì)角線下面積的值(圖1B)。AUC比率>1，說(shuō)明模型相對(duì)隨機(jī)預(yù)測(cè)較好；AUC比率<1，說(shuō)明模型相對(duì)隨機(jī)預(yù)測(cè)較差。AUC比率間接反映了ROC曲線的形狀，能夠較為合理地對(duì)模型進(jìn)行評(píng)估，特別是以潛在分布為目的的生態(tài)位模型。作者認(rèn)為，采用AUCE-AUC0.5同樣可以較為直觀地反映pROC方案[(AUCE-AUC0.5) > 0，說(shuō)明模型優(yōu)于隨機(jī)模型；(AUCE-AUC0.5)<0，說(shuō)明模型相對(duì)隨機(jī)模型較差。如圖1B，采用AUC比率或AUCE-AUC0.5的值來(lái)比較模型a和b，pROC方案均能較好地反映出模型b比模型a具有更高的預(yù)測(cè)物種潛在分布的能力。此外，pROC方案雖強(qiáng)調(diào)靈敏度在模型評(píng)價(jià)中的重要性，但要注意由于過(guò)度預(yù)測(cè)而導(dǎo)致遺漏率降低和記賬錯(cuò)率增加，這種局限性可以通過(guò)ROC曲線直觀展示(圖2)。目前可以進(jìn)行pROC分析的軟件和平臺(tái)有基于R語(yǔ)言的軟件包ENMGadgets (https:∥github.com/narayanibarve/ENMGadgets)、基于Java的NicheA (Qiaoetal.，2016)和網(wǎng)站平臺(tái)(http:∥shiny.conabio.gob.mx:3838/nichetoolb2)等。

3 案例應(yīng)用: 美國(guó)白蛾潛在地理分布模型評(píng)價(jià)

美國(guó)白蛾源自北美洲(包括美國(guó)、加拿大和墨西哥)，現(xiàn)已在亞洲和歐洲建立種群。與歐洲相比，美國(guó)白蛾在亞洲東部地區(qū)的危害比較嚴(yán)重，種群常處于暴發(fā)狀態(tài)，給城市園林造成嚴(yán)重的經(jīng)濟(jì)損失(Yangetal.，2008)。在我國(guó)，美國(guó)白蛾最初在遼寧丹東被發(fā)現(xiàn)，歷年監(jiān)測(cè)顯示，其種群不斷地向西部和南部擴(kuò)張(Caoetal.，2016)。作者以美國(guó)白蛾在東亞地區(qū)的潛在分布預(yù)測(cè)為例，探討pROC方案的應(yīng)用和注意事項(xiàng)，以及ROC曲線的重要性。

3.1 物種分布數(shù)據(jù)和環(huán)境變量

美國(guó)白蛾分布數(shù)據(jù)主要源自文獻(xiàn)記載及在線數(shù)據(jù)庫(kù)，包括US Pest Tracker program (www.pest.ceris.purdue.edu)、Global Biodiversity Information Facility (GBIF；www.gbif.org)、Butterflies and Moths of North America (www.butterfliesandmoths.org)、Canadian National Collection of Insects、Arachnids and Nematodes (www.canacoll.org)、Barcode of Life Data Systems (www.boldsystems.org)等。環(huán)境變量的選取主要考慮其對(duì)美國(guó)白蛾地理分布的限制作用和變量之間的相關(guān)性，具體做法如下：首先，在19種bioclimate變量中，去除溫度和降水相關(guān)聯(lián)的環(huán)境變量(即bio8、bio9、bio18和bio19)，同時(shí)參照Synes & Osborne (2011)的方法來(lái)計(jì)算Growing Degree Days (GDD)，將這16種環(huán)境變量在Maxent模型中進(jìn)行刀切法測(cè)試(jackknife test)，衡量其對(duì)美國(guó)白蛾地理分布的限制作用；其次，基于刀切法對(duì)環(huán)境變量重要性的排序和變量間的相關(guān)性(Pearson相關(guān)性系數(shù)<0.7)，在SDMTools中進(jìn)行篩選(Brown，2014)，最后選出bio1、bio3、bio4、bio5和GDD等環(huán)境變量用于構(gòu)建美國(guó)白蛾生態(tài)位模型。

生態(tài)位模型分別構(gòu)建于北美地區(qū),然后將其轉(zhuǎn)移至東亞地區(qū)，用于比較和檢驗(yàn)其預(yù)測(cè)美國(guó)白蛾潛在分布的能力，ROC曲線采用Peterson et al.( 2008)的方法繪制。ROC curves were generated for the potential predictions of native models that transferred onto East Asia, the curves were prepared by "1-omission error" plotting against "proportion of area predicted present" (Peterson et al.，2008).圖2 基于4種模型對(duì)美國(guó)白蛾在東亞地區(qū)潛在分布預(yù)測(cè)的ROC曲線Fig.2 ROC curve shapes for the four models for H. cuneain East Asia

3.2 模型構(gòu)建及ROC曲線

采用經(jīng)典模型構(gòu)建方案，即在本土地區(qū)構(gòu)建生態(tài)位模型，然后將其轉(zhuǎn)移投射至東亞地區(qū)來(lái)檢驗(yàn)?zāi)Ｐ秃皖A(yù)測(cè)美國(guó)白蛾的分布。通過(guò)構(gòu)建廣義增強(qiáng)模型(generalized boosting models，GBM)或稱推進(jìn)式回歸樹(shù)模型(boosting regression trees，BRT)、廣義線性模型(generalized linear models，GLM)、Maxent模型(maximum entropy modeling，最大熵值模型)和GARP模型(genetic algorithm for ruleset production，基于遺傳算法的規(guī)則組合模型)來(lái)模擬美國(guó)白蛾的生態(tài)位和地理分布，其中GBM和GLM在biomod 2平臺(tái)構(gòu)建(Thuilleretal.，2009)，Maxent和GARP模型分別在Maxent (3.3.3k)和Desktop GARP(1.1.3)軟件中構(gòu)建。在biomod 2中，采用默認(rèn)參數(shù)，基于物種分布點(diǎn)和隨機(jī)選取10000個(gè)不存在分布點(diǎn)來(lái)構(gòu)建模型；在Maxent中，采用默認(rèn)參數(shù)，選取logistic輸出模式；在GARP中，采用Andersonetal.(2003)方案構(gòu)建優(yōu)化模型。不同模型輸出的預(yù)測(cè)值不同，將模型輸出結(jié)果重新度量(rescale)至0～100，便于比較和分析。最后采用Petersonetal. (2008)的方法來(lái)繪制和比較上述模型在東亞地區(qū)預(yù)測(cè)的ROC曲線，這種方法以預(yù)測(cè)物種存在分布區(qū)占所有區(qū)域的百分比為橫坐標(biāo)，以1-遺漏錯(cuò)誤率為縱坐標(biāo)制作而成(圖2)(Petersonetal.，2008)。在pROC方案中，分別采用E=0、E=0.05和E=0.01來(lái)計(jì)算AUC比率，當(dāng)E=0時(shí)，相當(dāng)于以傳統(tǒng)AUC值來(lái)評(píng)估模型預(yù)測(cè)能力。

3.3 結(jié)果與討論

將GBM、GLM、GARP和Maxent等本土模型轉(zhuǎn)移至亞洲東部后，各種模型預(yù)測(cè)結(jié)果差別較大(圖2)。與其他模型相比，GARP模型的遺漏率最小，AUC比率最大，但由于其過(guò)度預(yù)測(cè)導(dǎo)致記賬錯(cuò)率較大(圖3)?；贏UC比率對(duì)4種模型的預(yù)測(cè)效果進(jìn)行排序，其中，GBM、GARP和Maxent的AUC比率值比較穩(wěn)定，而GLM的AUC比率值變化較大(表1)。當(dāng)E=0時(shí)，基于GBM和GLM模型的AUC比率分別為0.824和0.825，二者ROC曲線下面積大體相同，其ROC曲線的形狀不同(圖2)；然而，與GBM模型相比，GLM模型的預(yù)測(cè)相對(duì)較好，特別是在遼寧北部的遺漏率相對(duì)較低(圖3)，這反映在ROC曲線形狀和AUC比率中。在ROC曲線中，在低閾值時(shí)，GLM模型靈敏度相對(duì)較高，而在高閾值時(shí)，GBM模型的特異度相對(duì)較高(圖2)。當(dāng)E=0.05和0.01時(shí)，GBM和GLM模型的AUC比率分別為0.848和0.830，以及1.136和1.131(表1)，因此在E=0.05和0.01時(shí)，AUC比率均能較好地區(qū)分GBM和GLM模型的預(yù)測(cè)表現(xiàn)，并顯示GLM模型比GBM模型預(yù)測(cè)較好。此外，在E=0時(shí)，GLM模型的AUC比率值小于Maxent模型，但當(dāng)E=0.05和0.01時(shí)，GLM模型的AUC比率值高于Maxent模型(表1)。綜上所述，在美國(guó)白蛾的預(yù)測(cè)中，pROC方案能夠通過(guò)給予模型敏感度更多的權(quán)重來(lái)彌補(bǔ)傳統(tǒng)AUC值的不足，但在使用時(shí)要注意由于模型過(guò)度預(yù)測(cè)而導(dǎo)致的AUC比率值虛高(如GARP模型)；與pROC方案相比，ROC曲線蘊(yùn)含豐富的模型評(píng)價(jià)性，它顯示GLM模型的遺漏率相對(duì)較低，能夠較好地權(quán)衡模型的敏感度和特異度(圖3)，具有較高的預(yù)測(cè)美國(guó)白蛾潛在分布的能力，不僅能夠預(yù)測(cè)美國(guó)白蛾當(dāng)前的分布，而且能夠預(yù)測(cè)其種群擴(kuò)散趨勢(shì)(圖2)。

A: GBM； B: GARP; C: GLM; D: Maxent.模型構(gòu)建于北美洲,然后將其轉(zhuǎn)移至東亞地區(qū),用于檢驗(yàn)和預(yù)測(cè)美國(guó)白蛾的潛在分布，黑白線界定區(qū)域用于計(jì)算AUC值，黑色叉號(hào)為入侵物種分布點(diǎn)。Niche models were calibrated in North America and transferred onto East Asia to test model performance and to predict the potential distribution ofH. cunea. White-black lines show the delimited areas used to calculate AUC values, back cross indicate the introduced points used to test niche models.圖3 基于4種模型的美國(guó)白蛾在東亞地區(qū)的潛在分布Fig.3 Potential distribution of H. cunea based on four models

模型ModelAUC比率AUCratioE=0E=0．05E=0．01GBM0．8240．8480．830GLM0．8251．1361．131GARP1．2161．2161．214Maxent1．0291．0251．034

4 討論

國(guó)內(nèi)文獻(xiàn)中，AUC值常常被應(yīng)用于生態(tài)位模型的評(píng)價(jià)，多數(shù)研究以AUC值>0.8來(lái)判斷模型優(yōu)于隨機(jī)模型。作者認(rèn)為，AUC值雖獨(dú)立于閾值，但其為靈敏度和特異度的綜合，具有誤導(dǎo)性，不能分別評(píng)估預(yù)測(cè)結(jié)果的靈敏度和特異度；與AUC值相比，ROC曲線的形狀更具有價(jià)值，蘊(yùn)含豐富的模型評(píng)價(jià)信息。作者認(rèn)為，模型評(píng)價(jià)需要將靈敏度和特異度區(qū)別對(duì)待，ROC曲線形狀比AUC值在生態(tài)位模型評(píng)價(jià)中更為重要，此外，模型評(píng)價(jià)與作者研究目的密切相關(guān)：當(dāng)以預(yù)測(cè)物種潛在分布為目的時(shí)(如入侵物種潛在分布、氣候變化對(duì)物種分布的影響、譜系生物地理學(xué))，模型評(píng)價(jià)應(yīng)當(dāng)給予靈敏度更多的權(quán)重；當(dāng)以預(yù)測(cè)物種現(xiàn)實(shí)分布為目的時(shí)(如保護(hù)區(qū)界定和瀕危物種引入項(xiàng)目)，模型評(píng)價(jià)應(yīng)當(dāng)給予靈敏度和特異度同等的權(quán)重。在潛在分布預(yù)測(cè)中，pROC方案能夠通過(guò)給予模型敏感度更多的權(quán)重來(lái)彌補(bǔ)傳統(tǒng)AUC值的不足，但在使用時(shí)要注意由于模型過(guò)度預(yù)測(cè)而導(dǎo)致的AUC比率值虛高。

致謝: 美國(guó)堪薩斯大學(xué)A. Townsend Peterson教授和Jorge Soberón教授在生態(tài)位模型學(xué)習(xí)中給予指導(dǎo)和幫助，特表謝意!

喬慧捷, 胡軍華, 黃繼紅, 2013. 生態(tài)位模型的理論基礎(chǔ)、發(fā)展方向與挑戰(zhàn). 中國(guó)科學(xué)(生命科學(xué)), 43(11)： 915-927.

王運(yùn)生, 謝丙炎, 萬(wàn)方浩, 肖啟明, 戴良英, 2007. ROC曲線分析在評(píng)價(jià)入侵物種分布模型中的應(yīng)用. 生物多樣性, 15(4)： 365-372.

朱耿平, 劉國(guó)卿, 卜文俊, 高玉葆, 2013. 生態(tài)位模型的基本原理及其在生物多樣性保護(hù)中的應(yīng)用. 生物多樣性, 21(1)： 90-98.

ALLOUCHE O, TSOAR A, KADMON R, 2006. Assessing the accuracy of species distribution models: prevalence, kappa and the true skill statistic (TSS).JournalofAppliedEcology, 43： 1223-1232.

ANDERSON R P, LEW D, PETERSON A T, 2003. Evaluating predictive models of species′ distributions: criteria for selecting optimal models.EcologicalModelling, 162： 211-232.BROWN J L, 2014. SDMtoolbox: a python-based GIS toolkit for landscape genetic, biogeographic and species distribution model analyses.MethodsinEcologyandEvolution, 5： 694-700.

CAO L J, WEI S J, HOFFMANN A A, WEN J B, CHEN M, 2016. Rapid genetic structuring of populations of the invasive fall webworm in relation to spatial expansion and control campaigns.DiversityandDistributions, 22： 1276-1287.

ELITH J, GRAHAM C H, ANDERSON R, DUDK M, FERRIER S, GUISAN A, HIJMANS R J, HUETTMANN F, LEATHWICK J R, LEHMANN A, LI J, G. LOHMANN L G, LOISELLE B A, MANION G, MORITZ C, NAKAMURA M, NAKAZAWA Y, OVERTON M M, PETERSON A T, PHILLIPS S J, RICHARDSON K, SCACHETTI-PEREIRA R, SCHAPIRE R E, SOBERN J, WILLIAMS S, WISZ M S, ZIMMERMANN N E, 2006. Novel methods improve prediction of species distributions from occurrence data.Ecography, 29： 129-151.

JIMéNEZ-VALVERDE A, 2012. Insights into the area under the receiver operating characteristic curve (AUC) as a discrimination measure in species distribution modelling.GlobalEcologyandBiogeography, 21： 498-507.

JIMéNEZ-VALVERDE A, PETERSON A T, SOBERN J, OVERTON J M, ARAGN P, LOBO J M, 2011. Use of niche models in invasive species risk assessments.BiologicalInvasions, 13： 2785-2797.

LIU C, BERRY P M, DAWSON T P, PEARSON R G, 2005. Selecting thresholds of occurrence in the prediction of species distributions.Ecography, 28： 385-393.

LOBO J M, JIMéNEZ-VALVERDE A, HORTAL J, 2010. The uncertain nature of absences and their importance in species distribution modelling.Ecography, 33： 103-114.LOBO J M, JIMéNEZ-VALVERDE A, REAL R, 2008. AUC: a misleading measure of the performance of predictive distribution models.GlobalEcologyandBiogeography, 17： 145-151.MANEL S, WILLIAMS H C, ORMEROD S J, 2001. Evaluating presence-absence models in ecology: the need to account for prevalence.JournalofAppliedEcology, 38: 921-931.

METZ C E, 1978. Basic principles of ROC analysis.SeminarsinNuclearMedicine, 8： 283-298.

PEARSON R G, 2007.Species′distributionmodelingforconservationeducatorsandpractitioners. Synthesis： American Museum of Natural History. http:∥ncep.amnh.org.

PETERSON A T, PAPEM, SOBERN J, 2008. Rethinking receiver operating characteristic analysis applications in ecological niche modeling.EcologicalModelling, 213： 63-72.

PETERSON A T, PAPEM, SOBERN J, 2015. Mechanistic and correlative models of ecological niches.EuropeanJournalofEcology, 1： 28-38.

PETERSON A T, SOBERN J, PEARSON R G, ANDERSON R P, NAKAMURA M, MARTNEZ-MEYER E, ARAUJO M B, 2011.EcologicalNichesandGeographicalDistributions. New Jersey： Princeton University Press.

QIAO H J, LIN C T, JI L Q, JIANG Z G, 2012. mMWeb-An online platform for employing multiple ecological niche modeling algorithms.PLoSONE， 7： e43327.

QIAO H J, PETERSON A T, CAMPBELL L, SOBERN J, JI L Q, ESCOBAR L, 2016. NicheA: creating virtual species and ecological niches in multivariate environmental scenarios.Ecography, 39： 805-813.

QIAO H, SOBERN J, PETERSON A T, 2015. No silver bullets in correlative ecological niche modeling: insights from testing among many potential algorithms for niche estimation.MethodsinEcologyandEvolution, 6: 1126-1136.

SWETS J, 1988. Measuring the accuracy of diagnostic systems.Science, 240： 1285-1293.

SYNES N W, OSBORNE P E, 2011. Choice of predictor variables as a source of uncertainty in continental-scale species distribution modelling under climate change.GlobalEcologyandBiogeography, 20: 904-914.

THUILLER W, LAFOURCADE B, ENGLER R, ARAUJO M B, 2009. BIOMOD — a platform for ensemble forecasting of species distributions.Ecography, 32: 369-373.

YANG Z Q, WANG X Y, WEI J R, QU H R, QIAO X R, 2008. Survey of the native insect natural enemies ofHyphantriacunea(Drury) (Lepidoptera: Arctiidae) in China.BulletinofEntomologicalResearch, 98： 293-302.

(責(zé)任編輯:郭瑩)

The importance of the shape of receiver operating characteristic (ROC) curve in ecological niche model evaluation — case study ofHlyphantriacunea

ZHU Gengping1*, FAN Jingyu1, WANG Menglin1, CHEN Min2， QIAO Huijie3

1KeyLaboratoryofAnimalandPlantResistanceinTianjin,CollegeofLifeSciences,TianjinNormalUniversity,Tianjin300387,China；2BeijingKeyLaboratoryforForestPestControl,CollegeofForestry,BeijingForestryUniversity,Beijing100083,China；3KeyLaboratoryofAnimalEcologyandConservationBiology,InstituteofZoology,ChineseAcademyofSciences,Beijing100101,China

【Aim】 Ecological niche modeling (ENM) is increasingly used to estimate the potential and realized distributions of species in studies of biological invasion and conservation. We present the pROC approach for the evaluation of ENM ofHyphantriacunea, as a case study. 【Method】 We first introduced the ROC curve and AUC value in niche model evaluation. We then presented the shortcomings of AUC value based on different reliability of presence and absence records. Finally, we introduced the partial area under the receiver operating characteristic curve (pROC) approach to backup traditional AUC value in niche model evaluation. 【Result】 Model evaluation using AUC misleading although it independent of threshold. The AUC combined sensitivity and specificity but blanked the information of individual sensitivity and specificity, and weighted omission and commission error equally. We argued that the shape of ROC curve led to valuable information and was more important than AUC value in ENM evaluation. 【Conclusion】 Niche model evaluation should treat sensitivity and specificity separately. The shape of ROC curve was more important than AUC value. The pROC approach was found more powerful than traditional AUC value in model evaluation, but cautions are warrant when it was used to evaluate the model output of over prediction. Niche model evaluation should take the purpose of study into account, when the aim of study was to estimate potential distribution (e.g. biological invasion, climate change, phylogeography), model evaluation should give higher weight on the sensitivity or omission error, whereas if the aim were to estimate realized distribution (e.g. conservation and reintroduction program), model evaluation should weight sensitivity and specificity equally.

ecological niche model; sensitivity; specificity; ROC curve; AUC value; omission error; commission error

2017-03-14 接受日期(Accepted)： 2017-05-11

國(guó)家自然科學(xué)基金項(xiàng)目(31401962)； 天津師范大學(xué)人才引進(jìn)基金項(xiàng)目(5RL127)； 天津市131創(chuàng)新人才培養(yǎng)工程項(xiàng)目(ZX110204)； 天津市用三年時(shí)間引進(jìn)千名以上高層次人才項(xiàng)目(5KQM110030)

朱耿平， 男， 副研究員， 博士。 研究方向: 入侵生物學(xué)和保護(hù)生物學(xué)。

*通信作者(Author for correspondence), E-mail: gengpingzhu@hotmail.com

10. 3969/j.issn.2095-1787.2017.03.002