孫 璐， 朱渭寧， 蔣錦剛

(浙江大學(xué)海洋學(xué)院，浙江 杭州 310058)

遙感模型評(píng)估中顧及樣本數(shù)量的統(tǒng)計(jì)指標(biāo)：基于水色遙感的比較研究*

孫 璐， 朱渭寧**， 蔣錦剛

(浙江大學(xué)海洋學(xué)院，浙江 杭州 310058)

為了推薦在遙感模型評(píng)估中引入不確定性的評(píng)價(jià)指標(biāo)，即測(cè)量學(xué)界近年來(lái)提出的不確定度A類評(píng)定(UA)。本文通過(guò)評(píng)估一系列水色遙感反演模型在各類數(shù)據(jù)集的表現(xiàn)，用計(jì)算機(jī)模擬了誤差的各種近似分布，研究了樣本個(gè)數(shù)n和統(tǒng)計(jì)指標(biāo)RMSE、MAE與UA之間的關(guān)系。算法測(cè)試和計(jì)算機(jī)模擬的結(jié)果都表明，在樣本個(gè)數(shù)少的情況下，遙感模型的不確定性(可信賴度)評(píng)價(jià)用UA比RMSE、MAE更適合，因?yàn)闃颖緜€(gè)數(shù)越多，建立的模型就越可靠(不確定度越小)。此外，本文至少使用50個(gè)樣本驗(yàn)證遙感模型，可使精度評(píng)價(jià)更加準(zhǔn)確。

不確定度；遙感驗(yàn)證；統(tǒng)計(jì)學(xué)；水色

定量遙感中各種分類、校正、反演模型和算法通常都需要實(shí)測(cè)的真實(shí)值加以驗(yàn)證，從而評(píng)估這些算法模型誤差、準(zhǔn)確度、精度、有效性、健壯性等特征，而這些特征往往用一些統(tǒng)計(jì)參量加以表征：如平均絕對(duì)誤差(MAE)、標(biāo)準(zhǔn)偏差(SD)、均方根誤差(RMSE)，偏差(bias)等[1-2]。在遙感學(xué)界，這些統(tǒng)計(jì)參量往往被直接拿來(lái)使用而缺乏更深入的思考，這其中有兩個(gè)原因：一是遙感研究者們從學(xué)校課本學(xué)習(xí)到的統(tǒng)計(jì)知識(shí)中，這些統(tǒng)計(jì)參數(shù)就被用于進(jìn)行誤差評(píng)估；二是他們往往引用參照前人文獻(xiàn)里的模型評(píng)價(jià)指標(biāo)，從而造成這些指標(biāo)被繼承使用。

但是，如果檢索測(cè)量科學(xué)乃至地球科學(xué)、環(huán)境科學(xué)的最新相關(guān)文章，就會(huì)發(fā)現(xiàn)至今對(duì)這些模型評(píng)價(jià)指標(biāo)，甚至整個(gè)誤差評(píng)價(jià)模型仍然存在爭(zhēng)論，例如最常用的兩個(gè)指標(biāo)：RMSE和MAE，究竟哪個(gè)是最合適的指標(biāo)到目前為止還沒(méi)有定論。美國(guó)特拉維爾大學(xué)的Willmott教授等人從1980年代初就關(guān)注地學(xué)、地理信息科學(xué)和環(huán)境科學(xué)中模型的評(píng)估問(wèn)題[3-5]，其研究[4]認(rèn)為， RMSE的大小由三個(gè)因素所控制：(1)MAE，(2)誤差的分布，(3)樣本的數(shù)量n。并舉例說(shuō)明一些模型評(píng)估結(jié)果的MAE相同，但是由于誤差分布不同，造成其對(duì)應(yīng)的RMSE不同，從而認(rèn)為MAE比RMSE更明確地指示了模型的誤差狀況。如果Willmott等人的研究結(jié)果屬實(shí)，那么這意味著遙感領(lǐng)域中大量的使用RMSE的模型評(píng)估結(jié)果可能并不準(zhǔn)確。

針對(duì)Willmott的觀點(diǎn)，Chai和Draxler[6]進(jìn)行了反駁，討論了在誤差是正態(tài)分布的情況下，當(dāng)樣本數(shù)量達(dá)到一定大小時(shí)，使用RMSE更能指示模型誤差的正確大小。他們認(rèn)為各種模型評(píng)估的統(tǒng)計(jì)參數(shù)都有一定的局限性，建議在評(píng)估報(bào)告中應(yīng)列出各類參數(shù)，從而提供對(duì)模型結(jié)果的全面評(píng)估。本文基本贊同Chai和Draxle的觀點(diǎn)。值得注意的是，一些遙感建模及評(píng)估的文獻(xiàn)中也同時(shí)報(bào)告了MAE和RMSE。

除了RMSE、MAE等統(tǒng)計(jì)參數(shù)，樣本數(shù)量n也是一個(gè)在測(cè)量、誤差統(tǒng)計(jì)及模型評(píng)估上十分重要的參數(shù)，但是其在模型評(píng)估中的作用與影響常被忽視。以水色遙感為例，很多反演建模過(guò)程往往只是報(bào)告一下現(xiàn)場(chǎng)采了多少樣，有多少樣用于建模，多少樣用于驗(yàn)證，最后仍然用MAE或RMSE對(duì)模型加以評(píng)估和比較，而其中樣本的數(shù)量可能從十幾樣到幾十萬(wàn)個(gè)樣不等。由此產(chǎn)生一個(gè)問(wèn)題：如何評(píng)估、比較由不同樣本數(shù)量建立的遙感模型？如果一個(gè)由30個(gè)樣本建模，15個(gè)的樣本驗(yàn)證的葉綠素反演算法A1的誤差評(píng)估為RMSE=0.12，另一個(gè)在同樣地點(diǎn)用2 000個(gè)樣本建模，1 000個(gè)的樣本驗(yàn)證的算法A2的誤差評(píng)估為RMSE=0.24，哪一個(gè)算法更優(yōu)？從RMSE看，當(dāng)然是越小越好，因此A1優(yōu)于A2，但是從樣本數(shù)量上看，也許A2更優(yōu)，因?yàn)槲覀兺刨嚧髽颖窘⒌哪Ｐ?。?dāng)然，一個(gè)可行的方法是用同樣的數(shù)據(jù)集去比較不同的算法，但是有時(shí)受數(shù)據(jù)集和模型特征的限制，這樣的比較并不能實(shí)現(xiàn)，例如有些水色算法用的藍(lán)綠波段比，而有些則用了紅、紅外波段或者更多的高光譜數(shù)據(jù)。

研究發(fā)現(xiàn)，不確定度評(píng)定在遙感領(lǐng)域模型評(píng)估有其重要性。1993年國(guó)際不確定度工作組制定了《測(cè)量不確定度表示指南》[7],(Guide to the Expression of Uncertainty in Measurement,簡(jiǎn)稱GUM)，由BIPM, OIML, ISO, IEC及國(guó)際理論化學(xué)與應(yīng)用化學(xué)聯(lián)合會(huì)(IUPAC)、國(guó)際理論物理與應(yīng)用物理聯(lián)合會(huì)(IUPAP)、國(guó)際臨床化學(xué)聯(lián)合會(huì)(IFCC)7個(gè)國(guó)際組織聯(lián)合發(fā)布，隨后由國(guó)際實(shí)驗(yàn)室認(rèn)可合作組織(ILAC)批準(zhǔn)，在全世界范圍施行。測(cè)量不確定度評(píng)定理論己經(jīng)是其他學(xué)科公認(rèn)的測(cè)量可靠性評(píng)價(jià)規(guī)范, 而遙感領(lǐng)域仍然一直沿用傳統(tǒng)的精確度評(píng)價(jià)理論，很少量的研究用到了不確定度A類評(píng)定(UA)這一指標(biāo)，如Zhu等[8]在水色遙感中用UA評(píng)價(jià)了不確定性。但是除此之外，前人在遙感驗(yàn)證分析中幾乎沒(méi)有用到這一評(píng)價(jià)方法[9-10]。

本文將以水色遙感實(shí)測(cè)數(shù)據(jù)和一些常規(guī)算法為例，分析這些算法的評(píng)估參數(shù)(MAE、RMSE、UA)隨樣本數(shù)量變化的情況和特點(diǎn)，從而表明在指示算法的不確定性方面，UA是一個(gè)更加顧及樣本數(shù)量的指標(biāo)。除了實(shí)測(cè)數(shù)據(jù)之外，本文還用計(jì)算機(jī)模擬的誤差數(shù)據(jù)集同步分析并驗(yàn)證了本文的結(jié)論。

1 實(shí)驗(yàn)

1.1 數(shù)據(jù)集

本文實(shí)驗(yàn)使用了3個(gè)數(shù)據(jù)集：(1)NASA生物光學(xué)海洋算法數(shù)據(jù)集(NOMAD)[4]是一個(gè)公開(kāi)的、全球性的、高質(zhì)量的原位實(shí)測(cè)生物光學(xué)數(shù)據(jù)集(共4 459個(gè)樣本)；(2)國(guó)際海洋水色協(xié)調(diào)小組(IOCCG)的合成數(shù)據(jù)集[11](共500個(gè)樣本)；(3)H30k，Hydrolight的模擬數(shù)據(jù)集(共35 934個(gè)樣本)。以上3個(gè)數(shù)據(jù)集的每個(gè)樣本包含了遙感反演所需的固有光學(xué)屬性(IOP)和表觀光學(xué)屬性(AOP)，如葉綠素濃度、有色溶解有機(jī)物(CDOM)吸光度，懸浮顆粒物濃度，在可見(jiàn)光波長(zhǎng)范圍內(nèi)的遙感反射率(Rrs)等。IOCCG數(shù)據(jù)集和H30k數(shù)據(jù)集都是模擬數(shù)據(jù)，但H30k數(shù)據(jù)集的所含濃度范圍(葉綠素0～500 mg/m3, CDOM 0～50 m-1)遠(yuǎn)遠(yuǎn)大于IOCCG數(shù)據(jù)集所含的濃度范圍(葉綠素: 0.03～30 mg/m3, CDOM: 0.00 025～2.37 m-1)。

對(duì)于每一個(gè)數(shù)據(jù)集，分別從中隨機(jī)選出多個(gè)子集，每個(gè)子集的樣本個(gè)數(shù)從n=10到n=300，樣本個(gè)數(shù)的間隔為1，即每次從數(shù)據(jù)集中隨機(jī)選取樣本個(gè)數(shù)為10、11、12、……、299、300的子集。這一過(guò)程重復(fù)進(jìn)行50次以減小隨機(jī)采樣帶來(lái)的誤差，即共有50個(gè)樣本個(gè)數(shù)為10的子集，50個(gè)樣本個(gè)數(shù)為11的子集，以此類推，因此對(duì)于一個(gè)數(shù)據(jù)集而言，共產(chǎn)生14 550個(gè)樣本子集。

另外，針對(duì)可能的模型評(píng)估的誤差分布，本文用MATLAB軟件生成4種不同分布(正態(tài)分布、指數(shù)分布、對(duì)數(shù)正態(tài)分布、均勻分布)類型的誤差數(shù)據(jù)集Err1到Err4，每個(gè)數(shù)據(jù)集分別含有1 000個(gè)誤差數(shù)據(jù)，針對(duì)每個(gè)數(shù)據(jù)集的隨機(jī)選樣方式與上面水色算法數(shù)據(jù)集的選樣方式相同。

1.2 算法

研究共選取了9個(gè)具有代表性的遙感水色反演算法(見(jiàn)表1)，其中5個(gè)是葉綠素算法，3個(gè)是CDOM算法，1個(gè)是懸浮物算法。使用上述9個(gè)算法，以及通過(guò)隨機(jī)選取產(chǎn)生的子集，分別計(jì)算水色成分的反演值，然后與數(shù)據(jù)集提供的真實(shí)值比較從而獲知每個(gè)樣本的反演(模型)誤差。部分算法以算法開(kāi)發(fā)作者為算法名稱，不同版本的算法，如Carder-1和Carder-2[10-12]是獨(dú)立的算法，且分開(kāi)進(jìn)行計(jì)算、比較。每個(gè)算法的詳細(xì)情況可參見(jiàn)其各自對(duì)應(yīng)的原始文獻(xiàn)。

表1 研究中評(píng)估的檢索算法Table 1 Retrieval algorithms evaluated in this study

1.3 驗(yàn)證及評(píng)價(jià)統(tǒng)計(jì)

各算法的評(píng)估基于以下3種統(tǒng)計(jì)指標(biāo)：均方根誤差(RMSE)，平均絕對(duì)誤差(MAE)和UA。公式(1)～(3)分別給出了它們的定義，其中：xmod是算法的反演值，xobs是真實(shí)值(觀測(cè)值)，n是樣本數(shù)量。

(1)

(2)

(3)

2 結(jié)果與討論

2.1 算法結(jié)果分析

總體上看，RMSE、MAE和UA與n之間的關(guān)系表現(xiàn)為不同的趨勢(shì)(見(jiàn)圖1)。樣本個(gè)數(shù)n從10增加至300，UA總是呈下降的趨勢(shì)，且在n小于50時(shí)，UA下降幅度較大。對(duì)于9種不同的算法，UA下降的趨勢(shì)幾乎是一樣的。RMSE隨n的變化趨勢(shì)總體上呈先上升，當(dāng)n大于50后趨于平緩，但仍有小幅度波動(dòng)。MAE對(duì)于不同的數(shù)據(jù)集和算法，表現(xiàn)出不一致的趨勢(shì)。此外，相比于RMSE和MAE，UA的變化趨勢(shì)更加平滑，即UA隨樣本個(gè)數(shù)n的變化更穩(wěn)定。上述結(jié)果表明，只有UA這一統(tǒng)計(jì)參數(shù)與本文的統(tǒng)計(jì)經(jīng)驗(yàn)相符，即樣本個(gè)數(shù)越多，模型的不確定性越小。相反，在上述案例中RMSE和MAE呈現(xiàn)上升的趨勢(shì)表明，在遙感算法驗(yàn)證中，使用越少的樣本個(gè)數(shù)，呈現(xiàn)的結(jié)果會(huì)更好或更準(zhǔn)確。

(實(shí)線表示由初始結(jié)果(點(diǎn))移動(dòng)平均后得到的結(jié)果。The solid lines are the moving averages of the original results (dots).)圖1 由9種算法計(jì)算得到的RMSE，MAE，UAFig.1 RMSE, MAE, and UA calculated from 9 algorithms

2.2 模擬結(jié)果分析

計(jì)算機(jī)模擬的各類誤差的分布(正態(tài)、指數(shù)、對(duì)數(shù)正態(tài)、均勻)如圖2所示，根據(jù)這些分布和同樣的方法(本文2.1、2.3節(jié))得出的評(píng)估參數(shù)隨樣本個(gè)數(shù)的變化見(jiàn)圖3。

從圖3看出，所有的這4種誤差分布所得到的RMSE/MAE/UA隨樣本個(gè)數(shù)n的變化趨勢(shì)與圖1水色遙感數(shù)據(jù)得到的結(jié)果相似。當(dāng)誤差樣本個(gè)數(shù)較少時(shí)，RMSE和MAE隨樣本個(gè)數(shù)n的增加呈上升趨勢(shì)，UA隨樣本個(gè)數(shù)n的增加呈下降趨勢(shì)；當(dāng)誤差樣本個(gè)數(shù)達(dá)到一定數(shù)量后，RMSE和MAE逐漸平穩(wěn)，接近于其“真值”或“正解”。結(jié)果顯示，RMSE隨n增大而增大特征比較明顯，特別是當(dāng)誤差是指數(shù)和對(duì)數(shù)分布的情況(見(jiàn)圖3(b)和3(d))，相比較而言，MAE的類似特征就不是很明顯，當(dāng)n較小時(shí)(<10)，MAE的值略小，隨后就在一定的數(shù)據(jù)上隨機(jī)變動(dòng)。

圖2 4種隨機(jī)產(chǎn)生的誤差值分布Fig.2 Four different distribution of randomly generated values

圖3 四種隨機(jī)產(chǎn)生的誤差分布下RMSE, MAE, UA的隨樣本個(gè)數(shù)n的變化情況Fig.3 RMSE, MAE, UA vary with sampling sizes n for four different distribution of randomly generated values

由此可以看出，無(wú)論是RMSE和MAE，當(dāng)樣本個(gè)數(shù)增加時(shí)，它們都沒(méi)有變小的趨勢(shì)，因此用這些常規(guī)的誤差統(tǒng)計(jì)評(píng)估指標(biāo)來(lái)評(píng)估模型的不確定性是不恰當(dāng)?shù)?，無(wú)法體現(xiàn)模型被驗(yàn)證的樣本越多，其可信賴度就越高(不確定度越小)的特征。Chai和Draxler[6]也曾給出過(guò)類似的證明，當(dāng)誤差樣本個(gè)數(shù)很有限時(shí)，RMSE和MAE即使作為模型誤差的評(píng)價(jià)指標(biāo)，也是不穩(wěn)定的。

3個(gè)評(píng)估參數(shù)(UA、RMSE和MAE)隨n的增加有不同的變化趨勢(shì)(增加或減小)，但是當(dāng)n增加到一定程度后，3個(gè)參數(shù)的變化都趨于平穩(wěn)(基本保持不變)。因此需要確定如何判定評(píng)估參數(shù)隨n的變化趨于平穩(wěn)。本文建議(1)設(shè)定一個(gè)小閾值k，例如k=0.02；(2)對(duì)于每?jī)蓚€(gè)相鄰的n，計(jì)算其對(duì)應(yīng)參數(shù)的比值t，例如t=RMSEn1/RMSEn+1;(3)如果從某個(gè)n1開(kāi)始，連續(xù)m個(gè)t-1的絕對(duì)值都小于k，則認(rèn)為從n1開(kāi)始參數(shù)的變化趨于平穩(wěn)，n1就是相對(duì)于該參數(shù)的所需樣本數(shù)的最小值。當(dāng)k和m的取值不同時(shí)，n1也會(huì)相應(yīng)變化。

3 結(jié)語(yǔ)

對(duì)于遙感模型來(lái)說(shuō)，其評(píng)估結(jié)果的不確定度可理解為：模型結(jié)果的誤差的不確定的程度，它不僅僅評(píng)估了模型的誤差，而且評(píng)估了這個(gè)誤差的不確定性。而以往的RMSE和MAE僅僅評(píng)價(jià)了模型的誤差，卻無(wú)法衡量其不確定性?？梢约傧胍粋€(gè)特例：某個(gè)水色遙感反演模型輸出了一個(gè)葉綠素濃度值，其驗(yàn)證結(jié)果和真實(shí)值非常接近(MAE或RMSE很小)，從誤差評(píng)估的角度來(lái)說(shuō)，這個(gè)模型是很準(zhǔn)確的，但是顯然其由于其驗(yàn)證的樣本個(gè)數(shù)太少，僅憑一個(gè)數(shù)據(jù)是無(wú)法斷言模型的可靠性的。只有當(dāng)用于驗(yàn)證的樣本數(shù)量越來(lái)越多時(shí)，模型的不確定性才會(huì)越來(lái)越小。從前面的結(jié)果看，當(dāng)樣本達(dá)到一定數(shù)量時(shí)，MAE和RMSE基本都沒(méi)有大的變化，這表明此時(shí)MAE和RMSE已經(jīng)能基本反映出模型真實(shí)的誤差狀況，但是UA仍然會(huì)緩慢的減小，這說(shuō)明即使兩個(gè)模型的誤差相同(MAE或RMSE相同)，但是使用驗(yàn)證樣本個(gè)數(shù)多的模型的不確定度要比樣本個(gè)數(shù)少的模型的不確定度低。

需要指出的是，UA是評(píng)估模型不確定性的指標(biāo)，我們不能單獨(dú)使用UA去評(píng)價(jià)模型的誤差，因?yàn)榭赡軙?huì)出現(xiàn)MAE和RMSE較大，但是用于樣本數(shù)量特別多，使得UA很小的狀況。作者建議是，當(dāng)給出遙感模型評(píng)估時(shí)，同時(shí)報(bào)告其誤差(MAE和RMSE)和不確定度(UA)的大小用于比較各個(gè)模型的性能，僅僅用誤差的統(tǒng)計(jì)指標(biāo)來(lái)評(píng)估模型是不夠全面的，會(huì)使得驗(yàn)證樣本個(gè)數(shù)少的模型顯得性能較好，誤差較小，而從不確定度的角度來(lái)看，小樣本模型的可信賴程度是較低的。在條件允許的情況下，遙感建模和驗(yàn)證的樣本數(shù)量應(yīng)該是越多越好。

[1] 黃昌春, 李云梅, 徐良將, 等. 內(nèi)陸水體葉綠素反演模型普適性及其影響因素研究[J]. 環(huán)境科學(xué), 2013, 34(2): 525-531. Huang C C, Li Y M, Xu L J, et al. A study on the universality and influencing factors of chlorophyll inversion model of inland water[J]. Environmental Science, 2013, 34(2): 525-531.

[2] 王林, 趙冬至, 楊建洪, 等. 大洋河河口海域有色溶解性有機(jī)物的光學(xué)特性及遙感反演模型[J]. 海洋學(xué)報(bào), 2011, 33(1): 45-51. Wang L, Zhao D Z, Yang J H, et, al. Optical properties and remote sensing retrieval model of colored dissolved organic matter in the estuary of the ocean [J]. Acta Oceanologica Sinica, 2011, 33(1): 45-51.

[3] Fox D G. Judging air quality model performance[J]. Bulletin of the American Meteorological Society, 1981, 62(5): 599-609.

[4] Willmott C J, Matsuura K. Advantages of the mean absolute error (MAE) over the root mean square error (RMSE) in assessing average model performance[J]. Climate Research, 2005, 30(1): 79-82.

[5] Willmott C J, Robeson M S M. Ambiguities inherent in sums-of-squares-based error statistics[J]. Atmospheric Environment, 2009, 43(3): 749-752.

[6] Chai T, Draxler R R. Root mean square error (RMSE) or mean absolute error (MAE)?[J]. Geoscientific Model Development Discussions, 2014, 7(1): 1525-1534.

[7] BIPM I E C，IFCC I，ISO I，et al.Evaluation of Measurement Data—Guide to the Expression of Unicertainty in Measurement[M].[s. 1. ]： GUM, 2008, 100.

[8] Zhu W, Yu Q, Tian Y Q. Uncertainty analysis of remote sensing of colored dissolved organic matter: Evaluations and comparisons for three rivers in North America[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2013, 84(8): 12-22.

[9] Carder K L, Chen F R, Lee Z P, et al. Semianalytic moderate-resolution imaging spectrometer algorithms for chlorophyll a and absorption with bio-optical domains based on nitrate-depletion temperatures[J]. Journal of Geophysical Research, 1999, 104(104): 5403-5421.

[10] Carder K L, Chen F R, Lee Z, et al. MODIS ocean science team algorithm theoretical basis document[J]. ATBD, 2003, 19(7): 7-18.

[11] IOCCG. Remote Sensing of Inherent Optical Properties: Fundamentals, Tests of Algorithms, and Applications[M]. [s.1.]：Reports of the International Ocean Colour Coodirating Group,2006.

[12] Gitelson A A, Schalles J F, Hladik C M. Remote chlorophyll- a retrieval in turbid, productive estuaries: Chesapeake Bay case study[J]. Remote Sensing of Environment, 2007, 109(4): 464-472.

[13] Moses W J, Gitelson A A, Berdnikov S, et al. Satellite estimation of Chlorophyll- Concentration using the red and NIR bands of MERIS—The Azov Sea case study[J]. IEEE Geoscience & Remote Sensing Letters, 2009, 6(4): 845-849.

[14] Moses W J, Gitelson A A, Berdnikov S, et al. Operational MERIS-based NIR-red algorithms for estimating chlorophyll- a concentrations in coastal waters — The Azov Sea case study[J]. Remote Sensing of Environment, 2012, 121(138): 118-124.

[15] O′Reilly J E,Maritorena S, Siegel D A, et al. Ocean ChlorophyllaAlgorithms for Sea WiFS, OC2, and OC4: Version 4[M]. A Companion to the Literature and Culture of the American West, USA: John Wiley & Sons Ltd, 2000: 462-482.

[16] O’Reilly J E, Maritorena S, O’brien M C, et al. SeaWiFS poslaunch calibration and validation analyses, part 3[J]. NASA tech memo, 2000, 206892(11): 3-8.

[17] Mannino A, Russ M E, Hooker S B. Algorithm development and validation for satellite‐derived distributions of DOC and CDOM in the U. S. Middle Atlantic Bight[J]. Journal of Geophysical Research Oceans, 2008, 113(C7): 827-830.

[18] Zhu W, Yu Q. Inversion of chromophoric dissolved organic matter from EO-1 hyperion imagery for turbid estuarine and coastal waters[J]. IEEE Transactions on Geoscience & Remote Sensing, 2013, 51(6): 3286-3298.

[19] Doxaran D, Froidefond J M, Lavender S, et al. Spectral signature of highly turbid waters : Application with SPOT data to quantify suspended particulate matter concentrations[J]. Remote Sensing of Environment, 2002, 81(1): 149-161.

Abstract: In order to introduce the uncertainty evaluation index in the remote sensing model evaluation, which is the uncertainty A (UA) proposed by the surveying community in recent years. This letter focuses on the impact of sampling size on those statistical variables, by testing a number of ocean color algorithms with different datasets and four kinds of approximate distributions of errors simulated by computer. The results indicate that RMSE, MAE and UAall vary with the number of observationsnbut present opposite trends. Whennis less than 50, RMSE typically presents a upward trend from a smallnto a largen. MAE in most of the results are similar to the RMSE,while UAalways keeps a smooth downward trend with increasingn, Based on the results, we conclude that UAis better than RMSE and MAE to be employed for evaluating and presenting the uncertainty in remote sensing validation, because the more samples we take, the less uncertainty we get.In addition, using at least 50 samples to validate the remote sensing model, will make the evaluation more accurate.

Key words: uncertainty; remote sensing validation; statistics; ocean color

責(zé)任編輯 龐 旻

Statistical Parameters Concerned with Sample Size for Evaluating Model Performance：A Comparison Case Study in Ocean Color Remote Sensing

SUN Lu, ZHU Wei-Ning， JIANG Jin-Gang

(College of Ocean, Zhejiang University, Hangzhou 310058,China)

P237

A

1672-5174(2017)11-009-06

10.16441/j.cnki.hdxb.20160431

孫璐，朱渭寧，蔣錦剛.遙感模型評(píng)估中顧及樣本數(shù)量的統(tǒng)計(jì)指標(biāo)：基于水色遙感的比較研究[J].中國(guó)海洋大學(xué)學(xué)報(bào)(自然科學(xué)版), 2017, 47(11): 9-14.

SUN Lu, ZHU Wei-Ning，JIANG Jin-Gang.Statistical parameters concerned with sample size for evaluating model performance：A comparison case study in ocean color remote sensing[J].Periodical of Ocean University of China, 2017, 47(11): 9-14.

國(guó)家自然科學(xué)基金面上項(xiàng)目(41471346)；國(guó)家自然科學(xué)青年基金項(xiàng)目(41401404)資助 Supported by National Nature Science Foundation of China (41471346); National Natural Science Foundation of China (41401404)

2016-12-28；

2017-02-21

孫 璐(1991-)，女，碩士生。E-mail：sunlun@zju.edu.cn

** 通訊作者： E-mail: zhuwn@zju.edu.cn