李曉暉,袁 峰,白曉宇,張明明,賈 蔡,周濤發(fā)

(合肥工業(yè)大學(xué)資源與環(huán)境工程學(xué)院,安徽合肥230009)

典型礦區(qū)非正態(tài)分布土壤元素數(shù)據(jù)的正態(tài)變換方法對比研究

李曉暉,袁 峰,白曉宇,張明明,賈 蔡,周濤發(fā)

(合肥工業(yè)大學(xué)資源與環(huán)境工程學(xué)院,安徽合肥230009)

對于銅陵礦區(qū)這類變異性強、偏度大、不符合正態(tài)分布的土壤元素樣品數(shù)據(jù),直接進行空間變異及插值分析會產(chǎn)生較大誤差,需首先選擇合適的正態(tài)變換方法進行穩(wěn)健處理。該文以銅陵礦區(qū)表層土壤中的Pb元素數(shù)據(jù)為例,采用不同的正態(tài)變換方法進行數(shù)據(jù)正態(tài)變換,并通過變異函數(shù)對其變換效果進行分析。對比研究顯示:對數(shù)變換無法使銅陵礦區(qū)土壤元素數(shù)據(jù)服從正態(tài)分布;Box-Cox變換雖使數(shù)據(jù)的正偏度有所減少,但仍難以通過 K-S正態(tài)檢驗;而Johnson變換結(jié)果最優(yōu),其通過了 K-S檢驗,對于異常數(shù)據(jù)的處理效果更優(yōu)。Johnson變換與Box-Cox變換均可使變異函數(shù)表現(xiàn)出更好的形態(tài),其中Johnson變換具有更強的正態(tài)變換能力,對于研究區(qū)土壤元素的變異函數(shù)穩(wěn)定形態(tài)具有一定優(yōu)勢,是數(shù)據(jù)變異性強的成礦區(qū)地統(tǒng)計學(xué)數(shù)據(jù)正態(tài)變換的理想工具。

地統(tǒng)計學(xué);正態(tài)變換;土壤;元素;銅陵

0 引言

地統(tǒng)計學(xué)作為研究空間變異和結(jié)構(gòu)分析、空間預(yù)測、空間模擬的工具,被廣泛應(yīng)用于地質(zhì)[1,2]、土壤[3,4]、環(huán)境[5]、氣象[6,7]、生態(tài)[8]等諸多領(lǐng)域。由于地統(tǒng)計學(xué)理論與方法建立在固有假設(shè)或內(nèi)蘊假設(shè)的基礎(chǔ)上,所以要求進行分析計算的數(shù)據(jù)服從正態(tài)分布[9]。但在實際應(yīng)用中,數(shù)據(jù)常具有的異常值、高偏度以及非正態(tài)分布性質(zhì)對于變異函數(shù)擬合及插值穩(wěn)健性有著極大的影響[10]。異常值引起的偏度過大雖然會保持變異函數(shù)的一般形狀,但卻會使塊金值、拱高和塊金/拱高等指標(biāo)升高[11];而數(shù)據(jù)的非正態(tài)性分布則會產(chǎn)生比例效應(yīng),將使克里格插值無法達到無偏最優(yōu)的特性,這些都將直接影響到變異函數(shù)模型的擬合、分析以及克里格插值的精度。為了解決異常值和數(shù)據(jù)非正態(tài)分布對地統(tǒng)計學(xué)分析的影響,地統(tǒng)計學(xué)家采取了多種有效的措施以提高空間分析與估值的穩(wěn)健性,其中較為常見的一是利用穩(wěn)健的變異函數(shù)及穩(wěn)健的克里格估值方法來適應(yīng)實際數(shù)據(jù), Genton等[12-15]從不同角度提出的穩(wěn)健變異函數(shù)模型,Haw kins等[16]提出的穩(wěn)健克里格方法,均能有效地提高地統(tǒng)計分析的穩(wěn)健性;二是對實際數(shù)據(jù)進行穩(wěn)健處理,使數(shù)據(jù)逼近正態(tài)分布以滿足地統(tǒng)計學(xué)的理論前提,通常包括異常值的剔除以及數(shù)據(jù)正態(tài)變換。剔除異常值的方法由于減少了樣本數(shù)量,也有可能刪棄正確或有意義的數(shù)值,對于空間變異性強烈的地區(qū)如成礦區(qū)弊端非常明顯;而數(shù)據(jù)正態(tài)變換方法則可以在有效保留原有數(shù)據(jù)信息的基礎(chǔ)上使數(shù)據(jù)服從正態(tài)分布。目前常用的數(shù)據(jù)正態(tài)變換有對數(shù)變換(Logarithmic)和Box-Cox變換,其中Box-Cox變換由于其可以針對不同的數(shù)據(jù)選擇最優(yōu)的冪參數(shù),所以對于某些無法應(yīng)用對數(shù)變換的數(shù)據(jù)有較好的變換效果[17,18];近年來,Johnson變換作為一種高級數(shù)據(jù)變換方法,在工業(yè)產(chǎn)品質(zhì)量控制領(lǐng)域應(yīng)用廣泛[19,20],Johnson變換包含了一組復(fù)雜的變換曲線,理論上具有更強的正態(tài)變換能力。

本文以銅陵礦區(qū)表層土壤中的Pb元素數(shù)據(jù)為例,分別采用不同的正態(tài)變換方法進行數(shù)據(jù)正態(tài)變換,并通過變異函數(shù)對其變換效果進行分析,以期為更合理有效地在空間變異性強烈的成礦區(qū)應(yīng)用地統(tǒng)計學(xué)方法提供定量依據(jù)。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)

本文的Pb土壤元素含量數(shù)據(jù)來源于安徽省地質(zhì)調(diào)查院“安徽省江淮流域多目標(biāo)區(qū)域地球化學(xué)調(diào)查”資料,土壤樣品為較穩(wěn)定地塊的表層土壤,按間距為2 km網(wǎng)格采樣所得,覆蓋了銅陵礦區(qū)的主要礦田,樣本數(shù)共計204件。

1.2 正態(tài)變換方法

(1)對數(shù)變換。其公式如下:

(2)Box-Cox變換。其屬于冪變換[17,18],且包含了對數(shù)變換(λ=0)、平方根變換(λ=1/2)和倒數(shù)變換(λ=-1)等常用變換,但其作用有限。公式為[21]:

式中:λ可按極大似然估計得到[22]。

(3)Johnson變換[23]。其包含一組變換曲線,用于將不同類型分布的數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布,一般可由下式表示:

其中:Z為標(biāo)準(zhǔn)正態(tài)分布變量,X為非正態(tài)分布變量;參數(shù)γ和δ控制X分布的形狀;ξ為位置因子,λ為尺度因子。根據(jù)不同的偏度和峰度,變換函數(shù)將從Johnson函數(shù)曲線系統(tǒng)中選擇(表1)。Johnson函數(shù)曲線系統(tǒng)中的參數(shù)γ、δ、ξ和λ可參照 Hill[24]、Chou等[25-27]提出的理論與算法。

表1 Johnson變換系統(tǒng)中的變換函數(shù)Table 1 Transformation functions of Johnson transform system

1.3 正態(tài)性檢驗

Kolmogorov-Smirnov(K-S)是正態(tài)分布檢驗常用而有效的方法,其原理是將樣本數(shù)據(jù)的經(jīng)驗累積分布函數(shù)與假設(shè)數(shù)據(jù)呈正態(tài)分布時期望的分布進行比較,如果實測差異足夠大,該檢驗將否定總體呈正態(tài)分布的原假設(shè)[28]。本文設(shè)置信度α=0.05,若檢驗的P<0.05,則否定原假設(shè),斷定總體呈非正態(tài)分布。

1.4 標(biāo)準(zhǔn)變異函數(shù)

為將各種變換的變異函數(shù)圖統(tǒng)一到同一尺度進行對比,可對變異函數(shù)進行標(biāo)準(zhǔn)化處理。標(biāo)準(zhǔn)變異函數(shù)γs(h)計算式為[29]:

式中:S2為樣本方差。標(biāo)準(zhǔn)變異函數(shù)與變異函數(shù)的形狀基本相同,因此可以通過判斷標(biāo)準(zhǔn)變異函數(shù)的形狀與擬合情況進而類推到普通變異函數(shù)。

2 數(shù)據(jù)基本統(tǒng)計分析

對Pb元素樣品數(shù)據(jù)進行基本統(tǒng)計分析,統(tǒng)計結(jié)果(表 2)顯示 Pb元素樣品數(shù)據(jù)的變異系數(shù)達152.92%;根據(jù)土壤性質(zhì)變異程度的分類[30],說明其空間變異性較強,數(shù)據(jù)中極可能存在很大的樣本值。同時,Pb元素數(shù)據(jù)的K-S檢驗值 P小于0.01,說明數(shù)據(jù)總體不符合正態(tài)分布,且Pb元素的濃度頻率分布都表現(xiàn)出一定程度的正偏(偏度大于0),這在其直方圖中(圖1)有更直觀的表現(xiàn)。此外,在Pb元素數(shù)據(jù)直方圖右側(cè)存在較長的拖尾,表明數(shù)據(jù)中存在異常值。鑒于Pb元素數(shù)據(jù)的基本統(tǒng)計特征,地統(tǒng)計分析前的數(shù)據(jù)穩(wěn)健處理不可或缺。

表2 銅陵礦區(qū)土壤元素含量基本統(tǒng)計Table 2 The statistical results of the soil element contents in Tonglingm ining area

圖1 銅陵礦區(qū)土壤Pb元素濃度頻率直方圖Fig.1 The frequency histogram of soil Pb element contents in Tonglingm ining area

3 正態(tài)變換結(jié)果與分析

3.1 數(shù)據(jù)變換及正態(tài)性檢驗

由于對數(shù)變換的正態(tài)變換能力較弱,無法使Pb元素數(shù)據(jù)服從正態(tài)分布,同時Box-Cox變換已包含對數(shù)變換的能力,故下文只對Box-Cox及Johnson正態(tài)變換的效果進行正態(tài)性檢驗。本文首先統(tǒng)計了兩種變換后的偏度、峰度并進行了 K-S檢驗(表3),發(fā)現(xiàn)Box-Cox變換雖使數(shù)據(jù)的正偏度有所減少,但難以使數(shù)據(jù)通過 K-S正態(tài)檢驗(P<0.01),而Johnson變換結(jié)果明顯好于Box-Cox,其變換值順利通過了K-S檢驗(P>0.15)。

表3 原數(shù)據(jù)的Box-Cox與Johnson變換及正態(tài)分布檢驗結(jié)果Table 3 The Box-Cox and Johnson transformations of raw data and results of normality test

為更直觀的反映兩種變換結(jié)果的正態(tài)效果,本文給出了變換結(jié)果的正態(tài)分布概率圖(圖2),同時劃出置信區(qū)間為95%的分布線?？梢?Box-Cox變換后的數(shù)據(jù)雖然大部分點都依附于正態(tài)分布線周圍,但仍有頭尾兩端的數(shù)據(jù)出現(xiàn)在95%的置信區(qū)間以外; Johnson變換后的數(shù)據(jù)不僅使中間(均值周圍)的數(shù)據(jù)更加吻合正態(tài)分布線,而且使更多兩端的數(shù)據(jù)落在95%置信區(qū)間之內(nèi)。因此,Johnson正態(tài)變換方法更能使數(shù)據(jù)接近正態(tài)分布,尤其對于兩端的數(shù)據(jù)(右端常為異常數(shù)據(jù))效果明顯優(yōu)于Box-Cox變換。

圖2 Box-Cox和Johnson變換正態(tài)分布概率Fig.2 The normal distribution frequency after Box-Cox and Johnson transformations

3.2 變換對變異函數(shù)的影響分析

為對比不同正態(tài)變換方法對變異函數(shù)形狀和趨勢的影響,本文分別計算了研究區(qū)土壤Pb元素原數(shù)據(jù)(Raw Date)、對數(shù)變換(Logarithm)、Box-Cox變換及Johnson變換結(jié)果的標(biāo)準(zhǔn)變異函數(shù),結(jié)果見圖3。

圖3 標(biāo)準(zhǔn)變異函數(shù)對比Fig.3 Comparison among different standard variograms

可見,用原數(shù)據(jù)直接計算的變異函數(shù)趨勢混亂、躍動明顯,塊金效應(yīng)與基臺值較高,無法很好地描述數(shù)據(jù)空間變異的趨勢,且變異函數(shù)在達到基臺值后出現(xiàn)下降,出現(xiàn)所謂的“漂移”現(xiàn)象。因此,采用原數(shù)據(jù)直接計算的變異函數(shù)難以進行有效的空間變異分析,也無法擬合出理想的變異函數(shù)模型,這將直接影響進一步的克里格插值分析。相比而言,對數(shù)、Box-Cox及Johnson變換后的數(shù)據(jù)計算得到的變異函數(shù)則具有明顯優(yōu)勢;特別是Box-Cox和Johnson變換,其變異函數(shù)表現(xiàn)出較小的塊金值、基臺值,明顯優(yōu)于對數(shù)變換和無變換的結(jié)果。總體而言,Box-Cox與Johnson變換的變異函數(shù)較為接近,但Johnson變換的變異函數(shù)趨勢更加平滑穩(wěn)定,更有利于理論變異函數(shù)的擬合。

4 結(jié)論

對于銅陵礦區(qū)這類變異性強、偏度大、不符合正態(tài)分布的土壤元素樣品數(shù)據(jù),直接進行空間變異及插值分析會產(chǎn)生較大誤差,需首先選擇合適的正態(tài)變換方法進行穩(wěn)健處理。對數(shù)變換無法使銅陵礦區(qū)的Pb土壤元素數(shù)據(jù)服從正態(tài)分布,Box-Cox變換雖可使數(shù)據(jù)的正偏度有所減少,但仍難以通過 K-S正態(tài)檢驗。Johnson變換能夠使數(shù)據(jù)很好地符合正態(tài)分布,并可以順利通過K-S正態(tài)檢驗,其對于異常數(shù)據(jù)的正態(tài)變換效果更優(yōu)。Johnson變換與Box-Cox變換可以使變異函數(shù)表現(xiàn)出更好的形態(tài),其中Johnson變換具有更強的正態(tài)變換能力,對于變異函數(shù)穩(wěn)定形態(tài)具有一定優(yōu)勢,是空間變異性強烈的成礦區(qū)地統(tǒng)計學(xué)數(shù)據(jù)正態(tài)變換的理想工具,其正態(tài)變換結(jié)果可為隨后的理論變異函數(shù)擬合與克里格插值奠定良好的基礎(chǔ)。

[1] JOURNEL A,HU IGBREGTSC.礦業(yè)地質(zhì)統(tǒng)計學(xué)[M].北京:冶金工業(yè)出版社,1982.1-586.

[2] 孫洪泉.地質(zhì)統(tǒng)計學(xué)及其應(yīng)用[M].徐州:中國礦業(yè)大學(xué)出版社,1990.1-282.

[3] 張長波,李志博,姚春霞,等.污染場地土壤重金屬含量的空間變異特征及其污染源識別指示意義[J].土壤,2006,38(5):526 -533.

[4] 師榮光,趙玉杰,周啟星,等.蘇北優(yōu)勢農(nóng)業(yè)區(qū)土壤砷含量空間變異性研究[J].農(nóng)業(yè)工程學(xué)報,2008,24(1):80-84.

[5] 李蒙文,戰(zhàn)明國,趙財勝,等.穩(wěn)健估計方法在內(nèi)蒙古新忽熱地區(qū)水系沉積物測量異常評價中的應(yīng)用[J].礦床地質(zhì),2006,25 (1):27-35.

[6] 魏鳳英,曹鴻興.地統(tǒng)計學(xué)分析技術(shù)及其在氣象中的適用性[J].氣象,2002,28(12):3-5.

[7] 岳文澤,徐建華,徐麗華.基于地統(tǒng)計方法的氣候要素空間插值研究[J].高原氣象,2005,24(6):974-980.

[8] 王政權(quán).地統(tǒng)計學(xué)及在生態(tài)學(xué)中的應(yīng)用[M].北京:科學(xué)出版社,1999.1-195.

[9] 張仁鐸.空間變異理論及應(yīng)用[M].北京:科學(xué)出版社,2005.1 -188.

[10] KRIGE D,MAGRI E.Studies of the effects of outliers and data transformation on variogram estimates for a base metal and a gold ore body[J].Mathematical Geology,1982,14(6):557-564.

[11] OL IVER M,FROGBROOK Z,WEBSTER R,et al.A rational strategy for determining the number of cores for bulked sampling of soil[A].Precision Agriculture[C].UK Oxford:BIOS Scientific Publishers Ltd,1997.155-162.

[12] GENTON M.Highly robust variogram estimation[J].Mathematical Geology,1998,30(2):213-221.

[13] MARCHANT B,LARK R.Robust estimation of the variogram by residualmaximum likelihood[J].Geoderma,2007,140 (1-2):62-72.

[14] CERIOL I A,RIAN IM.Robust methods for the analysis of spatially autocorrelated data[J].Statistical Methods and Applications,2002,11(3):335-358.

[15] CRESSIE N,HAW KINS D.Robust estimation of the variogram:I[J].Mathematical Geology,1980,12(2):115-125.

[16] HAWKINS D,CRESSIE N.Robust kriging——a p roposal[J]. Mathematical Geology,1984,16(1):3-18.

[17] ZHANG C,SEL INUSO,SCHEDIN J.Statistical analyses for heavy metal contents in till and root samples in an area of southeastern Sweden[J].The Science of the Total Environment,1998,212(2-3):217-232.

[18] ZHANGC,ZHANGS.A robust-symmetricmean:A new way of mean calculation for environmental data[J].GeoJournal, 1996,40(1):209-212.

[19] 王少熙,賈新章.半導(dǎo)體質(zhì)量控制中的非正態(tài)工序能力指數(shù)計算模型[J].半導(dǎo)體學(xué)報,2007,28(2):227-231.

[20] 周群艷,田澎,田志友.基于Johnson轉(zhuǎn)換體系的非正態(tài)過程能力指數(shù)估計[J].系統(tǒng)工程,2004,22(5):98-102.

[21] BOX G,COX D.An analysisof transformations[J].The Royal Statistical Society.Series B(Methodological),1964,26(2): 211-252.

[22] JOBSON J.Applied Multivariate Data Analysis:Regression and Experimental Design Categorical and Multivariate Methods[M]. New York:Sp ringer,1991.

[23] JOHNSON N.Systems of frequency curves generated by methods of translation[J].Biometrika,1949,36(1):149-176.

[24] H ILL I,H ILL R,HOLDER R.Fitting Johnson curves by moments[J].Applied Statistics,1976,25(2):180-189.

[25] CHOU Y,POLANSKY A,MASON R.Transforming non-normal data to normality in statistical p rocess control[J].Quality Technology,1998,30(2):133-141.

[26] SLIFKER J,SHAPIRO S.The Johnson system:Selection and parameter estimation[J].Technometrics,1980,22(2):239-246.

[27] MANDRACCIA S,HALVERSON G,CHOU Y.Control chart design strategies for skewed data[A].Process,Equipment,and Materials Control in Integrated Circuit Manufacturing II[C]. USA Austin:TX,1996.196-205.

[28] L ILL IEFORS H.On the Kolmogorov-Smirnov test for normality with mean and variance unknow n[J].The American Statistical Association,1967,62(318):399-402.

[29] PANNA TIER Y.Variow in:Software for Spatial Data Analysis in 2D[M].New York:Sp ringer,1996.1-91.

[30] MULLA D,MCBRA TNEY A.Soil Spatial Variability[M]. Boca Raton,FL:Soil Physics Companion CRC Press,2002.343 -373.

Abstract:Fo r the strongly variable,large skewed and non-no rmal distributed soil samp le data,such as those in Tongling mining area,spatial variability analysis and interpolation directly w ill lead to considerable erro rs,so it needs to select an app rop riate no rmal transfo rmation method to perfo rm the robust p rocessing firstly.In thispaper,Pb element dataof surface soil in Tongling mining area was taken fo r examp le,the raw data were transformed by different normal transfo rmation methods and the effects was analyzed by variogram,expecting to p rovide a mensurable basis fo r app lying geostatisticsmore reasonable and effective in the strong spatial variability metallogenic region.Comparison study showed that the logarithmic transfo rmation could notmake the soil element data in Tongling mining area obeying normal distribution,although Box-Cox transformation could decline the skew ness of the data,it still didn′t pass the K-S test.Johnson transfo rmation is an op timalmethod and the results passed the KS test successfully,especially for non-normal distributed data.Both Johnson transfo rmation and Box-Cox transfo rmation could make the variogram shape better,and Johnson transfo rmation had stronger no rmalization capacity and advantage fo r stabilizing the shape of variogram.Johnson transfo rmation is an ideal geostatistics normalization tool fo r the strong spatial variability metallogenic region.

Key words:geostatistics;no rmal transformation;soil;elements;Tongling

Comparison of Normalization Methods for Non-Normal Distributed Soil ElementsData in Typical M ining Area

L IXiao-hui,YUAN Feng,BA IXiao-yu,ZHANGM ing-ming,JIA Cai,ZHOU Tao-fa
(School of Resources and Environmental Engineering,Hefei University of Technology,Hefei 230009,China)

P628+.1

A

1672-0504(2010)06-0102-04

2010-07-20;

2010-10-18

新世紀(jì)優(yōu)秀人才支持計劃項目(NCET-10-0324);安徽省科技攻關(guān)計劃項目(08010302200);安徽省公益性地質(zhì)(科技)工作項目(2009-13);安徽省優(yōu)秀青年科技基金項目(08040106907、04045063)

李曉暉(1986-),男,博士研究生,主要從事多維分形及地質(zhì)體三維建模預(yù)測研究。E-mail:lxhlixiaohui@163.com