徐維超,馬如豹

(廣東工業(yè)大學(xué) 自動(dòng)化學(xué)院, 廣東 廣州 510006)

相關(guān)系數(shù)在脈沖噪聲環(huán)境下的穩(wěn)健性綜述

徐維超,馬如豹

(廣東工業(yè)大學(xué) 自動(dòng)化學(xué)院, 廣東 廣州 510006)

作為相關(guān)分析的重要工具,相關(guān)系數(shù)在眾多科學(xué)與技術(shù)領(lǐng)域中都得到了廣泛的研究和應(yīng)用.基于文獻(xiàn)中兩種常用的二元混合高斯模型,本文回顧和對(duì)比了5種相關(guān)系數(shù)分別在單通道以及雙通道中存在脈沖噪聲時(shí)的穩(wěn)健性.定量的研究結(jié)果表明,在脈沖噪聲環(huán)境下，文獻(xiàn)中最為常見(jiàn)的皮爾遜積矩相關(guān)系數(shù)性能急劇惡化.而另外4種相關(guān)系數(shù)則在兩種噪聲模型下均表現(xiàn)出良好的抗干擾能力.

皮爾遜積距相關(guān)系數(shù); 斯皮爾曼秩次相關(guān)系數(shù); 肯德?tīng)栔却蜗嚓P(guān)系數(shù); 基尼相關(guān); 皮爾遜秩變量相關(guān)系數(shù); 脈沖噪聲; 混合高斯模型

相關(guān)分析是從19世紀(jì)80年代發(fā)展起來(lái)的探討隨機(jī)變量之間統(tǒng)計(jì)關(guān)系的研究課題[1], 目前仍然是統(tǒng)計(jì)信號(hào)處理領(lǐng)域中的研究重點(diǎn)與難點(diǎn). 所謂相關(guān), 是兩個(gè)隨機(jī)變量或信號(hào)之間的統(tǒng)計(jì)關(guān)系強(qiáng)弱程度的度量. 具體來(lái)說(shuō), 如果一個(gè)隨機(jī)變量隨著另外一個(gè)隨機(jī)變量的 增大(減小)而增大(減小),則該兩個(gè)隨機(jī)變量滿(mǎn) 足正相關(guān)關(guān)系;反之,如果一個(gè)隨機(jī)變量隨著另外 一個(gè)隨機(jī)變量的增大(減小)而減小(增大),則該兩個(gè)隨機(jī)變量滿(mǎn)足負(fù)相關(guān)關(guān)系[2].

文獻(xiàn)中經(jīng)典的相關(guān)系數(shù)有3種, 分別是由統(tǒng)計(jì)學(xué)奠基人Pearson 提出的積矩相關(guān)系數(shù)(Pearson′s Product Moment Correlation Coefficient,PPMCC)[3-5],心理學(xué)家Spearman提出的斯皮爾曼秩次相關(guān)系數(shù)(Spearman′s rho, SR)[6], 以及統(tǒng)計(jì)學(xué)家 Kendall 提出的肯德?tīng)栔却蜗嚓P(guān)系數(shù)(Kendall′s tau, KT)[6].基于眾多研究者的努力，這3種經(jīng)典相關(guān)系數(shù)在二元高斯模型下的統(tǒng)計(jì)特性已基本明確.統(tǒng)計(jì)學(xué)家 Fisher 發(fā)現(xiàn)了PPMCC在二元高斯模型下的概率密度函數(shù)的精確表達(dá)式, 并且證明了PPMCC是母體相關(guān)系數(shù)的漸近無(wú)偏最優(yōu)估計(jì), 其方差在樣本數(shù)足夠大時(shí)達(dá)到 Cramer-Rao 下限[4,7]. 除了上述理論上的優(yōu)點(diǎn)，PPMCC的算法復(fù)雜度與數(shù)據(jù)長(zhǎng)度成正比, 運(yùn)算速度快, 可以滿(mǎn)足實(shí)時(shí)性的要求. 因此, PPMCC在各領(lǐng)域的應(yīng)用中都占據(jù)了主導(dǎo)地位.與PPMCC不同, 在二元高斯模型下, SR和KT的概率密度函數(shù)無(wú)法求得. 在Kendall等一批統(tǒng)計(jì)學(xué)家的努力下，SR和KT的均值和方差的表達(dá)式已經(jīng)推導(dǎo)出來(lái)[8-12]. 徐維超等證明了SR和KT相對(duì)于PPMCC的漸近相對(duì)效率(Asymptotic Relative Efficiency, ARE)最多達(dá)到 91%[13]. 然而, 由于只用到樣本的排序信息(秩次), SR 和KT 在單調(diào)非線(xiàn)性變換下性能保持不變, 因而更適應(yīng)于一些非線(xiàn)性的場(chǎng)合[13].

除了3種經(jīng)典的相關(guān)系數(shù)之外, 其他相關(guān)系數(shù), 如基尼相關(guān)(Gini Correlation, GC)[14]和皮爾遜秩變量相關(guān)系數(shù)(Pearson′s rank-variate correlation coefficient, PRVCC)[15]也引起了研究者的關(guān)注. GC由以色列經(jīng)濟(jì)學(xué)家所提出[14], 在經(jīng)濟(jì)學(xué)領(lǐng)域已經(jīng)得到了廣泛的應(yīng)用, 并開(kāi)始向生物學(xué)、社會(huì)科學(xué)和信號(hào)處理等領(lǐng)域延伸. 經(jīng)過(guò)徐維超及其合作者的努力[11], GC在二元高斯樣本下的均值和方差也已經(jīng)得到了證明. 雖然早在1914年就已經(jīng)由Pearson提出[15], PRVCC 在二元高斯模型下的統(tǒng)計(jì)特性一直未取得突破. 然而，如后文所示，從定義上可以推測(cè)，GC和PRVCC應(yīng)具有類(lèi)似的統(tǒng)計(jì)特性.

上述所有理論結(jié)果, 都是基于二元高斯模型，即假設(shè)兩個(gè)隨機(jī)變量符合一個(gè)聯(lián)合母體相關(guān)系數(shù)為ρ的高斯分布. 盡管具有數(shù)學(xué)上的優(yōu)點(diǎn)，高斯模型只是一種理想化的近似. 在現(xiàn)實(shí)世界中, 所采集的數(shù)據(jù)通常會(huì)受到脈沖噪聲的污染，即樣本中含有極少量方差巨大的異常值 (外值)[16- 19]. 為了模擬這種情況，文獻(xiàn)中通常采用二元高斯混合模型(Contaminated Gaussian Model, CGM)進(jìn)行建模[20].

本文的目的是在二元高斯混合模型下，對(duì)上述5種相關(guān)系數(shù)的穩(wěn)健性進(jìn)行比較與分析. 具體內(nèi)容包括: 相關(guān)系數(shù)的基本定義和性質(zhì), 噪聲模型的介紹, 多種相關(guān)系數(shù)在不同樣本數(shù)據(jù)模型下的統(tǒng)計(jì)特性, 各種相關(guān)系數(shù)在不同環(huán)境下的適用性分析. 后文將按照這一結(jié)構(gòu)展開(kāi)論述.

1 基本定義

1.1 相關(guān)系數(shù)定義

rP(Xi,Yi)

(1)

rS(Xi,Yi)

(2)

rK(Xi,Yi)

(3)

另外兩種相關(guān)系數(shù)GC(rG)[11]和 PRVCC(rH)[23]分別定義為:

(4)

(5)

令r一般地表示相關(guān)系數(shù),則上述各種相關(guān)系數(shù)的共性有:

(1) 歸一化, r的取值在區(qū)間[-1,1]內(nèi);

(2) 當(dāng)Y和X嚴(yán)格線(xiàn)性相關(guān)或滿(mǎn)足單調(diào)上升、單調(diào)下降關(guān)系時(shí), r=±1;

(3) 當(dāng)X和Y彼此統(tǒng)計(jì)獨(dú)立時(shí), r的均值為0;

(4) r(+,+)=-r(-,+)=-r(+,-)=r(-,-);

(5) 當(dāng)樣本數(shù)n足夠大時(shí), r 趨于高斯分布.

各種相關(guān)系數(shù)獨(dú)有的性質(zhì):

(1)PPMCC、SR和KT滿(mǎn)足對(duì)稱(chēng)性,GC和PRVCC則不然;

(2)PPMCC、SR和KT可以統(tǒng)一為廣義相關(guān)系數(shù)(DaneilsGeneralizedCorrelationCoefficient)[24].

需要指出, 從定義式(1)～(5)中可以看到, 在各種相關(guān)系數(shù)的計(jì)算過(guò)程中使用數(shù)據(jù)值和秩次的信息不盡相同. 據(jù)此, 可以把上述5種相關(guān)系數(shù)分為3類(lèi)：

(1) 完全利用數(shù)據(jù)值信息的PPMCC;

(2) 利用一個(gè)變量的數(shù)據(jù)值信息和另一個(gè)變量的秩信息的GC和PRVCC;

(3) 完全利用秩信息的SR和KT.

1.2 二元高斯混合模型

在雙變量或雙通道相關(guān)分析中, 噪聲干擾的情況可以分為兩類(lèi). 一類(lèi)是單通道的噪聲干擾, 另一類(lèi)是雙通道的噪聲干擾. 與此相對(duì)應(yīng), 兩種噪聲模型可以分別建立, 統(tǒng)稱(chēng)為混合高斯模型(ContaminatedGaussianModel,CGM).

單通道的混合高斯模型(Signal-ChannelContaminatedGaussianModel,SCGM)的概率密度函數(shù)(probabilitydensityfunction,pdf)如下:

(6)

與(6)類(lèi)似, 雙通道混合高斯模型(Double-Channel Contaminated Gaussian Model, DCGM)的概率密度函數(shù)由下式定義:

(7)

2 SCGM下的性能分析

馬如豹、徐維超等[23]證明了PRVCC在SCGM下, 當(dāng)數(shù)據(jù)樣本的數(shù)量n足夠大時(shí), 其均值和方差的漸進(jìn)閉式表達(dá)式為:

(8)

(9)

此外, 在同一篇論文中，3種經(jīng)典的相關(guān)系數(shù)PPMCC、SR和KT在SCGM下均值的閉式表達(dá)式也由作者導(dǎo)出[25]:

(10)

(11)

(12)

從式(10)可以看出, PPMCC只與干擾ρ′有關(guān), 與真正想估計(jì)的母體相關(guān)系數(shù)ρ無(wú)關(guān). 也就是說(shuō), PPMCC 完全丟失了母體相關(guān)系數(shù)的信息, 說(shuō)明PPMCC在單通道的脈沖噪聲干擾下失效. 而PRVCC、SR和KT都可以在相當(dāng)大的程度上抑制ε和ρ′的影響, 對(duì)脈沖噪聲表現(xiàn)出較好的抗干擾能力.

由式(8)、(11)和(12)可以分別定義PRVCC、SR和KT對(duì)母體相關(guān)系數(shù)的無(wú)偏估計(jì)[25]:

(13)

(14)

(15)

通過(guò)均方根誤差(RootMeanSquaredError,RMSE)仿真分析,PRVCC在SCGM的場(chǎng)景下更有優(yōu)勢(shì).GC與PRVCC在計(jì)算中所利用的數(shù)據(jù)信息方面以及計(jì)算表達(dá)式上都相類(lèi)似, 它們?cè)赟CGM下的性能也相近.

3 DCGM下的性能分析

從上述分析中可知,PPMCC對(duì)單通道脈沖噪聲極其敏感. 可以預(yù)見(jiàn),在雙通道脈沖噪聲的干擾下,PPMCC的抗干擾能力仍然很差; 同時(shí),PRVCC和GC因?yàn)橹苯邮褂昧艘粋€(gè)通道的數(shù)值信息, 也不具備在DCGM下的穩(wěn)定性.

對(duì)于SR和KT, 徐維超等[13]證明了在DCGM下,樣本數(shù)量n足夠大時(shí),SR和KT的均值的閉式表達(dá)式為

(16)

(17)

對(duì)比式(11)與(16)、(12)與(17), 兩組等式的差別不大, 但都表現(xiàn)出了在DCGM下ε和ρ′的影響更大,SR和KT的穩(wěn)健性有所下降. 從式(16)和(17)可以得出SR和KT在DCGM下對(duì)母體相關(guān)系數(shù)的無(wú)偏估計(jì)量與SCGM下的一致, 即式(14)和(15).

4 結(jié)論

本文介紹了兩種脈沖噪聲下的數(shù)據(jù)模型,SCGM和DCGM,并且總結(jié)了PPMCC,SR,KT,GC和PRVCC等5種相關(guān)系數(shù)在SCGM下的統(tǒng)計(jì)特性,以及SR和KT在DCGM下的均值. 總結(jié)上述分析可以得到如下結(jié)論:

(1) 在樣本數(shù)據(jù)存在脈沖噪聲干擾的情況下,PPMCC對(duì)母體相關(guān)系數(shù)的估計(jì)由噪聲主導(dǎo), 基本失效;

(2) 在只有一個(gè)變量或通道的樣本數(shù)據(jù)受到脈沖噪聲的干擾而另一個(gè)變量或通道的樣本數(shù)據(jù)未受污染的情況下,PRVCC和GC比較有優(yōu)勢(shì);

(3) 當(dāng)兩個(gè)變量或通道的樣本數(shù)據(jù)都受到脈沖噪聲的干擾時(shí),SR和KT有更好的穩(wěn)健性.

[1]SpeedT.Acorrelationforthe21stcentury[J].Science, 2011, 334(6062):1502-1503.

[2]GibbonsJD,ChakrabortiS.NonparametricStatisticalInference[M]. 3rd.NewYork:M.Dekker, 1992.

[3]FisherRA.StatisticalMethods,ExperimentalDesign,andScientificInference[M].NewYork:OxfordUniversityPress, 1990.

[4]FisherRA.Onthe‘probableerror’ofacoefficientofcorrelationdeducedfromasmallsample[J].Metron, 1921, 1:3-32.

[5]FiellerEC,HartleyHO,PearsonES.Testsforrankcorrelationcoefficients.I[J].Biometrika, 1957, 44(3/4):470- 481.

[6]KendallM,GibbonsJD.RankCorrelationMethods[M]. 5thed.NewYork:OxfordUniversityPress, 1990.

[7]FisherRA.Frequencydistributionofthevaluesofthecorrelationcoefficientinsamplesfromanindefinitelylargepopulation[J].Biometrika, 1915, 10(4):507-521.

[8]MoranPAP.Rankcorrelationandproduct-MomentCorrelation[J].Biometrika, 1948, 35(1/2):203- 206.

[9]EsscherF.Onamethodofdeterminingcorrelationfromtheranksofthevariates[J].Skand.Aktuar., 1924, 7:201- 219.

[10]DavidFN,MallowsCL.ThevarianceofSpearman′srhoinnormalsamples[J].Biometrika, 1961, 48(1/2):19- 28.

[11]XuW,HungYS,NiranjanM,etal.AsymptoticmeanandvarianceofGinicorrelationforbivariatenormalsamples[J].IEEETransSignalProcess, 2010, 58(2):522-534.

[12] 徐維超. 相關(guān)系數(shù)研究綜述[J]. 廣東工業(yè)大學(xué)學(xué)報(bào), 2012, 29(3):12-17.

XuWC.Areviewoncorrelationcoefficients[J].JournalofGuangdongUniversityofTechnology, 2012,29(3): 12-17.

[13]XuW,HouY,HungY,etal.AcomparativeanalysisofSpearman′srhoandKendall′stauinnormalandcontaminatednormalmodels[J].SignalProcessing, 2013, 93(1):261- 276.

[14]SchechtmanE,YitzhakiS.AmeasureofassociationbaseonGini′smeandifference[J].CommunStatistTheorMeth, 1987, 16(1):207- 231.

[15]PearsonK.Onanextensionofthemethodofcorrelationbygradesorranks[J].Biometrika, 1914, 10(2/3):416- 418.

[16]TumanskiS.Principlesofelectricalmeasurement[M].NewYork:Taylor&Francis, 2006.

[17]SteinD.DetectionofrandomsignalsinGaussianmixturenoise[J].IEEETransInfTheory, 1995, 41(6):1788-1801.

[18]ChenR,WangX,LiuJ.Adaptivejointdetectionanddecodinginflat-fadingchannelsviamixtureKalmanfiltering[J].IEEETransInfTheory, 2000, 46(6):2079- 2094.

[19]ReznicZ,ZamirR,FederM.Jointsource-channelcodingofaGaussianmixturesourceovertheGaussianbroadcastchannel[J].IEEETransInfTheory, 2002, 48(3):776-781.

[20]ShevlyakovGL,VilchevskiNO.RobustnessinDataAnalysis:CriteriaandMethods[M].Utrecht:VSP, 2002.

[21]XuW,ChangC,HungYS,etal.Orderstatisticscorrelationcoefficientasanovelassociationmeasurementwithapplicationstobiosignalanalysis[J].IEEETransSignalProcess, 2007, 55(12):5552-5563.

[22]XuW,ChangC,HungYS,etal.Asymptoticpropertiesoforderstatisticscorrelationcoefficientinthenormalcases[J].IEEETransSignalProcess, 2008, 56(6):2239- 2248.

[23]MaR,XuW,ZhangY,etal.Asymptoticpropertiesofpearson′srank-variatecorrelationcoefficientundercontaminatedGaussianmodel[J].PLoSOne, 2014, 9(11):e112215.

[24]DanielsHE.Therelationbetweenmeasuresofcorrelationintheuniverseofsamplepermutations[J].Biometrika, 1944, 33(2):129-135.

[25]MaR,XuW,WangQ,etal.RobustnessanalysisofthreeclassicalcorrelationcoefficientsundercontaminatedGaussianmodel[J].SignalProcessing, 2014, 104:51-58.

A Review on Robustness of Correlation Coefficients Against Impulsive Noise

Xu Wei-chao, Ma Ru-bao

(School of Automation,Guangdong University of Technology, Guangzhou 510006, China)

As an important tool in correlation analysis, correlation coefficients have been extensively studied and applied in many science and engineering fields. Based on two commonly used bivariate contaminated Gaussian models, this paper reviews and compares the robustness of five correlation coefficients in environments with single-channel and double-channel impulsive noise, respectively. Theoretical results indicate that the most popular Pearson′s Product Moment Correlation Coefficient is very sensitive to impulsive noise interference. On the other hand, the other four coefficients demonstrate their robustness against impulsive noise in the two models.

Pearson′s product moment correlation coefficient(PPMCC); Spearman′s rho(SR); Kendall′s Tau(KT); Gini correlation (GC); Pearson′s rank-variate correlation coefficient(PRVCC); impulsive noise; contaminated Gaussian model (CGM)

2015- 06- 16

國(guó)家自然科學(xué)基金資助項(xiàng)目(61271380); 廣東省自然科學(xué)基金資助項(xiàng)目(S2012010009870, 2014A030313515)

徐維超(1970-),男,廣東工業(yè)大學(xué)“百人計(jì)劃”特聘教授,主要研究方向?yàn)榻y(tǒng)計(jì)信號(hào)處理.

10.3969/j.issn.1007- 7162.2015.03.001

O212.4; O211.5

A

1007-7162(2015)03- 0001- 04