廣東工業(yè)大學(xué) 王彥光 朱鴻斌 徐維超

接收機(jī)工作特性（ROC）曲線下面積（AUC）可從總體上對(duì)二類分類器的分類性能進(jìn)行評(píng)估，已被廣泛的應(yīng)用與各個(gè)領(lǐng)域。本文從AUC定義出發(fā)，給出了AUC的概率解釋，以及AUC與曼惠特尼統(tǒng)計(jì)量的等價(jià)性，最后給出了AUC均值和方差的表達(dá)式的證明，以及零假設(shè)分布下AUC的均值和方差。

接收機(jī)工作特性曲線(Receiver Operating Characteristic Curve)，簡(jiǎn)稱ROC曲線。ROC曲線起源于二戰(zhàn)中的雷達(dá)目標(biāo)檢測(cè)領(lǐng)域，當(dāng)時(shí)它主要用來(lái)整體評(píng)價(jià)探測(cè)的性能通過(guò)描述雷達(dá)的檢測(cè)概率和虛警概率之間的相互制約關(guān)系。在此之后，ROC曲線以及ROC曲線下面積（AUC）在經(jīng)濟(jì)、醫(yī)療，科技等各個(gè)領(lǐng)域均有不同程度的發(fā)展與應(yīng)用。在此，特別需要提及的是AUC在醫(yī)療研究領(lǐng)域的實(shí)際應(yīng)用中得到了持續(xù)的發(fā)展，例如在醫(yī)學(xué)影像的診斷結(jié)果的評(píng)估，新冠病毒等流行病毒的識(shí)別，醫(yī)療試劑的效果評(píng)價(jià)等。在上個(gè)世紀(jì)的九十年代以后，AUC開(kāi)始逐漸被用在人工智能領(lǐng)域諸如模式識(shí)別、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘中的分類器性能評(píng)估。此后，隨著人工智能技術(shù)的發(fā)展，AUC成為一種主流的科學(xué)評(píng)估分類器算法性能與不同分類器之間性能比較的主要工具。一系列關(guān)于AUC的研究結(jié)論使得人工智能等科研人員對(duì)分類識(shí)別等算法的性能有了全面而又深刻的認(rèn)識(shí)。

1 AUC的概率解釋

定義1：對(duì)于一個(gè)由正例X={X1,X2, ...,Xm}和負(fù)例Y={Y1,Y2, ...,Yn}組成的數(shù)據(jù)集，存在一個(gè)閾值，使得，這里FX(x)和FY(x)分別是X和Y的概率分布函數(shù)。令。則ROC可以定義為：，ROC曲線下面積AUC定義為：

我們知道AUC是一種很好分類器評(píng)價(jià)方法，可以用來(lái)評(píng)估和比較與選擇的準(zhǔn)確決策閾值無(wú)關(guān)的分類模型的總體性能。AUC=1.0表示分類器性能最好，AUC=0.5表示分類器隨機(jī)進(jìn)行分類決策的性能，這個(gè)決策與拋硬幣的概率是等效的。分類算法的AUC值越大代表分類器性能越好，這也是AUC最直觀的理解和解釋。其實(shí)，AUC還有一個(gè)更深刻的理解和解釋，它還可以用概率解釋。

證明：設(shè)X代表正例，Y代表負(fù)例，F(xiàn)X(●)和FY(●)代表相應(yīng)的概率分布函數(shù)，fX和fY代表相應(yīng)的概率密度函數(shù)。由AUC和ROC的定義，我們得到：

其中，上式中是利用ROC的定義中變量的轉(zhuǎn)換。再根據(jù)正例X和負(fù)例Y之間的相互獨(dú)立性，我們得到：

從上面的證明過(guò)程我們可以看出，從樣例中隨機(jī)挑選一對(duì)正例和負(fù)例組成的樣本對(duì)，分類算法根據(jù)分類器計(jì)算得到的score值將正例排在負(fù)例前面的概率就是AUC值。AUC值越大，表明分類算法將正例排在負(fù)例前面概率越大，也就是分類效果越好。

從AUC的定義我們可以看出，AUC的取值范圍是[0，1]，而不是[0.5，1]，這是因?yàn)槲覀儾](méi)在ROC曲線的定義中定義。這樣在度量正例和負(fù)例的分布差異時(shí)，如果AUC小于0.5，它表示分類器預(yù)測(cè)的與標(biāo)注的標(biāo)簽相反。

從AUC的概率解釋，可以看出AUC能夠度量?jī)蓸颖痉植嫉牟町悾瑑蓸颖痉植疾町愒酱?，AUC值也越大。

2 AUC與Mann-Whitney U統(tǒng)計(jì)量的關(guān)系

H.B.Mann和D.R.Whitney提出Mann-Whitney U Statistics(MW)來(lái)比較兩個(gè)樣本的大小。令與；它們來(lái)自兩個(gè)連續(xù)的樣本，并且滿足獨(dú)立的相同分布。FX(x)和FY(y)分別用概率密度函數(shù)Fx(x)和Fy(y)任意分布來(lái)表示，假設(shè)和是相互獨(dú)立的。根據(jù)Mann Whitney U的統(tǒng)計(jì)資料，X和Y之間的關(guān)系有如下關(guān)系：

在公式(5)中θ有另外的含義，它表示出X＞Y的可能性等于在ROC曲線下的面積AUC。

3 AUC的均值和方差

定理2：用θ來(lái)表示ROC曲線下的面積AUC，F(xiàn)X(x)和FY(y)是一些未知的參數(shù)，θ的均值和方差可以計(jì)算為：

其中：

以上，X是X'的獨(dú)立恒等分量，Y是Y'的獨(dú)立恒等分量。

證明：利用公式(5)，我們可以得到：

類似地，從公式（5）中，我們可以得到：

在式(9)中，S2協(xié)方差的和表示所有組合除了(i = l,J = k)，對(duì)于公式(9)中的第一項(xiàng)，標(biāo)注它為S1：

對(duì)于式(9)中的協(xié)方差項(xiàng)，注意到協(xié)方差S2除非在i = l或j = k的情況下是0。因此可以按照兩種情況把S2分為兩個(gè)部分，注解為R1和R2，進(jìn)而有：

當(dāng)i = l和j ≠ k時(shí)，有m種方式去得到，且有n(n－1)種方式使得j ≠ k，因此有mn(n－1)種式(9)中的協(xié)方差項(xiàng)形式，我們知道R1滿足：

當(dāng)i ≠ l和j = k時(shí)有m(m－1)種方式得到i ≠ l且n種方式得到j(luò)；因此有mn(m－1)種式(9)中的協(xié)方差項(xiàng)形式，我們得到R2滿足：

由上面式(10)～(13)，我們得到如下最終結(jié)果：

由公式(7)的子項(xiàng)表達(dá)式，可以得到：

將Q0，Q1和Q2代入公式(7)，我們可以得到：

結(jié)論：接收機(jī)工作特性曲線分析當(dāng)前廣泛應(yīng)用于醫(yī)學(xué)、經(jīng)濟(jì)、機(jī)器學(xué)習(xí)等科學(xué)領(lǐng)域。接收機(jī)工作特性曲線下的面積（AUC）對(duì)二分類器的性能進(jìn)行有效評(píng)估。對(duì)于AUC相關(guān)分析，本文使用應(yīng)用比較廣泛的非參數(shù)方法，即利用AUC與Mann-Whitney U統(tǒng)計(jì)量的關(guān)系對(duì)AUC的均值以及方差進(jìn)行推導(dǎo)證明。除此之外，考慮到某些情況下需要對(duì)模型的進(jìn)行假設(shè)檢驗(yàn)，因此，本文還進(jìn)一步推導(dǎo)了零假設(shè)情況下AUC的均值和方差的計(jì)算。