王曉莉,薛 麗

(長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 710064)

目前諸如圖像分類、對(duì)象檢測(cè)、語(yǔ)義分割等應(yīng)用在深度學(xué)習(xí)方面表現(xiàn)出優(yōu)異性能的根本原因分為三方面,首先,計(jì)算機(jī)硬件系統(tǒng)設(shè)備的不斷提升,尤其在圖形處理單元和并行處理方面有明顯提高；其次,網(wǎng)絡(luò)參數(shù)初始化和訓(xùn)練方法方面其技術(shù)的飛躍進(jìn)步,但以上兩種情況需要以數(shù)據(jù)作為支撐才可以將其良好的性能表現(xiàn)出來(lái),即第三個(gè)原因,有類似于ImageNet 這類清晰注釋的大型數(shù)據(jù)集.在實(shí)際情況中,收集帶有噪聲的數(shù)據(jù)集很容易,但收集大規(guī)模干凈的數(shù)據(jù)集既昂貴又耗時(shí).一方面,專家標(biāo)記數(shù)據(jù)對(duì)某些研究是必須的,如,醫(yī)學(xué)中的相關(guān)數(shù)據(jù),由于其專業(yè)性,需要專家進(jìn)行標(biāo)注；另一方面,對(duì)于類似于JFT300M 這種包含3 億張圖像的龐大數(shù)據(jù)集是無(wú)法對(duì)其進(jìn)行手動(dòng)標(biāo)記.同時(shí),機(jī)器學(xué)習(xí)領(lǐng)域中,使用帶有標(biāo)簽的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)而實(shí)現(xiàn)分類、回歸或其他目的的學(xué)習(xí)方式非常常見(jiàn),但在相關(guān)模型學(xué)習(xí)中,如果使用含有大量錯(cuò)誤信息的數(shù)據(jù),則會(huì)影響最終預(yù)測(cè)模型的準(zhǔn)確性.

因此,越來(lái)越多的學(xué)者開(kāi)始針對(duì)噪聲數(shù)據(jù)進(jìn)行研究,其通常分為兩類：特征噪聲和標(biāo)簽噪聲[1-3].特征噪聲是指訓(xùn)練樣本實(shí)例特征本身和其真實(shí)特征之間的偏差,例如人為地在已有特征上添加高斯噪聲.標(biāo)簽噪聲是指用于訓(xùn)練的目標(biāo)標(biāo)簽與相應(yīng)實(shí)例本身的真實(shí)標(biāo)簽之間的偏差,例如設(shè)定標(biāo)簽時(shí)錯(cuò)誤設(shè)置標(biāo)簽所屬類別.這兩種噪聲類型都會(huì)導(dǎo)致系統(tǒng)的性能下降,但相關(guān)研究[4,5]表明標(biāo)簽噪聲的危害性更大,如表情識(shí)別中,高品質(zhì)面部表情到低品質(zhì)微表情的不確定性,會(huì)導(dǎo)致標(biāo)簽不一致甚至標(biāo)簽錯(cuò)誤,最終降低系統(tǒng)最終的分類性能；醫(yī)學(xué)圖像分析領(lǐng)域中,病變程度和相應(yīng)位置的不同其病因也不同,稍有偏差的標(biāo)記都會(huì)影響最終診療結(jié)果；軍事領(lǐng)域中,由于外觀的相似性,坦克和自行榴彈炮等也容易被錯(cuò)誤標(biāo)注,導(dǎo)致目標(biāo)識(shí)別場(chǎng)景中的錯(cuò)誤檢測(cè)；在語(yǔ)義分割中,由于標(biāo)注規(guī)則的不合理,從而導(dǎo)致訓(xùn)練模型效果不好等,這些都體現(xiàn)出處理標(biāo)簽噪聲的重要性.

因此本文主要針對(duì)標(biāo)簽噪聲討論.

1 標(biāo)簽噪聲的介紹

1.1 標(biāo)簽噪聲的來(lái)源和類型

標(biāo)簽噪聲是一種復(fù)雜的現(xiàn)象,其產(chǎn)生的原因有多種,主要分為4 類.(1)在標(biāo)注過(guò)程中的信息不足,無(wú)法對(duì)類別數(shù)據(jù)進(jìn)行充分的描述[6,7]；(2)由于數(shù)據(jù)質(zhì)量較差導(dǎo)致辨識(shí)度降低,使得專家在標(biāo)注過(guò)程中無(wú)法正確標(biāo)注相應(yīng)標(biāo)簽[8,9]；(3)不同主觀性所致,即標(biāo)簽的標(biāo)注非全由專家進(jìn)行標(biāo)注,這是由于可靠的標(biāo)簽是一項(xiàng)耗時(shí)且昂貴的任務(wù),因此有些標(biāo)簽是從非專家處獲得,且不同的標(biāo)注人員根據(jù)不同角度對(duì)標(biāo)簽進(jìn)行標(biāo)記得到的結(jié)果不完全一致[10,11]；(4)來(lái)自數(shù)據(jù)編碼或通信問(wèn)題也可能導(dǎo)致樣本標(biāo)簽出現(xiàn)錯(cuò)誤[12].

從嘈雜的標(biāo)簽中學(xué)習(xí)一直以來(lái)都是一項(xiàng)長(zhǎng)期挑戰(zhàn),在研究其對(duì)分類器或分類算法的影響時(shí)發(fā)現(xiàn),標(biāo)簽噪聲可能受到以下3 個(gè)因素影響：數(shù)據(jù)特征、數(shù)據(jù)的真實(shí)標(biāo)簽和標(biāo)簽特性,根據(jù)這些因素相互間的依賴關(guān)系進(jìn)行分析可以將標(biāo)簽噪聲分為3 類[13,14]：隨機(jī)標(biāo)簽噪聲(Random Classification label Noise,RCN)、類標(biāo)簽噪聲(Class-Conditional label Noise,CCN)和實(shí)例相關(guān)標(biāo)簽噪聲(Instance-Dependent label Noise,IDN).如圖1所示,這些模型的依存關(guān)系復(fù)雜性從左到右依次增加,其分別表示為錯(cuò)誤標(biāo)簽與實(shí)例和真實(shí)標(biāo)簽均無(wú)關(guān)、錯(cuò)誤標(biāo)簽只與真實(shí)標(biāo)簽有關(guān)、錯(cuò)誤標(biāo)簽只與實(shí)例特征有關(guān).其中x表示觀察到的實(shí)例特征,y表示真實(shí)標(biāo)簽,表示相應(yīng)的噪聲標(biāo)簽,隨機(jī)變量e表示該實(shí)例特征是否受到標(biāo)簽噪聲帶來(lái)的錯(cuò)誤影響.

圖1 標(biāo)簽噪聲類型

1.2 標(biāo)簽噪聲的影響

通常情況下,帶有標(biāo)簽噪聲的數(shù)據(jù)在現(xiàn)實(shí)生活中無(wú)處不在,直接使用標(biāo)簽噪聲的數(shù)據(jù)會(huì)對(duì)實(shí)驗(yàn)產(chǎn)生很大的影響,研究發(fā)現(xiàn)標(biāo)簽噪聲產(chǎn)生的影響大致分為3 類：(1)標(biāo)簽噪聲下的分類方法導(dǎo)致預(yù)測(cè)性能降低,例如分類時(shí)經(jīng)常使用的線性分類器、kNN 分類器都會(huì)受到標(biāo)簽噪聲的影響[15].同時(shí),標(biāo)簽噪聲也會(huì)影響常用的決策樹(shù)、支持向量機(jī)等方法.(2)訓(xùn)練特征數(shù)和模型復(fù)雜性增加,例如由于標(biāo)簽噪聲的影響,SVM 中支持向量的數(shù)量明顯增加,導(dǎo)致其模型更加復(fù)雜[7]；標(biāo)簽噪聲需要進(jìn)行多次訓(xùn)練才會(huì)達(dá)到指定的性能指標(biāo)[16].(3)觀察到的類別出現(xiàn)頻率可能會(huì)發(fā)生變化,如標(biāo)簽噪聲對(duì)某種疾病發(fā)病率產(chǎn)生的影響[8].

2 標(biāo)簽噪聲學(xué)習(xí)算法

近年來(lái),硬件設(shè)備的不斷提高使得越來(lái)越多的研究者開(kāi)始傾向于在一般情況下的研究,即進(jìn)行實(shí)驗(yàn)時(shí)所采集的數(shù)據(jù)基本都是被污染的、有噪聲的.目前通過(guò)網(wǎng)絡(luò)爬蟲(chóng)或眾包等方法采集的數(shù)據(jù)大部分都包含噪聲,這些數(shù)據(jù)顯然掩蓋了實(shí)例特征和其類別之間的真實(shí)關(guān)系；同時(shí)在根據(jù)數(shù)據(jù)創(chuàng)建模型或者基于數(shù)據(jù)進(jìn)行決策的學(xué)習(xí)中,使用存在噪聲的數(shù)據(jù)會(huì)在構(gòu)建分類器的時(shí)間、分類的準(zhǔn)確性以及分類器大小等方面降低系統(tǒng)性能,也會(huì)增加學(xué)習(xí)所需的樣本數(shù)量和相應(yīng)模型的復(fù)雜性.因此設(shè)計(jì)適應(yīng)于與標(biāo)簽噪聲有關(guān)的學(xué)習(xí)算法在研究中具有重要的研究意義和應(yīng)用價(jià)值.

在標(biāo)簽噪聲學(xué)習(xí)算法的有關(guān)研究中,不同的研究人員針對(duì)不同的分類情況進(jìn)行研究,有根據(jù)數(shù)據(jù)集噪聲嘈雜程度進(jìn)行區(qū)分,有根據(jù)噪聲類型劃分等.與大多數(shù)研究不同,本文主要側(cè)重于噪聲結(jié)構(gòu)的建模方式對(duì)其進(jìn)行區(qū)分,其方式分為顯式處理和隱式處理.目前,有很多學(xué)習(xí)算法都對(duì)標(biāo)簽數(shù)據(jù)在嘈雜環(huán)境中的學(xué)習(xí)能力進(jìn)行了研究[17],本文分析有關(guān)標(biāo)簽噪聲相關(guān)處理學(xué)習(xí)算法如圖2所示,具體分析如下.

圖2 標(biāo)簽噪聲處理方法

2.1 顯式處理

顯式處理即以某種方式對(duì)噪聲進(jìn)行建模并操縱該模型的輸入流.通常情況下,使用標(biāo)簽噪聲學(xué)習(xí)時(shí),最先想到的是對(duì)標(biāo)簽噪聲進(jìn)行清理,其旨在消除或糾正訓(xùn)練數(shù)據(jù)中標(biāo)記錯(cuò)誤的示例,該步驟可以在訓(xùn)練前完成,也可以和主模型訓(xùn)練同時(shí)進(jìn)行.

噪聲清理中最簡(jiǎn)單的方式是直接刪除分類器中分類錯(cuò)誤的訓(xùn)練實(shí)例,也有將異常值影響較大的實(shí)例或看起來(lái)比較可疑的實(shí)例刪除[18],但這些方式會(huì)造成數(shù)據(jù)嚴(yán)重缺失,最終導(dǎo)致算法的準(zhǔn)確性降低.因此,研究者正在找尋更有效的方式來(lái)清理標(biāo)簽噪聲.有學(xué)者使用過(guò)濾投票[19]的方式進(jìn)行噪聲清理,簡(jiǎn)單理解為：當(dāng)一個(gè)集合中的所有(或幾乎所有)學(xué)習(xí)者都同意刪除該實(shí)例時(shí),該實(shí)例將被刪除,此方式能夠很好地解決數(shù)據(jù)嚴(yán)重缺失問(wèn)題,但也容易誤刪某些正確的實(shí)例.

文獻(xiàn)[20] 則提出了一種自集成標(biāo)簽過(guò)濾框架(Self-Ensemble Label Filtering,SELF),該框架采取漸進(jìn)式過(guò)濾,過(guò)濾策略基于標(biāo)簽和最大似然預(yù)測(cè)之間的一致性來(lái)確定潛在的標(biāo)簽,當(dāng)模型預(yù)測(cè)相應(yīng)的標(biāo)簽具有最高可能性的正確類別時(shí),才會(huì)將該標(biāo)簽用于訓(xùn)練,經(jīng)過(guò)測(cè)試發(fā)現(xiàn)該框架在訓(xùn)練時(shí)間足夠長(zhǎng)的情況下也不易過(guò)擬合,同時(shí)該技術(shù)可以和不同的半監(jiān)督損耗兼容,但其在噪聲比較高的情況下表現(xiàn)不佳.

文獻(xiàn)[21]將傳統(tǒng)的SLR (Single-Label Recognition)和MLR (Multi-Label Recognition)問(wèn)題轉(zhuǎn)換成LDL(Label Distribution Learning)問(wèn)題,提出了端到端的學(xué)習(xí)框架DLDL (Deep Label Distribution Learning),其主要利用深層ConvNet 在特征學(xué)習(xí)和分類器學(xué)習(xí)中的標(biāo)簽歧義性來(lái)學(xué)習(xí)標(biāo)簽分布,ConvNet 最后一個(gè)全連接層激活函數(shù)的概率分布為：

最終的標(biāo)簽分布y可以根據(jù)學(xué)習(xí)到的 θ得到,實(shí)驗(yàn)結(jié)果表明在訓(xùn)練集很小的情況下,DLDL 也有助于防止網(wǎng)絡(luò)過(guò)度擬合,但DLDL 中標(biāo)簽分布固定,無(wú)法更新.

為解決標(biāo)簽分布無(wú)法更新問(wèn)題,文獻(xiàn)[22] 則提出了名為PENCIL (Probabilistic End-to-end Noise Correction for Learning with noisy labels)的端到端框架,其獨(dú)立于骨干網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)端到端方式在學(xué)習(xí)網(wǎng)絡(luò)參數(shù)和標(biāo)簽中維護(hù)并更新標(biāo)簽分布來(lái)校正噪聲標(biāo)簽,在迭代過(guò)程中,損失函數(shù)(2)用于更新操作,其中yd為噪聲標(biāo)簽,

其中,α 和 β為超參.研究表明該框架在不需要輔助的干凈數(shù)據(jù)集或有關(guān)噪聲的先驗(yàn)信息的條件下也容易部署,但該方法在噪聲較高時(shí)該方法會(huì)失效.

文獻(xiàn)[23] 則提出的新穎框架中引入了一種名為AVNC (Adaptive Voting Noise Correction)的技術(shù)來(lái)精確識(shí)別和校正潛在的噪聲標(biāo)簽,該框架的核心是噪聲處理.主要包括過(guò)濾和校正兩個(gè)步驟.首先在過(guò)濾階段,經(jīng)過(guò)M輪K折交叉驗(yàn)證后對(duì)式(3)進(jìn)行降序排列,

并根據(jù)=+1來(lái)確定噪聲,即將數(shù)據(jù)集分為噪聲和干凈數(shù)據(jù)集,然后通過(guò)校正步驟嘗試預(yù)測(cè)噪聲數(shù)據(jù)集中的正確標(biāo)簽.該AVNC 根據(jù)K折交叉驗(yàn)證預(yù)測(cè)實(shí)例生成的高質(zhì)量的數(shù)據(jù)集來(lái)構(gòu)建模型,從而對(duì)噪聲進(jìn)行校正.但ANVC 僅針對(duì)二分類標(biāo)簽進(jìn)行研究,在多類情況下其噪聲校正性能會(huì)很低.

對(duì)此,文獻(xiàn)[24]使用重加權(quán)策略對(duì)稱噪聲標(biāo)簽進(jìn)行研究,并將該策略應(yīng)用到SVM 和MLR 兩個(gè)常規(guī)的分類器,如IWMLR 的分類概率分別為：

但該方法主要適用于RCN 模型下的對(duì)稱噪聲標(biāo)簽,并不適用于非對(duì)稱噪聲,且其權(quán)重并不容易準(zhǔn)確估計(jì).

有學(xué)者則將人類學(xué)習(xí)方式融入到模型學(xué)習(xí)中,即先對(duì)簡(jiǎn)單任務(wù)學(xué)習(xí),然后逐步學(xué)習(xí)較困難的任務(wù),從而建立一個(gè)可靠的模型.如Bengio 等人[25]在2009年提出了課程學(xué)習(xí)(Curriculum Learning,CL)框架,Kumar等人[26]在2010年提出一種類似的學(xué)習(xí)方式,即自步學(xué)習(xí)(Self-Paced Learning,SPL),但是兩者都沒(méi)有應(yīng)用到標(biāo)簽噪聲中,無(wú)法解決實(shí)際應(yīng)用中的問(wèn)題.有研究將CL 思想融入到嘈雜標(biāo)簽學(xué)習(xí)中,即從干凈的標(biāo)簽慢慢轉(zhuǎn)移到噪聲標(biāo)簽的學(xué)習(xí).

文獻(xiàn)[27]利用CL 優(yōu)勢(shì)的同時(shí),結(jié)合隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)具有減少時(shí)間和降低存儲(chǔ)成本的優(yōu)點(diǎn),首次兩者更新過(guò)程結(jié)合在一起并提出了漸進(jìn)式隨機(jī)學(xué)習(xí)(Progressive Stochastic Learning,POSTAL),主要通過(guò)設(shè)定的動(dòng)態(tài)閾值Dth=Dth?μ√來(lái)控制更新區(qū)域,該更新方式在初始時(shí)期只能在可靠標(biāo)簽上建立健壯模型,隨后逐漸降低該動(dòng)態(tài)閾值并更新嘈雜標(biāo)簽,但是其課程通常是預(yù)定義的,忽略了反饋信息,同時(shí)對(duì)于小批量的SGD 訓(xùn)練非常困難.

為此,基于深層神經(jīng)網(wǎng)絡(luò)的記憶效應(yīng),有研究專門(mén)針對(duì)小批量損失情況下的實(shí)例進(jìn)行訓(xùn)練來(lái)處理嘈雜標(biāo)簽.例如,文獻(xiàn)[28]則提出了Mentornet 網(wǎng)絡(luò)在minibatch 上根據(jù)相應(yīng)的反饋信息來(lái)更新課程,該網(wǎng)絡(luò)能夠克服損壞標(biāo)簽的過(guò)度擬合,但容易累積錯(cuò)誤信息；文獻(xiàn)[29]提出的Co-teaching 以對(duì)稱方式交叉訓(xùn)練兩個(gè)網(wǎng)絡(luò),即將在小批量數(shù)據(jù)中過(guò)濾的噪聲樣本傳遞給對(duì)等網(wǎng)絡(luò)來(lái)更新參數(shù),解決了Mentornet 的累積錯(cuò)誤問(wèn)題,但訓(xùn)練時(shí)間太長(zhǎng),兩個(gè)網(wǎng)絡(luò)容易達(dá)到收斂共識(shí)；文獻(xiàn)[30]則在Co-teaching 的基礎(chǔ)上進(jìn)行改進(jìn),提出的Co-teaching+采用分歧更新策略來(lái)訓(xùn)練網(wǎng)絡(luò),能夠明顯提高DNN 抵御噪聲標(biāo)簽的魯棒性,但當(dāng)數(shù)據(jù)集噪聲率極高時(shí),卻很難適用于小批量訓(xùn)練.mini-batch 下相應(yīng)的網(wǎng)絡(luò)訓(xùn)練結(jié)構(gòu)如圖3所示.

圖3 mini-batch 相關(guān)網(wǎng)絡(luò)

2.2 隱式處理

隱式處理即不對(duì)噪聲進(jìn)行顯式建模,而是設(shè)計(jì)更加通用的算法來(lái)消除噪聲的負(fù)面影響.使用固有噪聲容忍方法能夠?qū)崿F(xiàn)噪聲的魯棒性,該方法主要在風(fēng)險(xiǎn)最小化的框架內(nèi)進(jìn)行研究,且風(fēng)險(xiǎn)最小化的穩(wěn)健性主要取決于損失函數(shù).大量研究也表明,損失函數(shù)的處理會(huì)使標(biāo)簽噪聲在訓(xùn)練時(shí)魯棒性更好.

在二分類問(wèn)題中,0-1 損失對(duì)于對(duì)稱或均勻標(biāo)簽噪聲體現(xiàn)出很好的魯棒性[31],通常非鉸鏈損失函數(shù)(Unhinged Loss)[32,33]、斜坡?lián)p失函數(shù)(Ramp Loss)[31]和S 型損失函數(shù)(Sigmoidal Loss)[31]也應(yīng)用于二分類研究中.但僅對(duì)二分類情況下的標(biāo)簽噪聲進(jìn)行研究是無(wú)法滿足實(shí)際情況下的大多數(shù)問(wèn)題.因此有學(xué)者提出魯棒風(fēng)險(xiǎn)最小化方法,用于通過(guò)估計(jì)標(biāo)簽損壞概率來(lái)學(xué)習(xí)多類分類的神經(jīng)網(wǎng)絡(luò).

文獻(xiàn)[34]針對(duì)多類分類中常見(jiàn)的損失函數(shù)進(jìn)行研究,定義了分類器f的最小化風(fēng)險(xiǎn)損失函數(shù)滿足：

然后通過(guò)反向傳播用隨機(jī)梯度下降方法進(jìn)行學(xué)習(xí),并對(duì)比基于分類交叉熵(Categorical Cross Entropy,CCE),均方誤差(Mean Square Error,MSE)和平均絕對(duì)值誤差(Mean Absolute Error,MAE)在不同類型標(biāo)簽下的實(shí)驗(yàn),結(jié)果表明MAE 具有很好的魯棒性,但是單獨(dú)的MAE 會(huì)增加訓(xùn)練的難度,特別是在復(fù)雜數(shù)據(jù)集上,會(huì)直接導(dǎo)致最終的性能下降.

CCE 是一種非對(duì)稱且無(wú)界的損耗函數(shù),收斂速度快,但對(duì)標(biāo)簽噪聲比較敏感.因此,文獻(xiàn)[35]提出了截?cái)嗟腖q損失函數(shù)(TruncatedLqLoss),如式(6)：

為了凸顯MAE 的噪聲魯棒性和CCE 的隱式加權(quán)的優(yōu)勢(shì),使用負(fù)Box-Cox 變換作為損失函數(shù),即在繼承MAE 魯棒性的同時(shí)也繼承了CCE 收斂速度快的特點(diǎn),但其對(duì)閾值k有嚴(yán)格的要求,同時(shí)在求全局最小值時(shí),修剪步驟計(jì)算過(guò)于復(fù)雜,并且在相似度高的數(shù)據(jù)集上會(huì)錯(cuò)誤標(biāo)記非常相似的類.

也有單獨(dú)針對(duì)交叉熵(Cross Entropy,CE)損失函數(shù)進(jìn)行改進(jìn),如文獻(xiàn)[36]提出一種允許在訓(xùn)練過(guò)程中可棄權(quán)的損失函數(shù),深層棄置分類器損失函數(shù)(Deep Abstaining Classifier,DAC)如式(7),式中pk+1表示棄權(quán)可能性,α表示相應(yīng)懲罰.該策略允許模型放棄對(duì)某些數(shù)據(jù)點(diǎn)的預(yù)測(cè),同時(shí)繼續(xù)學(xué)習(xí)和改善未棄權(quán)樣本的分類性能.該方法易于實(shí)現(xiàn),且只需更改損失函數(shù)就可和現(xiàn)有任意DNN 架構(gòu)一起使用,但若隨機(jī)標(biāo)簽中存在不明顯噪聲時(shí),該方法并不適用.

文獻(xiàn)[37]則對(duì)CE 在標(biāo)簽噪聲下容易產(chǎn)生過(guò)擬合問(wèn)題進(jìn)行分析,受對(duì)稱KL 散度(Symmetric KL-Divergence)啟發(fā)提出的反向交叉熵(Reverse Cross Entropy,RCE)能夠很好地容忍噪聲,同時(shí)將RCE 和CE 進(jìn)行結(jié)合提出了對(duì)稱交叉熵(Symmetric cross entropy Learning,SL),如式(8)中,α 和 β 為解耦超參,α用于解決CE 中的過(guò)擬合問(wèn)題,而 β對(duì)應(yīng)于RCE 的魯棒性.SL 使用RCE 的噪聲魯棒性特點(diǎn)對(duì)稱地增強(qiáng)了CE 中的學(xué)習(xí)不足和過(guò)度擬合問(wèn)題,該方法在手動(dòng)損壞的嘈雜標(biāo)簽上有很好的性能,但對(duì)真實(shí)數(shù)據(jù)下比較相似的類容易混淆.

文獻(xiàn)[38]則針對(duì)CCE 進(jìn)行研究,提出在網(wǎng)絡(luò)誤差計(jì)算中進(jìn)行修整,用更可靠的誤差度量代替CCE,即基于修剪絕對(duì)值準(zhǔn)則的修剪分類交叉熵(Trimmed Categorical Cross-Entropy,TCCE),損失函數(shù)定義為：

其中,q1:N≤···≤qN:N是每個(gè)觀測(cè)值的有序損耗,即：

該方法能夠在較大噪聲水平下產(chǎn)生很好的性能,但在噪聲過(guò)高時(shí),性能沒(méi)有CCE 好,且無(wú)法獲得干凈數(shù)據(jù)標(biāo)簽的最高準(zhǔn)確度.

有研究使用噪聲轉(zhuǎn)換矩陣處理噪聲標(biāo)簽,即該矩陣定義了一個(gè)類別轉(zhuǎn)換為另一個(gè)類別的可能性,文獻(xiàn)[39]使用的前向和后向兩種校正方法即采用的該策略,該損失校正與應(yīng)用程序和網(wǎng)絡(luò)體系結(jié)構(gòu)無(wú)關(guān),但現(xiàn)實(shí)中的噪聲過(guò)渡矩陣并不是一直可用的,而且也很難得到準(zhǔn)確的估計(jì).

同時(shí)上述方式并沒(méi)有針對(duì)像本文所提及的IDN 模型下的標(biāo)簽噪聲進(jìn)行研究,這類噪聲函數(shù)通常會(huì)設(shè)置有嚴(yán)格的要求,如給實(shí)例錯(cuò)誤標(biāo)簽設(shè)定統(tǒng)一邊界.這些苛刻的要求一般都很難應(yīng)用到實(shí)際情況中,因此一些研究通常不對(duì)標(biāo)簽噪聲的生成過(guò)程做出假設(shè),而隱式地處理實(shí)例相關(guān)的標(biāo)簽噪聲.

對(duì)深層神經(jīng)網(wǎng)絡(luò)的可傳遞性觀察發(fā)現(xiàn),使用轉(zhuǎn)移學(xué)習(xí)可以很好地避免過(guò)擬合,即在較大數(shù)據(jù)集上預(yù)訓(xùn)練模型的同時(shí)在較小數(shù)據(jù)集上進(jìn)行微調(diào),該策略必須保證兩任務(wù)之間存在很大相關(guān)性,不能過(guò)于松散.文獻(xiàn)[40]對(duì)一般情況下的噪聲標(biāo)簽進(jìn)行研究發(fā)現(xiàn),只在干凈標(biāo)簽上微調(diào)的效果并沒(méi)有同時(shí)在干凈和嘈雜的標(biāo)簽上效果好,因此引入一個(gè)含有少量干凈和大量嘈雜標(biāo)簽的通用框架CNN,同時(shí)使用標(biāo)簽噪聲類型進(jìn)行建模,如圖4所示(其中 θ1和 θ2分別表示CNN 中的參數(shù)集,y和z分別表示真實(shí)標(biāo)簽和標(biāo)簽噪聲類型,x和分別表示觀察到的圖像和嘈雜標(biāo)簽),最后將其集成到端到端的深度學(xué)習(xí)系統(tǒng)中.該方法在處理一般情況下標(biāo)簽噪聲的同時(shí)也可以處理多類問(wèn)題,但在只有嘈雜標(biāo)簽情況下訓(xùn)練網(wǎng)絡(luò)時(shí),該模型會(huì)出現(xiàn)漂移現(xiàn)象.

圖4 標(biāo)簽噪聲概率圖形模型

綜上所述,顯式和隱式兩種分類方法對(duì)標(biāo)簽噪聲的處理都可以達(dá)到很好的效果.由于噪聲行為本身的特殊性,顯式處理對(duì)噪聲本身進(jìn)行建模,并在訓(xùn)練過(guò)程中使用建模后的信息來(lái)獲得更好的性能.而隱式處理則是針對(duì)標(biāo)簽噪聲的魯棒性進(jìn)行研究,并不是直接對(duì)噪聲行為本身進(jìn)行改進(jìn).如表1所示總結(jié)了每個(gè)算法的優(yōu)缺點(diǎn).

表1 顯示處理和隱式處理算法優(yōu)缺點(diǎn)總結(jié)

3 展望與進(jìn)一步挑戰(zhàn)

3.1 展望

3.1.1 數(shù)量趨勢(shì)

本文針對(duì)2015～2019年頂級(jí)會(huì)議上的論文進(jìn)行調(diào)研,統(tǒng)計(jì)并分析和標(biāo)簽噪聲相關(guān)論文數(shù)如圖5所示.

(1)圖5(a)中可以很明顯地看出,有關(guān)標(biāo)簽噪聲的各類會(huì)議在2015年屈指可數(shù),但這之后其呈現(xiàn)出快速增長(zhǎng)的趨勢(shì),雖然每年都存在小幅度波動(dòng),但絲毫不影響其整體性發(fā)展.

(2)圖5(b)中可以發(fā)現(xiàn),2015～2019年中關(guān)于噪聲的研究文獻(xiàn)明顯增長(zhǎng),特別是在2019年,其研究文獻(xiàn)已經(jīng)達(dá)到2015年的4 倍,可以預(yù)計(jì),未來(lái)對(duì)標(biāo)簽噪聲的研究會(huì)越來(lái)越多,亦有可能呈現(xiàn)爆發(fā)性增長(zhǎng),其將會(huì)成為人工智能領(lǐng)域的一個(gè)熱門(mén)研究對(duì)象.

(3)上述頂級(jí)會(huì)議論文中,針對(duì)標(biāo)簽噪聲的學(xué)習(xí)不僅僅是關(guān)于理論知識(shí)的研究,同時(shí)也包含其實(shí)際應(yīng)用中的研究,理論與應(yīng)用兩方面的研究從側(cè)面體現(xiàn)了關(guān)于標(biāo)簽噪聲學(xué)習(xí)的重要性.

3.1.2 熱點(diǎn)趨勢(shì)

處理標(biāo)簽噪聲是一個(gè)開(kāi)放性問(wèn)題,本文根據(jù)其特點(diǎn)和實(shí)際應(yīng)用性將其熱點(diǎn)趨勢(shì)大致分為4 種情況：

(1)多角度性：參閱文獻(xiàn)可以看出,針對(duì)標(biāo)簽噪聲研究方法多種多樣,但大部分研究主要針對(duì)以下幾方面,如：處理噪聲敏感的標(biāo)簽；類的相似性過(guò)高下的誤判；訓(xùn)練過(guò)程中的過(guò)擬合；不同噪聲比下的誤差過(guò)大；不同網(wǎng)絡(luò)間優(yōu)勢(shì)相結(jié)合等等.顯而易見(jiàn),從算法不同角度及其本身進(jìn)行剖析一直是該領(lǐng)域研究熱點(diǎn).

(2)通用性：有文獻(xiàn)設(shè)計(jì)出與應(yīng)用程序和網(wǎng)絡(luò)體系都無(wú)關(guān)的方法,也有設(shè)計(jì)出可以和任意DNN 架構(gòu)一起使用的方法,這些設(shè)計(jì)從側(cè)面反映出其方法對(duì)環(huán)境的非依賴性,同時(shí)方法的通用性會(huì)進(jìn)一步減少研究成本,由此可推斷出學(xué)者會(huì)針對(duì)此方面做進(jìn)一步研究.

(3)適用性：上述研究基本針對(duì)人工合成噪聲數(shù)據(jù),其準(zhǔn)確率雖然不錯(cuò),但并未對(duì)真實(shí)數(shù)據(jù)研究,為增強(qiáng)噪聲數(shù)據(jù)的適用性,可以預(yù)測(cè)未來(lái)將逐漸針對(duì)如網(wǎng)絡(luò)爬蟲(chóng)、眾包等真實(shí)數(shù)據(jù)或更復(fù)雜的環(huán)境進(jìn)行研究.

(4)易于實(shí)現(xiàn)性：雖然現(xiàn)有框架下的研究對(duì)標(biāo)簽噪聲處理取得了不錯(cuò)效果,但若應(yīng)用到實(shí)際情況,其效果不盡其然,因此如何設(shè)計(jì)出能夠有效處理標(biāo)簽噪聲且易于實(shí)現(xiàn)的方法必將成為研究熱點(diǎn).

圖5 頂級(jí)會(huì)議相關(guān)文獻(xiàn)統(tǒng)計(jì)

3.2 標(biāo)簽噪聲處理的進(jìn)一步挑戰(zhàn)

雖然標(biāo)簽噪聲的研究在理論層面和工程領(lǐng)域都有豐碩的研究成果,但其在實(shí)際應(yīng)用中仍存在很多問(wèn)題.

(1)雖然標(biāo)簽噪聲清理方法能夠用去除或糾正錯(cuò)誤標(biāo)簽的實(shí)例,但這些方法很難將信息豐富的示例與有害的錯(cuò)誤貼標(biāo)簽的示例明顯區(qū)分,同時(shí)過(guò)度清洗也可能會(huì)將分類器的性能降低.

(2)大多數(shù)損失函數(shù)對(duì)標(biāo)簽噪聲并不是完全魯棒且有些對(duì)異常值敏感,對(duì)于處理方式過(guò)于復(fù)雜的損失函數(shù),容易產(chǎn)生過(guò)擬合現(xiàn)象.

(3)現(xiàn)有方法對(duì)標(biāo)簽噪聲的相關(guān)研究假設(shè)了一定的不實(shí)際的前提條件,同時(shí)有很少文獻(xiàn)針對(duì)一般情況下的標(biāo)簽噪聲進(jìn)行研究,如大多數(shù)研究并不是基于網(wǎng)絡(luò)爬蟲(chóng)等進(jìn)行研究,無(wú)法將其一般化于各類數(shù)據(jù)情況下的標(biāo)簽噪聲.

(4)多分類情況下,標(biāo)簽噪聲在破壞原始干凈數(shù)據(jù)分布的同時(shí)會(huì)導(dǎo)致標(biāo)簽浮動(dòng)噪聲問(wèn)題,其容易限制模型的泛化能力；且多特征數(shù)據(jù)中有些標(biāo)簽相關(guān)性能比較微弱,需要仔細(xì)辨別.

(5)有關(guān)標(biāo)簽噪聲的應(yīng)用問(wèn)題,在不同場(chǎng)景下應(yīng)對(duì)策略也有所不同,需要針對(duì)標(biāo)簽噪聲的場(chǎng)景適用性問(wèn)題作出進(jìn)一步研究.

4 總結(jié)

本文根據(jù)噪聲結(jié)構(gòu)的建模方式對(duì)標(biāo)簽噪聲的處理方法從顯式和隱式兩大方面做出系統(tǒng)性梳理和總結(jié).從眾多文獻(xiàn)可以看出,在訓(xùn)練前直接刪除數(shù)據(jù)會(huì)造成數(shù)據(jù)嚴(yán)重缺失,目前大部分研究主要使用“訓(xùn)練-清洗數(shù)據(jù)-再訓(xùn)練”此種迭代方式進(jìn)行研究,且逐漸傾向于多網(wǎng)絡(luò)方式結(jié)合、監(jiān)督和非監(jiān)督技術(shù)結(jié)合或損失函數(shù)相關(guān)處理方面等；但大部分研究都有相應(yīng)的特定場(chǎng)景,且最終效果并不樂(lè)觀,和實(shí)際情況下不同場(chǎng)景的應(yīng)用有很大差距.因此需要研究出一種具有通用性好、適用性強(qiáng)并且易于實(shí)現(xiàn)的方法來(lái)處理不同場(chǎng)景下的標(biāo)簽噪聲.