亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        圖趨勢(shì)過濾誘導(dǎo)的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)模型

        2021-01-21 03:22:40林騰濤查思明龍顯忠
        計(jì)算機(jī)應(yīng)用 2021年1期
        關(guān)鍵詞:示例關(guān)聯(lián)噪聲

        林騰濤,查思明,陳 蕾,2*,龍顯忠

        (1.南京郵電大學(xué)計(jì)算機(jī)學(xué)院、軟件學(xué)院、網(wǎng)絡(luò)安全學(xué)院,南京 210003;2.江蘇省大數(shù)據(jù)安全與智能處理重點(diǎn)實(shí)驗(yàn)室(南京郵電大學(xué)),南京 210003)

        0 引言

        在現(xiàn)實(shí)生活中,一個(gè)示例通常與多個(gè)標(biāo)記相關(guān)聯(lián),例如,一篇文檔可能與多個(gè)不同主題相關(guān),一幅圖片通常包含多個(gè)物體,一段音樂可能有多個(gè)體裁。因此,多標(biāo)記學(xué)習(xí)受到了廣泛的關(guān)注,并在文本分類、圖像標(biāo)注、圖像分割、動(dòng)作識(shí)別、面部表情識(shí)別、生物信息學(xué)等各個(gè)領(lǐng)域都取得了成功應(yīng)用。

        多標(biāo)記學(xué)習(xí)旨在從一系列候選標(biāo)記集中選出與樣本相關(guān)的標(biāo)記,由于標(biāo)記集有著大量的標(biāo)記并且多個(gè)標(biāo)記在某個(gè)語義空間里通常是相互關(guān)聯(lián)的,因此,探索標(biāo)記之間的關(guān)聯(lián)關(guān)系有助于多標(biāo)記學(xué)習(xí)。例如,在圖像標(biāo)注中,如果標(biāo)記“駱駝”和“仙人掌”同時(shí)出現(xiàn),那么有極大可能性會(huì)出現(xiàn)“沙漠”這個(gè)標(biāo)記,而出現(xiàn)“蝴蝶”這一標(biāo)記的可能性就極低。多標(biāo)記學(xué)習(xí)試圖將不同程度的標(biāo)記相關(guān)性結(jié)合起來,已有許多相關(guān)算法被提出來探索標(biāo)記之間的關(guān)聯(lián)關(guān)系。其中,標(biāo)記排序方法通過考慮兩兩標(biāo)記之間的關(guān)系從而將多標(biāo)記分類問題轉(zhuǎn)化為標(biāo)記排序問題[1-2]。進(jìn)一步地,為了探索標(biāo)記之間的高階關(guān)聯(lián)關(guān)系,即一個(gè)標(biāo)記與其他所有標(biāo)記之間的關(guān)聯(lián)關(guān)系,最典型的方法是將原始標(biāo)記向量投影到一個(gè)低維的標(biāo)記空間中[3],文獻(xiàn)[4]同時(shí)考慮了全局和局部的標(biāo)記關(guān)聯(lián)關(guān)系,文獻(xiàn)[5]將原始離散的二值標(biāo)記空間擴(kuò)展成歐氏空間,并同時(shí)考慮了特征流形和標(biāo)記流形結(jié)構(gòu)。

        然而在許多實(shí)際應(yīng)用中,獲得的數(shù)據(jù)往往是不完美的,往往同時(shí)包含特征噪聲和標(biāo)記噪聲,忽略任意一種噪聲都將影響多標(biāo)記學(xué)習(xí)模型的預(yù)測性能,而現(xiàn)有的多標(biāo)記模型大多只考慮其中一種噪聲。一方面,標(biāo)記可能會(huì)有缺失或者錯(cuò)誤,針對(duì)標(biāo)記噪聲,通過標(biāo)記之間的關(guān)聯(lián)關(guān)系可以很好地解決標(biāo)記缺失[6],文獻(xiàn)[7-8]利用直推式半監(jiān)督學(xué)習(xí)方法補(bǔ)全缺失標(biāo)記,文獻(xiàn)[9]試圖解決基于標(biāo)記缺失的大規(guī)模多標(biāo)記學(xué)習(xí)問題。另一方面,特征也可能存在噪聲,例如圖片模糊等,針對(duì)特征噪聲,文獻(xiàn)[10-11]提出許多方法解決特征噪聲。盡管文獻(xiàn)[12]解決了特征噪聲和標(biāo)記噪聲同時(shí)出現(xiàn)的情況,但是基于L2范數(shù)誘導(dǎo)的圖拉普拉斯正則化在含噪的數(shù)據(jù)集中可能并不準(zhǔn)確,忽略了含噪特征向量與標(biāo)記向量的不一致性,即噪聲容錯(cuò)性不足。

        為了解決上述問題,本文提出了一種圖趨勢(shì)過濾誘導(dǎo)的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)(Graph trend filtering guided Noise Tolerant Multi-label Learning,GNTML)模型。該模型通過采用組稀疏約束橋接標(biāo)記增強(qiáng)矩陣的機(jī)制來同時(shí)容忍特征噪聲和標(biāo)記噪聲。具體地,本模型通過探索標(biāo)記之間的內(nèi)在關(guān)聯(lián)關(guān)系學(xué)習(xí)得到一個(gè)標(biāo)記增強(qiáng)矩陣,用增強(qiáng)過后的標(biāo)記矩陣替代原始標(biāo)記矩陣,以解決可能存在的標(biāo)記缺失,這個(gè)標(biāo)記增強(qiáng)矩陣?yán)硐肭闆r下是根據(jù)特征矩陣獲得的,進(jìn)一步,為了在混合噪聲場景下學(xué)習(xí)到合理的標(biāo)記增強(qiáng)矩陣,本文一方面引入圖趨勢(shì)過濾(Graph Trend Filtering,GTF)[13]機(jī)制來容忍含噪示例特征與標(biāo)記之間關(guān)聯(lián)的不一致性,即某些示例由于存在噪聲特征相似,但實(shí)際上它們的標(biāo)記卻是不相近的。另一方面,本文引入組稀疏約束的標(biāo)記保真懲罰來減輕標(biāo)記噪聲對(duì)標(biāo)記增強(qiáng)矩陣學(xué)習(xí)的影響,以及組稀疏約束同時(shí)解決特征噪聲。此外,本文還通過引入標(biāo)記關(guān)聯(lián)矩陣的稀疏約束來刻畫標(biāo)記之間的局部關(guān)聯(lián)特性,使得樣本標(biāo)記能夠在相似樣本之間得以更好的傳播。本文利用交替方向法(Alternating Direction Method,ADM)來有效地求解模型,并在7 個(gè)真實(shí)多標(biāo)記數(shù)據(jù)集上的實(shí)驗(yàn)表明,本文提出的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)模型在66.67%的情況下取得最優(yōu)值或次優(yōu)值,能有效地提高多標(biāo)記學(xué)習(xí)的魯棒性。

        1 相關(guān)工作

        基于標(biāo)記之間的關(guān)聯(lián)程度,多標(biāo)記學(xué)習(xí)問題求解策略通??梢员粍澐譃槿N[14]:最簡單的一種是“一階”策略,該策略逐一考察單個(gè)標(biāo)記而忽略標(biāo)記之間的關(guān)聯(lián)關(guān)系,最典型的算法就是BR(Binary Relevance)[15],將多標(biāo)記問題轉(zhuǎn)化為多個(gè)二分類問題,為每一個(gè)標(biāo)記都訓(xùn)練一個(gè)分類器;相應(yīng)地,“二階”策略考察兩兩標(biāo)記之間的相關(guān)性,從而構(gòu)造多標(biāo)記學(xué)習(xí)系統(tǒng),例如校準(zhǔn)標(biāo)記排序(Calibrated Label Ranking,CLR)[2],將多標(biāo)記問題轉(zhuǎn)化問為兩兩標(biāo)記之間的排序問題,然而當(dāng)實(shí)際問題中標(biāo)記具有超越二階的相關(guān)性時(shí),該策略會(huì)受到影響?!案唠A”策略則考察了高階的標(biāo)記相關(guān)性,考慮了所有標(biāo)記之間的關(guān)聯(lián)關(guān)系,例如CC(Classifier Chain)[16],將多標(biāo)記問題轉(zhuǎn)化為鏈?zhǔn)降亩诸悊栴},雖然“高階”策略可以較好反映真實(shí)世界問題的標(biāo)記相關(guān)性,但通常模型復(fù)雜度較高,計(jì)算代價(jià)太大。文獻(xiàn)[5]則把標(biāo)注信息標(biāo)記當(dāng)作訓(xùn)練樣本示例的豐富語義化編碼的簡化。

        然而,獲得的數(shù)據(jù)集通常并不是完美的,往往含有各種噪聲,因此,含噪多標(biāo)記學(xué)習(xí)取得了很大關(guān)注。通常噪聲包含兩方面:特征噪聲和標(biāo)記噪聲。針對(duì)標(biāo)記噪聲,由于多標(biāo)記學(xué)習(xí)有著大量類標(biāo)記,在某些實(shí)際應(yīng)用中可能只能觀察到部分標(biāo)記,且多標(biāo)記學(xué)習(xí)性能受不完整標(biāo)記影響很大,對(duì)此提出了許多減少性能衰退的方法。例如:文獻(xiàn)[17]提出了一種基于正則化的歸納式半監(jiān)督多標(biāo)記學(xué)習(xí)方法;文獻(xiàn)[18]通過考慮標(biāo)記關(guān)聯(lián)來恢復(fù)完整的標(biāo)記矩陣;文獻(xiàn)[19]首先選出關(guān)鍵標(biāo)記,再根據(jù)標(biāo)記進(jìn)行排序,然后利用組稀疏,最后采用支持向量機(jī)(Support Vector Machine,SVM),從而處理標(biāo)記缺失;文獻(xiàn)[20]是基于矩陣補(bǔ)全的多視圖弱監(jiān)督學(xué)習(xí)來解決標(biāo)記噪聲;文獻(xiàn)[4]通過建模全局和局部標(biāo)記關(guān)聯(lián)性,學(xué)習(xí)潛在標(biāo)記表示并優(yōu)化標(biāo)記流形來解決標(biāo)記缺失。針對(duì)特征噪聲,文獻(xiàn)[21]通過降維,文獻(xiàn)[22]通過特征選擇來解決特征噪聲。文獻(xiàn)[12]同時(shí)解決了特征噪聲和標(biāo)記噪聲。

        2 模型框架

        2.1 預(yù)備知識(shí)

        其中L(·,·)和R(·)分別表示損失函數(shù)和關(guān)于W的正則化項(xiàng)。W根據(jù)不同的前提假設(shè)設(shè)計(jì)不同的正則化項(xiàng)。

        2.2 圖趨勢(shì)過濾誘導(dǎo)的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)模型

        本文所提出的圖趨勢(shì)過濾誘導(dǎo)的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)模型GNTML 是針對(duì)特征噪聲和標(biāo)記噪聲共同出現(xiàn)的場景。具體來說,首先在含有噪聲的訓(xùn)練集中探索不同標(biāo)記之間的關(guān)聯(lián)關(guān)系,以此獲得一個(gè)新的標(biāo)記增強(qiáng)矩陣,這個(gè)增強(qiáng)的標(biāo)記矩陣?yán)硐肭闆r下是根據(jù)特征矩陣獲得的。但是由于數(shù)據(jù)集是含有噪聲的,因此借助圖趨勢(shì)過濾的噪聲容錯(cuò)能力來容忍含噪示例特征與標(biāo)記之間關(guān)聯(lián)的不一致性,從而減輕特征噪聲對(duì)標(biāo)記增強(qiáng)矩陣的影響。接著用這個(gè)標(biāo)記增強(qiáng)矩陣代替原始標(biāo)記矩陣,引入組稀疏同時(shí)解決特征噪聲和標(biāo)記噪聲,從而學(xué)習(xí)從特征空間到增強(qiáng)標(biāo)記空間的映射,所提模型整體框架如圖1所示。

        為了得到這個(gè)標(biāo)記增強(qiáng)矩陣,該模型在含噪的訓(xùn)練集中學(xué)習(xí)得到一個(gè)標(biāo)記關(guān)聯(lián)矩陣B∈Rc×c,其中bij表示標(biāo)記yi與標(biāo)記yj的關(guān)聯(lián)程度,基于新的標(biāo)記增強(qiáng)矩陣,學(xué)習(xí)得到的預(yù)測模型W由于考慮到特征和標(biāo)記的關(guān)聯(lián)關(guān)系將變得更加合理。目標(biāo)函數(shù)如下:

        其中R(B)表示關(guān)于B的正則化項(xiàng)??梢杂^察到,通過自適應(yīng)學(xué)習(xí)得到的投影矩陣B可以捕獲所有c個(gè)不同標(biāo)記之間的關(guān)聯(lián)關(guān)系,例如,大多數(shù)樣本同時(shí)出現(xiàn)“藍(lán)天”和“白云”兩個(gè)標(biāo)記,那么這兩個(gè)標(biāo)記是強(qiáng)關(guān)聯(lián)的,則在投影矩陣B中可以體現(xiàn),并且這是個(gè)一對(duì)多的高階依賴關(guān)系BY,而不是一對(duì)一的依賴關(guān)系。這樣一來,就可以通過其他標(biāo)記之間的關(guān)聯(lián)關(guān)系來重構(gòu)任何丟失的標(biāo)記,矩陣就是標(biāo)記增強(qiáng)矩陣。此外,獲得的標(biāo)記增強(qiáng)矩陣應(yīng)該與原始標(biāo)記矩陣保持一致性,因此本文定義了一個(gè)標(biāo)記保真懲罰項(xiàng)來刻畫原始標(biāo)記矩陣與標(biāo)記增強(qiáng)矩陣之間的差異??紤]到標(biāo)記噪聲的存在,同時(shí)施加了組稀疏約束,標(biāo)記保真懲罰項(xiàng)定義如下:

        其中,關(guān)于一個(gè)A∈Rp×q矩陣的L2,1范數(shù)定義為‖A‖2,1=

        回憶一下,該模型目的是在特征噪聲和標(biāo)記噪聲共現(xiàn)時(shí)學(xué)習(xí)標(biāo)記增強(qiáng)矩陣,由于GTF 是一種對(duì)圖進(jìn)行非參數(shù)回歸的統(tǒng)計(jì)方法,通過L0懲罰圖頂點(diǎn)之間標(biāo)記差取代通常用的L2范數(shù)的圖拉普拉斯平滑假設(shè),有著很強(qiáng)大的噪聲容錯(cuò)能力和局部自適應(yīng)性。因此本文引入GTF來更好誘導(dǎo)標(biāo)記增強(qiáng)矩陣的學(xué)習(xí)。首先基于訓(xùn)練樣本構(gòu)建一個(gè)鄰接矩陣S,sij刻畫了示例i和示例j的特征相似度,如果示例j屬于示例i的k個(gè)最近鄰樣本集,則它們的相似度通過如下高斯核函數(shù)計(jì)算,否則sij=0:

        其中δ表示高斯核寬度。接著用鄰接矩陣S來構(gòu)造一個(gè)圖G(V,E),V={xi|1 ≤i≤n}表示訓(xùn)練樣本組成的頂點(diǎn)集合,E={(xi,xj)|sij≠0,1 ≤i≠j≤n}表示邊的集合,如果sij非0,則表示示例i與示例j有邊相連。

        此外,本文又定義一個(gè)n×e的矩陣P,其中e表示圖G中邊的條數(shù),若第k條邊連接xi和xj,則矩陣P的第k列定義如下:

        值得注意的是,考慮到部分標(biāo)記之間可能沒有關(guān)聯(lián)關(guān)系,因此這里給B施加一個(gè)L1范數(shù)約束,學(xué)習(xí)得到一個(gè)稀疏的標(biāo)記關(guān)聯(lián)矩陣。同時(shí)通過組稀疏‖BY-WX‖2,1處理有損壞的特征,如圖1 中的圖片c,利用組稀疏使得對(duì)特征噪聲更加魯棒。

        圖1 模型框架Fig.1 Model framework

        本文所提模型有如下優(yōu)勢(shì):1)利用標(biāo)記增強(qiáng)矩陣BY代替原始標(biāo)記矩陣Y以解決標(biāo)記的缺失;2)本文通過組稀疏同時(shí)處理特征噪聲和標(biāo)記噪聲;3)在GTF 的誘導(dǎo)下探索了數(shù)據(jù)的局部特性,即特征相似的樣本標(biāo)記也相近,保留了原始特征空間的局部幾何結(jié)構(gòu),并過濾掉那些由于特征噪聲存在使得特征相似但實(shí)際上標(biāo)記卻不相近的樣本。

        3 優(yōu)化求解

        因?yàn)槭剑?)是凸的,因此解決的方法有很多,本文采用交替方向法(Alternating Direction Method,ADM)求解,但是由于L1范數(shù)項(xiàng)是非平滑的,因此為了求解方便,引入輔助變量C,令B=C,從而式(6)等價(jià)變?yōu)椋?/p>

        對(duì)應(yīng)的增廣拉格朗日函數(shù)如下:

        由于上述問題是無約束的,因此可以通過固定其他變量來分別優(yōu)化B、W和C,然后更新乘子Γ,其中μ>0 是懲罰系數(shù)。

        固定W和C,更新B:

        當(dāng)固定W和C,關(guān)于B優(yōu)化問題變?yōu)椋?/p>

        可以寫成如下關(guān)于B的函數(shù)形式:

        固定B和C,更新W:

        當(dāng)固定B和C,關(guān)于W的函數(shù)變?yōu)椋?/p>

        令上述關(guān)于W的函數(shù)導(dǎo)數(shù)為0,可得

        固定B和W,更新C:

        當(dāng)固定B和W,關(guān)于C優(yōu)化問題變?yōu)椋?/p>

        其中:⊙表示哈達(dá)瑪積,sgn(·)表示signum函數(shù)。

        更新乘子Γ:

        算法1給出了該優(yōu)化算法框架的偽代碼。

        算法1 所提出的GNTML模型的優(yōu)化算法。

        輸入:訓(xùn)練樣本特征矩陣X∈Rd×n,標(biāo)記矩陣Y∈Rc×n,以及超參數(shù)λ1,λ2,λ3,λ4;

        輸出:線性分類器W,標(biāo)記關(guān)聯(lián)矩陣B。

        4 實(shí)驗(yàn)

        4.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

        為了證明所提方法的有效性,本文在7 個(gè)標(biāo)準(zhǔn)多標(biāo)記數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn):Birds、Emotion、CAL500、Scene、Corel5k、Medical、Genbase。這些數(shù)據(jù)集均來自Mulan 網(wǎng)站(http://mulan.sourceforge.net/datasets-mlc.html)。數(shù)據(jù)集的詳細(xì)信息如表1 所示,注意這里的LCard(label cardinality)是一種多標(biāo)記標(biāo)記密度的量,是用來指示在數(shù)據(jù)集中每一個(gè)樣本平均有多少個(gè)標(biāo)記。

        表1 多標(biāo)記數(shù)據(jù)集的特征Tab.1 Characteristics of multi-label datasets

        與文獻(xiàn)[23]的工作類似,本文采取了5 種常見的評(píng)價(jià)指標(biāo)。給定一個(gè)多標(biāo)記測試集,其中Yi為隸屬于示例xi的相關(guān)標(biāo)記集合,以及h(xi)表示示例i的預(yù)測標(biāo)記集合,f(xi,y)對(duì)應(yīng)xi具有標(biāo)記y的“置信度”。此外,實(shí)值函數(shù)f(·,·)還可以轉(zhuǎn)化為一個(gè)排序函數(shù)

        Hamming Loss(HL) 用于考察樣本在單個(gè)標(biāo)記上的誤分類情況,例如一個(gè)相關(guān)標(biāo)記未出現(xiàn)在預(yù)測的標(biāo)記集合中或者無關(guān)標(biāo)記出現(xiàn)在預(yù)測的標(biāo)記集合中。

        其中Δ用于度量兩個(gè)集合之間的“對(duì)稱差”。

        Ranking Loss(RL) 用于考察在樣本的類別標(biāo)記排序序列中出現(xiàn)排序錯(cuò)誤的情況,即不相關(guān)標(biāo)記在排序序列中位于相關(guān)標(biāo)記之前。

        One Error(OE) 用于考察在樣本的類別標(biāo)記排序序列中,序列最前端的標(biāo)記不在相關(guān)標(biāo)記集合中的比例。

        Coverage(Cov) 用于考察在樣本的類別標(biāo)記排序序列中,覆蓋所有相關(guān)標(biāo)記所需的搜索深度情況。

        Average Precision(AP) 用于考察樣本的類別排序序列中,排在相關(guān)標(biāo)記之前仍為相關(guān)標(biāo)記的情況。

        上述這些評(píng)價(jià)指標(biāo)常用于多標(biāo)記學(xué)習(xí)中,并且可以從不同角度評(píng)估多標(biāo)記算法的性能。對(duì)于Average Precision,值越大,分類器的性能越好,對(duì)于其他值,值越小分類器的性能越好。

        4.2 實(shí)驗(yàn)設(shè)置

        本文將所提模型同幾個(gè)相關(guān)的算法進(jìn)行比較,包括文獻(xiàn)[15]提出的BR(Binary Relevance),BR 將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化為多個(gè)“二分類”問題求解;文獻(xiàn)[23]提出的基于k近鄰(k-Nearest Neighbor,kNN)的多標(biāo)記學(xué)習(xí)算法ML-kNN(Multilabel Learning-k-Nearest Neighbor),ML-kNN 將“惰性學(xué)習(xí)”算法k近鄰進(jìn)行改造以適應(yīng)多標(biāo)記學(xué)習(xí);文獻(xiàn)[2]提出的校準(zhǔn)標(biāo)記排序(Calibrate Label Ranking,CLR),CLR 通過“成對(duì)比較”將多標(biāo)記學(xué)習(xí)轉(zhuǎn)化為標(biāo)記排序問題,并且對(duì)噪聲也具有魯棒性;文獻(xiàn)[16]提出的ECC(Ensemble of Classifier Chains),ECC是基于CC(Classifier Chains)鏈?zhǔn)降募啥鄻?biāo)記集成鏈?zhǔn)剿惴?;以及文獻(xiàn)[10]提出的混合噪聲多標(biāo)記學(xué)習(xí)(Hybrid Noise Oriented Multi-label Learning,HNOML)模型,HNOML 同時(shí)考慮了特征噪聲和標(biāo)記噪聲并基于L2范數(shù)的圖拉普拉斯矩陣考慮標(biāo)記關(guān)聯(lián)關(guān)系。

        對(duì)于本文模型GNTML 的超參數(shù)λ1、λ2、λ3、λ4,本文從集合{10-4,10-3,…,102}通過網(wǎng)格搜索策略確定每個(gè)參數(shù)的最值,對(duì)于k值設(shè)定為5,因?yàn)樗淖兓瘜?duì)模型性能影響不大。對(duì)于其余算法盡最大努力調(diào)參以達(dá)到最好效果。

        4.3 實(shí)驗(yàn)結(jié)果

        本文實(shí)驗(yàn)中隨機(jī)從數(shù)據(jù)集中選出2/3 作為訓(xùn)練集,剩下1/3 作為測試集,由于實(shí)驗(yàn)存在隨機(jī)性,本文實(shí)驗(yàn)重復(fù)運(yùn)行30次,求得最后的平均值和標(biāo)準(zhǔn)差。本文所提模型與其他對(duì)比模型的實(shí)驗(yàn)結(jié)果如表2 所示,由于每個(gè)數(shù)據(jù)集都是隨機(jī)劃分的,因此表中每個(gè)評(píng)價(jià)指標(biāo)給出最后結(jié)果的平均值和標(biāo)準(zhǔn)差,并將最優(yōu)值標(biāo)記為粗體,次優(yōu)值標(biāo)記為下劃線,最后一行統(tǒng)計(jì)了各個(gè)算法分別取得最優(yōu)值和次優(yōu)值的次數(shù)。從表中可以觀察到,本文提出的模型GNTML 在7 個(gè)真實(shí)數(shù)據(jù)集的5 個(gè)評(píng)價(jià)指標(biāo)上,66.7%(28/42)情況下取得最優(yōu)值或次優(yōu)值,其中38.1%(16/42)的情況下取得最優(yōu)值,28.6%(12/42)的情況下取得次優(yōu)值,相比于其他算法有一定的優(yōu)勢(shì)。作為多標(biāo)記學(xué)習(xí)的經(jīng)典基本算法BR,由于沒有考慮標(biāo)記之間的關(guān)聯(lián)關(guān)系,所以它的結(jié)果是很一般的,最優(yōu)值情況為0%,次優(yōu)值僅占11.9%。ECC 算法通過集成學(xué)習(xí)結(jié)合基方法,由于要將上一個(gè)預(yù)測的標(biāo)記結(jié)果輸入到下一個(gè)預(yù)測數(shù)據(jù)集中,所以考慮到了標(biāo)記關(guān)聯(lián),因此性能要比BR 有了很大的提升,在19.0%情況取得最優(yōu)值,21.4%取得次優(yōu)值。ML-kNN 算法雖然在Scene數(shù)據(jù)集上能表現(xiàn)出優(yōu)異性能,但是在其他數(shù)據(jù)集上表現(xiàn)卻是一般,因此不是很穩(wěn)定。HONML 模型算法也稍弱于GNTML。

        進(jìn)一步地,為了驗(yàn)證所提出的模型在特征噪聲和標(biāo)記噪聲共現(xiàn)時(shí)的魯棒性,本文在Emotion數(shù)據(jù)集上進(jìn)行了噪聲魯棒性實(shí)驗(yàn)。本文同時(shí)給訓(xùn)練樣本的特征矩陣和標(biāo)記矩陣人工添加噪聲來模擬特征噪聲和標(biāo)記噪聲共現(xiàn)的場景。具體地,對(duì)于特征矩陣,本文選取了0%~20%的樣本添加特征噪聲,每個(gè)選中的樣本將其50%的特征值數(shù)值置為0,對(duì)于標(biāo)記矩陣;本文同樣選取了0%~20%樣本添加標(biāo)記噪聲,每個(gè)選中的樣本將其50%的標(biāo)記值從正例變?yōu)樨?fù)例,負(fù)例變?yōu)檎?/p>

        實(shí)驗(yàn)結(jié)果如圖2 所示,從圖2 中可以觀察到,在數(shù)據(jù)集Emotion上,ML-kNN算法在不添加噪聲時(shí)性能優(yōu)于其他算法,但是隨著添加噪聲比例的增加,性能有所下降,HNOML 算法是基于L2范數(shù)的圖拉普拉斯平滑假設(shè),并且能處理混合噪聲,表現(xiàn)也比較穩(wěn)定,本文的方法用圖趨勢(shì)過濾代替基于L2范數(shù)的平滑假設(shè),性能優(yōu)于HNOML,也因此證明了本文模型中圖趨勢(shì)過濾項(xiàng)的有效性。

        圖2 在數(shù)據(jù)集Emotion上不同噪聲比例下的魯棒性實(shí)驗(yàn)Fig.2 Robustness experiments with different noise ratios on Emotion dataset

        4.4 收斂性

        本文提出的模型GNTML通過交替方向迭代優(yōu)化求解,圖3是數(shù)據(jù)集Birds和CAL500上的收斂情況,可以看出隨著迭代次數(shù)的增大,模型的收斂速度很快,并且通常不超過10 次就能穩(wěn)定。

        圖3 本文算法在數(shù)據(jù)集Birds和CAL500上的收斂性實(shí)驗(yàn)Fig.3 Convergence experiments of the proposed algorithm on Birds and CAL500 datasets

        5 結(jié)語

        考慮到訓(xùn)練樣本可能同時(shí)存在特征噪聲和標(biāo)記噪聲,本文提出了一個(gè)圖趨勢(shì)過濾誘導(dǎo)的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)模型,這個(gè)模型通過挖掘標(biāo)記之間的關(guān)聯(lián)關(guān)系,增強(qiáng)原始標(biāo)記空間,并結(jié)合組稀疏來同時(shí)處理特征噪聲和標(biāo)記噪聲。本文采用圖趨勢(shì)過濾不僅保留了數(shù)據(jù)的局部特性,也可以容忍含噪示例特征與標(biāo)記之間關(guān)聯(lián)的不一致性,從而減輕特征噪聲對(duì)標(biāo)記增強(qiáng)矩陣學(xué)習(xí)的影響。在多個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)也證明了所提模型的有效性。在后續(xù)工作中,計(jì)劃將本文的模型推廣到多視圖情形,通過探索示例的多視圖特征來進(jìn)一步減輕特征噪聲對(duì)多標(biāo)記學(xué)習(xí)性能的影響。

        猜你喜歡
        示例關(guān)聯(lián)噪聲
        大還是小
        噪聲可退化且依賴于狀態(tài)和分布的平均場博弈
        2019年高考上海卷作文示例
        常見單位符號(hào)大小寫混淆示例
        山東冶金(2019年5期)2019-11-16 09:09:22
        “一帶一路”遞進(jìn),關(guān)聯(lián)民生更緊
        “全等三角形”錯(cuò)解示例
        奇趣搭配
        控制噪聲有妙法
        智趣
        讀者(2017年5期)2017-02-15 18:04:18
        一種基于白噪聲響應(yīng)的隨機(jī)載荷譜識(shí)別方法
        久久国产精品美女厕所尿尿av| 中文字幕无码不卡免费视频 | 高清无码精品一区二区三区| aa视频在线观看播放免费| 91久久香蕉国产熟女线看| 久久久久亚洲av成人片| 热re99久久精品国产99热| 精品18在线观看免费视频| 白白在线免费观看视频| 国产亚洲成人av一区| 国产精品国产三级国av在线观看| 亚洲中文字幕每日更新| 男女在线免费视频网站| 日韩肥臀人妻中文字幕一区| 精品久久久久久无码中文字幕| 亚洲国产av一区二区三区四区| 亚洲性色ai无码| 国产一区二区三区啊啊| 免费成人在线电影| 国产激情电影综合在线看| 日韩有码中文字幕av| 成人免费在线亚洲视频| 精品成人av一区二区三区| 亚洲精品一二区| 亚洲国产成人久久精品美女av| 成人欧美一区二区三区在线| 131美女爱做视频| 黄色录像成人播放免费99网| 干出白浆视频在线观看| 久久精品国产亚洲av网站| 久久久久99精品成人片试看| 亚洲熟女国产熟女二区三区| 久久免费看的少妇一级特黄片 | 伦人伦xxxx国语对白| 国产人禽杂交18禁网站| 亚洲中文av中文字幕艳妇| 特级无码毛片免费视频尤物| 亚洲av无码一区二区乱子仑| 国产三级av在线精品| 香蕉免费一区二区三区| 999国产精品亚洲77777|