許哲源，秦 天

(南京理工大學 計算機科學與工程學院，江蘇 南京 210094)

如何處理歧義性分類任務一直是機器學習中的一個熱門問題。多標記學習(Multi-label learning，MLL)是一種有效的學習范式。MLL通過將傳統(tǒng)的單標記擴展到多標記來處理模糊問題[1]，使一個實例可以對應多個邏輯標記。但是MLL只能回答“哪個標記可以描述實例?”的問題，而不能回答“每個標記對這個實例的描述程度如何?”。為了更好地解決這種歧義性分類問題，Geng等提出了標記分布學習(Label distribution learning，LDL)[2]。與傳統(tǒng)的學習范式不同，LDL的輸出是概率分布形式，每個標記對應的值可以解釋為該標記描述實例的程度[3]，稱為標記描述度。

LDL已經在多個應用領域取得成功。通過將單標記數據轉換為標記分布，Geng等提出了用于面部年齡預測的標記分布解決方案[4]。這種方法通過增強一個實例來促進相鄰年齡段的學習。后來LDL被用于處理面部表情識別問題[5]，類似的應用還包括文本情感識別[6]和視覺圖像情感分析[7]。LDL在主觀評價性應用上也表現良好，例如電影評分問題[8]。LDL在醫(yī)學領域也逐漸被用來解決少樣本環(huán)境下的分類問題，例如基于磁共振血管造影的胎兒腦部年齡預測[9]。

文獻[3]提出了標記歧義性的概念，即一個樣本可以同時不同程度地對應多個標記。文獻[4-6]則通過利用這種標記歧義性來提升分類學習算法，文獻[10]則更進一步通過挖掘標記之間的相關性來提升預測。本文認為這種分布形態(tài)模糊度可能在LDL有著重要的作用。本文區(qū)分了標記形態(tài)模糊度與標記歧義性的異同，解釋了形態(tài)模糊度的概念，給出了一種量化方法，并給出了經驗發(fā)現。本文設計了一種利用形態(tài)模糊度相關策略的標記分布學習算法。試驗部分設計了消融試驗，以驗證本文所提算法的有效性。

1 標記分布學習中的標記形態(tài)模糊度

1.1 標記形態(tài)模糊度的概念

在以前的LDL工作中，標記歧義性和標記形態(tài)模糊度的概念經常會被混淆。所以本文首先區(qū)分樣本歧義和標記模糊的概念。

標記歧義性(Label ambiguity，LA)表示對一個實例存在多種合理的解釋。在文獻[11]中，“i.e.，label ambiguity，which refers to the uncertainty among the ground-truth labels”，即用LA來表示標記上的歧義程度。文獻[3]提出了LA，但并沒有給出準確定義，可以把這里的LA理解為樣本歧義性，指的是對于一個實例存在多種可能的解釋，可以通過添加額外的信息來消除這種歧義。樣本歧義是問題的一個屬性，對這種歧義問題建模是LDL的一個主要應用。從歧義性角度可以得到一種標記分布的新觀點，即LDL中的每一個標記都可以看作是對一個實例的合理解釋，對應的值可以看作是這種解釋的合理程度。

標記形態(tài)模糊度(Morphological ambiguity，MA)表示描述一個標記分布形態(tài)的平坦程度。在本文中，標記模糊是指標記分布形態(tài)的模糊程度(缺乏清晰度或區(qū)分度)。標記模糊只與標記分布的形態(tài)有關，是標注數據的一個自然屬性。

標記形態(tài)模糊度是對樣本歧義性的隱式反映，它可能會受到標注不一致的影響。標注不一致有兩個含義:不同的標注者可能會因為價值觀和成長經歷不同而對同一個樣本給出不同的標注;即使是同一個標注者，也會因為心理狀態(tài)的變化，在不同的時間對同一個樣本給出不同的標注[12]。標注不一致現象的存在，導致對于同一樣本的不同標注會有不同的形態(tài)模糊度。也就是說對于給定樣本，其樣本歧義性是確定而唯一的，而其標記形態(tài)模糊度卻會隨著標注情境的不同而發(fā)生改變。

1.2 基于峰度量化標記形態(tài)模糊度

(1)

式中:

(2)

標準化在保持矩的比例不變的同時保持分布的形狀不變，從而有助于比較不同概率分布的形狀[12]。四階標準矩則被稱為峰度，定義[14]為

(3)

式中:mk用式(2)計算。偏度(三階標準矩)和峰度都是分布形態(tài)的度量方法，區(qū)別在于偏度反映分布的不對稱性，而峰度反映分布的極差情況[14]。在標記形態(tài)模糊度方面，本文更傾向于一種反映分布差異性的測度，而不是不對稱性。因此，本文用一個關于峰度的函數測量標記形態(tài)模糊度。峰度表示一種分布的獨特程度，本文可以通過取峰度的倒數來給出模糊度的一個度量，并通過計算上限和下限將其放縮到[0，1]。

對于具有n個分量的分布，Dalén[1]證明峰度的上界為

(4)

其下界為1，由Pearson不等式給出[16]。

定義1MA是指標記分布形態(tài)的模糊程度，通常反映了標記缺乏顯著值，本文采用基于峰度的函數來對其進行定義和度量

(5)

式中:κ由式(3)給出，τ由式(4)給出。A的值域為[0，1]。

1.3 模糊度損失評價指標

標記形態(tài)模糊度量方法不僅適用于人工標注的數據，同樣也適用于對于預測分布進行評估。本文希望分類器能夠給出與真實分布較為接近的預測。當分類器給出低于真實分布的模糊預測時，便發(fā)生了預測模糊度上的損失。本文提供了一種關于模糊度損失的評估指標Laloss，它可以反映分類器在預測時相對于真實分布的形態(tài)模糊度預測損失。

定義2Laloss度量當預測比標注(真值)更模糊時發(fā)生的標記形態(tài)模糊度損失，定義為

Laloss=max(Apred-Aground，0)

(6)

式中:

(7)

Apred表示用式(5)計算得到的預測標記形態(tài)模糊度，Aground表示真實標記形態(tài)模糊度。

1.4 對學習過程的影響

在對標記形態(tài)模糊度的研究過程中，低模糊度的數據更有利于分類器的學習。本文設計了一個有兩個對照組的比較試驗。首先，根據模糊度將訓練數據分為等量的兩組，低模糊組和高模糊組。然后，對這兩個對照組使用相同的算法訓練兩個模型，然后在相同的測試集上評估每個模型。

2 標記分布學習算法設計

2.1 符號框架

2.2 目標函數

加權距離損失讓分類器先學習簡單的概念，然后再逐漸學習復雜概念。由于擁有清晰標記分布的樣本往往對應著易于識別的特征信息，推測分類器學習對應的樣本要比學習模糊標記的樣本更容易。加權距離損失的計算公式為

(8)

式中:ωi=κ(Di)，可以預先計算和存儲。測量兩個分布之間的距離有許多不同的標準，這里使用KL散度(Kullback-Leibler divergence，KL)，計算公式如下

(9)

標記模糊對齊損失:分類器期望預測的每個實例與其標記形態(tài)模糊度相匹配，它允許分類器更好地學習分布的形狀，同時，還可以避免分類器為了規(guī)避懲罰而做出模糊的判斷。標記模糊對齊損失項設計如下

(10)

式中:κ(d)表示分布d的峰度，用式(3)計算。

2.3 實現細節(jié)

2.3.1 預測模型

(11)

2.3.2 目標函數

相應地，參數矩陣Θ*確定如下

(12)

(13)

2.3.3 梯度計算

標函數f(Θ)的最小化可以由BFGS算法有效求解，式(13)的梯度如下

(14)

式中:

(15)

(16)

(17)

2.3.4 多階段學習

首先學習有效的分類信息，然后優(yōu)化形態(tài)模糊。在第一階段，將模糊損失項的系數設置為0，以便分類器可以專注于分類信息。經過一定次數的迭代后，在第二階段增加模糊度損失項，使分類器逐漸關注分布形態(tài)的模糊度損失，如表1所示。

表1 LDL-KQA算法

3 試驗部分

3.1 數據集

試驗中使用的LDL數據集可以根據問題的性質可以分為四類。同一算法在不同類型的數據集上的性能可能會有很大差異[18]，數據集的詳細信息總結在表2中。

表2 試驗所用14個真實數據集的基本信息

面部表情數據集:SJAFFE數據集[5]包含10個日本女模特的213張灰度圖像。每張圖像由60個人對6種基本情緒(即快樂、悲傷、驚訝、恐懼、憤怒和厭惡)用五個等級進行評分，其中1代表最低情緒強度，5代表最高情緒強度。用每個情緒的平均得分(歸一化后)表示標記分布。第二個數據集SBU_3DFE[5]包含2 500張圖像，每個圖像的標記分布以與SJAFFE相同的方式獲得。通過局部二值模式[19]從每幅圖像中提取一個243維的特征向量。

圖像情感數據集:Flickr和Twitter數據集[22]分別包含11 150和10 045張圖像。它們的標記屬于典型的八種情感空間(憤怒、歡喜、敬畏、滿足、厭惡、興奮、恐懼和悲傷)，用三種流行的描述器(局部二值模式，方向梯度直方圖和顏色矩)提取圖像特征。最初提取的特征是高維的，用PCA將特征維數降低到168。

酵母菌生物數據集:酵母菌系列的九個數據集是從芽殖啤酒酵母的生物學試驗中收集，共使用2 465種啤酒酵母，每個都由長度為24的相關系統(tǒng)發(fā)育圖的向量表示[22]。標記對應于不同條件下的生物試驗中的離散時間點，每個時間點的歸一化基因表達水平對應于相應的標記分布。由于標記值(在相應目標元素處測量的Cy5/Cy3熒光比)來自精密儀器，因此這些標記比人工標注更一致。

人類基因數據集:人類基因數據集是從生物學研究中收集的人類基因與疾病關系的大規(guī)模真實數據集[20]，該數據集包含30 542個人類基因，每個基因用一個有36個基因序列的數字描述器表示，這些標記對應于68種不同的疾病。

3.2 試驗設置

3.2.1 LAG vs. HAG對照試驗

為了驗證本文的猜想——低模糊度數據更有利于分類任務的學習，本文設計了如下對照試驗。對每個數據集，使用十折交叉驗證。即將數據集隨機均勻劃分為10份，每次試驗取其中9份作為訓練集，剩下的1份作為測試集，重復進行十次試驗。用Mersenne Twister算法[19]將隨機數生成器的種子設置為0，確保對照試驗的可重復性。首先，根據標記形態(tài)模糊度將訓練數據分成數量相同的兩組，將數據按照模糊度量值進行由小到大排序，并模糊度值較小的前50%劃入低模糊組(Low ambiguity group，LAG)，將剩下的50%劃入高模糊組(High ambiguity group，HAG)。為了保持類平衡，這種劃分是在按照最大分布值進行投票所獲得的每個類別的內部進行的。這一過程類似于one hot編碼過程，即選取每個樣本對應標記分布中描述度最大的標簽作為類別代表。以SJAFFE表情數據集為例，由于標注者對于“恐懼”這一情緒的識別能力較弱，對于以“恐懼”為主導的樣本在標注的形態(tài)上傾向于模糊。如果不進行上述處理，那么“恐懼”為主導的樣本可能全數被劃分到HAG。通過預先在訓練集上劃分出各個情緒(例如“恐懼”)主導的類，然后再在每個類別的內部中按照形態(tài)模糊度進行排序劃分成LAG和HAG兩個組別。這樣做可以保持各個分組中的類分布盡可能與訓練集中的一致，避免某一類別被全數劃分到LAG或HAG當中的某一組別，從而一定程度上保持了類平衡。然后，將LAG和HAG分別作為新的訓練子集提供給相同的算法進行學習。這樣，就可以分別得到關于一種算法的LAG和HAG的兩個模型。最后，在同一個測試集上對兩個模型進行評估。對每個算法在每個數據集劃分上重復上述過程。選取不同類型的LDL算法，并試圖包括每種類型[7]，即問題轉換(Problem transformation，PT)、算法自適應(Algorithm adaption，AA)、專用算法(Specialized algorithm，SA)。在對照試驗中實現了六種LDL算法，即PT-Bayes[21]、AA-kNN[3]、SA-IIS[3]、SA-BFGS[3]、CPNN[22]和LDLLC[10]。其中PT-Bayes代表PT類算法，AA-kNN和CPNN代表AA類算法，SA-IIS、SA-BFGS和LDLLC代表SA類算法。其中CPNN是淺層的感知機網絡算法，而LDLLC則是考慮了標記間相關性的SA類算法的改進。通過選擇多種類型的算法進行對照試驗，能夠增加試驗結論的可靠性。算法代碼由原作者提供，根據并行性準則對這些算法進行了一些運行效率的改進。采用相應文獻中報告的建議參數，所有算法的參數設置如下:對于PT-Bayes，用最大似然估計求高斯分類條件下的概率密度函數。AA-kNN中的鄰居數k設置為5，CPNN的隱藏層神經元數設置為50，LDLLC中的系數設置為0.1和0.01，SA-BFGS和LDLLC的最大迭代次數設置為400。用分類任務中常用的評價指標準確率(Accuracy，Acc)來評估預測表現，“↑”表示越大越好。

3.2.2 LDL-KQA消融試驗

為了驗證提出的算法在降低Laloss上的表現，進行了消融試驗。數據劃分與對照試驗相同，均采用十折交叉驗證和固定隨機數種子。在消融試驗中，將LDL-KQA與基礎模型進行比較。對于LDL-KQA，約束模型復雜度的正則項系數λ1設置為1e-5，模糊對齊項系數λ2設置為1e-3，第一和第二學習階段的最大迭代次數設置為400。對于只加權(Weighted)的情況，λ2設置為0。對于只進行模糊對齊(Alignment)的情況，公式(8)中的權重ω設置為1。對于基礎模型(Baseline)，λ2設置為0，式(8)中的權重ω設置為1，其他未提及的設置保持不變。對于消融試驗，同時使用Laloss和Acc來評估預測性能，Laloss的定義由式(6)給出。對于Laloss，“↓”表示越小越好，對于Acc，“↑”表示越大越好。

3.3 結果和討論

3.3.1 LAG vs. HAG對照試驗

對照試驗的結果如圖1所示，分別討論不同類型的數據集。

圖1 LAG模型與HAG模型的準確率差異

一類是表情和情感數據集(數據集1到4)，這類數據集由人工進行標注，包含了標注不一致的情況;另一類是酵母菌數據集(數據集5到13)，這類數據集由試驗儀器標注，包含了標注一致的情況;此外還有一類特殊的基因數據集(數據集14)，包含了高維標記的情況。計算了每種算法的LAG模型(即在LAG上訓練所得的模型)和HAG模型之間的準確率差異，并將它們表示在圖1中結果分為上下兩行共14個簇，每個簇用于表示一個數據集的對比結果，數據集名被標注于簇的上方。每個簇由六種算法比較結果的柱狀圖構成，其中每個分量的值表示對應圖例算法的LAG和HAG準確率的差值，即Acc(LAG)-Acc(HAG)。從結果中可以觀察到，大多數算法對低模糊度數據可以達到更高的準確率，這表明標記形態(tài)模糊度低的樣本更有利于分類器的學習?？梢杂^察到SA-IIS和SA-BFGS在數據集SJAFFE上有完全不同的結果，盡管它們優(yōu)化的是相同的損失函數。在文獻[3]中提及了這一問題，SA-BFGS是SA-IIS算法在優(yōu)化方法上的改進。這兩種算法都由原作者提供，在試驗中加入這兩種不同優(yōu)化程度的算法來模擬實際應用情景下可能出現的不同情況。SJAFFE是一個小的表情數據集，只有213個實例，具有高度的標注不一致性。一些算法(如LDLLC、SA-IIS和SA-Bayes)在這個數據集上未能擬合。準確率約為22.88%的模型無法擬合數據，并輸出初始模型的預測值(用單位矩陣初始化的矩陣)。

對于表情和情感數據集(數據集1到4)，LAG模型的平均準確率高于HAG模型。從圖1的上半部分，可以觀察到6種算法的LAG模型的性能大多優(yōu)于HAG。:對于酵母菌系列數據集(數據集5到13)，LAG的性能大多數情況下優(yōu)于HAG。然而，在Yeast_cold和Yeast_elu數據集上，LAG的平均準確率略低于HAG。缺乏標記不一致性似乎削弱了LAG的優(yōu)勢。對于人類基因數據集(數據集14)，標記有68維，而特征只有36維，這對分類任務來說是一個很大的挑戰(zhàn)。可以觀察到LAG模型在這個數據集上有明顯的優(yōu)勢。在多數情況下，低形態(tài)模糊數據意味著有分明的標記。而當分類問題復雜時，部分算法例如SA-IIS由于學習能力較弱，在少量分明標記數據上無法擬合并過早退出迭代，則會導致圖1中負值現象的出現。

3.3.2 LDL-KQA消融試驗

消融試驗的結果見表3和表4，用粗體表示更好的性能。結果表明LDL-KQA算法在Laloss和Acc指標上都優(yōu)于基礎模型。這說明兩種策略組合對于降低預測的模糊度損失和提升分類預測準率是有效的。由于任務背景的多樣性，不同的策略在不同任務中效果不一致，最優(yōu)結果的分散說明了兩種策略在不同問題背景下各占優(yōu)勢。試驗結果表明，對低模糊度樣本進行加權的策略更具有魯棒性。

表3 LDL-KQA消融試驗的Laloss↓

表4 LDL-KQA消融試驗的Acc(%)↑

5 結束語

本文研究了LDL問題中分布形態(tài)模糊度對于學習的影響。設計了一種基于峰度的函數可以準確地度量這種分布形態(tài)上的模糊程度，從而可以對模糊程度不同的樣本進行區(qū)分。發(fā)現了低模糊度的樣本更有利于歧義情境下的分類學習，并據此設計了一種新的LDL算法。通過利用模糊度加權和損失對齊的策略，該算法能夠利用分布中形態(tài)模糊度信息。消融試驗的結果表明，本文所提出的LDL-KQA算法在各種不同類型的數據集上都有效地降低了Laloss損失，并同時有效地提高了分類準確率。本文對于分布形態(tài)模糊度的研究，在某種程度上揭示了分布形態(tài)與樣本歧義性之間關系。相信這對于今后LDL相關工作會有啟發(fā)，可以在現有工作的基礎上進一步挖掘這種標記形態(tài)模糊度在不同場景中的作用，并針對具體情境設計基于形態(tài)模糊度的LDL解決方案。