曾德宇 梁澤逍 吳宗澤

(廣東工業(yè)大學自動化學院 廣州 510006)

(廣東工業(yè)大學粵港澳離散制造智能化聯(lián)合實驗室 廣州 510006)

1 引言

基于學習算法(包括機器學習[1]和深度學習[2,3])的缺陷檢測方法是近年來工業(yè)檢測和智能制造領(lǐng)域的熱門研究方向。相對于需要大量數(shù)據(jù)樣本以及較長的訓練時間的深度學習而言，機器學習算法在小規(guī)模數(shù)據(jù)集上更具備分類的優(yōu)勢[4]。因此工業(yè)上更多的是采用機器學習的方式進行缺陷的分類[5]，如SVM(Support Vector Machine)算法[6,7]、特征選擇[8]等。盡管大多數(shù)傳統(tǒng)方法能夠處理許多分類任務，但它們依賴數(shù)據(jù)的真實性和不受干擾。這意味著帶有噪聲的數(shù)據(jù)會嚴重降低算法的性能[9]，這是工業(yè)現(xiàn)場中的常見情況。針對上述問題，近些年提出了一系列魯棒方法的研究。與傳統(tǒng)線性回歸算法中的標準向量內(nèi)積不同，Chen等人[10]提出了一種新的線性回歸算法，其修剪內(nèi)積不會受到任意損壞點的太大影響。同樣的，L2,1范數(shù)作為一種比L1范數(shù)更好的魯棒懲罰度量被廣泛應用于線性判別分析(Linear Discriminant Analysis, LDA)[11]，F(xiàn)isher線性判別分析(FLDA)和稀疏鑒別分析(Sparse Discriminant Analysis, SDA)[12]來提高方法的魯棒性。Wright等人[9]提出了一種將測試樣本分解為訓練集和稀疏噪聲的稀疏表示的方法，并利用其稀疏表示進行分類。此外，還提出了許多基于統(tǒng)計的魯棒方法[13,14]。

數(shù)據(jù)恢復和矩陣補全方法被提出來處理推薦系統(tǒng)和圖像處理問題，并成為近年來的研究熱點[15–17]。Candes等人[18]首先提出了魯棒主成分分析(RPCA)，它利用低秩和稀疏約束來壓縮噪聲數(shù)據(jù)的秩并分離噪聲。相似地，L2,1范數(shù)[19]也被用于改進RPCA模型從結(jié)構(gòu)化稀疏噪聲中恢復數(shù)據(jù)[20]。Nie等人[21,22]提出結(jié)合Schatten-p范數(shù)和Lp范數(shù)最小化代替核范數(shù)以及L1范數(shù)最小化作為低秩和稀疏約束的更好凸寬松。He 等人[23]利用最大相關(guān)熵準則的魯棒性，提出了一種基于最大相關(guān)熵準則的魯棒主成分分析模型。為解決數(shù)據(jù)恢復中的最優(yōu)均值問題，一種最優(yōu)均值魯棒主成分分析模型被提出用于自動去除最優(yōu)均值[24,25]。

最近的一些研究發(fā)現(xiàn)，數(shù)據(jù)的無監(jiān)督結(jié)構(gòu)學習可以有效提高識別和分類算法的性能和魯棒性[26–29]。Goldberg等人[30]提出了一種轉(zhuǎn)導矩陣補全模型來同時處理多標簽學習、轉(zhuǎn)導和缺失數(shù)據(jù)補全。通過樣本特征矩陣和樣本標簽矩陣聯(lián)合低秩的新假設(shè)，具有缺失數(shù)據(jù)的多標簽轉(zhuǎn)導學習問題可以通過其增廣矩陣補全問題來處理。Cabral等人[31]提出了一種應用Hinge loss作為懲罰來提高魯棒性的轉(zhuǎn)導矩陣完成的發(fā)展，并成功應用于多標簽圖像分類。Huang等人[32]提出了一種RLDA方法，將鑒別學習模型與魯棒數(shù)據(jù)恢復模型相結(jié)合，而不是僅僅作為一種預處理算法。Zeng等人[33]改進了RLDA方法，提出了加入帶有標簽信息的核范數(shù)最小化模型以提高RLDA方法在少量有標記樣本數(shù)據(jù)集上的分類效果。與在LDA之前簡單地運行RPCA不同，RLDA不僅通過恢復的低秩數(shù)據(jù)來學習分類器，而且還使用分類器來改進數(shù)據(jù)恢復的結(jié)果[34]。

但是，上面的RLDA方法忽略了數(shù)據(jù)的最優(yōu)均值。雖然中心化或歸一化的過程總是在計算之前完成，但是數(shù)據(jù)本身所受到的稀疏干擾(或稱為在數(shù)據(jù)中的非高斯分布噪聲)會影響數(shù)據(jù)的均值使得所觀測到數(shù)據(jù)的均值并非數(shù)據(jù)的最優(yōu)均值(亦或者中心)。均值的偏移會使得數(shù)據(jù)在秩最小化過程中隨著稀疏噪聲從數(shù)據(jù)中抽取出來，數(shù)據(jù)均值也會產(chǎn)生變化[24]。秩最小化凸關(guān)系的核范數(shù)總是壓縮數(shù)據(jù)的幾個主要成分，從而消除了數(shù)據(jù)的一些局部信息。此外，幾項工作表明，基于L2,1范數(shù)的目標函數(shù)對數(shù)據(jù)點中的異常值具有魯棒性[11,19,20]，并且L2,1范數(shù)正則化選擇具有聯(lián)合稀疏性的所有數(shù)據(jù)點的特征?；谝陨线@些工作和假設(shè)，本文提出了一種新的魯棒線性判別分析方法，稱為最優(yōu)均值魯棒線性判別分析(Optimal Mean Robust Linear Discriminant Analysis, OMRLDA)。本文的主要貢獻總結(jié)如下：

(1) 首次關(guān)注帶有稀疏噪聲數(shù)據(jù)的分類問題中的均值偏移問題，提出最優(yōu)均值的魯棒線性分類器模型；

(2) 在魯棒分類器模型中，首次引入加權(quán)核范數(shù)用于秩最小化代替核范數(shù)從而避免對主要成分的壓縮，首次引入結(jié)構(gòu)化稀疏的L2.1范數(shù)更好地進行噪聲的分離；

(3) 提出采用交替方向乘子法將復雜的優(yōu)化目標分解成幾個子問題分別優(yōu)化；

(4) 在具有不同比例損壞的標準數(shù)據(jù)集上實驗證明本文方法比其他先進的方法表現(xiàn)更好。

本文的其余部分結(jié)構(gòu)如下。第2節(jié)給出了一些重要的符號并簡要回顧了LDA和RLDA。第3節(jié)通過L2,1范數(shù)和加權(quán)核范數(shù)最小化介紹了OMRLDA的算法。第4節(jié)給出了實驗結(jié)果，顯示了本文方法的性能。第5節(jié)給出結(jié)論和展望。

2 相關(guān)工作概述

2.1 符號

對于矩陣A∈Rm×n, aij表示這個矩陣第i行第j列的元素。aj,ai分別表示矩陣A的第j列和第i行。

對于向量v∈Rn，其L0范數(shù)，L1范數(shù)和L2范數(shù)

2.2 LDA

2.3 RLDA

子松弛為其凸寬松。問題式(7) 可以通過使用增廣拉格朗日乘數(shù) (Augmented Lagrange Multiplier,ALM) 方法來有效求解[35]。

值得注意的是魯棒回歸不等同于使用首先由RPCA處理的干凈數(shù)據(jù)訓練線性回歸。魯棒回歸可以以受監(jiān)督的方式從輸入數(shù)據(jù)X=D+E中恢復干凈的部分。因此，魯棒回歸的無噪聲分量D可以保留X與Y最大相關(guān)的子空間。

3 基于加權(quán)核范數(shù)和L2,1范數(shù)的最優(yōu)均值線性分類器

圖1 改進模型

3.1 優(yōu)化

表1 基于交替方向乘子法求解問題式(12)

3.2 計算復雜度

為了估計本文提出的OMRLDA算法的復雜度，列出了算法的每次迭代運行條件，如表2所示。結(jié)果表明，該算法的總計算復雜度為O((dx+1)2n)或O(dxn2)。

表2 單次迭代計算復雜度分析

3.3 測試數(shù)據(jù)的魯棒性

模型式(9)雖然能解決訓練時候數(shù)據(jù)的噪聲干擾問題，然后在測試時候，測試數(shù)據(jù)并非是干凈的。于是，本文提出以下學習模型，將通過模型式(9)處理得到的干凈數(shù)據(jù)D作為字典，學習測試數(shù)據(jù)Xte在字典D上的低秩表示Zt

同樣地，模型式(22)可以寫成其ALM形式并采用交替方向乘子法(ADMM)求解。

4 實驗驗證

在這部分，通過采用YaleB, AR與ORL共3個真實的分類數(shù)據(jù)集，其采樣圖片如圖2、圖3和圖4所示。在數(shù)據(jù)集上加上0%～40%的噪聲，采用5折交叉驗證的方法，與k-NN, LR, SRC, SVM, RPCA+LR,RLDA[32]和BDLRR[39]7種方法進行比較。結(jié)果采用平均準確率±均方差的形式展示。

圖2 YaleB 數(shù)據(jù)集的一些樣本

圖3 AR數(shù)據(jù)集的一些樣本

圖4 ORL數(shù)據(jù)集的一些樣本

4.1 參數(shù)選擇

每個實驗的訓練集是從每個數(shù)據(jù)集中隨機選擇的，剩下的樣本用于測試。對于每個數(shù)據(jù)集選擇50%的數(shù)據(jù)作為訓練集，剩余的50%作為測試集，即訓練集樣本數(shù)和測試集樣本數(shù)相同。本文實驗通過

對于k-NN方法，參數(shù)k從1到10中選擇。對于其他方法，參數(shù)從{10–5, 10–4, 10–3, 10–2,10–1, 1, 10,102, 103, 104, 105}中選擇。

4.2 實驗結(jié)果

實驗結(jié)果如表3所示，其中，百分比表示噪聲的比例，較大的值(%) 表示更好的性能，最佳結(jié)果以粗體顯示。可以得出以下3個結(jié)論：隨著數(shù)據(jù)損壞程度的增加，所有方法的準確性都會降低；RPCA不僅沒有提高 LDA的準確性，反而降低了其性能；實驗結(jié)果表明，OMRLDA在處理包含稀疏噪聲的數(shù)據(jù)方面優(yōu)于其他先進方法。

表3 各個算法在ORL數(shù)據(jù)集、AR 數(shù)據(jù)集和YaleB 數(shù)據(jù)集的識別率

4.3 不同參數(shù)的性能

本小節(jié)研究了兩個超參數(shù)η和λ對本文算法性能的影響。實驗是在具有25%隨機稀疏噪聲的 AR 數(shù)據(jù)集上進行的。圖5為η和λ在具有25%隨機稀疏噪聲的AR數(shù)據(jù)集上的不同值的性能，可以看出，在λ ∈{ 10–1, 10–2, 10–3, 10–4,10–5}∩η ∈{1, 101, 102, 103,104, 105}，OMRLDA可以獲得不錯的性能。

圖5 η 和λ 的性能

5 結(jié)束語

在實際的工業(yè)檢測和分類問題中，噪聲和干擾是無法避免的問題。除了采用物理和人工方法盡可能免除前期噪聲外，本文提出了一種新的OMRLDA模型，其在正則化和誤差測量上具有L2,1范數(shù)最小化，旨在自動去除目標函數(shù)中的最優(yōu)均值同時優(yōu)化訓練和測試時噪聲對于學習算法的影響。應用ADMM方法對問題進行優(yōu)化，給出每個子問題的解。實驗結(jié)果表明本文的方法在一些最先進的方法中的優(yōu)越性，例如SVM, SRC和RR。在未來的工作中，將研究其他一些非線性算法，例如邏輯回歸和核方法，通過解決非線性分類方法和矩陣分解的結(jié)合模型，進一步提高算法的分類性能。