侯政通,胡 鷹,喬磊明,鄧志飛

(1.太原科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,山西 太原 030024;2.東北大學(xué) 計算機(jī)科學(xué)與工程學(xué)院,遼寧 沈陽 110169)

0 引言

鋼材被認(rèn)為是衡量一個國家工業(yè)發(fā)展水平的重要標(biāo)尺,是冶金企業(yè)的主要產(chǎn)品。但在生產(chǎn)環(huán)節(jié)中受到各種復(fù)雜因素的影響,經(jīng)常會出現(xiàn)裂紋、劃痕、麻點(diǎn)等表面缺陷,若忽視這些缺陷,則會影響鋼板的各項(xiàng)性能及美觀。因此,如何對鋼板表面上不同類型的缺陷進(jìn)行精準(zhǔn)識別[1-2]成為當(dāng)今值得關(guān)注的話題。如今,行業(yè)內(nèi)大多采用CCD工業(yè)相機(jī)[3-4]作為視覺檢測設(shè)備的核心部件對鋼板進(jìn)行采集,并通過多特征提取的方式對圖像有效表示,然后輸入到分類器中學(xué)習(xí),最終得到最優(yōu)的分類模型,從而精準(zhǔn)地預(yù)測缺陷類別。

近年來,雖然深度學(xué)習(xí)的發(fā)展突飛猛進(jìn),但是因?yàn)槠淠Ｐ陀?xùn)練需要大量的時間開銷和高昂的設(shè)備成本,以及大量的樣本數(shù)據(jù)作為支撐,所以在冶金企業(yè)中大多選擇機(jī)器學(xué)習(xí)算法作為主流的分類器。BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network, BPNN)經(jīng)常應(yīng)用于冶金行業(yè),TANG等[5]利用BP神經(jīng)網(wǎng)絡(luò)構(gòu)建了一套自動化缺陷檢測系統(tǒng),實(shí)現(xiàn)了缺陷自動化分類,但BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型時間較長,并且只能用于相對較低的輸入和輸出維數(shù)的場合,當(dāng)輸入維數(shù)增加時,復(fù)雜度會增加得更快。K近鄰(K-Nearest Neighbor, KNN)分類器作為一種直觀的分類方法,易于理解和實(shí)現(xiàn),無需估計參數(shù),已應(yīng)用于帶鋼表面缺陷分類和表面質(zhì)量的評估。MENTOURI等[6]使用KNN結(jié)合二值化統(tǒng)計特征,有效識別帶鋼表面缺陷。但KNN需要計算待測樣本到已知樣本間的距離,因此計算量過大。支持向量機(jī)(Support Vector Machine, SVM)作為當(dāng)今應(yīng)用范圍最廣的分類器,在樣本適量的情況下就能訓(xùn)練出一個很好的模型,并展示出許多獨(dú)特的優(yōu)勢,如今已廣泛應(yīng)用于鋼產(chǎn)品的表面缺陷檢測[7-10]。盡管SVM在模式分類中表現(xiàn)出良好的有效性和魯棒性,但其計算復(fù)雜度較高。

隨著孿生向量機(jī)(TWin Support Vector Machine,TWSVM)[11]的提出,使得工作效率比SVM更高效,這是因?yàn)樵赥WSVM中,解決了一對較小規(guī)模的二次規(guī)劃問題(Quadratic Programming Problem, QPP),意在生成兩個非平行超平面,使得每個平面更接近兩個類中的一個,并盡可能遠(yuǎn)離另一個類。在每個QPP中,目標(biāo)函數(shù)對應(yīng)于一個特定類別,同時去約束另一類別。SVM則是求解單個較大QPP,所有數(shù)據(jù)點(diǎn)都會被約束,相比之下,TWSVM比SVM運(yùn)算地速度更快。但是,TWSVM對于每個樣本的重要性默認(rèn)為同等重要,而實(shí)際上每個樣本對超平面的貢獻(xiàn)程度有所不同。為了改進(jìn)這一問題,近年來,眾多TWSVM改進(jìn)版本隨之提出,例如,GAO等[12]提出一種快速魯棒的TWSVM(a Fast and Robust TSVM for pattern classification,FR-TSVM)算法,為每個輸入樣本提供模糊隸屬度;HAZARIKA等[13]提出用于二分類不平衡學(xué)習(xí)的密度加權(quán)TWSVM(Density Weighted TWSVM for binary class imbalance learning, DWTWSVM)算法,給予多數(shù)類的樣本賦予高的權(quán)重,解決了數(shù)據(jù)不平衡問題。雖然這些算法有效降低了噪聲點(diǎn)對模型的影響,但這種方式?jīng)]有對樣本進(jìn)行綜合分析判斷。就鋼板表面缺陷而言,由于受到現(xiàn)場環(huán)境的影響,部分采集的圖像會模糊不清,對于這類圖像可以去除,減少模型訓(xùn)練的貢獻(xiàn)度。但是,各種同類型的缺陷會有位置、顏色和形狀上的差異,部分特征可能會邊緣化,形成邊緣點(diǎn),若直接將這些樣本的貢獻(xiàn)度置于較低的值,則訓(xùn)練出的分類器模型將是脆弱的。

為了減少圖像模糊對特征提取的影響,本文設(shè)計了一套全新的圖像預(yù)處理方法,并借助TWSVM算法的獨(dú)特優(yōu)勢,設(shè)計了新的密度模糊函數(shù),分析了每個樣本的結(jié)構(gòu)信息,既能減少噪聲點(diǎn)所帶來的影響,又能讓重要的邊緣樣本為模型提供有效的貢獻(xiàn)度,最終作為正則項(xiàng)內(nèi)嵌到TWSVM模型中,提出近鄰密度輔助模糊優(yōu)化的TWSVM算法(KDFTWSVM),使得模型對新樣本的預(yù)測更加精準(zhǔn),為鋼板表面缺陷的分類提供更好的技術(shù)支持。

1 缺陷形成機(jī)理和圖像處理及其特征分析

1.1 形成機(jī)理

在鋼板生產(chǎn)過程中,由于其復(fù)雜的制造過程和特殊的生產(chǎn)環(huán)境,導(dǎo)致表面出現(xiàn)多種形態(tài)的缺陷。常見的缺陷主要有裂紋、夾雜物、斑塊、麻點(diǎn)、氧化皮、刮痕等。對于缺陷的識別,首先需要深入了解各種缺陷的形成機(jī)理,才能掌握其特征規(guī)律。

(1)裂紋 裂紋的形成機(jī)理主要涉及鋼板在制造、加工或使用過程中受到外部力的作用,超過其承受極限,導(dǎo)致斷裂現(xiàn)象。裂紋可能是由于內(nèi)在缺陷在受力下擴(kuò)展形成,如鋼板內(nèi)部存在微小夾雜物,在外部應(yīng)力作用下會加速裂紋擴(kuò)展。此外,溫度變化也可能引起熱應(yīng)力,導(dǎo)致裂紋形成和擴(kuò)展。制造過程中的過度軋制、冷卻速率不均勻,以及焊接過程中的冷卻速率等都可能導(dǎo)致裂紋的形成。

(2)夾雜物 夾雜物是指鋼板中混入的雜質(zhì)或非金屬物質(zhì),如硫化物、氧化物、氣泡等,它們可能由于材料問題或制造過程中未能完全去除而殘留在鋼板中。夾雜物的形成會降低鋼板的強(qiáng)度、韌性和耐腐蝕性。同時,夾雜物也可能成為裂紋的起始點(diǎn),加速裂紋擴(kuò)展。

(3)斑塊 斑塊是表面不均勻的區(qū)域,其形成通常與鋼板內(nèi)部組織不均勻或生產(chǎn)過程中的軋制、冷卻等因素有關(guān)。當(dāng)鋼坯粘有較厚的氧化皮甚至附著其他雜質(zhì)金屬時,在受到高溫化學(xué)反應(yīng)或矯直過程中所產(chǎn)生的壓力下會形成如舌狀、塊狀等深色斑塊。而在冷卻過程中,不同部位的冷卻速率不同,導(dǎo)致晶粒尺寸的變化,也會形成斑塊狀缺陷,斑塊的存在會降低鋼板的均勻性和強(qiáng)度。

(4)麻點(diǎn) 麻點(diǎn)是指表面散布的細(xì)小氧化物或硫化物顆粒。這些顆?？赡苁怯捎阡摪逯圃旎騼Υ孢^程中的氧化反應(yīng)或腐蝕引起的。在一線生產(chǎn)過程中,由于鋼坯在軋制前沒有得到徹底的清理,在軋制中有塊狀等雜質(zhì)壓入鋼坯本體,在冷卻后收縮掉落,最終在表面形成局部形態(tài)各異的類似麻點(diǎn)狀小凹坑。同時,在鋼板表面形成氧化皮或由于環(huán)境條件引起的腐蝕,也可能導(dǎo)致麻點(diǎn)的形成。麻點(diǎn)會影響鋼板的外觀質(zhì)量,并且在一定條件下可能為裂紋的擴(kuò)展提供初始點(diǎn)。

(5)氧化皮 氧化皮缺陷形成的機(jī)理主要涉及鋼板在高溫條件下與氧氣反應(yīng),導(dǎo)致表面形成氧化物層。在鋼板生產(chǎn)、熱處理或高溫操作過程中,鋼板表面的鐵元素與空氣中的氧氣發(fā)生氧化反應(yīng),生成鐵的氧化物,通常為黑色或紅色的鐵氧化物。隨著冷卻階段的到來,氧化物層逐漸在鋼板表面上形成氧化皮。氧化皮具有一定的耐腐蝕性,但如果質(zhì)量不理想或不完整,可能會繼續(xù)與周圍環(huán)境中的氧氣和濕氣發(fā)生反應(yīng),導(dǎo)致進(jìn)一步的氧化和腐蝕。

(6)劃痕 刮痕缺陷的產(chǎn)生機(jī)理主要是由于外部硬物與鋼板表面直接接觸或摩擦造成的。這些硬物可能是用于加工的工具、設(shè)備的部件或其他金屬表面,其硬度較高。當(dāng)鋼板表面與這些硬物接觸時,摩擦力可能導(dǎo)致鋼板表面的金屬被刮擦或剝離,形成刮痕缺陷。不慎操作、設(shè)備維護(hù)不當(dāng)或不適當(dāng)?shù)拇鎯Ψ绞酵瑯涌赡軐?dǎo)致外部硬物對鋼板表面造成直接接觸,進(jìn)而引發(fā)劃痕缺陷的產(chǎn)生。

1.2 顯著性檢測

由于在工業(yè)生產(chǎn)現(xiàn)場受到極其復(fù)雜的環(huán)境干擾,圖像在采集時,受附近高溫和雜質(zhì)的影響,導(dǎo)致鋼板周圍氣流上升,造成部分圖像在成像過程中發(fā)生模糊、扭曲等情況。此外,相機(jī)安裝的位置或者角度等因素也會影響圖像的效果,若相機(jī)與光源處于同一方向時,拍攝出的圖像背景偏白,反之,背景偏黑。這些采集的圖像在后續(xù)二值化過程中,部分圖像會因?yàn)楸尘捌?缺陷部分偏黑,造成黑白顛倒,使得數(shù)據(jù)集中背景不統(tǒng)一,無法有效提取前景缺陷區(qū)域的相應(yīng)特征。針對以上問題,本文引入顯著性檢測和形態(tài)學(xué)操作,最大化解決外在因素對圖像的影響。

因?yàn)樽罱K目的是為了獲取圖像的前景部分,即鋼板缺陷區(qū)域,所以希望計算機(jī)可以具有人的判斷能力,能夠準(zhǔn)確分辨出感興趣區(qū)域,使其顯著表示。同時,缺陷區(qū)域占整個圖像的比例相對較小,因此這里采用ACHANTA等[14]提出的基于局部對比度的顯著性檢測算法,簡稱AC算法,通過不同尺度局部對比度疊加得到最終顯著圖。首先將原始RGB圖像映射到CIELab空間[15],然后設(shè)定不同比例尺度下的局部鄰域,分別計算每個像素塊與領(lǐng)域均值向量的歐氏距離,則圖像中每個位置的像素顯著值ci,j可表示為下式:

(1)

式中:Num1和Num2分別為當(dāng)前像素R1和領(lǐng)域R2中像素個數(shù),Vp、Vq為當(dāng)前像素特征向量的均值向量,其中Vp也可表示單個像素點(diǎn)。

在CIELab空間中,式(1)中的D代表L,a,b三個分量的歐氏距離,進(jìn)一步可表示為:

ci,j=‖V1-V2‖。

(2)

其中:V1=[L1,a1,b1]T為R1的均值向量,V2=[L2,a2,b2]T為R2區(qū)域的均值向量。

設(shè)定不同尺度S,融合后的每個像素塊最終的顯著性值可以表示為:

(3)

1.3 形態(tài)學(xué)操作與前景提取

在完成顯著性檢測后,將得到每張缺陷圖像的灰度圖,因?yàn)椴糠秩毕輧?nèi)部存在孔洞,所以沒有很好地形成完整的連通域,同時圖像伴有噪聲的存在。因此,為了能夠提取到缺陷部分的有效特征,本節(jié)引入形態(tài)學(xué)操作來填補(bǔ)和去噪。首先對顯著圖像二值化操作,然后進(jìn)行膨脹操作,使缺陷區(qū)域復(fù)原,填補(bǔ)細(xì)小孔洞,形成閉合區(qū)域,最后通過腐蝕操作,消除噪點(diǎn)等干擾。

設(shè)二值圖像為f,集合b為結(jié)構(gòu)元素,則膨脹操作可以定義為:

(4)

設(shè)經(jīng)過膨脹操作后的圖像為f′,結(jié)構(gòu)元素依然為b集合,則腐蝕操作可以定義為:

f′Θb={x|(b)x?f′}。

(5)

其中:(b)x為結(jié)構(gòu)元素b平移x單位的結(jié)果,若平移后仍然包含在f′中,則平移量被標(biāo)記起來作為腐蝕的結(jié)果,所有滿足上述條件的x點(diǎn)組成的集合稱作為f′被b腐蝕的結(jié)果。利用腐蝕操作可以消除邊緣的毛刺點(diǎn),使得前景區(qū)域更圓滑。

相比傳統(tǒng)直接對圖像二值化操作,引入顯著檢測AC算法再二值化,不僅準(zhǔn)確突出了缺陷區(qū)域,還能規(guī)避因拍攝位置和角度問題而產(chǎn)生的部分圖像背景與前景黑白顛倒的問題。這是因?yàn)轱@著性檢測AC算法首先將每個像素與設(shè)定的不同尺度的均值作差,然后累計疊加,此時,若不同尺度下背景占比相對較大,則計算出的均值將更近似于當(dāng)前像素為背景的像素點(diǎn),計算差值較小,若當(dāng)前像素點(diǎn)為缺陷區(qū)域像素點(diǎn),則差值結(jié)果偏大;反之,若不同尺度下前景占比相對較大,則結(jié)果相反。因此,最終通過AC算法后再做二值化操作會更容易與背景做區(qū)別,更能凸顯前景的缺陷區(qū)域。如圖1所示為選取部分缺陷圖像通過上述流程所展示的效果圖,實(shí)驗(yàn)中AC算法設(shè)定了3個尺度,其中,圖1b為常見的6種缺陷,即裂紋、夾雜物、斑塊、麻點(diǎn)、氧化皮、刮痕,圖中紅框所標(biāo)注的位置為主要缺陷;圖1a為直接二值化的結(jié)果,受光源和噪聲的影響,結(jié)果并不理想;圖1c為三個尺度下依次疊加后呈現(xiàn)出的顯著圖;圖1d為使用AC算法后再二值化得到的效果,相比直接二值化,更容易統(tǒng)一閾值和背景;圖1e～圖1g是結(jié)合形態(tài)學(xué)操作擴(kuò)張前景區(qū)域,并獲取最大連通域。整個算法流程很好地提取到了前景圖像,以備后續(xù)的特征提取工作順利進(jìn)展。

圖1 圖像預(yù)處理效果圖

1.4 圖像特征分析與融合提取

基于前述對鋼板表面缺陷形成機(jī)理的分析和系列預(yù)處理操作,本節(jié)對其圖像特征進(jìn)行系統(tǒng)性分析并進(jìn)行融合提取。特征提取作為分類模型訓(xùn)練前的關(guān)鍵一步,也是關(guān)系模型訓(xùn)練好壞的重要一環(huán)。為了全面提取鋼板表面圖像的各項(xiàng)特征信息,這里分別從不同角度進(jìn)行提取,首先對原始圖像灰度化并濾波,提取方向梯度直方圖(Histogram of Oriented Gradient, HOG)和灰度共生矩陣(Gray Level Co-occurrence Matrix, GLCM)特征[16-18],分別統(tǒng)計圖像缺陷區(qū)域邊緣信息和局部紋理信息,但是僅靠HOG和GLCM的組合方式不能有效表現(xiàn)出缺陷部分的形態(tài)特征,同時也沒有體現(xiàn)具有代表性區(qū)域的典型特征。而不同類型的缺陷在數(shù)量、面積以及形狀等方面存在較大差異,例如劃痕類缺陷屬于細(xì)長型、麻點(diǎn)類缺陷分布廣,數(shù)量多、斑塊類缺陷則是面積區(qū)域大等,掌握這些幾何規(guī)律有利于完整表示缺陷,對分類任務(wù)具有至關(guān)重要的作用。因此1.2節(jié)加入顯著性檢測算法,作為特征提取前的預(yù)處理步驟,以精確提取缺陷區(qū)域。根據(jù)缺陷的分布特點(diǎn),在特征選取時加入幾何特征,因?yàn)槌Ｒ姷谋砻嫒毕菀话惴植荚谧畲筮B通域,所以有必要獲取圖像最大缺陷區(qū)域,同時提取幾何、形態(tài)特征,可以凸顯缺陷之間的差異和表征缺陷的形狀。

為此,根據(jù)前文所做工作,在顯著性檢測后的二值化圖像上統(tǒng)計每張圖像上的缺陷總數(shù)量、總面積、總周長、平均長度和平均寬度,共計5維特征。同時單獨(dú)獲取顯著區(qū)域最大連通域的幾何以及形態(tài)特征,最后融合所有特征,對缺陷的特征進(jìn)行詳盡的表示。表1所示為所提取最大連通域的形態(tài)學(xué)特征[19]和幾何特征[20]。

表1 最大連通域特征選取

2 分類器選取與隸屬度函數(shù)設(shè)計

2.1 原始TWSVM模型

作為傳統(tǒng)分類器的升級版,與SVM相比,TWSVM擁有更好的分類能力,意在尋找兩個非平行超平面,求解2個小規(guī)模的二次規(guī)劃問題,非常適用于解決樣本的近似型分類問題,使得每個超平面接近某一類樣本,同時約束另一類樣本距離。

考慮TWSVM為n維空間二分類算法,首先可以定義訓(xùn)練數(shù)據(jù)集為T={(xi,yi)|xi∈n,i=1,2,…,m},其中xi為樣本數(shù)據(jù),yi∈{+1,-1}為樣本所屬類別,m為總樣本數(shù)量。訓(xùn)練集T則可表示為訓(xùn)練數(shù)據(jù)m×n維的矩陣,正類樣本可表示為m1×n維矩陣A,負(fù)類樣本可表示為m2×n維矩陣B,其中m=m1+m2。為了構(gòu)造xTω1+b1=0和xTω2+b2=0兩個超平面,建立如下二次規(guī)劃問題:

s.t.-(Bω1+e2b1)+q2≥e2,q2≥0。

(6)

s.t.(Aω2+e1b2)+q1≥e1,q1≥0。

(7)

其中:c1、c2為大于零的懲罰參數(shù);ω1、ω2為兩個超平面的法向量;b1、b2為超平面偏移量;e1∈m1、e2∈m2為全1向量;q1和q2分別表示正類和負(fù)類樣本的松弛變量。

對式(6)和式(7)式分別使用拉格朗日乘數(shù)法,根據(jù)KKT(Karush-Kuhn-Tucker)條件[21],可以獲取目標(biāo)函數(shù)的對偶問題,求解ω1、b1和ω2、b2,從而獲得兩個最優(yōu)超平面,TWSVM對于一個新樣本的類別可根據(jù)樣本到超平面的距離進(jìn)行判別:

Class=argmin|xTωl+bl|,l=1,2。

(8)

式中,|·|代表新樣本x到兩個超平面xTωl+bl=0的垂直距離。

2.2 隸屬度函數(shù)設(shè)計

2.2.1 基于類中心距離法的模糊函數(shù)

在實(shí)際情況中,離群點(diǎn)通常出現(xiàn)在某類的邊緣,其中有些離群點(diǎn)可能是噪聲點(diǎn),與正常值相差明顯,如果將這種樣本點(diǎn)的特征輸入模型訓(xùn)練,勢必會對模型產(chǎn)生影響。在解決分類問題時,利用類中心距離法,根據(jù)樣本點(diǎn)到類中心的距離程度為訓(xùn)練集中的每個樣本點(diǎn)分配一個模糊函數(shù)[22-23]。如果一個樣本被檢測為異常值,它將被分配低的權(quán)重值,使得它對總誤差項(xiàng)的貢獻(xiàn)減小。

這里定義+1類數(shù)據(jù)集m1的均值點(diǎn)為xc+,定義-1類數(shù)據(jù)集m2的均值點(diǎn)為xc-,分別表示為:

(9)

通過測量正負(fù)類樣本與類中心的距離,分別選取最大距離作為正類和負(fù)類樣本的半徑:

(10)

(11)

則樣本的模糊隸屬度Si可以通過如下公式計算:

(12)

式中,為避免出現(xiàn)模糊隸屬度Si=0的情況,將δ設(shè)為常數(shù)。通過式(12),為每個樣本點(diǎn)分配隸屬度,以距離為基準(zhǔn),距離近的樣本會賦予高的權(quán)值,距離遠(yuǎn)的樣本會賦予低的權(quán)值,以此來弱化邊緣樣本點(diǎn)對模型的作用。

2.2.2 一種新的密度模糊隸屬度函數(shù)

上述關(guān)于類中心距離法的模糊函數(shù)構(gòu)造方法雖然在一定程度上減少了邊緣樣本點(diǎn)的影響,但是并不是所有邊緣點(diǎn)都是異常點(diǎn)[24]。恰恰相反,部分邊緣點(diǎn)帶有重要的結(jié)構(gòu)信息,如圖2中,所有示例點(diǎn)表示為某類樣本的分布情況。其中,紅色點(diǎn)表示數(shù)據(jù)的中心點(diǎn),圖中兩個綠色點(diǎn)為邊緣點(diǎn),并且到類中心點(diǎn)的距離相等,可以看出如果用上述方式給這兩個點(diǎn)分配權(quán)值,則兩個樣本點(diǎn)的貢獻(xiàn)度是一樣的。但可以看出,下方的綠色點(diǎn)相比上方的綠色點(diǎn)實(shí)際上處于一個密度較高的區(qū)域,更應(yīng)該給予更多的關(guān)注,這對于后續(xù)分類器訓(xùn)練的好壞具有一定的指導(dǎo)作用。如果對所有的邊緣點(diǎn)都弱化,那么對于模型的泛化能力將會大大降低。因此,為了提高數(shù)據(jù)的質(zhì)量,本文設(shè)計了一種新的密度模糊隸屬度函數(shù),結(jié)合類中心距離法,雙重選擇實(shí)例樣本點(diǎn),從而讓每個樣本點(diǎn)都能發(fā)揮其效,賦予合適的權(quán)值,有效去除異常點(diǎn)的影響。

圖2 樣本分布示例圖

在設(shè)計新的密度模糊隸屬度函數(shù)之前,首先考慮圖3和圖4兩種情況,這兩種情況都為同類樣本中的一個目標(biāo)樣本點(diǎn)(紅色圓圈表示),和周圍6個同類近鄰樣本點(diǎn)(藍(lán)色圓圈表示),可以直觀地看出目標(biāo)樣本點(diǎn)和周圍6個近鄰樣本點(diǎn)的距離是相同的,若按照距離來判斷目標(biāo)點(diǎn)的密度,則如下兩種情況的密度相同。

圖3 目標(biāo)樣本與近鄰樣本示例

圖4 目標(biāo)樣本與近鄰均值中心點(diǎn)示例

實(shí)際上,圖3的密度要比圖4更高,這是因?yàn)閷τ趫D3的分布情況,近鄰樣本的均值點(diǎn)與目標(biāo)樣本點(diǎn)完全重合,而圖4中的均值點(diǎn)(綠色圓圈表示)與目標(biāo)樣本點(diǎn)并未重合,覆蓋區(qū)域較小。因此,相對來說,圖3中目標(biāo)樣本點(diǎn)的密度更高,應(yīng)該獲得較高的權(quán)值。基于上述情形,本文設(shè)計了一種基于近鄰選擇的密度函數(shù),若一個樣本點(diǎn)被附近存在的部分近鄰樣本點(diǎn)所包圍,則目標(biāo)樣本點(diǎn)的密度與其相鄰的一組近鄰樣本的均值點(diǎn)間的距離成反比。

基于如上分析,首先定義基于近鄰選擇的密度函數(shù)Di如下:

(13)

為了全面分析樣本結(jié)構(gòu)信息,本文構(gòu)造了一種新的密度模糊隸屬度函數(shù)Fi:

(14)

其中:Fi滿足Fi∈(0,1],μ為大于零的參數(shù),整個函數(shù)結(jié)合了式(12)和式(13)兩者的優(yōu)勢,既能去除噪聲點(diǎn)的干擾,也能判斷邊緣樣本點(diǎn)是否為重要信息樣本點(diǎn)。

3 近鄰密度輔助模糊優(yōu)化的TWSVM算法(KDFTWSVM)

為了使原始TWSVM算法在對鋼板表面缺陷分類時能夠考慮每個樣本的結(jié)構(gòu)信息,減少不清晰圖像所帶來的影響,同時對于同種缺陷的不同表示能準(zhǔn)確區(qū)分,本章采用上述樣本信息構(gòu)造方法,將設(shè)計的密度模糊隸屬度函數(shù)與TWSVM算法完美融合,提出了KDFTWSVM算法,以此解決現(xiàn)實(shí)當(dāng)中的問題,獲得更準(zhǔn)確的分類效果。

在KDFTWSVM算法中,除了標(biāo)簽yi∈{+1,-1},可以重新定義訓(xùn)練數(shù)據(jù)集T={(xi,yi,Fi)|xi∈n,i=1,2,…,m}。這里為每個樣本賦予一個密度模糊隸屬度Fi,這是為了能讓每個樣本都能為超平面貢獻(xiàn)應(yīng)有的價值,也能判斷邊緣樣本是否利于模型超平面的構(gòu)造,而不再籠統(tǒng)的將樣本視為同等重要。

線性情況下,KDFTWSVM將構(gòu)造下列兩個二次規(guī)劃問題:

s.t.-(Bω1+e2b1)+q2≥e2,q2≥0。

(15)

s.t.(Aω2+e1b2)+q1≥e1,q1≥0。

(16)

其中:ci>0(i=1,2,3,4)為模型懲罰參數(shù);ω1、ω2為兩個超平面的法向量;b1、b2為超平面偏移量;e1∈m1、e2∈m2為全1向量;q1、q2表示為松弛變量。式(15)、式(16)的第一項(xiàng)代表超平面到每類樣本點(diǎn)的距離平方和,第二項(xiàng)代表了兩個超平面的邊界距離,希望盡可能遠(yuǎn)離,增大之間的間距,第三項(xiàng)為最小化誤差變量的和,此外,F1和F2分別為正負(fù)類樣本密度模糊隸屬度向量。

這里選擇原始問題式(15)建立拉格朗日方程,進(jìn)行詳細(xì)推導(dǎo)證明:

αT(Bω1+e2b1+e2-q2)-βTq2。

(17)

其中α=(α1,…,αm2)T和β=(β1,…,βm2)T是拉格朗日乘子向量,由于原始問題為凸優(yōu)化問題,因此采用KKT條件對式(17)中參數(shù)求偏導(dǎo),求得:

(18)

(19)

(20)

-(Bω1+e2b1)+q2≥e2;

(21)

αT(-(Bω1+e2b1)+q2-e2)=0;

(22)

βTq2>0;

(23)

α≥0,β≥0,q2≥0。

(24)

因?yàn)棣隆?,由式(20)可得α≤c2F2,聯(lián)立式(24)可知0≤α≤c2F2。

結(jié)合式(18)和式(19),可以表示為:

(25)

為了方便表示,這里令:

H=[Ae1],G=[Be2],

(26)

則(25)式重新表示為:

(HTH)u+c1Iu+GTα=0,

(27)

解得:

u=-(HTH+c1I)-1GTα。

(28)

將式(28)帶入式(17),可以求得原問題(15)的對偶問題:

s.t. 0≤α≤c2F2。

(29)

同理,原始問題(16)的對偶問題可寫為:

s.t. 0≤ν≤c4F1。

(30)

式中:ν=[ν1,…,νm1]T為拉格朗日乘子向量,則[ω2b2]T表示為:

[ω2b2]T=(GTG+c3I)-1HTν。

(31)

最終,通過求取的α和ν最優(yōu)向量,可以獲取ω1,b1和ω2,b2的值,從而獲得兩個非平行超平面。對于新樣本可以繼續(xù)采用式(8)來作分類判斷。

4 實(shí)驗(yàn)

相比于深度學(xué)習(xí),用傳統(tǒng)方法對鋼板表面缺陷進(jìn)行分類,難點(diǎn)在于對圖像處理的方式、選用提取特征的方式以及分類器的設(shè)計,每一個環(huán)節(jié)都需要符合圖像的本質(zhì)。但是深度學(xué)習(xí)需要大規(guī)模的樣本[25]來做訓(xùn)練,時間開銷大,傳統(tǒng)方法在這一方面是存在優(yōu)勢的,僅需小樣本就可以達(dá)到比較高的精度,更值得青睞。

鋼板表面缺陷的分類整體上可以分為3個步驟,如圖5所示,分別為圖像預(yù)處理、特征提取及分類器的訓(xùn)練。其中,圖像預(yù)處理是為了清除圖像噪聲的影響,并提取缺陷的前景區(qū)域;特征提取是為了表示圖像中的重要信息,對缺陷進(jìn)行描述;分類器訓(xùn)練則是為了利用已提取的特征訓(xùn)練出最優(yōu)模型,最后利用測試數(shù)據(jù)對分類算法進(jìn)行準(zhǔn)確性檢驗(yàn)。在本章中,通過詳實(shí)的實(shí)驗(yàn)數(shù)據(jù),對文中所設(shè)計的方法進(jìn)行全面的驗(yàn)證。

圖5 總流程圖

4.1 實(shí)驗(yàn)數(shù)據(jù)集

NEU數(shù)據(jù)集[26]是東北大學(xué)公開的鋼板表面缺陷數(shù)據(jù)集,包含了工業(yè)生產(chǎn)中常見的6種鋼板表面缺陷,分別是裂紋(Cr)、夾雜物(In)、斑塊(Pa)、麻點(diǎn)(PS)、壓入氧化皮(RS)、刮痕(Sc),如圖1所示。其中,每類樣本包含300張分辨率為200×200的圖像。實(shí)驗(yàn)過程將劃分不同比例的數(shù)據(jù)集作為訓(xùn)練集,剩下的作為測試集,對比在不同比例下模型的分類準(zhǔn)確率。

4.2 參數(shù)設(shè)置和算法對比

本文在第3章中詳細(xì)介紹了線性情況下KDFTWSVM算法的構(gòu)造過程,但實(shí)際上,在鋼板表面缺陷圖像中所提取的特征都為高維度特征,為了使算法能在高緯度空間里準(zhǔn)確分類,實(shí)驗(yàn)選用高斯核函數(shù)K(x,xi)=exp(-‖x-xi‖2/2σ2)對算法進(jìn)行加持。這里將核參數(shù)σ和懲罰參數(shù)ci(i=1,2,3,4)利用網(wǎng)格搜索法,在范圍{2i|i=-16,-15,…,+5}中搜尋最優(yōu)參數(shù),為了提高搜索效率,設(shè)置c1=c3,c2=c4,對于算法涉及的QPP問題,采用逐次超松弛(Successive Over Relaxation, SOR)算法進(jìn)行求解。同時,算法中設(shè)計的密度函數(shù)Di的K值在{3,…,31}范圍內(nèi)獲取,設(shè)計的密度模糊隸屬度函數(shù)Fi中參數(shù)μ在[0,1]之間搜尋調(diào)試。因?yàn)閷?shí)驗(yàn)屬于多分類問題,所以采用了“一對多”(One-Versus-All,OVA)[26]的分類方法。

本文實(shí)驗(yàn)在一臺帶有MATLAB R2017a環(huán)境的64GB內(nèi)存的電腦中進(jìn)行。實(shí)驗(yàn)中,選擇了常見的分類算法以及近年來對TWSVM所改進(jìn)的算法進(jìn)行對比,分別為BP神經(jīng)網(wǎng)絡(luò)、KNN、SVM、TWSVM、FR-TSVM、DWTWSVM,所有參數(shù)均在相同條件下搜尋。根據(jù)分類器的精確度(P)、召回率(R)、F1值,和準(zhǔn)確率(A),對所提分類算法的性能進(jìn)行比較,其定義如下:

(32)

其中,TP、TN、FP和FN分別為真正類、假負(fù)類、假正類和真負(fù)類樣本數(shù)量。

4.3 特征消融實(shí)驗(yàn)

鋼板表面每種缺陷的分布以及特征都具有較為明顯的差異,近年來利用HOG、GLCM以及兩者組合的方式比較常見,但是這些方法不能完全體現(xiàn)出缺陷獨(dú)有的特征。為此,在前文對圖像二值化的預(yù)處理中,首先引入顯著性檢測算法,相較于直接進(jìn)行二值化有了明顯改善;其次,分割得到最大連通域,即缺陷最大區(qū)域,分別對總?cè)毕輩^(qū)域和最大缺陷區(qū)域進(jìn)行一系列的處理操作,最終獲取帶有缺陷本質(zhì)特點(diǎn)的幾何、形態(tài)學(xué)特征。本文對圖像預(yù)處理和特征選擇有了更加詳盡的表示,表2是本文所提KDFTWSVM算法在不同特征選擇下的消融實(shí)驗(yàn),可以看出在融合前文所提取的特征后,準(zhǔn)確率進(jìn)一步提高。

表2 特征消融實(shí)驗(yàn)

本文第1章對分割出的最大缺陷區(qū)域選取了8個典型特征,以此來描繪區(qū)域的形狀。如圖6所示為對所有圖像樣本提取這8個典型特征求平均值的實(shí)驗(yàn)結(jié)果,可以看出在6個缺陷樣本中,所選特征的均值呈現(xiàn)出不同的態(tài)勢,說明每種缺陷在形狀上有明顯的區(qū)分。例如,劃痕(Sc)缺陷屬于細(xì)長型,與其他缺陷有著明顯的區(qū)別,從特征“Roundness(圓形度)”在圖6的表現(xiàn)可以看出均值最低,說明形狀最不像圓形。再如斑塊(Pa)缺陷,相對于其他類型缺陷的面積值最大,從圖6中“Area(面積)”特征也得到了準(zhǔn)確驗(yàn)證,其面積的均值最高。對于分割出的最大缺陷連通域,圖6實(shí)驗(yàn)證明了所選取的特征能有效區(qū)分出缺陷的差異,很好地描述了缺陷的顯著特點(diǎn),缺陷之間的差異越大則越利于分類器的識別,這對后期整體分類性能的提升有著促進(jìn)作用。

圖6 最大缺陷區(qū)域相關(guān)特征均值對比圖

4.4 算法分類結(jié)果與分析

本節(jié)對NEU數(shù)據(jù)集的每張圖像采用前文預(yù)處理方式獲取特征后,進(jìn)行了多分類比較實(shí)驗(yàn),從多個維度測試并對比算法的分類效果。

圖7實(shí)驗(yàn)顯示,隨著訓(xùn)練集比例的成倍增加,KDFTWSVM準(zhǔn)確率也隨之增加,在90%的訓(xùn)練比例下,算法準(zhǔn)確率接近99%,對比其他算法總體上優(yōu)勢明顯。

圖7 不同訓(xùn)練比例下對應(yīng)的準(zhǔn)確率

上述實(shí)驗(yàn)結(jié)果展現(xiàn)了在80%訓(xùn)練集下的各類算法分類情況,表3～表6表示各類算法對6種鋼板表面缺陷進(jìn)行分類的指標(biāo),圖8和圖9為原始TWSVM算法與本文KDFTWSVM算法的混淆矩陣對比圖。圖表結(jié)合可以看出在經(jīng)過優(yōu)化后,KDFTWSVM算法的表現(xiàn)優(yōu)于原始TWSVM算法,在表3召回率指標(biāo)中,裂紋(Cr)、壓入氧化皮(RS)、刮痕(Sc)三類缺陷的召回率達(dá)100%。其中,壓入氧化皮(RS)和刮痕(Sc)較TWSVM算法分別提高了1.67%和8.33%,夾雜物(In)、麻點(diǎn)(PS)兩類缺陷的召回率較TWSVM算法分別提高了10%和11.66%。圖9中,混淆矩陣的對角線表示每類缺陷預(yù)測正確數(shù)量占測試樣本的數(shù)量,可以直觀地看到本文算法相較于TWSVM算法預(yù)測的正確率更高。同時,對于各項(xiàng)指標(biāo),本文算法在整體上遠(yuǎn)優(yōu)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)、KNN和SVM算法,對于近年來提出的一些TWSVM改進(jìn)算法,本文改進(jìn)的算法更適合鋼板表面缺陷的分類,準(zhǔn)確率相較于FR-TSVM算法和DWTWSVM算法提高了3.89%和3.61%。實(shí)驗(yàn)說明,KDFTWSVM算法中所構(gòu)造的密度模糊隸屬度函數(shù)能夠挖掘噪聲樣本和邊緣樣本的結(jié)構(gòu)信息,使模型按照每個樣本的重要程度進(jìn)行訓(xùn)練,更加適用于缺陷的分類。

表3 NEU數(shù)據(jù)集召回率分類指標(biāo) %

表4 NEU數(shù)據(jù)集精確率分類指標(biāo) %

表5 NEU數(shù)據(jù)集F1值分類指標(biāo) %

表6 NEU數(shù)據(jù)集總體準(zhǔn)確率

圖8 TWSVM混淆矩陣

圖9 KDFTWSVM混淆矩陣

4.5 魯棒性分析

由于KDFTWSVM算法中所設(shè)計的密度模糊隸屬度函數(shù)采用了K近鄰算法(K值),并設(shè)置參數(shù)μ來平衡模型的性能,為了衡量參數(shù)對模型分類性能所產(chǎn)生的影響大小,采用網(wǎng)格搜索法,設(shè)置K值大小范圍為[3,31],步長為2,參數(shù)μ范圍為[0,1],步長為0.01。經(jīng)過搜索,結(jié)果如圖10所示,算法整體表現(xiàn)波動不大,K值選取3或5,μ選取0.01～0.1就可以取得最優(yōu)的分類效果。隨著K值和參數(shù)μ的增大,模型準(zhǔn)確率隨之降低,但最低值也能保證在94%以上,說明K值和μ的改變不會對模型產(chǎn)生巨大的波動,具有良好的魯棒性。

圖10 KDFTWSVM三維立體參數(shù)圖

5 結(jié)束語

本文針對工業(yè)中鋼板表面缺陷分類問題進(jìn)行了優(yōu)化升級。在前期圖像預(yù)處理中,采用顯著性檢測算法精準(zhǔn)提取缺陷區(qū)域,并根據(jù)缺陷的不同性質(zhì)設(shè)計了特征提取方式。由于環(huán)境、拍攝角度等影響,部分缺陷圖像將演化成噪聲或邊緣樣本,對模型的訓(xùn)練造成偏差,為此文中設(shè)計了一種密度模糊隸屬度函數(shù),為每個樣本分配相應(yīng)的權(quán)重,以減弱噪聲樣本對模型的影響。最后,基于TWSVM算法將密度模糊隸屬度函數(shù)作為優(yōu)化條件嵌入模型中,提出了KDFTWSVM算法,有效降低噪聲樣本對模型的干擾,并能選擇性學(xué)習(xí)邊緣樣本的特征,進(jìn)一步提高了缺陷分類的準(zhǔn)確率。雖然傳統(tǒng)的圖像處理和機(jī)器學(xué)習(xí)方法設(shè)計繁瑣,但具有極高的效率和普及化。未來,可以根據(jù)鋼板表面缺陷分類的難點(diǎn)問題,進(jìn)一步深入探索。如何準(zhǔn)確地選擇和提取鋼板表面缺陷的特征、如何提高數(shù)據(jù)集質(zhì)量、以及如何提高分類算法的泛化能力,仍是未來進(jìn)一步研究和探索的方向。