吳 陽,劉振華,周曉鋒,張宜弛

1(無錫太湖學(xué)院 機電工程學(xué)院,無錫 214064)

2(中國科學(xué)院 沈陽自動化研究所,沈陽 110016)

圖像的紋理分類作為圖像處理應(yīng)用中的一個重要方面,其現(xiàn)實意義在于可以對某些未知類別的圖像樣本集根據(jù)其紋理的差異進行歸類,而且紋理分析技術(shù)一直是計算機視覺、圖像處理、圖像分析、圖像檢索等的活躍研究領(lǐng)域,在遙感圖像處理、工業(yè)產(chǎn)品識別等眾多科學(xué)領(lǐng)域都起著關(guān)鍵作用.對于圖像的紋理特征可以分為結(jié)構(gòu)方法、統(tǒng)計方法、模型方法和變換方法[1].鋁鑄件作為一種建筑門窗、幕墻、室內(nèi)外裝飾及建筑結(jié)構(gòu)常用的工業(yè)型材,其表面質(zhì)量尤其受到重視,在針對不同的型材進行表面缺陷檢測時候需要對其類型進行自動識別來匹配檢測參數(shù).由于不同的型材往往對應(yīng)著不同的紋理,所以可以根據(jù)其表面不同的紋理對其進行合理的分類.但是由于傳統(tǒng)的工業(yè)生產(chǎn)方式的限制,還沒有一種方法被應(yīng)用于解決此問題,因此研究設(shè)計一種自動化識別型材種類的方法顯得十分必要.

在眾多的紋理特征中,1973年由Haralick提出的灰度共生矩陣法作為統(tǒng)計方法中的代表有著很強的適應(yīng)性,Clausi對灰度共生矩陣進行了深入的分析并做了較好的改進[2].Arebey等采用灰度共生矩陣提取垃圾箱俯拍圖像紋理特征進行分類[3].Amol等采用灰度共生矩陣進行虹膜識別[4].而Gabor小波濾波,是一種重要的基于變換的紋理特征提取方法,該方法借鑒心理生理學(xué)的研究成果,模擬了一些方向可選神經(jīng)元的計算機制,通過把Gabor函數(shù)作為小波變換的基函數(shù),來實現(xiàn)對圖像的多方向和多尺度的特征提取,Shen等人使用Gabor小波變換進行了相應(yīng)的改進[5],并結(jié)合了LBP特征,使用最近鄰分類法對硬幣圖像進行分類識別,得到了很好的結(jié)果.Yang等人使用Gabor紋理特征進行人臉識別應(yīng)用的研究,并對比了多種分類器的分類識別結(jié)果[6].Rahman等人研究了Gabor小波紋理特征的旋轉(zhuǎn)、尺度不變性特點,在基于內(nèi)容的圖像檢索中取得了很好的結(jié)果[7].另外,對于不同特征的融合研究.Cui等人采用圖像融合和小波去噪進行了肋骨分割及特征提取[8,9].

1 紋理特征提取及分類

鋁鑄件生產(chǎn)包括熔鑄(M e l t i n g)、擠壓(Extruding)、氧化(Anodizing)、檢測(QC)、包裝(Packing)等幾個過程.熔鑄過程中可能會混入雜質(zhì),使得鋁鑄件材質(zhì)不符合要求;擠壓過程中容易造成氣泡和劃痕等缺陷;氧化過程中容易有氧化不均勻等;如圖1所示,而我們的工作就是在檢測階段用機器視覺技術(shù)代替人工檢測,避免了人工檢測過程中不穩(wěn)定因素對質(zhì)量檢測結(jié)果的干擾,能夠最大程度的檢測出鋁鑄件不同種類的表面缺陷,保證檢測缺陷的速度、精度以及一致性.

圖1 鋁鑄件生產(chǎn)處理過程

不同的應(yīng)用場合需要有不同的鋁鑄件.中國鋁鑄件約有300種合金、1500個品種,是世界上產(chǎn)品品種最豐富的國家之一.它們有不同的形狀、結(jié)構(gòu)、顏色、質(zhì)地等.如圖2所示展示了幾種不同的鋁鑄件.在質(zhì)量檢測中,人類可以輕易忽略鋁型材的結(jié)構(gòu)和質(zhì)地等本質(zhì)特征,只關(guān)注其表面缺陷.然而,計算機很難識別圖案是否是缺陷或者輪廓紋理.

圖2 鋁鑄件種類

1.1 基于灰度共生矩陣的圖像紋理特征提取

由于紋理是由灰度分布在空間位置上反復(fù)出現(xiàn)而形成的,因而在圖像空間中相隔某距離的兩象素之間會存在一定的灰度關(guān)系,即圖像中灰度的空間相關(guān)特性.灰度共生矩陣就是一種通過研究灰度的空間相關(guān)特性來描述紋理的常用方法.灰度共生矩陣定義為圖像中相距為δ=(?x,?y)的兩個灰度像素同時出現(xiàn)的聯(lián)合概率分布.設(shè)圖像的灰度級為N,則共生矩陣是N×N矩陣,可表示為Pδ(i,j),其中位于(i,j)的元素p(i,j)的值表示一個灰度為i而另一個灰度為j的兩個相距為δ=(?x,?y)的像素對出現(xiàn)的概率.在實際處理中,為了減少計算量,通常(?x,?y)取以下四個方向,如圖3所示.

圖3 求解灰度共生矩陣當(dāng)前像素與鄰接像素的位置關(guān)系

計算灰度共生矩陣(0°方向).根據(jù)灰度壓縮后的圖像矩陣計算N×N階灰度共生矩陣Pδ(i,j)(例如這里N=4),δ為距離.元素值計算例如:當(dāng)δ=(?x=1,?y=0),則像素對(0,2)出現(xiàn)的次數(shù)為2,且矩陣為對稱矩陣.則共生矩陣中p(0,2)=p(2,0)=2,以此類推.

根據(jù)灰度共生矩陣可以最多得到14個紋理特征向量,實際使用中根據(jù)需要選擇特征值,求解以下特征值,構(gòu)成特征向量.

1.2 基于Gabor小波的圖像紋理特征提取

Gabor小波對于圖像的邊緣敏感,能夠提供良好的方向選擇和尺度選擇特性,而且對于光照變化不敏感,能夠提供對光照變化良好的適應(yīng)性.使用Gabor方法的基礎(chǔ)是認(rèn)為紋理是窄帶寬的信號,主要思想是:不同的紋理一般具有不同的帶寬和中心頻率,根據(jù)不同的頻率和帶寬設(shè)計一組Gabor濾波器對紋理圖像濾波,不同的濾波器只能通過相應(yīng)的紋理,限制其他紋理.通過對每個濾波器的輸出結(jié)果分析,提取紋理特征,用于后續(xù)工作.Gabor濾波器提取紋理特征主要包括兩個過程:設(shè)計濾波器、從濾波器的輸出結(jié)果中提取有效的紋理特征集,二維離散Gabor小波變換過程描述如下式所示:

首先選取Gabor濾波器組的方向數(shù)p、尺度數(shù)q,以及方差等參數(shù)構(gòu)造Gabor小波濾波器組.如p=6,q=4所示,則最終構(gòu)造出的小波基函數(shù)就有4×6=24個,即通過這24個濾波器會最終會得到24個變換圖像(通過與源圖像卷積計算);然后得到不同方向和尺度的Gabor濾波器以后,對圖像濾波(卷積)得到相應(yīng)的變換后圖像,分別提取各個變換后圖像的特征,如基于Gabor濾波器的輸出的幅度響應(yīng)、Gabor能量特征、復(fù)矩特征、柵格元特征、獨立成分分析法等等.

1.3 SVM分類

支持向量機(Support Vector Machine,SVM)[10],在解決小樣本、非線性即高維模式識別中表現(xiàn)出許多特有的優(yōu)勢,并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中.支持向量機方法是建立在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上的,根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間需求最佳折衷,一起獲得最好的推廣能力(或稱泛化能力).SVM擅長應(yīng)付樣本數(shù)據(jù)線性不可分的情況,主要通過松弛變量和核函數(shù)技術(shù)來實現(xiàn)的,這是SVM的精髓.與傳統(tǒng)的經(jīng)驗風(fēng)險最小化原理相比,在一定程度上克服了“維數(shù)災(zāi)難”和“過學(xué)習(xí)”等傳統(tǒng)困難,為研究有限樣本情況下的統(tǒng)計模式識別和更廣泛的機器學(xué)習(xí)問題建立了一個較好的理論框架.支持向量機性能的優(yōu)劣主要取決于核函數(shù)及其參數(shù)的選擇,其中核函數(shù)的選擇更加重要.

2 特征提取及訓(xùn)練

分別采用灰度共生矩陣和Gabor小波濾波兩種方法對圖像進行特征提取,并借助libSVM對其進行分類預(yù)測,圖2是用于需要分類識別的鋁鑄件的9種型材.

實驗的中各個算法中都需要對圖像進行分割,去除背景以避免其對提取特征結(jié)果的影響,這里我們是通過OpenCV庫內(nèi)封裝的函數(shù)將BMP格式的圖像讀入,并轉(zhuǎn)換為灰度圖,存儲在IplImage*指向的結(jié)構(gòu)中,每個像素值為char值.然后將整個灰度圖的數(shù)據(jù)存放到以圖像的高和寬作為矩陣行列的double類型的矩陣中,進行char到double的轉(zhuǎn)換,然后通過霍夫變換[11]對圖像進直線檢測,檢測出型材的上下邊界,得到需要提取特征的范圍,為后續(xù)的共生矩陣求解和Gabor小波濾波變換做準(zhǔn)備.

使用了四種方法對鋁鑄件圖像進行特征提取:灰度共生矩陣、Gabor小波變換紋理特征,灰度共生矩陣和Gabor小波變換紋理特征,以及根據(jù)鋁鑄件的特點將Gabor小波變換紋理特征和檢測出的直線特征.

灰度共生矩陣特征提取算法:灰度壓縮為8級,步長距離選擇為1,即對目標(biāo)像素點求解其與相鄰像素的關(guān)系,以計算0°,45°,90°,135°四個方向圖像的灰度共生矩陣.分別計算四個方向共生矩陣的能量、熵、對比度、逆差矩、相關(guān)性五個統(tǒng)計值的均值和方差共十個值作為圖像最終的特征值,如下式所示:

Gabor小波變換紋理特征:根據(jù)鋁鑄件紋理特點,算法中我們使用以下方向和尺度組合,如表1所示:

表1 使用的Gabor小波方向和尺度

根據(jù)不同的方向和尺度,得到不同的Gabor小波核用于對圖像進行濾波變換,然后對變換后的圖像進行計算,得到圖像的均值和標(biāo)準(zhǔn)方差,得到2×O×S維的特征向量,如下式所示:

共生矩陣和Gabor紋理特征的融合,即將提取到的共生矩陣和Gabor紋理特征組在一起構(gòu)成新的特征向量用于型材分類,如下式所示:

根據(jù)鋁鑄件特點,為了提高識別準(zhǔn)確率,根據(jù)之前檢測出的直線,對型材型進行區(qū)域分割,并以直線代表圖中紋理,計算直線所占圖像像素比例,作為另一特征和Gabor紋理特征進行組合,如下式所示:

最后,我們使用SVM算法對提取到的特征進行分類模型的訓(xùn)練,得到訓(xùn)練模型用于對測試集的測試,我們在這里核函數(shù)選擇RBF核,通過參數(shù)調(diào)優(yōu),懲罰系數(shù)選擇為100,σ =0.5.

3 實驗結(jié)果

實驗在PC上進行系統(tǒng)仿真,配置為 Intel 2.2 GHz CPU,4 GB內(nèi)存,軟件平臺為Windows 7下未進行優(yōu)化的VS 2010,集成OpenCV 2.5對圖像進行處理及特征提取,并借助于libSVM工具包對特征進行模型訓(xùn)練,用以對未知類型型材的識別.采用的實驗對象包括九種類別共180幅圖像的訓(xùn)練集,和同樣包括九種類別共90幅圖像的測試集(均為實物圖像),根據(jù)上述方法,實驗結(jié)果如表2所示.

從實驗結(jié)果可以看出,共生矩陣法無論是在圖像特征提取還是類型識別上都是速度最快的,但是準(zhǔn)確率不是很高,只有71%.Gabor小波變換提取圖像紋理特征,雖然速度上比較慢,但是準(zhǔn)確率卻是很高的,最高達到了98.9%,另外,將Gabor紋理特征和共生矩陣紋理特征合并在一起之后,有效提高識別準(zhǔn)確率,特征提取時間也沒有很大的改變,這說明兩種特征融合會相互不會影響.Gabor紋理特征和直線比率特征進行融合,從特征提取時間以及識別時間上和單獨用Gabor紋理特征區(qū)別不大,準(zhǔn)確率上也不相上下.

表2 實驗結(jié)果

從各個時間上來看,無論是灰度共生矩陣還是Gabor小波變換,大部分都花費在特征提取的過程中,所以后續(xù)的工作需要在保證識別準(zhǔn)確率的情況下,優(yōu)化特征提取的過程.

灰度共生矩陣并不適合像鋁鑄件這種紋理比較簡單且訓(xùn)練集不大的圖像的識別,尤其是紋理比較單一的圖像.通過Gabor小波變換提取圖像紋理特征更具有通用性,是比灰度共生矩陣更好的紋理特征表現(xiàn)形式,但是方向尺度過多的話,因為涉及到矩陣的卷積計算,其計算量會比較大,效率會大大降低,所以想要符合實時應(yīng)用,在特征提取的時間上還有待優(yōu)化.

4 結(jié)論及展望

本文從四個角度對鋁鑄件圖像進行特征描述,并借助與libSVM對特征進行分類識別,通過實驗可以看出,本文使用的方法對于鋁鑄件的類型識別是可行的,由于鋁鑄件紋理比較單一簡單,所以灰度共生矩陣雖然速度比較快,但是準(zhǔn)確率偏低;Gabor小波變換由于計算量比較大,所以耗費的時間更長一些,但是準(zhǔn)確率很高;將兩種特征綜合以后,時間上沒有區(qū)別,準(zhǔn)確率上還有微弱改善;整合直線比率特征以后沒有明顯差別.由于在提取特征時耗費時間太長,本文在下一步工作中將對特征提取過程進行優(yōu)化.