羅磊，張二虎

(西安理工大學(xué) 印刷包裝工程學(xué)院，陜西 西安 710048)

近年來，各種可視化的智能紙張表面缺陷檢測(cè)和分類技術(shù)迅速發(fā)展[1-5]，但是，目前國(guó)內(nèi)外刊發(fā)的各種先進(jìn)技術(shù)都是針對(duì)大型造紙企業(yè)的，設(shè)備昂貴，適用于大型企業(yè)的流水線生產(chǎn)。

目前，我國(guó)在低碳環(huán)保性地發(fā)展造紙業(yè)的指導(dǎo)思想下，國(guó)內(nèi)以中小型、民營(yíng)造紙廠為主，對(duì)紙張表面缺陷檢測(cè)的實(shí)際要求是識(shí)別率高、方式簡(jiǎn)單，設(shè)備成本低。

根據(jù)這一現(xiàn)實(shí)要求，本研究以模式識(shí)別為基礎(chǔ)，結(jié)合SQL Server數(shù)據(jù)庫(kù)，引入LBP(Local Binary Pattern，局部二進(jìn)制模式)方法對(duì)采集到的紙張灰度圖像進(jìn)行表面缺陷檢測(cè)識(shí)別，應(yīng)用Visual C++開發(fā)工具實(shí)現(xiàn)了基于圖像分析的紙張表面缺陷檢測(cè)系統(tǒng)。使用本系統(tǒng)對(duì)采集到的紙張圖像進(jìn)行缺陷檢測(cè)，驗(yàn)證了系統(tǒng)的可行性。

1 紙張圖像處理

1.1 紙張表面圖像采集

本研究所用的紙張圖像通過四種方式得到，即，通過線陣CCD進(jìn)行采集(搭配NIKKOR 24 mm F/2.8鏡頭)、利用數(shù)碼照相機(jī)拍攝采集、利用掃描儀對(duì)紙張圖像進(jìn)行采集和通過網(wǎng)絡(luò)進(jìn)行搜索。這幾種方式圖像采集準(zhǔn)確，設(shè)備成本低，實(shí)用性高。本研究采集到的六種常見的紙張表面缺陷圖像如圖1所示。

1.2 圖像降噪

由于采集到的圖像會(huì)含有各種噪聲，因此，在進(jìn)行圖像分析前，要對(duì)采集到的圖像進(jìn)行降噪處理。本課題結(jié)合所采集到的紙張表面圖像的噪聲特性，分別采用了鄰域平均法和中值濾波法對(duì)所采集的圖像進(jìn)行去噪[6-12]，描述如下。

圖1 六種常見的紙張表面缺陷圖像

1) 鄰域平均法

設(shè)一幅圖像f(x,y)為N×N的陣列，處理后的圖像為g(x,y)，每個(gè)像素的灰度級(jí)由包含(x,y)領(lǐng)域的幾個(gè)像素的灰度級(jí)的平均值所決定，即用下式得到處理后的圖像[6]:

(1)

式中，x,y=0,1,2,…,N-1；S是以(x,y)點(diǎn)為中心的鄰域的集合，M是S內(nèi)像素點(diǎn)的總數(shù)。

圖2給出了4個(gè)鄰域點(diǎn)和8個(gè)鄰域點(diǎn)的集合。

圖2 鄰域點(diǎn)的集合

圖像鄰域平均法的處理效果與所用的鄰域半徑有關(guān)。半徑愈大，則圖像的模糊程度也愈大。另外，圖像鄰域平均法算法簡(jiǎn)單，計(jì)算速度快，其主要缺點(diǎn)是在降低噪聲的同時(shí)使圖像產(chǎn)生模糊，特別在邊沿和細(xì)節(jié)處，鄰域越大，模糊越厲害[7-11]。為了減少這種效應(yīng)，可以采用闡值法，也就是根據(jù)下列準(zhǔn)則處理圖像。

(2)

式中，T是一個(gè)規(guī)定的非負(fù)閾值，當(dāng)一些點(diǎn)和它們鄰域的差值不超過規(guī)定的T閾值時(shí)，仍保留這些點(diǎn)的像素灰度值。這樣處理后的圖像比直接采用公式(1)的模糊度要小。當(dāng)某些點(diǎn)的灰度值與各鄰點(diǎn)灰度的均值差別較大時(shí)，它可能是噪聲，則取其鄰域平均值作為該點(diǎn)的灰度值。

2) 中值濾波算法

中值濾波在算法設(shè)計(jì)上是使與周圍像素灰度值相差較大的點(diǎn)處理后能與周圍的像素灰度值比較接近，因此可以衰減隨機(jī)噪聲，尤其是脈沖噪聲等，并且在處理時(shí)不是簡(jiǎn)單地取均值，因而產(chǎn)生的模糊要少得多。圖3是對(duì)圖1中(c)和(d)進(jìn)行中值濾波后的紙張圖像效果。由實(shí)驗(yàn)觀察可知，中值濾波算法既可以消除圖像中的噪聲，又可以保留圖像中的細(xì)節(jié)部分，防止邊緣模糊。

圖3 紙張圖像使用中值濾波去噪處理后的效果

1.3 圖像增強(qiáng)

在本課題研究中對(duì)于圖像的增強(qiáng)采用了直方圖均衡化和灰度變換的方法。采用直方圖均衡化后可使圖像的灰度間距拉開或使灰度均勻分布，從而增大反差，使圖像細(xì)節(jié)清晰，達(dá)到增強(qiáng)的目的。具體步驟如下[13-15]。

第一步，根據(jù)公式計(jì)算原圖像的灰度直方圖p(rk)：

p(rk)=nk/Nk=0,1,…,255

(3)

其中，N為原圖像像素總數(shù)，rk表示第k個(gè)灰度級(jí)，nk表示圖像中灰度級(jí)rk出現(xiàn)的像素的個(gè)數(shù)，p(rk)表示灰度級(jí)出現(xiàn)的概率。

第二步，計(jì)算原圖像的灰度累計(jì)分布函數(shù)sk，并根據(jù)公式求出灰度變換表。

(4)

gk=sk×255/N+0.5

(5)

其中，gk為第k個(gè)灰度級(jí)別變換后的灰度值，0.5的作用是四舍五入。

第三步，根據(jù)灰度變換表，將原圖像各灰度級(jí)映射為新的灰度級(jí)，即可完成直方圖均衡化。圖4是對(duì)圖1中(c)和(d)進(jìn)行直方圖均衡化后的效果圖 ?？梢钥闯?，原來的紙張圖像的灰度集中在較小的區(qū)域內(nèi)，細(xì)節(jié)不清楚，經(jīng)過直方圖均衡化增強(qiáng)后，細(xì)節(jié)清晰可辨。

圖4 紙張圖像使用直方圖均衡化處理后的效果

2 基于LBP方法的紙張表面圖像紋理分析

在系統(tǒng)的設(shè)計(jì)中，將紙張圖像的LBP平均概率分布、期望和方差三個(gè)信息作為特征存入數(shù)據(jù)庫(kù)中，并采用歐式距離分類器，利用向量間的歐式距離作為兩者相似度的測(cè)量，進(jìn)行分類識(shí)別，具體步驟如下[16]。讀取紙張樣本圖像，利用LBP算法計(jì)算出該紙張樣本的LBP概率分布；計(jì)算該LBP概率分布與數(shù)據(jù)庫(kù)中的每一種紙張的平均LBP概率分布的距離；判斷該距離是否在標(biāo)準(zhǔn)差sd范圍內(nèi)；對(duì)于數(shù)據(jù)庫(kù)中的某一種紙張表面缺陷，若求得的距離不在方差范圍內(nèi)，則可以判斷該紙張缺陷不屬于該類別；對(duì)于數(shù)據(jù)庫(kù)中的多個(gè)紙張缺陷類別，若求得的距離在方差范圍內(nèi)，則利用分類器設(shè)計(jì)準(zhǔn)則中的近鄰原則對(duì)該紙張圖像進(jìn)行分類。

對(duì)于N個(gè)紙張缺陷類別，求出要進(jìn)行識(shí)別的紙張圖像和這個(gè)紙張缺陷類別的平均LBP概率分布的距離，對(duì)于以上N個(gè)距離，在數(shù)據(jù)庫(kù)中都分別對(duì)應(yīng)一個(gè)紙張缺陷的期望，即距離的期望，由此可求得這N個(gè)距離(c1，c2，…,cN)和期望的差距。根據(jù)近鄰準(zhǔn)則，可以從以上N個(gè)差距中求出一個(gè)最小差距，即距離某種紙張缺陷的平均LBP概率分布最接近，將這個(gè)最小距離對(duì)應(yīng)的紙張缺陷種類作為被識(shí)別的紙張表面缺陷的類別。

3 基于圖像分析的紙張表面缺陷檢測(cè)系統(tǒng)的實(shí)現(xiàn)

3.1 系統(tǒng)設(shè)計(jì)思路

在對(duì)采集到的圖像進(jìn)行預(yù)處理操作后，接下來是進(jìn)行特征提取，并將提取的特征與保存在數(shù)據(jù)庫(kù)中的類別已知的圖像特征進(jìn)行對(duì)比，根據(jù)相似程度的高低決定最后的識(shí)別結(jié)果。

3.2 系統(tǒng)的功能模塊設(shè)計(jì)

根據(jù)系統(tǒng)的設(shè)計(jì)思路和實(shí)際需要，本檢測(cè)系統(tǒng)總體上分為紙張圖像采集和預(yù)處理模塊、LBP算法特征提取模塊、統(tǒng)計(jì)特征判斷模塊、Visual C++平臺(tái)下的數(shù)據(jù)庫(kù)模塊?；谏鲜龉δ苣K的劃分，本系統(tǒng)各模塊包括的具體功能詳述如下。圖像采集和預(yù)處理模塊包括采集紙張圖像、操作界面、灰度化操作、灰度圖像預(yù)處理、圖像顯示界面、數(shù)據(jù)庫(kù)界面的功能；LBP算法特征提取模塊包括紋理識(shí)別、基本LBP算法、LBP算法均勻模式和LBP算法的旋轉(zhuǎn)不變性；統(tǒng)計(jì)特征判斷模塊包括特征值表、均值和方差計(jì)算，直方圖顯示，判斷函數(shù)的功能；數(shù)據(jù)庫(kù)管理模塊包括紙張表面缺陷圖像訓(xùn)練庫(kù)和樣本庫(kù)、標(biāo)準(zhǔn)直方圖庫(kù)。

3.3 系統(tǒng)工作流程設(shè)計(jì)

結(jié)合系統(tǒng)的設(shè)計(jì)思路和各功能模塊的組成，為提高系統(tǒng)的執(zhí)行效率，整個(gè)紙張表面缺陷檢測(cè)系統(tǒng)的工作流程可按以下步驟進(jìn)行：首先采集紙張表面圖像，進(jìn)行灰度化、降噪、增強(qiáng)等圖像處理，然后提取圖像的LBP特征值，與數(shù)據(jù)庫(kù)中的樣本參數(shù)進(jìn)行匹配、分類，最后計(jì)算系統(tǒng)的識(shí)別率。具體的工作流程如圖5所示。

3.4 紙張表面缺陷檢測(cè)系統(tǒng)集成

3.4.1 檢測(cè)系統(tǒng)的硬件構(gòu)成

鑒于線陣CCD相機(jī)在工業(yè)生產(chǎn)上的性能和質(zhì)量檢測(cè)上的優(yōu)勢(shì)，在本課題的檢測(cè)系統(tǒng)中，采用線陣CCD相機(jī)和轉(zhuǎn)動(dòng)滾筒等采集設(shè)備。其中，線陣CCD選用德國(guó)進(jìn)口的Basler L301kc，鏡頭選用Nikon AF NIKKOR 24mm F/2.8鏡頭。

本檢測(cè)系統(tǒng)的硬件裝置如圖6所示，在工作臺(tái)上安裝線陣CCD照相機(jī)，在勻速旋轉(zhuǎn)(250 r/min，約150 m/min)的滾筒上裝載待檢測(cè)的紙張樣本圖像，采用2根T8高頻熒光燈管為照明光源，構(gòu)建了用于紙張表面缺陷檢測(cè)的簡(jiǎn)易實(shí)驗(yàn)裝置，用以模擬紙張生產(chǎn)和印刷行業(yè)中實(shí)際情況下的紙張表面缺陷檢測(cè)過程。

本文所使用的計(jì)算機(jī)配置為聯(lián)想啟天M820E型號(hào)，其基本配置為Intel Pentium Duo-Core E5200處理器，主頻2.5GHz，2G DDR2內(nèi)存，采集卡采用Matrox公司的Solios XCL，旋轉(zhuǎn)編碼器采用E6B2-CWZ6C。

圖5 系統(tǒng)工作流程圖

圖6 檢測(cè)系統(tǒng)的硬件裝置

3.4.2 檢測(cè)系統(tǒng)的軟件構(gòu)成

軟件組成是該檢測(cè)系統(tǒng)的重點(diǎn)組成部分。本系統(tǒng)采用的操作系統(tǒng)為Microsoft Windows XP Service Pack2，利用Microsoft Visual C++ 平臺(tái)，創(chuàng)建MFC應(yīng)用程序。其中系統(tǒng)界面的設(shè)計(jì)基本遵循了操作簡(jiǎn)單、界面友好簡(jiǎn)潔的設(shè)計(jì)理念。通過MFC提供的應(yīng)用程序向?qū)Ш透鞣N控件的調(diào)用和配置，通過菜單的設(shè)計(jì)和對(duì)話框的使用，結(jié)合數(shù)據(jù)庫(kù)的應(yīng)用，完成了系統(tǒng)的界面設(shè)計(jì)，實(shí)現(xiàn)了圖像的顯示、預(yù)處理、特征提取、直方圖顯示、識(shí)別等功能。

3.5 數(shù)據(jù)庫(kù)

3.5.1 Visual C++平臺(tái)下數(shù)據(jù)庫(kù)的應(yīng)用

目前應(yīng)用的數(shù)據(jù)庫(kù)大多為關(guān)系數(shù)據(jù)庫(kù)，關(guān)系數(shù)據(jù)庫(kù)的基礎(chǔ)是關(guān)系模型。關(guān)系模型提供了優(yōu)異的數(shù)據(jù)獨(dú)立性和數(shù)據(jù)相容性，由3個(gè)部分組成，即，數(shù)據(jù)結(jié)構(gòu)、完整性規(guī)則、完整操作。在Visual c++平臺(tái)中采用3種方式實(shí)現(xiàn)數(shù)據(jù)庫(kù)的訪問，即，ODBC、OLE DB、ADO。ADO訪問數(shù)據(jù)庫(kù)有三個(gè)核心對(duì)象，即Connection對(duì)象、Command對(duì)象、RecordSet對(duì)象。需要注意的是，在VC中利用ADO訪問數(shù)據(jù)庫(kù)時(shí)，首先需要導(dǎo)入ADO庫(kù)，方法是利用import指令將動(dòng)態(tài)鏈接庫(kù)導(dǎo)入到頭文件stdafx.h中。

3.5.2 數(shù)據(jù)庫(kù)的設(shè)計(jì)

本系統(tǒng)的數(shù)據(jù)庫(kù)采用SQL Server 2000,在VC中使用ADO進(jìn)行數(shù)據(jù)庫(kù)的訪問?？紤]到本系統(tǒng)的數(shù)據(jù)庫(kù)的實(shí)體只有紙張圖像樣本，為分析紙張表面缺陷圖像的屬性，設(shè)計(jì)了數(shù)據(jù)庫(kù)中表的字段，這些信息包括：紙張缺陷的名稱、紙張缺陷圖像的LBP特征分布、紙張缺陷樣本的期望及其方差。其中，在數(shù)據(jù)表的設(shè)計(jì)過程中，要根據(jù)上述四個(gè)屬性，設(shè)計(jì)屬性字段，并對(duì)每個(gè)字段的數(shù)據(jù)類型進(jìn)行定義。在本系統(tǒng)中，對(duì)紙張表面缺陷圖像數(shù)據(jù)表中字段的設(shè)計(jì)如表1所示。

表1 數(shù)據(jù)表的設(shè)計(jì)

3.6 實(shí)驗(yàn)結(jié)果及分析

本研究用采集到的150張五種常見紙張表面缺陷圖像對(duì)系統(tǒng)進(jìn)行了實(shí)際運(yùn)行測(cè)試，得到了如表2所示的結(jié)果。

表2 實(shí)驗(yàn)結(jié)果

4 結(jié)論及展望

通過分析本系統(tǒng)的實(shí)驗(yàn)結(jié)果，可以得出以下結(jié)論：

1) 本課題設(shè)計(jì)制作的基于圖像分析的紙張表面缺陷檢測(cè)系統(tǒng)運(yùn)行穩(wěn)定性良好，對(duì)比較常見的紙張表面缺陷圖像的識(shí)別率較高。系統(tǒng)所設(shè)計(jì)的主要功能基本上都能實(shí)現(xiàn)，也達(dá)到了之前的設(shè)計(jì)要求。所以總體來說，系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)基本上是成功的。

2) 檢測(cè)系統(tǒng)具有硬件構(gòu)成簡(jiǎn)單實(shí)用、成本低、便于操作；檢測(cè)軟件的界面設(shè)計(jì)簡(jiǎn)潔友好、操作簡(jiǎn)單、擴(kuò)充性強(qiáng)等特點(diǎn)。對(duì)缺陷較明顯的圖像的識(shí)別率要高于紙張缺陷圖像模糊、不易分辨的樣本，這也說明了應(yīng)用LBP方法提取紋理特征并進(jìn)行分類識(shí)別對(duì)于紙張表面缺陷檢測(cè)是可行有效的。

3) 在系統(tǒng)正常運(yùn)行的前提下，紙張表面缺陷圖像的實(shí)際識(shí)別率還有待進(jìn)一步的提高。分析產(chǎn)生這種結(jié)果的原因，主要是因?yàn)閳D像采集時(shí)的光照條件限制和噪聲的影響，同時(shí)，系統(tǒng)的分類器設(shè)計(jì)環(huán)節(jié)還有待于進(jìn)一步改進(jìn)。

4) 與現(xiàn)有的商品級(jí)檢測(cè)設(shè)備相比較，本系統(tǒng)在檢測(cè)速度、精確度、檢測(cè)種類、檢測(cè)幅面等方面還有待提高。

5) 分析處理結(jié)果發(fā)現(xiàn)，對(duì)于同種紙張表面缺陷的不同圖像樣本個(gè)體的識(shí)別率，圖像預(yù)處理效果好的樣本的正確識(shí)別率明顯高于與處理效果不好的樣本，這是由于預(yù)處理效果好的紙張圖像能夠更加準(zhǔn)確和方便地提取LBP特征，從而為后續(xù)的檢測(cè)和識(shí)別環(huán)節(jié)打下良好的基礎(chǔ)。

工作展望:

由于紙張表面缺陷的產(chǎn)生原因多，工藝流程多，因此紙張表面缺陷檢測(cè)系統(tǒng)是一個(gè)相當(dāng)復(fù)雜的系統(tǒng)。雖然本文取得了一定的研究成果，但是系統(tǒng)的識(shí)別率偏低，與開發(fā)產(chǎn)品級(jí)的檢測(cè)系統(tǒng)還有一定的距離，因此，還有許多方面需要改進(jìn)和完善，主要有：

1) 改進(jìn)圖像處理和圖像增強(qiáng)的方法，為后續(xù)的特征提取打下良好的基礎(chǔ)。

2) 對(duì)于其他種類的紙張表面缺陷和一個(gè)樣本中有多種缺陷的檢測(cè)還有待于進(jìn)一步研究。

3) 選擇更多、更有效的紙張表面缺陷特征，如面積、長(zhǎng)寬比、平滑度、白度、透明度等，并將紙張的紋理特征與上述特征加以結(jié)合，從而提高系統(tǒng)的識(shí)別率。

4) 改善特征提取的方法和分類器的設(shè)計(jì)。

本文主要研究的是普通的打印紙、平板紙的表面缺陷檢測(cè)識(shí)別，而在造紙廠和印刷廠的實(shí)際生產(chǎn)環(huán)節(jié)中，紙張的種類繁多，而且外觀、性能和用途也各不相同，而且許多種類的紙張對(duì)表面缺陷檢測(cè)的需求很高。在今后的研究中，將嘗試把研究方法應(yīng)用于這些紙張的表面缺陷檢測(cè)，更好地提高系統(tǒng)的實(shí)用性。

參考文獻(xiàn)：

[1] 邱書波，呂蔭平. 基于DSP的紙張缺陷實(shí)時(shí)檢測(cè)系統(tǒng)設(shè)計(jì)[J].中國(guó)造紙學(xué)報(bào)，2008，23(4):10-16.

Qiu Shubo,Lü Yinping. Design of paper defect real time detecting system based on DSP[J].Transactions of China Pulp and Paper，2008，23(4):10-16.

[2] 谷帥. 基于機(jī)器視覺的紙張缺陷檢測(cè)系統(tǒng)的研究[D].山東：山東輕工業(yè)學(xué)院，2010.

Gu Shuai.Research of inspection system of paper defects based on machine vision[D].Shandong：Shandong Institute of Light Industry,2010.

[3] 劉鑄紅．基于機(jī)器視覺的紙張缺陷檢測(cè)系統(tǒng)[J]．中華紙業(yè)，2009,30(2):64-67.

Liu Zhuhong.A paper surface defect detection system based on machine vision[J]. China Pulp & Paper Industry,2009,30(2):64-67.

[4] 宋文. 不含磨木漿未涂布紙張的表面強(qiáng)度[J].中華紙業(yè)，2012,33(4):25-27.

Song Wen.Relations between surface strength and bulk for uncoated non-wood paper[J]. China Pulp & Paper Industry,2012,33(4): 25-27.

[5] 李灑，臧永華，許英，等. 銅版紙和涂布白卡紙平版膠印印刷質(zhì)量的影響因素[J].中國(guó)造紙,2011,30(6):20-22.

Li Sa, Zang Yonghua, Xu Ying,et al. Factors affecting lithographic offset printability of coated paper and board[J].China Pulp & Paper, 2011，30(6):20-22.

[6] 劉祝華.圖像去噪方法的研究[D].江西：江西師范大學(xué)，2005.

Liu Zhuhua. Research on image De-noising methods[D].Jiangxi: Jiangxi Normal University,2005.

[7] Hajimowlana H S, Muscedere Roberto,Graham A Jullien, et al.An in-cameradata stream processing system for defect detection in web inspection tasks[J].Real-Time Imaging,1999,5(1)：23-34.

[8] Drouin R G,Chamrong C.A new way of testing paper sheet formation[J]．Composites Science and Technology,2001,(61):389-393.

[9] Keller D S, Lewalle J, Luner P. Wavelet analysis of simulated paper formation[J].Paper Japuu-Paper and Tomber,1999，81(7)：499-505.

[10] Jean-Philippe Bernie．Local grammage distribution and formation of paper by light transmission image analysis[J]．Tappi,1996,79：193.

[11] Sham F C, Huang Y H, Liu L, et al. Computerized tomography technique for reconstruction of obstructed temperature field in infrared thermography[J]. Infrared Physics & Technology,2010, 53(1):1-9.

[12] 章毓晉.圖像處理[M].北京：清華大學(xué)出版社，2006.

[13] Yang J, Ume C, Zhang L. Defect detection of flip chip solder bumps with wavelet analysis of laser ultrasound signals[J].IEEE Transactions on advanced packaging, 2010, 33 (1):19-29.

[14] 曾苗，廖廣蘭，張學(xué)坤，等. 基于模態(tài)分析的倒裝芯片缺陷檢測(cè)[J]．震動(dòng)與沖擊，2013,32(6):13-17.

Zeng Miao,Liao Guanglan,Zhang Xuekun,et al. Defects detection for flip chip using modal analysis[J]．Journal of Vibration and Shock, 2013,32(6):13-17.

[15] Han L, Zhong J. Effect of tightening torque on transducer dynamics and bond strength in wire bonding[J].Sensors and Actuators A, 2008, 141: 695-702.

[16] 朱寧.基于LBP的樹葉識(shí)別系統(tǒng)研究與實(shí)現(xiàn)[D].北京：北京林業(yè)大學(xué)，2008.

Zhu Ning. Research and implementation of leaf recognition system based on LBP method[D].Beijing:Beijing Forestry University,2008.