梁 銳，韓震宇

(四川大學(xué)機(jī)械工程學(xué)院，四川 成都 610065)

1 引言

檢測(cè)算法在印刷品缺陷檢測(cè)系統(tǒng)中的研究和實(shí)現(xiàn)是技術(shù)關(guān)鍵[1]。在印刷品缺陷的檢測(cè)中，由于印刷圖案一般預(yù)先不可知且多要求在線檢測(cè)，因此工業(yè)上常使用兩幅圖像進(jìn)行差分的方式來(lái)尋找缺陷的存在，即差影檢測(cè)法。在差影檢測(cè)法中，校正的精度將直接影響后續(xù)檢測(cè)結(jié)果的準(zhǔn)確性和精準(zhǔn)性[2]。然而這種方法不能保證在兩個(gè)時(shí)刻點(diǎn)圖像采集的環(huán)境一致，具體的環(huán)境波動(dòng)如印刷品的拉伸形變、印刷品的左右擺動(dòng)、線陣相機(jī)觸發(fā)脈沖不均勻，從而導(dǎo)致圖像產(chǎn)生畸變無(wú)法直接通過(guò)一次配準(zhǔn)和差影的方式獲得精準(zhǔn)的檢測(cè)結(jié)果。為了提高印刷品的精度，武漢大學(xué)田敏[1]提出分區(qū)域分等級(jí)的印刷品缺陷檢測(cè)方法，其根據(jù)印刷品不同區(qū)域的不同的特征和重要性來(lái)設(shè)定不同的檢測(cè)等級(jí)，但該方法在特殊區(qū)域無(wú)法對(duì)微小缺陷進(jìn)行檢測(cè)。此外，還有的學(xué)者利用一些數(shù)學(xué)變換，如剛體變換、仿射變換、多項(xiàng)式變換來(lái)進(jìn)行圖像幾何校正，如楊曉妍[3]提出了一種針對(duì)畸變印刷品字符校正的多項(xiàng)式自尋優(yōu)化改進(jìn)方法，利用菌群算法對(duì)畸變區(qū)域進(jìn)行控制點(diǎn)自尋優(yōu)，從而達(dá)到字符畸變區(qū)域最優(yōu)校正的目的，但是該算法主要針對(duì)印刷字體畸變嚴(yán)重情況且計(jì)算量大響應(yīng)慢，適用于小圖幅圖像檢測(cè)。

通過(guò)觀察印刷品被檢圖像中的畸變形狀特征，發(fā)現(xiàn)圖像主要發(fā)生漸變拉伸和錯(cuò)位現(xiàn)象，針對(duì)以上現(xiàn)象給印刷品質(zhì)量檢測(cè)帶來(lái)位置噪聲，提出一種基于角點(diǎn)優(yōu)化的印刷品質(zhì)量動(dòng)態(tài)在線檢測(cè)方法。仿真證明，該方法能夠有效降低以上畸變現(xiàn)象帶來(lái)的噪聲，降低信噪比，提高在線檢測(cè)精度，具有一定的生產(chǎn)指導(dǎo)意義。

2 印刷品質(zhì)量動(dòng)態(tài)檢測(cè)原理

目前工業(yè)上印刷品質(zhì)量檢測(cè)的流程基本為：對(duì)圖像和模板圖像進(jìn)行預(yù)處理，對(duì)預(yù)處理后的圖像進(jìn)行模板匹配使得兩幅圖像位置配準(zhǔn)，然后利用差影的方式結(jié)合評(píng)判標(biāo)準(zhǔn)來(lái)找出在印刷品中所存在的缺陷[4]。但是實(shí)際生產(chǎn)過(guò)程中的環(huán)境復(fù)雜，兩幅圖像的生成時(shí)刻點(diǎn)不同，圖像采集過(guò)程中會(huì)受到環(huán)境波動(dòng)的影響，直接反映在圖像上就是會(huì)導(dǎo)致圖像發(fā)生平移、拉伸、重影等畸變現(xiàn)象。

在采集兩幅圖像線陣相機(jī)觸發(fā)脈沖不均勻性將會(huì)導(dǎo)致縱向位置噪聲，兩幅圖像的觸發(fā)間隔分別為ΔL1、ΔL2，如圖1所示。

圖1 相機(jī)觸發(fā)脈沖不均勻產(chǎn)生的影響

在圖1中在第一幅圖像的第6個(gè)脈沖和的第二幅圖像第7的脈沖所掃描內(nèi)容大致相同，但是兩幅圖像的第6個(gè)脈沖所掃描的圖像相差甚遠(yuǎn)，兩者無(wú)法直接進(jìn)行差影比較。該情況出現(xiàn)的條件為

(1)

在理想情況下，認(rèn)為印刷物品為剛性物體，然而對(duì)于在線檢測(cè)過(guò)程中，印刷品因受到機(jī)械作用力而產(chǎn)生一定的伸縮變形，使得印刷品的版周長(zhǎng)度發(fā)生變化且變化不具有規(guī)律性。此外，在印刷過(guò)程中印刷品也會(huì)隨滾筒旋轉(zhuǎn)發(fā)生橫向方向上的擺動(dòng)，從而帶來(lái)橫向位置噪聲。印刷品的位置可以使用設(shè)備坐標(biāo)系來(lái)表述，圖2表示模板圖像與被檢測(cè)圖像由于圖像采集時(shí)間點(diǎn)不一致且印刷品在滾筒發(fā)生橫向擺動(dòng)導(dǎo)致兩幅圖像在設(shè)備坐標(biāo)系中位置不同。

圖2 印刷品的橫向擺動(dòng)

圖像的采集原理也會(huì)造成圖像發(fā)生位置噪聲。圖3(a)為三條黑白的相間的印刷圖像，其中第一條、第二條直線的線寬小于一個(gè)像素，第三條線寬大于一個(gè)像素。圖3(b)和圖3(c)為線陣相機(jī)在采集時(shí)間不一致可能的成像效果，線陣相機(jī)每條掃描線之間的間距并非嚴(yán)格一致，加上相機(jī)成像時(shí)環(huán)境波動(dòng)，因此會(huì)形成圖3(b)和圖3(c)的數(shù)字圖像，這種圖像是原印刷圖像的一種輕微失真圖像。兩幅(模板和被檢)失真或者畸變的圖像，在差影檢測(cè)法中表現(xiàn)就是一種位置噪聲。

圖3 相機(jī)采集圖像

在差影檢測(cè)法中，如果發(fā)生以上位置錯(cuò)位就會(huì)導(dǎo)致結(jié)果誤判，因此圖像應(yīng)該具有隨機(jī)或者定期對(duì)已配準(zhǔn)的位置進(jìn)行動(dòng)態(tài)位置調(diào)整的能力。根據(jù)缺陷在印刷品中總是小概率事件，該動(dòng)態(tài)檢測(cè)法采用最壞預(yù)測(cè)策略，在搜尋過(guò)程中如果采用了其它消除噪聲的方法后差影值依然超差，才可能進(jìn)行動(dòng)態(tài)位置調(diào)整，盡量減小搜索和重新匹準(zhǔn)的代價(jià)。

在進(jìn)行差影比較中，如果某一像素在其它處理歷程完成后灰度依然異常(即超差)，要經(jīng)過(guò)錯(cuò)位判定機(jī)制檢測(cè)無(wú)誤才能將其歸入缺陷集合，否者說(shuō)明圖像發(fā)生錯(cuò)配，需根據(jù)錯(cuò)位判定機(jī)制檢測(cè)結(jié)果信息進(jìn)行動(dòng)態(tài)位置調(diào)整之后返回檢測(cè)流程中繼續(xù)進(jìn)行后續(xù)檢測(cè)環(huán)節(jié)，檢測(cè)流程如圖4所示。

圖4 印刷質(zhì)量動(dòng)態(tài)檢測(cè)流程圖

錯(cuò)位判定機(jī)制是整個(gè)動(dòng)態(tài)位置調(diào)整檢測(cè)的關(guān)鍵，其意味著在圖像中的像素點(diǎn)要不斷的標(biāo)定參考坐標(biāo)系中的位置，因此需要尋找圖像中的某些特征作為錯(cuò)位判定機(jī)制的參考。田亮[5]利用圖像增強(qiáng)進(jìn)行特征點(diǎn)提取并通過(guò)最近鄰方法進(jìn)行匹配實(shí)現(xiàn)圖像的平移校正，但該方法會(huì)進(jìn)行大量的預(yù)處理并需要維持很多特征來(lái)完成圖像配準(zhǔn)。通過(guò)觀察工業(yè)印刷品及圖像特征，發(fā)現(xiàn)印刷品在局部范圍內(nèi)具有一定的剛度，也就是說(shuō)圖像在局部范圍內(nèi)不會(huì)發(fā)生像素級(jí)的形變，因此在局部范圍內(nèi)只需要一個(gè)特征參考即可完成該區(qū)域的錯(cuò)位判定。而圖像上不同特征點(diǎn)的位置調(diào)整能力不相同，其中圖像角點(diǎn)為二維圖像亮度變化十分明顯的點(diǎn)或曲線邊緣上曲率極大值的點(diǎn)[6]，其自身特征和周圍像素特征差異化較大，具有較強(qiáng)的位置調(diào)整能力，容易形成較為精準(zhǔn)的位置配準(zhǔn)。通過(guò)找出圖像中的角點(diǎn)并每個(gè)角點(diǎn)負(fù)責(zé)一塊局部區(qū)域的錯(cuò)位判定，在缺陷檢測(cè)過(guò)程中根據(jù)兩幅圖像合格角點(diǎn)的位置關(guān)系判定圖像中是否發(fā)生位置錯(cuò)位以及根據(jù)兩個(gè)角點(diǎn)提供位置信息進(jìn)行動(dòng)態(tài)位置調(diào)整。

3 基于圖像角點(diǎn)的印刷品質(zhì)量動(dòng)態(tài)檢測(cè)方法研究

3.1 圖像角點(diǎn)檢測(cè)算法

圖像角點(diǎn)(Corner Detection)是計(jì)算機(jī)視覺(jué)系統(tǒng)中用來(lái)獲得圖像特征的一種重要方法，廣泛用于運(yùn)動(dòng)檢測(cè)、圖像匹配、三維建模和目標(biāo)識(shí)別等領(lǐng)域[7]。目前角點(diǎn)檢測(cè)算法中最常見(jiàn)的有Harris角點(diǎn)檢測(cè)算法、Shi-Tomasi角點(diǎn)檢測(cè)算法、FAST檢點(diǎn)檢測(cè)算法、surf檢測(cè)和sift檢測(cè)等等[8]，而其中Harri算法和Shi-tomasi算法在局部特征檢測(cè)中表現(xiàn)優(yōu)越，根據(jù)印刷品局部具有一定的剛度特性，應(yīng)首先考慮這兩種算法。Harris角點(diǎn)檢測(cè)算法是基于Moravec算子提出的，是對(duì)Moravec算子的改良和優(yōu)化，它是通過(guò)Taylor級(jí)數(shù)展開(kāi)法擴(kuò)展Harris角點(diǎn)來(lái)計(jì)算窗口沿任何方向移動(dòng)后的灰度變化情況，用數(shù)學(xué)解析式進(jìn)一步確定特征點(diǎn)，同時(shí)引入了平滑因子，增強(qiáng)抗干擾能力[9]。Harris在圖像上以點(diǎn)I(x，y)以相對(duì)位移(Δx，Δy)進(jìn)行平移，其窗口灰度特性可以根據(jù)點(diǎn)自相關(guān)函數(shù)式(2)計(jì)算得到：

(2)

(3)

式(2)(3)中I(x，y)為圖像的灰度值，Δx，Δy為相對(duì)位移量，W(x，y)表示以點(diǎn)x，y為中心的窗口函數(shù)，一般為高斯加權(quán)函數(shù)，具體如式(4)所示。

(4)

(5)

(6)

式(5)中Ix，Iy分別為圖像在水平方向和垂直方向上的偏導(dǎo)數(shù)。矩陣M(x，y)的特征值大小反映了當(dāng)前位置像素點(diǎn)在局部范圍的突出程度。而Harris算法則通過(guò)響應(yīng)值R來(lái)進(jìn)行圖像角點(diǎn)的判斷。

R=det(M)-k(tr(M))2

(7)

式中det(M)為矩陣M的行列式，tr(M)為矩陣M的跡，如式(8)，(9)所示。

det(M)=λ1λ2=AB-C2

(8)

Tr(M)=λ1+λ2=A+B

(9)

3.2 動(dòng)態(tài)調(diào)整的角點(diǎn)優(yōu)化策略

在圖像的局部范圍內(nèi)可能存在多個(gè)角點(diǎn)，因印刷品具有局部剛度特性，畸變?cè)诰植糠秶鷥?nèi)不會(huì)以像素級(jí)別體現(xiàn)。如果在圖像檢測(cè)過(guò)程中將冗余角點(diǎn)信息存儲(chǔ)將會(huì)導(dǎo)致動(dòng)態(tài)調(diào)整過(guò)程中角點(diǎn)污染和耗用內(nèi)存高等問(wèn)題。假設(shè)圖像分辨率為w，印刷品畸變出現(xiàn)一個(gè)像素差的距離為x，因此可以推導(dǎo)出畸變?cè)趫D像上反映距離像素點(diǎn)個(gè)數(shù)n(剛度有效距離)，λ為調(diào)整系數(shù)。

(10)

通過(guò)Shi-tomasi角點(diǎn)算法對(duì)圖像進(jìn)行處理，提取到的角點(diǎn)放置于集合A中。為尋找圖像中特征最強(qiáng)的角點(diǎn)，對(duì)集合A按照角點(diǎn)響應(yīng)值由大到小排序操作

(11)

式(11)中I表示兩個(gè)數(shù)值的度量函數(shù)，u，v表示集合A中的兩個(gè)角點(diǎn)分別所擁有的響應(yīng)值R信息，σ表示給定的角點(diǎn)評(píng)判標(biāo)準(zhǔn)最小閾值。對(duì)集合A中的每個(gè)響應(yīng)值R進(jìn)行上式運(yùn)算，通過(guò)X次計(jì)算即可完成集合A的排序工作

(12)

式(12)中，c(A)表示為集合A中元素的個(gè)數(shù)，即全局搜索角點(diǎn)的個(gè)數(shù)。其中整個(gè)過(guò)程兩個(gè)響應(yīng)值R有可能從未參與過(guò)式(11)比較，也有可能參與了比較，但是最多只會(huì)比較一次并不會(huì)多次比較。

設(shè)定最終的角點(diǎn)信息有效集合為C，其定義為

C={z，μc(z)|z∈A}

(13)

(14)

式(14)中集合B表示集合C對(duì)應(yīng)排斥集合。根據(jù)式(10)算出來(lái)印刷品剛度有效距離n，每當(dāng)一個(gè)角點(diǎn)被選入最終有效集，其距離大小為n范圍內(nèi)的角點(diǎn)都應(yīng)該舍棄。

B={z0(u0，v0)，z2(u1，v1)，1-μB(z0，z1)|z1∈A}

(15)

(16)

式(15)(16)中z0表示在式(13)中被選入到最終有效集C的角點(diǎn)，lower為向下取整操作。為加速后續(xù)的角點(diǎn)查詢，利用散列表的方式將角點(diǎn)信息進(jìn)行存儲(chǔ)，通過(guò)散列函數(shù)快速查找角點(diǎn)是否在最終有效結(jié)果集中。最終有效集存儲(chǔ)的角點(diǎn)信息為角點(diǎn)的橫向坐標(biāo)和縱向坐標(biāo)，自定義散列函數(shù)為

hash(x，y)=(x×cows+y)%m

(17)

式(17)中cows為所檢圖像像素排數(shù)，m為大于檢測(cè)所需角點(diǎn)數(shù)量的某一質(zhì)數(shù)。

通過(guò)角點(diǎn)篩選后獲得圖像中滿足提供動(dòng)態(tài)檢測(cè)依據(jù)的角點(diǎn)并將其進(jìn)行存儲(chǔ)優(yōu)化以便后續(xù)動(dòng)態(tài)調(diào)整過(guò)程的快速查找。圖5為本文待檢測(cè)圖像，通過(guò)不同方法將所檢測(cè)到的角點(diǎn)信息輸出在相同大小的圖幅中展示，圖中白色表示角點(diǎn)所在位置。圖6為未進(jìn)行角點(diǎn)優(yōu)化之前角點(diǎn)分布圖，圖7為角點(diǎn)優(yōu)化方法角點(diǎn)分布圖。

圖5 被檢圖像

圖6 未優(yōu)化前角點(diǎn)分布圖

圖7 角點(diǎn)優(yōu)化后角點(diǎn)分布圖

可見(jiàn)通過(guò)上述方法優(yōu)化的角點(diǎn)信息具有規(guī)律、不聚集等特性，能夠在局部范圍內(nèi)提供動(dòng)態(tài)調(diào)整參考信息。

4 仿真結(jié)果和分析

為了驗(yàn)證基于圖像角點(diǎn)的印刷品質(zhì)量動(dòng)態(tài)檢測(cè)方法的可行性和有效性，進(jìn)行相關(guān)實(shí)驗(yàn)，實(shí)驗(yàn)設(shè)備配置為CPU為AMD Ryzen 5 2600X Six-Core Processor的微型計(jì)算機(jī)、操作系統(tǒng)為Windows10、實(shí)驗(yàn)環(huán)境為基于opencv庫(kù)的visual studio2019。實(shí)驗(yàn)圖像為項(xiàng)目合作印刷廠商的采集圖像，通過(guò)實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果和分析如下所述。

實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)為目前比較常用的缺陷評(píng)測(cè)指標(biāo)：檢測(cè)精度(precision)，召回率(recall)和F1值(F1-score)。在視覺(jué)領(lǐng)域三者通常是基于像素級(jí)別定義，公式如下[10]：

Pre=TP/(TP+FP)

(18)

Rec=TP/(TP+FN)

(19)

F1=2*Pre*Rec/(Pre+Rrc)

(20)

其中TP表示正確檢測(cè)到的像素點(diǎn)數(shù)，F(xiàn)P表示虛假缺陷像素點(diǎn)數(shù)、FN表示未檢測(cè)到缺陷像素點(diǎn)數(shù)。Precision表示檢測(cè)出來(lái)的缺陷有多少是準(zhǔn)確的，Recall表示所有準(zhǔn)確(已知)的缺陷有多少被檢測(cè)出來(lái)，兩者都是越高越好，F(xiàn)1-score是兩者通過(guò)關(guān)系函數(shù)得出的綜合指標(biāo)。實(shí)驗(yàn)過(guò)程中，分別利用了未進(jìn)行動(dòng)態(tài)調(diào)整、基于普通角點(diǎn)、基于角點(diǎn)優(yōu)化后的方法對(duì)印刷圖像進(jìn)行了檢測(cè)，得到的圖像結(jié)果如表1所示。其中F表示實(shí)驗(yàn)方法，a、b、c分別表示未進(jìn)行動(dòng)態(tài)調(diào)整的普通差影法、基于普通角點(diǎn)動(dòng)態(tài)檢測(cè)法、基于角點(diǎn)優(yōu)化動(dòng)態(tài)檢測(cè)法。

表1 不同方法檢測(cè)精度對(duì)比

通過(guò)對(duì)比表1中三種方法可以看出，方法b、c的FP明顯降低，pre值明顯增高，說(shuō)明通過(guò)動(dòng)態(tài)調(diào)整法可以顯著提高印刷品檢測(cè)精度。方法c在進(jìn)行印刷品缺陷檢測(cè)中的三項(xiàng)評(píng)價(jià)指標(biāo)中都是最高，F(xiàn)P相對(duì)于方法b來(lái)說(shuō)明顯降低，說(shuō)明基于角點(diǎn)優(yōu)化的印刷品質(zhì)量動(dòng)態(tài)檢測(cè)方法能夠有效的抑制由于環(huán)境原因產(chǎn)生的位置噪聲，提高缺陷檢測(cè)的精度。實(shí)驗(yàn)不同方法進(jìn)行圖像缺陷檢測(cè)過(guò)程中得到的處理圖像結(jié)果如圖8所示。

圖8 不同方法檢測(cè)結(jié)果圖像

觀察圖a，左邊呈現(xiàn)橢圓形狀污點(diǎn)為印刷品缺陷，而右邊區(qū)域的零碎污點(diǎn)為圖像畸變帶來(lái)的位置噪聲，通過(guò)對(duì)比圖a，b可知，基于普通角點(diǎn)的動(dòng)態(tài)檢測(cè)方法，在一定程度上可能消除噪聲，但也會(huì)因?yàn)榻屈c(diǎn)污染在原本沒(méi)有噪聲的區(qū)域發(fā)生錯(cuò)配而產(chǎn)生新的噪聲，導(dǎo)致缺陷檢測(cè)不準(zhǔn)確。圖c為提出的基于角點(diǎn)優(yōu)化的動(dòng)態(tài)檢測(cè)方法實(shí)驗(yàn)結(jié)果，圖中的噪聲在3幅圖像中最少，說(shuō)明該方法能夠精準(zhǔn)的對(duì)圖像中的缺陷進(jìn)行提取，并能夠抑制由于檢測(cè)環(huán)境影響所帶來(lái)的圖像位置噪聲，保證圖像缺陷檢測(cè)的精度。

5 結(jié)束語(yǔ)

印刷品印刷質(zhì)量的在線檢測(cè)作為實(shí)現(xiàn)印刷品生產(chǎn)與檢測(cè)一體化的重要過(guò)程，越來(lái)越受到相關(guān)專家學(xué)者的重視。目前基于差影法的印刷品圖像缺陷檢測(cè)過(guò)程中，難以使用簡(jiǎn)便的處理對(duì)環(huán)境所引起的圖像噪聲進(jìn)行抑制，影響檢測(cè)精度，且隨著而來(lái)帶來(lái)大量誤報(bào)、檢測(cè)速度慢等問(wèn)題。為解決上述問(wèn)題，提出一種基于角點(diǎn)優(yōu)化的印刷品質(zhì)量動(dòng)態(tài)檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，所提方法能夠有效緩解當(dāng)前印刷品檢測(cè)中的不足，為該研究方向的深入研究發(fā)展提供思路和理論依據(jù)。