張曉良, 閔雄闊, 翟廣濤, 王 磊

1(上海交通大學(xué) 電子信息和電氣工程學(xué)院, 上海 200240)2(上海密特印制有限公司, 上海 200331)

近年來(lái)隨著中國(guó)經(jīng)濟(jì)的不斷發(fā)展, 走出國(guó)門的人逐年以百萬(wàn)級(jí)數(shù)量增長(zhǎng), 而護(hù)照作為國(guó)人在國(guó)外的唯一有效身份證件, 也越來(lái)越多地被人所擁有和重視. 因而, 護(hù)照質(zhì)量對(duì)于生產(chǎn)商以及使用者都非常重要, 對(duì)于生產(chǎn)商而言是產(chǎn)品的品質(zhì)和口碑, 對(duì)于使用者而言則是當(dāng)護(hù)照被查驗(yàn)時(shí)的真?zhèn)我约巴ㄐ械谋憷? 目前, 護(hù)照制作過(guò)程中的質(zhì)量查驗(yàn)主要是通過(guò)手工檢查和計(jì)算機(jī)視覺(jué)自動(dòng)化查驗(yàn)相結(jié)合的方式進(jìn)行. 由于傳統(tǒng)的質(zhì)量控制是通過(guò)有經(jīng)驗(yàn)的專業(yè)人員來(lái)完成的, 但是手工檢查除了速度慢, 還需要占用大量的人力、物力資源和場(chǎng)地資源[1], 因此, 作為自動(dòng)檢查方法的計(jì)算機(jī)視覺(jué)系統(tǒng)在沒(méi)有上述不利因素的情況下, 在護(hù)照產(chǎn)品的質(zhì)量控制中變得越來(lái)越重要.

計(jì)算機(jī)視覺(jué)系統(tǒng)在許多領(lǐng)域具有廣泛的實(shí)用價(jià)值和意義. 例如, 利用線陣相機(jī)基于小波變換檢測(cè)提取金屬類產(chǎn)品質(zhì)量缺陷的控制測(cè)試系統(tǒng)[2]; 在食品加工過(guò)程中對(duì)食材的外觀品質(zhì)檢測(cè)[3]; 在塑料包裝生產(chǎn)中的智能缺陷檢測(cè)[4]. 然而, 特別是護(hù)照生產(chǎn)質(zhì)量控制過(guò)程中的計(jì)算機(jī)視覺(jué)系統(tǒng)的相關(guān)研究極為少見(jiàn).

護(hù)照本制作的品質(zhì), 主要體現(xiàn)在印刷方面, 常見(jiàn)的質(zhì)量缺陷主要有漏印、飛墨、污點(diǎn)、字符局部或全部漏印、起皺褶、條紋、刀絲、套印不準(zhǔn)、糊版、臟版、墨色過(guò)淺或過(guò)重等[5]. 其中與背景底紋相近色彩的臟版缺陷是比較難以識(shí)別的, 而這種臟版缺陷又可能隨機(jī)出現(xiàn)在護(hù)照的每一頁(yè)中, 對(duì)護(hù)照本整體造成比較嚴(yán)重的影響. 要檢測(cè)這類質(zhì)量缺陷, 主要困難在于其蹭臟的顏色和圖像背景紋理接近, 一般通過(guò)使用常用算法來(lái)檢測(cè)會(huì)造成大量漏廢. 鑒于該質(zhì)量缺陷的方向, 形狀和位置, 可以按照線段的特征對(duì)該缺陷進(jìn)行捕獲. 目前線段檢測(cè)的主要方法有: 線段檢測(cè)分割算法[6]; 或者是基于亥姆霍茲原理, 無(wú)參數(shù)的數(shù)字圖像直線段檢測(cè)[7]; 以及基于霍夫變換的直線改進(jìn)型檢測(cè)[8–10]; 還有基于動(dòng)態(tài)事件視覺(jué)傳感器的線段檢測(cè)等[11]. 根據(jù)臟版缺陷的特點(diǎn), 在圖像上呈現(xiàn)的效果較為模糊, 簡(jiǎn)單的線段檢測(cè)方法可能無(wú)法有效獲取全部缺陷.

本文的目的: 1) 準(zhǔn)備護(hù)照印刷樣本并構(gòu)建圖像處理平臺(tái); 2) 獲取樣本圖像, 并運(yùn)用適當(dāng)?shù)木€段檢測(cè)算法和改進(jìn)的模板匹配[12]方法來(lái)分析臟版缺陷; 3) 運(yùn)用多尺度分析被檢測(cè)的樣本結(jié)果; 4) 驗(yàn)證該方法的可行性.

1 圖像獲取及預(yù)處理

1.1 計(jì)算機(jī)視覺(jué)系統(tǒng)和護(hù)照?qǐng)D像獲取

本文提到的計(jì)算機(jī)視覺(jué)系統(tǒng)[13]被裝載在北京大恒圖像視覺(jué)有限公司的護(hù)照質(zhì)量檢測(cè)機(jī)上, 并采用Chromasense?線性陣列相機(jī)[14]檢測(cè)護(hù)照產(chǎn)品. C＃被用于計(jì)算機(jī)視覺(jué)系統(tǒng)的軟件開(kāi)發(fā)環(huán)境, 核心檢測(cè)算法[15]源于HALCON[16]. HALCON是一套由數(shù)千個(gè)獨(dú)立功能和底層數(shù)據(jù)管理核心組成的圖像處理庫(kù). 它包含“過(guò)濾”, “顏色和幾何”, “數(shù)學(xué)變換”, “形態(tài)分析”, “校準(zhǔn)”,“分類和識(shí)別”[17], “形狀搜索”[18]和 “圖像計(jì)算”等算法功能.

如上所述, 現(xiàn)有的檢測(cè)系統(tǒng)是基于HALCON的算法庫(kù)和大恒公司的機(jī)器. 計(jì)算機(jī)視覺(jué)檢測(cè)系統(tǒng)的示意圖如圖1所示.

圖1 計(jì)算機(jī)視覺(jué)系統(tǒng)示意圖

護(hù)照按順序傳輸?shù)綀D像采集單元, 線性陣列相機(jī)拍攝圖像, 并將圖像數(shù)據(jù)發(fā)送到服務(wù)器進(jìn)行分析. 護(hù)照質(zhì)量檢測(cè)設(shè)備的實(shí)際圖如圖2所示.

圖2 計(jì)算機(jī)視覺(jué)系統(tǒng)實(shí)際圖

該護(hù)照質(zhì)量檢測(cè)設(shè)備的運(yùn)行速度為5000（本/張）/時(shí). 相機(jī)的分辨率為4096像素. 此外, 設(shè)置像素行之間的中心到中心間距為3像素, 并具有大于50dB的動(dòng)態(tài)范圍. 相機(jī)的主要參數(shù)如表1所示.

表1 相機(jī)主要參數(shù)

從檢測(cè)系統(tǒng)收集而來(lái)的樣本標(biāo)準(zhǔn)圖像如圖3(a)所示. 該圖為護(hù)照24–25頁(yè)的一個(gè)中張樣本, 從整張圖像上來(lái)看, 上下兩個(gè)圖像是完全一致的. 根據(jù)護(hù)照?qǐng)D像質(zhì)量的要求為: 印刷后的產(chǎn)品色澤清晰, 顏色之間沒(méi)有串色和混色, 票面整潔等.

圖3 樣本標(biāo)準(zhǔn)圖像和含有臟版缺陷的樣本

在前文的介紹中大致提到了會(huì)在護(hù)照票面上產(chǎn)生的臟版缺陷. 這種臟版缺陷通常呈現(xiàn)為線性, 并且垂直于樣本的上下兩個(gè)底部邊緣, 同時(shí)臟版缺陷主要集中產(chǎn)生在圖像的中間區(qū)域, 延伸到圖像的兩個(gè)邊緣. 而形成臟版缺陷的原理是油墨溢流輥導(dǎo)致印刷過(guò)程中的產(chǎn)品染色. 由于臟版缺陷的形成是印刷色彩堆疊, 而油墨的顏色又與底紋的顏色一致, 因此在采集速度較快、算法較為簡(jiǎn)單的條件下難以直接識(shí)別這類缺陷.

臟版缺陷的兩個(gè)典型圖像如圖3(b)(c)所示, 用肉眼即可看見(jiàn). 在樣本中間位置分別有棕色和藍(lán)色的線條, 其中這兩個(gè)缺陷都擴(kuò)展到圖像的上部和下部.

1.2 預(yù)處理

在使用線段檢測(cè)分割算法之前, 需要對(duì)采集到的圖像進(jìn)行預(yù)處理, 來(lái)滿足算法的要求. 因此, 我們將原始圖像轉(zhuǎn)換為P5型的PGM文件, 作為便攜式灰色地圖文件格式. 轉(zhuǎn)換為灰度圖后, RGB通道上的每個(gè)像素的值表示為單通道的亮度, 即為灰度值, 其范圍為0～255. 使用Matlab進(jìn)行圖像轉(zhuǎn)換的結(jié)果如圖4所示.

圖4 樣本的PGM圖像

2 方法和分析

2.1 線段檢測(cè)分割算法

LSD (Line Segment Detector)是一種線段檢測(cè)分割算法, 能夠在線性的時(shí)間內(nèi)得出亞像素級(jí)精度的檢測(cè)結(jié)果. 其目標(biāo)是對(duì)圖像中局部的直線輪廓進(jìn)行檢測(cè), 其中包括兩個(gè)重要因素即: 梯度和水平線. 線段檢測(cè)分割算法要求原始圖像只允許以灰度圖像格式作為輸入,輸出則是分割的直線. 圖像的一般處理過(guò)程如下.

(1)圖像尺度變換[19]

線段檢測(cè)分割算法首先要對(duì)圖像進(jìn)行尺度變換,用于減弱乃至消除圖像中出現(xiàn)的鋸齒效應(yīng), 通過(guò)高斯降采樣來(lái)實(shí)現(xiàn)圖像的縮放, 高斯核的標(biāo)準(zhǔn)差計(jì)算為在這里作為尺度縮放因子.

(2) 梯度計(jì)算

(3) 梯度排序

梯度排序的處理對(duì)最終結(jié)果具有特定的影響. 此外, 梯度排序是一種偽排序, 偽排序的原理基于在最短時(shí)間內(nèi)進(jìn)行以最大梯度的像素為基點(diǎn)展開(kāi), 用于對(duì)像素進(jìn)行有序分類和完成相關(guān)操作.

(4) 梯度閾值

(5) 區(qū)域生長(zhǎng)[20]

(6) 矩形評(píng)估

其余經(jīng)過(guò)NFA(誤報(bào)數(shù)量) 計(jì)算和對(duì)齊點(diǎn)密度設(shè)置, 即可完成圖像處理過(guò)程.

2.2 模板匹配

經(jīng)過(guò)線段檢測(cè)分割算法處理后, 得到只含有臟版缺陷信息的直線分割圖, 在指定區(qū)域的垂直向量用于匹配線性分割模板中是否存在垂直矢量. 利用圖中相關(guān)區(qū)域的垂直線分量, 與標(biāo)準(zhǔn)圖像的直線分割圖進(jìn)行比對(duì), 對(duì)是否含有垂直線段交疊進(jìn)行判斷, 若沒(méi)有交疊的, 即為需要檢測(cè)的臟版缺陷.

垂直線段匹配流程如下, 二值化圖像如圖5所示.

圖5 經(jīng)線段檢測(cè)分割算法處理后的圖像

(1) 通過(guò)線段檢測(cè)分割算法創(chuàng)建基于標(biāo)準(zhǔn)圖像的模板.

(2) 通過(guò)線段檢測(cè)分割算法獲取可能含有缺陷的樣本圖像.

(3) 根據(jù)傳統(tǒng)印刷的相關(guān)經(jīng)驗(yàn), 將在兩條線之間的區(qū)域(見(jiàn)圖5)設(shè)定為檢測(cè)區(qū)域.

(4) 將樣本與檢驗(yàn)范圍上的線段模板進(jìn)行匹配.

2.3 多尺度分析

根據(jù)線段檢測(cè)分割算法和模板匹配的特點(diǎn), 我們可以通過(guò)調(diào)整圖像的尺度來(lái)提高線段檢測(cè)分割算法的執(zhí)行效率, 與此同時(shí)也就提升模板匹配的成功率. 在多尺度的條件下, 我們所分析的模板和樣本結(jié)果如圖所示. 我們嘗試為每個(gè)模板和樣本共設(shè)置9個(gè)尺度. 最終的結(jié)果表明, 圖像放大的尺度越大, 相應(yīng)的噪聲信號(hào)和干擾就越大.

我們可以通過(guò)放大和縮小圖像尺度來(lái)找到用于檢測(cè)這些缺陷的最佳比例值. 樣本(圖7(a)和圖8(a))由于尺度過(guò)小而完全不可檢測(cè). 同樣地, 由于噪聲和干擾的影響, 無(wú)法同時(shí)有效檢測(cè)出兩張樣本的缺陷圖像(圖7(i)和圖8(h)). 此外, 圖8(i)中的臟版缺陷和背景圖案之間存在重疊, 導(dǎo)致無(wú)法正確地識(shí)別該缺陷. 從圖7(b)至圖7(h)以及圖8(b)至圖8(g), 在這些尺度下, 我們可以檢測(cè)樣本的所有臟版缺陷. 而根據(jù)后續(xù)模板匹配的結(jié)果, 所選用的圖像尺度越大, 其模板匹配的成功率越低, 因?yàn)樵肼曅盘?hào)和干擾隨著圖像尺度變大而增加, 從而無(wú)法有效地判斷這線線段到底是否為臟版缺陷. 因此, 為了確保檢測(cè)的準(zhǔn)確性, 還要考慮合適的圖像尺度, 來(lái)提高線段模板匹配的成功率.

上述匹配模板的總結(jié)如下:

(1) 在圖7(a)和圖8(a)中, 因沒(méi)有檢測(cè)到臟版缺陷而導(dǎo)致模板匹配失敗.

圖6 圖像尺度值從0.03到0.3的標(biāo)準(zhǔn)圖像的處理結(jié)果

圖7 圖像尺度值從0.03到0.3的臟版圖像1的處理結(jié)果

圖8 圖像尺度值從0.03到0.3的臟版圖像2的處理結(jié)果

(2) 由于噪聲和干擾信號(hào)很大, 圖7(i)和圖8(h)被低效檢測(cè), 該因素導(dǎo)致模板匹配失敗.

(3) 圖7(i)和圖8(h)的尺度是我們可以接受的圖像尺度的近似最大值, 因?yàn)樵趫D8(i)的情況下, 背景圖案和臟版缺陷幾乎不能區(qū)分.

(4) 圖7(b)至圖7(h)以及圖8(b)至圖8(g)能夠正常匹配, 同時(shí)也可以正確地檢測(cè)到這些臟版缺陷.

根據(jù)線段檢測(cè)和模板匹配的測(cè)試結(jié)果, 可以獲得轉(zhuǎn)換尺度對(duì)這些圖像缺陷處理的影響. 具體結(jié)果列于表2.

表2 多尺度分析匯總

通過(guò)多尺度分析, 我們可以發(fā)現(xiàn)這種臟版缺陷的尺度范圍, 其中超限尺度不可用于檢測(cè)該缺陷. 因此,我們可以使用上述結(jié)果來(lái)粗略地確定線段檢測(cè)分割算法的圖像尺度要求.

3 結(jié)果與討論

3.1 結(jié)果

按照上述結(jié)果和分析, 選擇圖3(a)作為標(biāo)準(zhǔn)圖像,將該圖預(yù)處理和分割線段處理作為模板匹配對(duì)象. 通過(guò)將圖像的尺度和角度公差調(diào)整到適當(dāng)?shù)闹? 來(lái)提高線段檢測(cè)分割算法的效率.

(1) 設(shè)置縮放尺度為0.05, 圖像將縮小到原始圖像的5%大小, 確保缺陷的特征突出而不受背景圖文影響.

(2) 設(shè)置角容忍度為60°, 由于缺陷特征為寬線條的垂直狀墨跡, 因此需要更大的角度來(lái)連成一直線確保缺陷的檢出.

通過(guò)上述算法, 基于14個(gè)樣本的結(jié)果如下所示:

線段檢測(cè)分割算法可以檢測(cè)大多數(shù)樣本的臟版缺陷, 因?yàn)闄z測(cè)區(qū)域中的垂直矢量表示圖像的缺陷, 如圖9中的圓圈所示. 通過(guò)采用改進(jìn)的線段檢測(cè)分割算法與模板匹配組合的方法, 可以測(cè)量出14張樣本中的11張缺陷圖像, 成功率達(dá)到78.57%.

圖9 經(jīng)線段檢測(cè)分割算法處理后的圖像 ((a)為標(biāo)準(zhǔn)圖像, (b)至(l)為11張成功檢出的樣本)

3.2 討論

在這個(gè)小樣本集中, 有三個(gè)樣本根據(jù)上述縮放尺度和角度公差無(wú)法檢測(cè). 我們將分別討論其失敗原因:

(1) 在圖10(b)中, 經(jīng)二值化處理后樣本圖像上的缺陷特征幾乎不可見(jiàn). 可想而知, 樣本的檢測(cè)結(jié)果并不理想. 根據(jù)經(jīng)驗(yàn), 是樣本圖像在預(yù)處理過(guò)程中出現(xiàn)了問(wèn)題. 這個(gè)因素導(dǎo)致該缺陷的灰度值與周圍幾乎相同, 無(wú)法正確檢出.(2) 在圖11中, 我們可以發(fā)現(xiàn)樣本圖像的部分缺陷可以被檢測(cè)到. 通過(guò)分析PGM圖像(圖11(a)和圖11(c)), 該缺陷的灰度值與周圍背景圖文相比具有較微弱的變化, 導(dǎo)致梯度方向的判斷不完整. 如果縮放尺度和角度容差仍然為原先設(shè)定的數(shù)值, 則無(wú)法達(dá)到我們預(yù)期所要的效果. 通過(guò)調(diào)整這些參數(shù)的值, 雖然可以恢復(fù)出缺陷的相關(guān)線段, 但卻要為此付出噪音信號(hào)和干擾同時(shí)提升的代價(jià), 這樣會(huì)導(dǎo)致這種臟版缺陷的線段模板匹配遇到問(wèn)題.

圖10 樣本預(yù)處理失敗的圖樣1

圖11 樣本預(yù)處理失敗的圖樣2和3 ((b)和(d)分別為預(yù)處理后圖像2和3)

在這些情況下, 線段檢測(cè)分割算法的多尺度分析并不能完全檢測(cè)出所有的臟版缺陷, 這意味著這種改進(jìn)方法仍然有一些限制. 該方法要求臟版缺陷與周圍背景圖文的色彩具有較為明顯的對(duì)比, 同時(shí)臟版缺陷出現(xiàn)的位置盡量不能與背景圖文中類似的垂直矢量圖像位置重疊. 滿足相關(guān)要求, 并帶有缺陷的樣本圖像,可以通過(guò)上述算法和模板匹配來(lái)精確檢測(cè), 而那些不具有匹配條件的樣本則會(huì)產(chǎn)生一定的漏檢率. 在這樣的情況下, 可能不僅要考慮使用灰度圖像預(yù)處理的方法, 還需要在多色彩通道上使用相關(guān)匹配的方法來(lái)檢測(cè)這類臟版缺陷.

4 總結(jié)

在本文中, 我們關(guān)注了護(hù)照生產(chǎn)過(guò)程中有關(guān)質(zhì)量控制的一些問(wèn)題, 并描述了一種會(huì)在印刷過(guò)程中產(chǎn)生的臟版缺陷的情況. 我們提出了一種改進(jìn)的線段檢測(cè)分割算法和相應(yīng)的線段模板匹配方法, 用來(lái)檢測(cè)護(hù)照中這類質(zhì)量的缺陷. 通過(guò)總結(jié), 該方法分為三個(gè)步驟:首先, 準(zhǔn)備護(hù)照印刷樣本, 并通過(guò)計(jì)算機(jī)視覺(jué)檢查系統(tǒng)來(lái)獲取樣本圖像. 其次, 通過(guò)灰度圖像預(yù)處理, 采用基于線段檢測(cè)分割算法和線段模板匹配的改進(jìn)方法來(lái)實(shí)現(xiàn), 并對(duì)該方法運(yùn)用了圖像多尺度縮放的結(jié)果分析. 最后, 根據(jù)檢測(cè)結(jié)果, 我們分析圖像檢測(cè)失敗的原因, 并提出可能的優(yōu)化方法和方向. 通過(guò)實(shí)驗(yàn)表明, 線段檢測(cè)分割算法和線段模板匹配的改進(jìn)方法是檢測(cè)護(hù)照中臟版缺陷的一種可行方法. 此外, 恰好與背景圖文重疊的臟版缺陷的檢測(cè)問(wèn)題則需要進(jìn)一步的研究.