王偉剛 周強(qiáng) 肖強(qiáng)宏

摘 要：為了解決紙張缺陷檢測中多個紙病區(qū)域的提取實時性問題，提出了一種采用“先分塊、后合并”思想直接對實時圖像數(shù)據(jù)流進(jìn)行處理的并行化紙病提取算法。該算法充分利用現(xiàn)場可編程門陣列（FPGA）的并行處理特性，在跨時鐘域?qū)D像數(shù)據(jù)進(jìn)行傳輸?shù)耐瑫r，在另一個分支流程中并行地對分塊缺陷連通域進(jìn)行標(biāo)記以獲取每個缺陷的相對位置坐標(biāo)，最后以包圍盒的形式提取出紙張缺陷區(qū)域。該算法基于分塊思想，分支處理過程不需要消耗主流程額外的處理時間且硬件資源占用率極小。實驗結(jié)果表明，該算法能夠準(zhǔn)確、快速地提取出各種常見紙張缺陷，具有很強(qiáng)的靈活性和實時性，能夠滿足在線紙病檢測的實時性要求。

關(guān)鍵詞：紙病檢測；現(xiàn)場可編程門陣列；連通域標(biāo)記；包圍盒

中圖分類號：TS736+.2

文獻(xiàn)標(biāo)識碼：A

DOI：10.11981/j.issn.1000-6842.2018.04.36

目前，紙病在線檢測系統(tǒng)普遍采用“電荷耦合器件（Charge Coupled Device，CCD）相機(jī)+計算機(jī)”的硬件結(jié)構(gòu)模式，通過CCD高速相機(jī)實時采集紙張圖像數(shù)據(jù)并傳送至檢測系統(tǒng)PC端，系統(tǒng)的核心處理器利用圖像處理技術(shù)對紙張圖像進(jìn)行處理和辨識，實現(xiàn)對黑斑、孔洞、劃痕、裂邊等缺陷的識別和分類[1-3]。但是隨著紙機(jī)車速的提升、紙幅的加寬以及對紙病辨識精度的提高，CCD相機(jī)采集到的海量圖像數(shù)據(jù)，給系統(tǒng)的快速性甚至穩(wěn)定性帶來了巨大沖擊，如何解決打破紙病辨識快速性這一瓶頸已成為當(dāng)前研究紙病檢測技術(shù)的關(guān)鍵問題。

為此，本課題提出了“CCD相機(jī)+FPGA+計算機(jī)”的結(jié)構(gòu)模式，該結(jié)構(gòu)模式下由現(xiàn)場可編程門陣列（Field-Programmable Gate Array，F(xiàn)PGA）完成圖像的一次辨識，對疑似紙病區(qū)域進(jìn)行初步辨識、提取疑似紙病區(qū)域并發(fā)送至計算機(jī)，由計算機(jī)再對紙病區(qū)域進(jìn)行二次辨識，實現(xiàn)紙病的精準(zhǔn)識別和分類。

傳統(tǒng)的紙張缺陷提取算法主要采用包圍盒或連通域標(biāo)記的原理獲取紙張缺陷位置信息，從而將紙張缺陷區(qū)域提取出來。包圍盒是指包含目標(biāo)像素的最小外接矩形，基于包圍盒原理的提取算法結(jié)構(gòu)簡單、處理成本低、易于硬件實現(xiàn)，但僅僅適用于單缺陷的提取。連通域標(biāo)記是指將二值圖像中符合某種連通規(guī)則（4鄰域、8鄰域等）的多目標(biāo)區(qū)域進(jìn)行標(biāo)記，以便提取出各目標(biāo)區(qū)域的位置信息及特征等參數(shù)，基于連通域標(biāo)記的提取算法按其實現(xiàn)方式主要分為3類[4]：隨機(jī)讀取算法、兩次遍歷算法、多次遍歷算法，其中隨機(jī)讀取算法主要采用鏈碼的形式提取連通域邊界，二次遍歷算法和多次遍歷算法均采用處理等價標(biāo)號的思想對連通域進(jìn)行標(biāo)記，獲取位置信息，兩次和多次掃描算法的區(qū)別在于處理等價標(biāo)號的方式不同。

近年來，不同學(xué)者對缺陷的初步識別和提取做了大量的研究。劉勇等[5-6]提出的算法采用包圍盒原理，只適用于單缺陷識別的場合。劉慧忠等[7-8]基于FPGA平臺上對缺陷區(qū)域進(jìn)行提取，但并沒有說明具體的實現(xiàn)方式。湯偉等[9]提取含有紙張缺陷的整幅紙病圖像并上傳至計算機(jī)，大量圖像數(shù)據(jù)會降低計算機(jī)端處理速度。李茜等[10]采用了隨機(jī)讀取算法，但該算法需要提前緩存圖像數(shù)據(jù)，不適合實時數(shù)據(jù)流處理實現(xiàn)。馬毅超等[11-17]均采用二次遍歷算法對缺陷區(qū)域進(jìn)行標(biāo)記，至少需要遍歷圖像兩次。王凱等[18]提出了一種快速掃描算法，單次遍歷中實現(xiàn)標(biāo)號跟蹤，該算法的理論運(yùn)行時間為（M×N+4）個時鐘周期。王堯等[19]將傳統(tǒng)的二次掃描算法改進(jìn)成單次掃描方式，可以提取出單目標(biāo)缺陷。Pandey等[20]對等價標(biāo)號的合并方法進(jìn)行了優(yōu)化，但仍需要多次遍歷。以上文獻(xiàn)中雖采用各種方法和手段對算法進(jìn)行了改進(jìn)和優(yōu)化，并沒有改變以像素點作為最小單元的處

理模式，仍需要單次或多次對幀圖像進(jìn)行遍歷，才能輸出缺陷的位置坐標(biāo)，浪費(fèi)大量的時間，無法滿足實時硬件數(shù)據(jù)流的處理要求。

針對以上缺陷提取算法的不足，本課題提出了一種基于分塊思想的多紙張缺陷一次提取算法。該算法利用“先分塊、后合并”的思想，在圖像預(yù)處理主流程中采用包圍盒原理獲取各個分塊缺陷的外接矩形坐標(biāo)，待預(yù)處理完一幀圖像后，在圖像緩存到同步動態(tài)隨機(jī)存儲器（Synchronous Dynamic Random Access Memory， SDRAM）階段中的另一分支，對跨塊的缺陷區(qū)域進(jìn)行合并標(biāo)記，對合成的缺陷外接矩形坐標(biāo)進(jìn)行更新。缺陷提取算法的主要處理過程在分支流程中完成，不需要消耗額外的主流程處理時間，且無需打斷連續(xù)的數(shù)據(jù)流，大大地提高了硬件系統(tǒng)中缺陷提取算法的處理效率。

1 紙病檢測系統(tǒng)硬件平臺搭建

本課題的紙病檢測系統(tǒng)平臺采用“CCD相機(jī)+FPGA+計算機(jī)”的結(jié)構(gòu)模式，該系統(tǒng)主要由CCD相機(jī)、FPGA數(shù)據(jù)處理系統(tǒng)、上位機(jī)3部分構(gòu)成。該紙病檢測系統(tǒng)硬件結(jié)構(gòu)框圖如圖1所示。其中，CCD相機(jī)選用DALSA公司S2系列線陣相機(jī)S2-12-02K40-00-L，其靈敏度高、對光照的要求更低。FPGA芯片采用Altera公司Cyclone IV系列芯片ep4ce115f29c7n，內(nèi)部含有豐富的硬件資源。SDRAM采用IS42S16160D，主要用于跨時鐘域傳輸中對圖像數(shù)據(jù)的緩存。以太網(wǎng)芯片采用DM9000A，該芯片內(nèi)部集成10/100M自適應(yīng)收發(fā)器，用于FPGA與上位機(jī)的通信。

FPGA在整個硬件系統(tǒng)中起到協(xié)處理器的作用，主要是利用FPGA的數(shù)據(jù)并行流水線處理能力對紙病進(jìn)行一次辨識，判斷出疑似紙病，提取出疑似紙病區(qū)域并通過以太網(wǎng)接口將該區(qū)域發(fā)送至計算機(jī)，而計算機(jī)則負(fù)責(zé)紙病的二次辨識，對紙病進(jìn)行精確的識別和分類。由于FPGA承擔(dān)了98%以上的圖像數(shù)據(jù)處理任務(wù)，從而解決了系統(tǒng)的實時性問題[3]。本文主要說明利用FPGA實現(xiàn)基于分塊思想的多紙張缺陷一次提取算法。

2 多紙病提取算法

2.1 算法思想

該算法采用“先分塊、后合并”的思想將整張圖像劃分成多個區(qū)域塊，利用包圍盒原理初步獲取存在缺陷的各分塊缺陷外接矩形坐標(biāo)，對于跨區(qū)域塊缺陷則需要進(jìn)一步采用連通域標(biāo)記算法對區(qū)塊進(jìn)行合并，得到合并后的完整缺陷外接矩形坐標(biāo)信息，從而完成對所有紙張缺陷區(qū)域的提取。

多紙病區(qū)域提取算法流程圖如圖2所示。主要包括紙張圖像分塊、包圍盒處理、缺陷連通域標(biāo)記、更新缺陷外接矩形坐標(biāo)、存儲參數(shù)5部分，其中紙張圖像分塊和包圍盒處理兩部分位于主處理流程中，消耗2個時鐘周期。缺陷連通域標(biāo)記、更新缺陷外接矩形坐標(biāo)、存儲參數(shù)部分處于分支流程中，不占用主流程處理時間。

總的來說，該算法占用資源少、處理速度快，尤其適用于在圖像目標(biāo)的檢測場合中實現(xiàn)硬件加速，因此該算法不僅適用于在線紙病檢測系統(tǒng)，同時也適用于其他實時性較強(qiáng)的應(yīng)用中，可以針對不同的應(yīng)用場合靈活控制分塊的數(shù)量，完成對圖像目標(biāo)的檢測和提取，以提高系統(tǒng)的實時性。

4 結(jié) 論

針對紙病檢測系統(tǒng)中多紙張缺陷提取的實時性要求，提出了一種基于分塊思想的多紙張缺陷一次提取算法。算法結(jié)合包圍盒和連通域標(biāo)記的特點，采用“先分塊、后合并”的思想，在實時數(shù)據(jù)流處理的分支中完成紙張缺陷目標(biāo)的檢測，并以包圍盒的形式給出位置坐標(biāo)，從而準(zhǔn)確地提取出常見各類紙張缺陷區(qū)域。與目前常用的缺陷區(qū)域標(biāo)記算法相比較，該算法具有以下優(yōu)勢：①可以針對不同場合缺陷的出現(xiàn)概率以及檢測精度，靈活控制分塊的數(shù)量，從而進(jìn)一步提高算法的執(zhí)行效率；②占用硬件資源少，且算法結(jié)構(gòu)簡單，易于硬件的并行實現(xiàn)；③運(yùn)行速度塊，在本文實驗測試環(huán)境下，該算法的運(yùn)行時間僅僅為其他算法的1/100，有效地保證了紙病檢測系統(tǒng)的實時性要求。

參 考 文 獻(xiàn)

[1] WANG Ya-bo， ZHOU Qiang， WANG Wei-gang， et al. The Secondary Identification of Paper Defects Based on Adaptive Neural-fuzzy Inference System[J]. China Pulp & Paper， 2017， 36（12）： 56.

王亞波， 周 強(qiáng)， 王偉剛， 等. 基于自適應(yīng)神經(jīng)模糊推理系統(tǒng)的紙病二次辨識[J]. 中國造紙， 2017， 36（12）： 56.

[2] ZHOU Qiang， CHEN Ying， SHEN Tian-yu， et al. Review on the Development of Paper Defect Detection System Based on Machine Vision Technology[J]. China Pulp & Paper， 2016， 35（5）： 72.

周 強(qiáng)， 陳 穎， 沈天宇， 等. 基于機(jī)器視覺的紙病檢測系統(tǒng)發(fā)展綜述[J]. 中國造紙， 2016， 35（5）： 72.

[3] WANG Zheng， ZHOU Qiang， LI Min， et al. Optimal Control of Light Source in Paper Defect Detection System Based on Bacterial Colony Algorithm[J]. Transactions of China Pulp and Paper， 2017， 32（4）： 47.

王 崢， 周 強(qiáng)， 李 敏， 等. 基于菌群算法的紙病檢測系統(tǒng)光源優(yōu)化控制[J]. 中國造紙學(xué)報， 2017， 32（4）： 47.

[4] YUAN Kui， HE Wen-hao， XIAO Han. Design for Embedded Image Processing on FPGAs[M]. Beijing： Publishing House of Electronics Industry， 2013： 300.

原 魁， 何文浩， 肖 晗. 基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計[M]. 北京： 電子工業(yè)出版社， 2013： 300.

[5] LIU Yong， ZHOU Qiang， LIU Tao， et al. Paper Defect Pretreatment System Based on FPGA[J]. China Pulp & Paper， 2013， 32（8）： 46.

劉 勇， 周 強(qiáng)， 劉 濤， 等. 基于FPGA的紙病預(yù)處理系統(tǒng)[J]. 中國造紙， 2013， 32（8）： 46.

[6] DAI Hua-dong， HU Mou-fa， LU Huan-zhang， et al. Design and implementation of target detection algorithm based on connected-domain labeling[J]. Modern Electronic Technology， 2015， 38（20）： 71.

戴華東， 胡謀法， 盧煥章， 等. 基于連通域標(biāo)記的目標(biāo)檢測算法設(shè)計與實現(xiàn)[J]. 現(xiàn)代電子技術(shù)， 2015， 38（20）： 71.

[7] LIU Hui-zhong， TANG Wei. The Implement of Web Inspection Preprocessing Algorithm Based on FPGA[J]. Transactions of China Pulp and Paper， 2014， 29（1）： 53.

劉慧忠， 湯 偉. 基于FPGA的紙病檢測預(yù)處理算法的實現(xiàn)[J]. 中國造紙學(xué)報， 2014， 29（1）： 53.

[8] DANG Hong-she， WANG Li， ZHOU Qiang. Design of Paper Defect Extraction System Based on FPGA[J]. Transactions of China Pulp and Paper， 2014， 29（3）： 43.

黨宏社， 王 黎， 周 強(qiáng). 基于FPGA的紙病提取系統(tǒng)的設(shè)計[J]. 中國造紙學(xué)報， 2014， 29（3）： 43.

[9] TANG Wei， WANG Xian-tong， WANG Feng， et al. Design and Implementation of Web Inspection System Based on FPGA and CCD Camera[J]. China Pulp & Paper， 2016， 31（1）： 57.

湯 偉， 王先通， 王 鋒， 等. 基于FPGA和CCD相機(jī)的紙病檢測系統(tǒng)的設(shè)計與實現(xiàn)[J]. 中國造紙學(xué)報， 2016， 31（1）： 57.

[10] LI Qian， WEN Hao， QU Yun-hui， et al. Application of Edge Tracking Algorithm to Multiple Paper Defects Segmentation[J]. China Pulp & Paper， 2017， 36（8）： 41.

李 茜， 文 豪， 曲蘊(yùn)慧， 等. 邊緣跟蹤算法在多紙病圖像分割中的應(yīng)用[J]. 中國造紙， 2017， 36（8）： 41.

[11] MA Yi-chao， TAO Ya-fan， WU Long-sheng， et al. FPGA-Based Binary Connected Component Detection and Labeling Algorithm[J]. Microelectronics & Computer， 2017， 34（1）： 119.

馬毅超， 陶亞凡， 吳龍勝， 等. 基于 FPGA 的二值圖片連通區(qū)域標(biāo)記算法[J]. 微電子學(xué)與計算機(jī)， 2017， 34（1）： 119.

[12] He Lifeng， Chao Yuyan， Suzuki Kenji， et al. Fast connected-component labeling[J]. Pattern Recognition， 2009， 42（9）： 1977.

[13] LUO Zhi-Zao， ZHOU Ying-wu， ZHENG Zhong-kai. Optimizing Algorithm of Labeling Connected Components in Binary Images[J]. Journal of Anqing Normal University（Natural Science Edition）， 2010， 16（4）： 34.

羅志灶， 周贏武， 鄭忠楷. 二值圖像連通域標(biāo)記優(yōu)化算法[J]. 安慶師范大學(xué)學(xué)報（自然科學(xué)版）， 2010， 16（4）： 34.

[14] ZHAO Fei， ZHANG Lu， ZHANG Zhi-yong， et al. A Hardware Acceleration Based Algorithm for Real-time Binary Image Connected-component Labeling[J]. Journal of Electronics & Information Teclonogy， 2011， 33（5）： 1069.

趙 菲， 張 路， 張志勇， 等. 基于硬件加速的實時二值圖像連通域標(biāo)記算法[J]. 電子與信息學(xué)報， 2011， 33（5）： 1069.

[15] NIU Lian-qiang， PENG Min， SUN Zhong-li， et al. Fast Connected Components Labeling by Propagating Labels of Run Sets[J]. Journal of Computer-Aided Design and Computer Graphics， 2015， 27（1）： 128.

牛連強(qiáng)， 彭 敏， 孫忠禮， 等. 利用游程集合的標(biāo)號傳播實現(xiàn)快速連通域標(biāo)記[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報， 2015， 27（1）： 128.

[16] MA Yi-hang， ZHAN Li-jun， XIE Chuan-jie， et al. Parallelization of Connected Component Labeling Algorithm[J]. Geography and Geo-Information Science， 2013， 29（4）： 67.

馬益杭， 占利軍， 謝傳節(jié)， 等. 連通域標(biāo)記算法的并行化研究[J]. 地理與地理信息科學(xué)， 2013， 29（4）： 67.

[17] TAN Xu-bin， XIE Yi-zhuang， CHEN He， et al. Design and Implementation of Connected Domain Markers Based on FPGA[J]. Signal Processing， 2011， 27（11）： 1729.

譚許彬， 謝宜壯， 陳 禾， 等. 基于FPGA的連通域標(biāo)記設(shè)計與實現(xiàn)[J]. 信號處理， 2011， 27（11）： 1729.

[18] WANG Kai， SHI Long-zhao. Design and implementation of fast connected component labeling algorithm based on FPGA[J]. Computer Engineering and Applications， 2016， 52（18）： 192.

王 凱， 施隆照. 基于FPGA的快速連通區(qū)域標(biāo)記算法的設(shè)計與實現(xiàn)[J]. 計算機(jī)工程與應(yīng)用， 2016， 52（18）： 192.

[19] WANG Yao， YU Zu-jun， WANG Zhong-wei， et al. Hardware Implementation of Detection Algorithm for Clearance Based on FPGA[J]. Journal of The China Railway Society. 2016， 38（3）： 84.

王 堯， 余祖俊， 王中衛(wèi)， 等. 基于FPGA的鐵路異物檢測算法的硬件實現(xiàn)[J]. 鐵道學(xué)報， 2016， 38（3）： 84.

[20] Pandey J G， Karmakar A， Mishra A K， et al. Implementation of an improved connected component labeling algorithm using FPGA-based platform[C]// International Conference on Signal Processing and Communications. IEEE， 2014： 255.