陳 平，李毅紅

（中北大學(xué) 電子測試技術(shù)國家重點實驗室，太原 030051）

0 引言

隨著自控產(chǎn)業(yè)的發(fā)展，現(xiàn)代工業(yè)中常遇到的分揀工作、摻雜工作，都改變了傳統(tǒng)的手工分揀模式，采用自動控制模式執(zhí)行，如：螺絲的分揀裝包、鋼化玻璃中摻雜小鋼珠等等[1]。而自動化流程執(zhí)行的穩(wěn)定性和可靠性，需要相應(yīng)的檢測系統(tǒng)作為技術(shù)保障，因此小物體掉落的自動檢測成為主攻關(guān)鍵。

考慮到光電檢測技術(shù)的非接觸、適應(yīng)能力強、快速高效、準確、柔性好、可靠性高等特點，光電檢測成為實現(xiàn)小物體掉落檢測的首選方法[2,3]。而且隨著光電檢測技術(shù)的發(fā)展，小物體掉落檢測技術(shù)也逐漸成熟。如美國歐姆龍、日本基恩士等公司都已生產(chǎn)出了相應(yīng)的光電傳感器，但是此類光電傳感器只能檢測物體是否掉落，不具備掉落位置識別功能，如此對于某些行業(yè)中的一排多組掉落情況，則需要增加光電傳感器的數(shù)目，實現(xiàn)每組掉落情況的識別，這樣系統(tǒng)的整體成本較高，不適宜工程化[4]。此外，此類傳感器隨著物體尺寸的減小，其價格也逐漸翻倍增加。因此，從成本角度考慮，在滿足檢測精度前提下，應(yīng)盡量減少檢測系統(tǒng)數(shù)目，即一個檢測系統(tǒng)應(yīng)能夠滿足多組掉落情況的檢測，對此成像方法將成為有效檢測方法。

產(chǎn)生于上世紀70年代初的電荷耦合器件（Charge Coupled Device，CCD）作為現(xiàn)代最重要的圖像傳感器之一，它是由一種高感光度的半導(dǎo)體材料制成的模擬集成電路芯片，借助光學(xué)系統(tǒng)和驅(qū)動電路可以實現(xiàn)物體表面的光反射信息的獲取，其具有靈敏度高、結(jié)構(gòu)簡單、成本低廉，在檢測檢測方面有諸多應(yīng)用。如：利用線陣CCD可以實現(xiàn)物體運動速度、物體外形尺寸等測量[5～8]。面陣CCD可以實現(xiàn)物體跟蹤，3D成像、表面缺陷識別等方面的應(yīng)用[9～12]。對于一排多組的小物體掉落的檢測，僅需線陣CCD即可，但是對于一排多組的檢測系統(tǒng)設(shè)計、設(shè)備選型依據(jù)、以及滿視野成像的光照自適應(yīng)性等方面還需進一步研究。

考慮上述問題，本文針對一組多排的掉落情況進行了研究，設(shè)計了基于線陣CCD的小物體掉落自動檢測系統(tǒng)。論文首先針對一組多排的掉落情況，設(shè)計了線陣CCD檢測系統(tǒng)，并對系統(tǒng)部件的選型進行了說明，同時針對系統(tǒng)所涉及的相關(guān)技術(shù)進行了詳細論述，最后針對玻璃加工過程中摻雜鋼珠的實例，進行了工程應(yīng)用，驗證了系統(tǒng)的穩(wěn)定性和有效性。

1 系統(tǒng)構(gòu)成及其工作原理

1.1 系統(tǒng)構(gòu)成及工作原理

圖1為小物體掉落檢測系統(tǒng)原理圖。 它主要由照明子系統(tǒng)、光學(xué)成像子系統(tǒng)、圖像采集子系統(tǒng)以及計算機等組成。照明子系統(tǒng)由光源、光源控制器構(gòu)成。光學(xué)成像子系統(tǒng)由變焦鏡頭等組成。圖像采集子系統(tǒng)由CCD相機和圖像采集卡等構(gòu)成。進行檢測時，由成像系統(tǒng)獲取圖像數(shù)據(jù)，由軟件進行掉落情況與掉落位置的識別。

圖1 測量系統(tǒng)原理圖

如圖1所示，依據(jù)生產(chǎn)線在線檢測環(huán)境設(shè)計光學(xué)成像子系統(tǒng)，并由圖像采集子系統(tǒng)控制數(shù)據(jù)采集，所采集的圖像數(shù)據(jù)經(jīng)圖像采集卡傳輸?shù)接嬎銠C。考慮實際檢測需求，在光學(xué)成像子系統(tǒng)中需要設(shè)計相應(yīng)的照明子系統(tǒng)，為了提高系統(tǒng)控制的智能性，照明子系統(tǒng)與計算機之間通過光源控制器，以串口通信方式進行光照度的自動調(diào)節(jié)。最后通過對采集回來的數(shù)據(jù)進行處理與識別，并結(jié)果反饋生產(chǎn)設(shè)備，進行反饋控制。

1.2 系統(tǒng)部件選型

1.2.1 線陣相機

線陣相機的選型主要取決于相機的分辨率、采集頻率以及鏡頭焦距。相機的分辨率由檢測物體的直徑?jīng)Q定，采集頻率由物體運動速度決定，鏡頭焦距由分辨率和視野大小決定。

對于掉落的檢測，假設(shè)檢測物體直徑為d，一排有n組掉落，n組總寬為D。為了提高檢測的穩(wěn)定性，對于直徑d的掉落物在圖像上應(yīng)至少反應(yīng)為2～3個像素，則可按如下公式（1）確定圖像分辨率M：

掉落物屬于自由落體運動，假設(shè)在距離掉落點s處進行檢測，根據(jù)重力加速度可計算出檢測點處的掉落物運動速度v為：

公式（2）中的g為重力加速度9.8 m / s。依據(jù)公式（2）可知1秒鐘，掉落運動距離為v，假設(shè)在運動v的過程中，線陣相機應(yīng)至少抓拍一行。依據(jù)公式（1）可知，每行對應(yīng)的實際視場尺寸為d / 2，則相機的采樣頻率k應(yīng)為：

假設(shè)相機安裝在距離掉落物L(fēng)處，同時依據(jù)公式（1）（3）進行相機定型后，CCD芯片尺寸為 d'，從而依據(jù)三角成像原理可確定鏡頭焦距l(xiāng)為：

根據(jù)上述公式（1）、（2）、（3）、（4），待檢測對象和檢測空間尺寸確定后，可以進行相機和鏡頭的選型及設(shè)計。

1.2.2 光源

由于線陣相機感光性能差，同時掉落的物體一般尺寸較小，所以系統(tǒng)采用背光源作為圖像背景。在檢測過程中，通過相機獲取背光源的圖像。當(dāng)有物體掉落時，在背光源的亮背景上出現(xiàn)陰影，所獲得圖像就是包括該陰影的圖像信息，在此基礎(chǔ)上，利用相關(guān)圖像處理技術(shù)，提取掉落物體的空間信息，實現(xiàn)掉落物體的檢測。

在光電檢測中，通常采用高密度LED陣列面提供高強度背光照明，能夠凸顯物體的外形特征，為了避免自然光的影響，系統(tǒng)采用紅色背光源進行光源補償。同時對于滿視野成像，由于鏡頭的一致性問題往往導(dǎo)致所獲取的圖像，中間較亮邊緣較暗，圖像灰度的一致性較差，不利于圖像邊緣區(qū)域的檢測[13]。為此照明子系統(tǒng)設(shè)計為三路獨立控制結(jié)構(gòu)，將中心區(qū)域光照強度調(diào)弱，邊緣區(qū)域相對調(diào)強，以保證滿視野成像范圍內(nèi)的圖像灰度一致性。

2 系統(tǒng)軟件實現(xiàn)的關(guān)鍵技術(shù)

2.1 多線程同步

對于高速運動的物體，一般要求線陣相機具有較高的幀頻，一般能夠達到幾KHz，甚至幾十KHz，如果采用常規(guī)的單線程軟件處理方法，將會占用系統(tǒng)資源較多，主控界面無法實時刷新。在此基礎(chǔ)上進行相關(guān)圖像處理工作，將會直接影響數(shù)據(jù)采集的正常性，不易于高速運動物體的檢測。

而隨著操作系統(tǒng)技術(shù)的發(fā)展，先后出現(xiàn)了多通道程序設(shè)計、分時系統(tǒng)等許多技術(shù)，提高了系統(tǒng)運行的效率。多線程技術(shù)的引入，不但可以挖掘潛在的CPU空閑時間，而且還可以提高應(yīng)用程序反應(yīng)的速度，其優(yōu)點在有多個任務(wù)需要完成和有巨大數(shù)據(jù)流量的程序中反映的尤為突出[14]。因此可以采用多線陣程序設(shè)計方法，對該系統(tǒng)的數(shù)據(jù)采集與數(shù)據(jù)處理進行分時同步執(zhí)行。對于多線線程的同步時程序設(shè)計首要解決的問題，要保證有數(shù)據(jù)可處理，無數(shù)據(jù)重復(fù)處理過程，對此采用事件促發(fā)模式進行響應(yīng)，當(dāng)有新數(shù)據(jù)采集時，促發(fā)數(shù)據(jù)處理事件，執(zhí)行數(shù)據(jù)處理線程。在整個軟件執(zhí)行過程中，數(shù)據(jù)采集線程始終處于觸發(fā)狀態(tài)，保證信息獲取的有效性。

2.2 基于內(nèi)存遞歸訪問的數(shù)據(jù)處理方法

在程序執(zhí)行過程中，受數(shù)據(jù)處理算法復(fù)雜度的影響，數(shù)據(jù)采集時間往往大于數(shù)據(jù)處理時間，易造成在數(shù)據(jù)處理的同時由于內(nèi)存沖突無法實現(xiàn)新數(shù)據(jù)的獲取，影響掉落物的檢測穩(wěn)定性。對此，系統(tǒng)采用了內(nèi)存遞歸訪問方法，避免了內(nèi)存沖突。

該方法首先申請N塊小內(nèi)存組成的大內(nèi)存，每塊小內(nèi)存的大小等同于相機一次數(shù)據(jù)采集的數(shù)據(jù)量。在數(shù)據(jù)采集線程中，依照時間順序?qū)⒉杉臄?shù)據(jù)依次存放于N塊小內(nèi)存中，并賦予相應(yīng)的標志變量。當(dāng)存到第N+1次時，又循環(huán)到第一小內(nèi)存中執(zhí)行。而數(shù)據(jù)處理線程采用同步執(zhí)行方式，依次遞歸處理有標記的小塊內(nèi)存數(shù)據(jù)，處理完畢后清空標志，待數(shù)據(jù)采集線程進行新的數(shù)據(jù)填入。如此可通過兩個線程對N塊小內(nèi)存處理的時間差，避免內(nèi)存沖突問題，確保檢測的穩(wěn)定性。當(dāng)然小內(nèi)存塊數(shù)N由計算機操作系統(tǒng)決定，如果計算機CPU主頻相對較高，N的數(shù)目可偏小，反之偏大。

具體執(zhí)行過程如圖2所示：

圖2 內(nèi)存遞歸訪問示意圖

2.3 基于鄰域空間的掉落物自動識別

對于一排多組掉落情況，除了需要判斷物體掉落與否，還需判斷物體的掉落位置，實現(xiàn)掉落物的自動識別。由于系統(tǒng)采用分區(qū)域光強可調(diào)的背光源照明補償，所獲取的圖像背景較單一，灰度一致性較好，可利用閾值分割實現(xiàn)掉落物的特征提取，如公式（5）所示：

在公式（5）中，I表示相機采集回來的圖像， I'表示閾值分割后目標提取的圖像，(x, y)表示像素空間位置，T表示分割閾值。掉落物在背光源的補償照明下，由于光路遮擋，圖像灰度較暗，對此可采用最大類間方差方法自動獲取分割閾值T，進行圖像分割，并將掉落物以“1”像素表征于二值圖像中。

而掉落物定位是基于分割后二值圖像，利用鄰域空間標識進行識別。二值圖像的鄰域標記是從“0”像素（表示背景）和“1”像素（表示掉落物）組成的一幅點陣圖像中，將鄰近空間內(nèi)（4-鄰域或8-鄰域）的“1”值像素集合提取出來，并用位移的標記值進行標記。通過處理位于一個完整目標對象（相同標記值）內(nèi)所有像素特性，從而獲得掉落的整體性能和參數(shù)。

在檢測對象鄰域分析過程中，受光照等影響，易出現(xiàn)干擾像元影響掉落物的識別，對此可依據(jù)掉落外形尺寸先驗對所標記的領(lǐng)域空間尺寸進行限制，去除干擾因素，凸顯目標信息。對所提取的目標信息進行重心計算，并依據(jù)成像視野的空間位置確定掉落位置，從而實現(xiàn)掉落位置的識別。

3 實驗驗證

3.1 實驗系統(tǒng)

在玻璃加工中，為了改變玻璃相關(guān)成分的應(yīng)力分布，一般通過摻雜0.3～0.5mm的小鋼珠，而且對小鋼珠的掉落位置以及掉落數(shù)量有嚴格要求。針對該背景，利用本文系統(tǒng)進行了實驗驗證。系統(tǒng)設(shè)計如圖3所示。

圖3 檢測系統(tǒng)示意圖

在鋼珠的掉落過程中，為了保證視覺可檢性，在鋼珠掉落通路上安裝薄壁透明玻璃管（11個），玻璃管兩端接PVC管，保證鋼珠能落在玻璃的指定區(qū)域。線陣相機只獲取玻璃管固定架下端一條線上的小鋼珠掉落信息。

在檢測系統(tǒng)的安裝過程中，線陣相機距離檢測對象為450mm，有效成像視野寬為450mm，相機檢測位置位于玻璃管口部往下20mm處，依據(jù)2.2節(jié)的設(shè)備選型依據(jù)，選擇4K的線陣相機，采集頻率設(shè)置為5KHz，采用45mm的相機鏡頭。為了保證數(shù)據(jù)采集效率，采用以太網(wǎng)數(shù)據(jù)傳輸模式。相機采集采用多線程實時采集，每次采集返回的圖像分辨率為：4096×60。經(jīng)在CPU主頻2.6GHz，內(nèi)存2G的計算機上測試，選用小內(nèi)存塊數(shù)N為7塊。

3.2 實驗過程與結(jié)果

為了能夠識別鋼珠的掉落位置，首先獲取未掉落時的背景信息，提取每路鋼珠掉落的具體位置。

圖4 鋼珠未掉落時的背景信息

從圖4可以看出，由于采用了分區(qū)域光強可調(diào)的背光源，所獲取的滿視野圖像的灰度一致性較好，在圖中可以清晰地看見透明玻璃管信息。對該圖進行區(qū)域分割，提取每路鋼珠的可運動空間位置，如圖5所示。

圖5 運動空間標識圖

如圖5所示，白色區(qū)域?qū)⑹敲柯蜂撝榈袈鋾r可運動的自由空間，以此作為基準，可實現(xiàn)鋼珠掉落位置的識別。圖6是相機獲取的若干路鋼珠掉落情況的示意圖。

圖6 實際獲取的鋼珠掉落圖像

對圖6進行特征提取，結(jié)果如圖7所示。

圖7 鋼珠掉落圖像的特征提取

在上述實驗中，圖6（a）和圖6（c）僅是掉落一顆鋼珠，圖6（b）是在短時間內(nèi)連續(xù)掉了兩顆鋼珠，從識別結(jié)果來看，該系統(tǒng)能夠有效地對其掉落數(shù)量進行識別。同時根據(jù)識別結(jié)果重心X的位置，并結(jié)合圖5所提出的鋼珠可自由運動的空間區(qū)域，能夠?qū)崿F(xiàn)鋼珠掉落位置的識別。

表1 圖6的識別結(jié)果

4 結(jié)束語

本文結(jié)合光電檢測技術(shù)，針對一排多組的小物體掉落檢測需求，利用線陣CCD相機設(shè)計了成像檢測系統(tǒng)。同時以玻璃加工行業(yè)中的小鋼珠掉落為實驗對象，對系統(tǒng)進行了驗證，實現(xiàn)了一排11路0.3～0.5mm的小鋼珠同時掉落情況的識別。結(jié)果表明，系統(tǒng)成像質(zhì)量良好，能夠?qū)崿F(xiàn)一排多組掉落情況的掉落數(shù)量及掉落位置識別，系統(tǒng)性能穩(wěn)定、可靠性好，在分揀、摻雜等行業(yè)具有巨大應(yīng)用前景。

[1] 張英,張九六,李春生,周銘. LED高速高精度自動測試分揀設(shè)備研制[J].中國計量學(xué)院學(xué)報, 2011, 22(2):120-123.

[2] A.L. Yuille. Com pu ter v ision needs a co re and foundations[J]. Image and V ision Com puting. 2012,30:469-471.

[3] Fuqiang Z, Yi C, Bin P, Yexin W. A novel optim ization m ethod o f cam era param eters used f o r v ision measurement[J]. Optics & Laser Technology. 2012,44:1840-1849.

[4] 陳驥,王鑫,曹久大,周兆豐.高速CCD激光位移傳感器[J].光學(xué)精密工程.2008,16(4): 612-616.

[5] 艾莉莉,袁峰,丁振良.應(yīng)用線陣CCD的空間目標外姿態(tài)測量系統(tǒng)[J]. 光學(xué)精密工程. 2008, 16(1):161-165.

[6] 倪小芳,吳平輝.利用線陣CCD對物體尺寸測量的研究[J].光學(xué)儀器.2011, 33(6):11-13.

[7] Wei W, Zheng L, Mo C, X iaom ing Y, X iaohai H. An automated vision system for container-code recognition[J].Expert Systems w ith Applications. 2012, 39:2842-2855.

[8] 郭強生,靳衛(wèi)國,周慶亞.集成電路粘片機視覺檢測技術(shù)研究[J].電子工業(yè)專用設(shè)備. 2005, 34(7):34-40.

[9] Vassilis M P, Iannis E P, Fani L, A lexios G, Maroudio K.A compter-vision system and methodology for the analysis of fish behavior[J]. Aquacultural Engineering. 2012,46:53-59.

[10] PING C,YAN H. The Algorithm of Vehicles Trajectory Extraction Based on Video Image Sequences[J]. CISP’10.2010: 1018-1022.

[11] 唐啟敬,田行斌,耿明超,周游,趙鐵石.CCD視覺檢測系統(tǒng)的整體標定[J]. 光學(xué) 精密工程. 2011, 19(8):1903-1908.

[12] G.C.H.E. de Croon, C.De W agter,B.D.W. Remes,R.Ruijsink.Sub-sampling: real-time vision for m icro air vehicles[J].Robotics and Autonomous System s. 2102,60:167-181.

[13] 關(guān)澈,王延杰.CCD相機實時自動調(diào)光系統(tǒng)[J].光學(xué)精密工程.2008, 16(2):358-365.

[14] 湯伊黎,于敏,戴振東,楊松祥.基于多線程技術(shù)的運動控制與數(shù)據(jù)采集程序設(shè)計[J].工業(yè)控制計算機.2007, 20(3):46-47.