吳陳陳 王永強(qiáng) 周聰玲

(天津科技大學(xué)機(jī)械工程學(xué)院，天津 300222)

青豆殘次品主要特征為表面霉變形成的明顯色差，或者嚴(yán)重破損成非球形的顆粒。人工篩選方式耗時耗力, 容易產(chǎn)生錯檢、漏檢且檢測標(biāo)準(zhǔn)難以統(tǒng)一。隨著機(jī)器視覺檢測技術(shù)在農(nóng)產(chǎn)品自動檢測中的廣泛應(yīng)用[1-2]，崔欣等[3]利用灰度閾值法提出了一種基于機(jī)器視覺對破損玉米種粒進(jìn)行檢測的方法；吳杰[4]利用機(jī)器視覺設(shè)計了圣女果分級分選機(jī)構(gòu)，實(shí)現(xiàn)了圣女果的等級分級；鄧立苗等[5]設(shè)計了基于機(jī)器視覺的馬鈴薯自動分級系統(tǒng)。但針對青豆殘次品的在線篩選，尤其是針對青豆雙面缺陷進(jìn)行在線篩選技術(shù)的研究尚未見報道。

文章擬利用機(jī)器視覺檢測技術(shù)，研究設(shè)計基于雙線陣CCD的青豆在線篩選系統(tǒng)。通過硬件系統(tǒng)對青豆進(jìn)行分列排序，軟件系統(tǒng)獲取青豆的完整圖像，利用多線程圖像處理方法，通過提取青豆顆粒的顏色特征和形狀特征檢測出殘次品并生成剔除編碼，驅(qū)動控制裝置并完成剔除，旨在為青豆的自動化篩選提供依據(jù)。

1 系統(tǒng)結(jié)構(gòu)與工作原理

1.1 系統(tǒng)結(jié)構(gòu)

系統(tǒng)結(jié)構(gòu)主要包含硬件系統(tǒng)與軟件系統(tǒng)兩部分(圖1)。硬件系統(tǒng)由機(jī)械結(jié)構(gòu)與控制系統(tǒng)組成；軟件系統(tǒng)由殘次品剔除信息編碼，多線程與圖像特征識別方法組成。

1.2 工作原理

實(shí)際應(yīng)用中，為保證青豆篩選效率，對硬件系統(tǒng)和軟件系統(tǒng)進(jìn)行設(shè)計，青豆先通過帶有導(dǎo)槽的振動篩板實(shí)現(xiàn)初步整理，在進(jìn)入分列導(dǎo)向機(jī)構(gòu)后被分割成若干單列，呈瀑布式有序下落至圖像采集區(qū)域。通過分布在下落青豆前后兩面不同高度上的兩套線陣CCD視覺采集系統(tǒng)分別獲取青豆的正、反面圖像，并實(shí)時完成基于顏色和形狀特征的在線檢測，通過控制系統(tǒng)驅(qū)動剔除噴嘴篩選出殘次品青豆，其工作原理如圖2所示。

圖1 系統(tǒng)結(jié)構(gòu)圖Figure 1 System structure diagram

2 硬件系統(tǒng)設(shè)計

青豆篩選系統(tǒng)的硬件系統(tǒng)設(shè)計主要包含機(jī)械結(jié)構(gòu)和控制系統(tǒng)兩部分(圖3)，機(jī)械結(jié)構(gòu)主要通過對系統(tǒng)振動送料機(jī)構(gòu)、分列導(dǎo)向機(jī)構(gòu)、圖像采集機(jī)構(gòu)和剔除機(jī)構(gòu)進(jìn)行設(shè)計以實(shí)現(xiàn)預(yù)期功能，控制系統(tǒng)主要通過控制多通道高壓氣流噴嘴完成剔除動作，實(shí)現(xiàn)殘次品青豆的在線篩選。

2.1 機(jī)械結(jié)構(gòu)設(shè)計

硬件系統(tǒng)的機(jī)械結(jié)構(gòu)設(shè)計主要是對分列導(dǎo)向機(jī)構(gòu)與圖像采集機(jī)構(gòu)進(jìn)行設(shè)計。分列導(dǎo)向機(jī)構(gòu)(圖4)由分路漏斗和若干條分流導(dǎo)向軌道組成，分路漏斗將青豆進(jìn)行有序分流，通過該漏斗下方的分流通道依次排出，并隨導(dǎo)向軌道呈瀑布式有序下落通過圖像采集區(qū)。其中，導(dǎo)向軌道內(nèi)設(shè)計有微小凸起，同列青豆能在導(dǎo)軌內(nèi)進(jìn)行一定程度的分離。

圖像采集機(jī)構(gòu)分布在下落青豆的前后兩面，且安裝在不同高度上。該機(jī)構(gòu)包括兩臺線陣CCD傳感器、線性光源、背景板和對射式光電開關(guān)(圖5)，當(dāng)青豆經(jīng)軌道下落至圖像采集區(qū)時觸發(fā)相機(jī)采集青豆的正反兩面圖像。

1. 電磁閥 2. 單片機(jī) 3. PC機(jī) 4. 背面相機(jī) 5. 背面連體噴嘴 6. 高壓氣泵 7. 正面連體噴嘴 8. 正面相機(jī) 9. 光電開關(guān) 10. 導(dǎo)向軌道圖2 系統(tǒng)工作原理Figure 2 Working principle of the system

1. 振動入料篩板 2. 分路漏斗 3. 分流導(dǎo)向軌道 4. 正面圖像背景板 5. 正面連體剔除噴嘴 6. 背面線性光源 7. 背面線陣CCD 8. 右廢料收集導(dǎo)槽 9. 合格品收集箱 10. 右殘次品收集箱 11. 氣源 12. 左廢料收集導(dǎo)槽 13. 連體式電磁閥 14. 背面連體剔除噴嘴 15. 背面圖像背景板 16. 廢料收集導(dǎo)槽 17. 對射式光電傳感器 18. 正面線性光源 19. 正面線陣CCD圖3 硬件系統(tǒng)整體結(jié)構(gòu)圖Figure 3 Overall structure diagram

1. 分路漏斗 2. 若干條分流導(dǎo)向軌道圖4 分列導(dǎo)向機(jī)構(gòu)Figure 4 Sorting mechanism

2.2 線陣相機(jī)選型

線陣相機(jī)的選型主要是對相機(jī)分辨率M、采樣頻率k和鏡頭焦距f進(jìn)行選擇[6]。系統(tǒng)檢測的青豆平均直徑d=10 mm，一張采集圖片包含一行n列下落青豆，設(shè)計圖像采集工作區(qū)域?qū)挾菵=400 mm，單粒青豆在圖像中反映像素個數(shù)P=40。按式(1)計算分辨率M。

1. 背面圖像背景板 2. 背面連體剔除噴嘴 3. 背面線性光源 4. 背面線陣CCD 5. 正面連體剔除噴嘴 6. 對射式光電開關(guān) 7. 正面圖像背景板 8. 正面線性光源 9. 正面線陣相機(jī)圖5 雙線陣CCD圖像采集裝置Figure 5 Image acquisition system

(1)

式中：

D——圖像采集工作區(qū)域?qū)挾?，mm；

P——單粒青豆反映像素個數(shù)；

d——青豆直徑，mm；

M——相機(jī)分辨率。

系統(tǒng)設(shè)定的下落青豆檢測位置距離分流導(dǎo)槽出口h=300 mm，可按式(2)計算青豆的運(yùn)動速度v。

(2)

式中：

g——重力加速度，m/s2；

h——檢測位置距離青豆下落點(diǎn)的高度，m；

v——青豆下落速度，m/s。

根據(jù)式(2)可知青豆下落速度v，據(jù)此可計算出線陣相機(jī)所需行頻k。

(3)

式中：

v——青豆下落速度，m/s；

M——相機(jī)分辨率；

D——圖像采集工作區(qū)域?qū)挾龋琺；

k——相機(jī)行頻，Hz。

相機(jī)至青豆掉落位置距離L=350 mm，根據(jù)式(1)～式(3)可確定相機(jī)的CCD芯片尺寸S。已知拍攝圖像的總寬D=400 mm，從而根據(jù)三角成像的基本原理按式(4)獲得鏡頭焦距f。

(4)

式中：

L——相機(jī)至青豆掉落位置的工作距離，mm；

S——相機(jī)的芯片尺寸，mm；

D——圖像采集工作區(qū)域?qū)挾龋琺m；

f——焦距，mm。

根據(jù)式(1)～式(4)即可確定相機(jī)型號。系統(tǒng)選用大恒公司的LA-GC-02K05B-00-R相機(jī)，焦距f=18 mm的鏡頭。

2.3 控制系統(tǒng)設(shè)計

控制系統(tǒng)(圖6)主要由單片機(jī)、繼電器、電磁閥等元件組成，每個電磁閥口與繼電器相連，受單片機(jī)控制。經(jīng)圖像處理后，PC將特征識別結(jié)果以特殊信息編碼格式發(fā)送至下位單片機(jī)，單片機(jī)對其進(jìn)行解碼，并控制對應(yīng)位置的電磁閥閥口打開，利用高壓氣流完成剔除。每一路繼電器模塊控制對應(yīng)電磁閥，完成單通道的殘次品剔除工作，其工作流程如圖7所示。

圖6 控制系統(tǒng)電路示意圖Figure 6 Circuit diagram of control system

3 軟件系統(tǒng)設(shè)計

系統(tǒng)的軟件功能主要是對殘次品的剔除信息進(jìn)行編碼，多線程和圖像特征識別方法進(jìn)行設(shè)計。系統(tǒng)開始運(yùn)行后，利用多線程方法提高系統(tǒng)運(yùn)行效率，通過圖像特征識別方法檢測殘次青豆，并以特殊信息編碼格式發(fā)送至下位單片機(jī)控制電磁閥完成剔除動作。軟件結(jié)構(gòu)圖如圖8 所示，其數(shù)據(jù)流圖如圖9所示。

3.1 殘次品剔除信息編碼

試驗設(shè)定合格青豆信息碼為“0”，非合格青豆信息碼為“1”，對應(yīng)所連接噴嘴的高壓氣流管路中的電磁閥門“開”與“關(guān)”，即可實(shí)現(xiàn)剔除。以16路分流導(dǎo)向軌道為例。信息碼可由16位二進(jìn)制數(shù)生成，也可表示為十六進(jìn)制數(shù)，如圖10所示。軟件系統(tǒng)通過串口通訊[7]將該信息編碼發(fā)送至下位單片機(jī)中即可完成剔除操作。

3.2 多線程技術(shù)

系統(tǒng)利用多線程處理技術(shù)來滿足圖像采集處理的實(shí)時性要求[8]。利用遞歸的內(nèi)存訪問方法在系統(tǒng)內(nèi)部先開辟一定數(shù)量的內(nèi)存空間用于存儲數(shù)據(jù)，利用時間差的方式，使采集線程與處理線程依次訪問內(nèi)存，交錯讀寫數(shù)據(jù)完成實(shí)時處理[9]。具體編程方法為：在系統(tǒng)內(nèi)部開辟K個不同的存儲空間，開始圖像采集后，按時間順序?qū)⒉杉降臄?shù)據(jù)放入該空間，并對其進(jìn)行標(biāo)記；當(dāng)數(shù)據(jù)量達(dá)到K+1時，再返回至內(nèi)存1內(nèi)重新開始寫入數(shù)據(jù)；同時，數(shù)據(jù)處理線程也同步運(yùn)行，按標(biāo)記順序依次處理標(biāo)記內(nèi)存內(nèi)存儲的數(shù)據(jù)，待處理后對該空間進(jìn)行清空，用于后續(xù)的數(shù)據(jù)存儲。利用兩個線程間的時間差對K塊內(nèi)存數(shù)據(jù)進(jìn)行處理，如圖11所示。

圖7 單通道剔除工作流程Figure 7 Single channel culling workflow

圖8 軟件結(jié)構(gòu)圖Figure 8 Software structure diagram

3.3 殘次品青豆特征識別

青豆產(chǎn)品如圖12所示，分為合格青豆、腐壞青豆及破損青豆[10]。

青豆殘次品特征或為顏色特征，或為形狀特征，二者有一即判定為殘次品，分別對兩種特征進(jìn)行檢測，獲得包含青豆顏色特征檢測信息的數(shù)組A與包含青豆形狀特征檢測信息的數(shù)組B，并將其對應(yīng)元素進(jìn)行或運(yùn)算計入數(shù)組C，形成剔除編碼發(fā)送至下位單片機(jī)完成剔除。特征識別流程如圖13所示。

圖9 數(shù)據(jù)流圖Figure 9 Data flow diagram

圖10 青豆殘次品剔除信息編碼Figure 10 Information coding conversion

圖12 青豆類型Figure 12 Green bean type

3.3.1 顏色特征識別方法 將采集到的圖像進(jìn)行RGB通道分離并轉(zhuǎn)為灰度圖以便于特征識別[11]。由圖14可知，合格青豆為綠色，在G通道下合格青豆和非合格青豆的顏色區(qū)別較為明顯，R空間與B空間下對二者的顏色特征區(qū)別表現(xiàn)較差。因此，選用G分量對圖像進(jìn)行處理，提取灰度特征。

提取G通道下的完整青豆圖像，并將該圖像分割成若干個小窗口，每個窗口只能容納單粒的完整青豆，如圖15 所示。

利用灰度直方圖確定閾值獲取單粒青豆的二值圖像，如圖16所示。計算單粒青豆的黑色像素占比[12]。試驗結(jié)果表明，腐壞青豆黑色像素數(shù)量占比>10%，由此可區(qū)分出腐敗青豆。將非合格品位置編碼設(shè)置為“1”，其他設(shè)置為“0”，計入數(shù)組A。顏色特征識別流程如圖17所示。

3.3.2 形狀特征識別方法 選擇圓形度Cr作為青豆形狀特征的判斷依據(jù)[13]。圓形度Cr指青豆投影與標(biāo)準(zhǔn)圓形的接近程度。

(5)

式中：

S——青豆面積，mm2；

C——青豆周長，mm；

Cr——圓形度值。

圖13 特征識別流程圖Figure 13 Feature recognition flowchart

圖14 RGB通道下的青豆處理效果Figure 14 The effect of green beans under the RGB channel

圖15 青豆單粒化分割示意圖Figure 15 Green bean single granulation flow chart

圖16 圖像二值化Figure 16 Binary image

圖17 顏色特征檢測流程圖Figure 17 Color feature detection flow chart

形狀特征識別流程如圖18所示。經(jīng)試驗統(tǒng)計，將圓形度>0.6的青豆判定為合格品，如圖19所示，參數(shù)均值見表1。將破損青豆位置編碼設(shè)置為“1”，合格品位置編碼設(shè)置為“0”，計入數(shù)組B。

4 實(shí)驗驗證

選取20 000粒青豆(10 000粒合格青豆，5 000粒腐敗青豆與5 000粒破損青豆)分別進(jìn)行篩選試驗，對合格青豆進(jìn)行顏色特征和形狀特征篩選，對破損青豆僅進(jìn)行形狀特征篩選，對腐敗青豆僅進(jìn)行顏色特征篩選，其數(shù)據(jù)統(tǒng)計如圖20所示。由圖20可知，系統(tǒng)對合格青豆的檢測未發(fā)生錯誤，對外觀殘次的破損青豆篩選準(zhǔn)確率>99%，對顏色異常的腐敗青豆檢測準(zhǔn)確率>98%。

由表2可知，混合后的20 000粒青豆的檢測準(zhǔn)確率>98%，誤差產(chǎn)生的主要原因是青豆在下落過程中自身旋轉(zhuǎn)對提取其形狀特征有影響；外界光線的變化不利于青豆顏色特征的提取。通過對硬件系統(tǒng)進(jìn)行完善，可進(jìn)一步提升系統(tǒng)篩選的準(zhǔn)確率。

圖18 形狀特征檢測流程圖Figure 18 Shape feature detection flow chart

圖19 合格青豆與破損青豆輪廓對比Figure 19 Contrast between qualified green beans and damaged green beans

表1 合格青豆和破損青豆形狀參數(shù)均值

表2 試驗結(jié)果

圖20 合格青豆與殘次青豆試驗數(shù)據(jù)統(tǒng)計圖Figure 20 Statistical graph of experimental data of qualified green beans and defective green beans

5 結(jié)論

設(shè)計了青豆在線篩選系統(tǒng)，利用錯位安裝的雙線陣CCD相機(jī)實(shí)時采集多通道自由下落青豆的雙面圖像，實(shí)現(xiàn)了對青豆顆粒的全方位檢測，解決了現(xiàn)有自動檢測設(shè)備只能進(jìn)行單面檢測的問題，有效提高了檢測裝備的篩選精度。針對殘次品青豆所開發(fā)的顏色以及形狀特征檢測算法簡便、實(shí)用性強(qiáng)、處理效率更高。系統(tǒng)圖像處理算法中，基于各類青豆樣本統(tǒng)計特征得到的閾值受樣本數(shù)量的影響，其魯棒性還有待增強(qiáng)，以及在生產(chǎn)實(shí)際運(yùn)行過程中進(jìn)一步提高軟硬件的穩(wěn)定性。