王 雷

（山東省平邑縣農(nóng)機(jī)發(fā)展促進(jìn)中心，山東 臨沂 273300）

隨著人民生活水平的提高，對(duì)水果等農(nóng)產(chǎn)品品質(zhì)的要求也提高了，對(duì)于產(chǎn)品的大小、形狀、顏色、損傷腐爛程度、成熟度等指標(biāo)有了更高的要求。這就需要按指標(biāo)要求對(duì)產(chǎn)品進(jìn)行分類(lèi)分揀。其中大部分指標(biāo)依靠純機(jī)械的裝置是難以實(shí)現(xiàn)的，計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，使得過(guò)去由純機(jī)械無(wú)法完成的工作，通過(guò)計(jì)算機(jī)及傳感器與機(jī)械的結(jié)合能夠得以完成。筆者對(duì)基于計(jì)算機(jī)視覺(jué)識(shí)別技術(shù)進(jìn)行壞果去除的球狀農(nóng)產(chǎn)品分揀機(jī)進(jìn)行了研究探索。

1 系統(tǒng)整體結(jié)構(gòu)

第一，機(jī)械部分完成產(chǎn)品的取料、輸送、翻轉(zhuǎn)、分揀動(dòng)作。翻轉(zhuǎn)動(dòng)作是為了實(shí)現(xiàn)對(duì)產(chǎn)品表面的全面圖像采集，本方案機(jī)械部分通過(guò)對(duì)產(chǎn)品進(jìn)行翻滾操作來(lái)實(shí)現(xiàn)，比較適合對(duì)圓球狀農(nóng)產(chǎn)品的識(shí)別。

第二，PLC（Programmable Logic Controller）[1]現(xiàn)場(chǎng)控制單元，接收來(lái)自計(jì)算機(jī)的數(shù)據(jù)，完成對(duì)機(jī)械部分輸送分揀裝置的控制，并把部分現(xiàn)場(chǎng)信息（主要是運(yùn)行位置信息）反饋給計(jì)算機(jī)。

第三，計(jì)算機(jī)及攝像采集裝置周期性地進(jìn)行圖像采集、識(shí)別處理，生成分揀控制數(shù)據(jù)傳輸給第二部分PLC現(xiàn)場(chǎng)控制單元。

本方案需要完成好三個(gè)部分的功能及相互之間的數(shù)據(jù)傳輸協(xié)調(diào)配合。自動(dòng)分揀機(jī)械結(jié)構(gòu)示意圖如圖1所示。

圖1 自動(dòng)分揀機(jī)械結(jié)構(gòu)示意圖

2 機(jī)械結(jié)構(gòu)原理

如圖1 所示，機(jī)械部分主體采用輸送鏈結(jié)構(gòu)，橫向外部?jī)蓚?cè)為兩條輸送鏈條[2]。橫撐固定在兩側(cè)鏈條上，間距相等。鏈條運(yùn)轉(zhuǎn)在三條鏈輪軸上，其中中間的軸安裝在較高的位置，鏈條按圖示順時(shí)針?lè)较蜻\(yùn)轉(zhuǎn)形成先高后低的走勢(shì)。左邊和中間的軸的內(nèi)側(cè)還設(shè)有支撐帶，與外側(cè)鏈條同速運(yùn)轉(zhuǎn)，支撐住產(chǎn)品的同時(shí)還盡量減少產(chǎn)品的磨損。中間和右側(cè)軸之間下坡面上設(shè)有滾動(dòng)板，表面采用軟質(zhì)材料，增加摩擦的同時(shí)減少產(chǎn)品損傷。在橫撐上方垂直于橫撐方向上還固定有分隔條，以防止產(chǎn)品滾動(dòng)下落的過(guò)程中發(fā)生橫向竄動(dòng)。料斗中的產(chǎn)品在橫撐的帶動(dòng)下，先爬坡上升，多余產(chǎn)品自由下落，避免產(chǎn)生堆疊，以利于分揀。產(chǎn)品繼續(xù)前行越過(guò)中間軸后進(jìn)入下坡段，落到滾動(dòng)板上，攝像頭[3]安裝在正對(duì)滾動(dòng)板的位置，對(duì)下落的產(chǎn)品進(jìn)行拍攝。滾動(dòng)板有一定傾角，產(chǎn)品在重力作用下會(huì)自動(dòng)滾落，并在橫撐的阻擋下與橫撐同步向下滾落。產(chǎn)品滾動(dòng)到右側(cè)軸上方，將要下落的位置處。在滾動(dòng)板尾端平行于橫撐的方向開(kāi)設(shè)有一排噴氣孔，這些噴氣孔都經(jīng)過(guò)相應(yīng)的電磁閥連接著壓縮空氣，當(dāng)鏈條周期性運(yùn)轉(zhuǎn)到噴氣孔正對(duì)產(chǎn)品的位置時(shí)，PLC 現(xiàn)場(chǎng)控制器會(huì)控制壞果下方的若干噴氣孔對(duì)應(yīng)的電磁閥打開(kāi)一小段時(shí)間，壞果會(huì)被壓縮空氣推入壞果收集斗。合格的產(chǎn)品會(huì)滾落進(jìn)入合格品收集斗，以供進(jìn)一步加工處理。一般情況下，壞果的比例較小，采用壓縮空氣噴吹的方式噴吹時(shí)間可調(diào)，只要達(dá)到正常分離效果就可以，所以相應(yīng)用氣量和能耗不會(huì)太高。而且這種結(jié)構(gòu)簡(jiǎn)單可靠，易于維護(hù)，對(duì)產(chǎn)品的損傷小。

3 PLC控制原理

PLC 可編程控制器是如何控制壞果對(duì)應(yīng)噴氣孔進(jìn)行噴吹的呢？首先，在PLC 內(nèi)部，為滾動(dòng)板上成排成列的產(chǎn)品設(shè)置對(duì)應(yīng)的二維變量數(shù)組，每一行數(shù)組對(duì)應(yīng)滾動(dòng)板上的一排空間，數(shù)組的元素存儲(chǔ)了壞果對(duì)應(yīng)的噴氣孔位置號(hào)。每一排產(chǎn)品壞果數(shù)量不確定，數(shù)組的列數(shù)可以比實(shí)際壞果對(duì)應(yīng)的噴氣孔數(shù)大一些。PLC和計(jì)算機(jī)之間通過(guò)modbus（一種串行通信協(xié)議）[4]串口通信連接，計(jì)算機(jī)可以根據(jù)識(shí)別的壞果的坐標(biāo)計(jì)算出其對(duì)應(yīng)的一個(gè)或多個(gè)噴氣孔位置號(hào)，寫(xiě)入PLC 的對(duì)應(yīng)數(shù)組。然后，PLC 就根據(jù)數(shù)組元素的值確定打開(kāi)哪個(gè)噴氣孔的電磁閥。這些數(shù)組的地址是固定的，可以通過(guò)設(shè)定指針循環(huán)使用它們。設(shè)定一個(gè)噴吹位置指針，每轉(zhuǎn)到一個(gè)噴吹位置該指針就指向那一行數(shù)組，掃描該數(shù)組，并根據(jù)其數(shù)值執(zhí)行噴吹動(dòng)作。當(dāng)某一排產(chǎn)品經(jīng)過(guò)噴吹位置后，這排產(chǎn)品對(duì)應(yīng)的一行數(shù)組就可以被清空釋放，以備再次使用。噴吹定位位置可以由鏈輪軸編碼器值或限位開(kāi)關(guān)來(lái)確定。

指針的循環(huán)移動(dòng)和鏈條的轉(zhuǎn)動(dòng)是同步的，而攝像頭的拍攝節(jié)拍和噴吹位置指針移動(dòng)的節(jié)拍是不同步的，因?yàn)榕臄z間隔距離和橫撐的間隔距離不同。計(jì)算機(jī)是如何確定攝像頭拍攝的產(chǎn)品對(duì)應(yīng)PLC 的哪一行數(shù)組的呢？如下所述。

4 計(jì)算機(jī)圖像處理識(shí)別原理

4.1 圖像采集

首先，本方案中攝像頭圖像采集機(jī)制：攝像頭采用帶外部觸發(fā)功能的攝像頭，由PLC 發(fā)送拍攝命令信號(hào)控制拍攝時(shí)間點(diǎn)。攝像頭拍攝滾動(dòng)板上的產(chǎn)品要根據(jù)產(chǎn)品平均尺寸，按產(chǎn)品滾動(dòng)180°即一半周長(zhǎng)的距離拍兩張照片，也就是一個(gè)產(chǎn)品至少拍兩張照片，才能全面不遺漏地采集產(chǎn)品圖像信息。那攝像頭拍攝的間隔距離就是產(chǎn)品平均周長(zhǎng)的一半。當(dāng)然考慮到產(chǎn)品直徑的差異，可以采用旋轉(zhuǎn)一周拍攝三張或更多作為一組，以減少或避免漏拍產(chǎn)品缺陷信息。通過(guò)更大的拍攝密度、冗余的圖像采集提高可靠性也是可以的，只要計(jì)算機(jī)能夠在規(guī)定時(shí)間內(nèi)完成圖像處理就可以。

假設(shè)產(chǎn)品平均直徑為d，攝像頭取景覆蓋m 個(gè)拍攝間隔，每m 個(gè)間隔需要拍攝p 張照片，p 張照片每?jī)蓮埾噜徴掌臄z的間隔距離為D。

在鏈條移動(dòng)方向上，攝像頭拍攝范圍的上下兩端p-1 個(gè)間隔距離的那幾排產(chǎn)品是剛進(jìn)入或?qū)⒁叱雠臄z范圍的部分，在這一組p 張照片拍攝的總范圍中，這一部分達(dá)不到p 張照片的要求。達(dá)到要求的是中間m-2(p-1)個(gè)間隔的區(qū)域，如圖2 所示。為了便于計(jì)算，減少?gòu)?fù)雜度，不參考上下兩組的圖像，僅通過(guò)本組照片就獲取完全的產(chǎn)品圖像信息，實(shí)際的拍攝密度：每m-2(p-1)個(gè)間隔拍攝p 張照片為一組。在這一組中，我們采用最開(kāi)始的p-1 個(gè)間隔拍攝p 張照片，剩余的間隔空閑時(shí)間不拍照，剩余間隔長(zhǎng)度為m-2(p-1)-(p-1)＝m-3(p-1)，如圖3 所示。在這段時(shí)間里，計(jì)算機(jī)可以接收這p 張照片進(jìn)行圖像識(shí)別處理。由于拍攝照片的指令是PLC 發(fā)出的，它會(huì)同時(shí)將這p 張照片拍攝時(shí)的編碼器值和最近的上一次噴吹時(shí)的編碼器值記錄下來(lái)，以供計(jì)算機(jī)讀取。噴吹編碼器值的更新邏輯是在這p 張照片拍攝的連續(xù)拍攝期間不更新。

圖2 攝像頭分組取像示意圖（圖示為其中一個(gè)分組）

圖3 完全拍攝區(qū)域的時(shí)間分配示意圖

這一組拍攝第一張時(shí)的編碼器值：B1。

這一組拍攝第p張時(shí)的編碼器值：T。

最近的上一次噴吹時(shí)的編碼器值：B0。

第一張照片相對(duì)上次噴吹移動(dòng)的編碼器值：ΔB＝B1-B0。

第p 張照片相對(duì)上次噴吹移動(dòng)的編碼器值：ΔT＝T-B0。

鏈輪每圈n1個(gè)齒，兩個(gè)橫撐之間有a 個(gè)鏈節(jié)。

每個(gè)鏈節(jié)節(jié)距：p1。

編碼器鏈輪每轉(zhuǎn)一圈編碼器有k個(gè)脈沖。

鏈條移動(dòng)單位長(zhǎng)度編碼器脈沖：q＝k/(n1p1)。

移動(dòng)一個(gè)橫撐間隔的脈沖數(shù)：f＝ak/n1。

拍攝照片中單位像素對(duì)應(yīng)實(shí)際拍攝物長(zhǎng)度：u。

拍攝照片中兩相鄰橫撐相距的像素?cái)?shù)g＝ap1/u。

單位像素脈沖數(shù)：r＝qu＝ku/(n1p1)。

上一次噴吹到拍攝第一張照片移動(dòng)的像素值：L1＝ΔB/r＝ΔBn1p1/(ku)。

上一次噴吹到拍攝第p 張照片移動(dòng)的像素值：Lp＝ΔT/r＝ΔTn1p1/(ku)。這是實(shí)際測(cè)量值，理論上Lp＝L1＋πd。

由于鏈條節(jié)距固定，攝像頭位置固定，當(dāng)不計(jì)鏈條節(jié)距誤差，每次鏈條運(yùn)轉(zhuǎn)到噴吹位置時(shí)，與噴吹位置相距固定距離的橫撐總是出現(xiàn)在照片中的相同位置，可以選取其中一根作為參考點(diǎn)，在機(jī)器安裝調(diào)試好以后，將它在照片中的像素坐標(biāo)作為已知數(shù)記入程序中。參考點(diǎn)橫撐上那一排產(chǎn)品對(duì)應(yīng)PLC 中二位數(shù)組的行數(shù)也是固定的。假設(shè)噴吹位置是第一排，對(duì)應(yīng)第一行數(shù)組，參考點(diǎn)就是第h 排，對(duì)應(yīng)第h 行數(shù)組。由于第一張照片中的橫撐的運(yùn)行位置是剛從參考點(diǎn)位置移動(dòng)過(guò)來(lái)的，所以如圖4 所示，第一張照片中在鏈條運(yùn)行方向上，距離參考點(diǎn)為L(zhǎng)1像素長(zhǎng)度的橫撐就是第h 排，其對(duì)應(yīng)PLC 第h 行數(shù)組。距離參考點(diǎn)為L(zhǎng)1＋g 像素長(zhǎng)度的橫撐就是第h-1 排，其對(duì)應(yīng)PLC 第h-1 行數(shù)組，依此類(lèi)推，第二張照片到第p 張照片代入相應(yīng)L值進(jìn)行計(jì)算即可。這樣計(jì)算機(jī)就可以將攝像頭中拍攝的產(chǎn)品圖像與PLC 中的數(shù)據(jù)對(duì)應(yīng)起來(lái)，進(jìn)而與實(shí)際機(jī)器上的產(chǎn)品對(duì)應(yīng)起來(lái)。

圖4 分組內(nèi)各張照片的像素位置偏移示意圖

4.2 產(chǎn)品圖像分割提取

計(jì)算機(jī)圖像識(shí)別部分采用OpenCV（Open Source Computer Vision Library）[5]來(lái)進(jìn)行圖像處理，這是一個(gè)跨平臺(tái)的計(jì)算機(jī)視覺(jué)庫(kù)。對(duì)產(chǎn)品缺陷的識(shí)別部分，不同種類(lèi)的產(chǎn)品、不同的缺陷類(lèi)型識(shí)別時(shí)的參數(shù)設(shè)置甚至是算法步驟都有很大的不同，為使系統(tǒng)具有更廣泛的適應(yīng)性，應(yīng)針對(duì)不同產(chǎn)品和缺陷提供不同的算法和參數(shù)設(shè)置，以達(dá)到不同應(yīng)用要求，這里對(duì)常見(jiàn)的水果黑斑爛果的識(shí)別提出一種解決的思路方法。

因?yàn)橐獙?duì)缺陷產(chǎn)品進(jìn)行噴吹操作，為使噴吹力的作用點(diǎn)盡量靠近質(zhì)心位置，所以要找到產(chǎn)品的質(zhì)心位置。產(chǎn)品缺陷是包含于產(chǎn)品外輪廓線內(nèi)的，所以還需要找到外輪廓線。識(shí)別出產(chǎn)品的外輪廓有利于排除背景干擾，還可以得到產(chǎn)品大小和形狀信息。在產(chǎn)品外輪廓內(nèi)按照黑斑爛果缺陷區(qū)域的HSV（Hue-Saturation-Value）色彩模型[6]顏色或灰度值范圍找到缺陷區(qū)域，同時(shí)還要避免將果梗/花萼部分誤識(shí)別為缺陷[7]。

首先要得到單個(gè)產(chǎn)品的外輪廓，按照產(chǎn)品顏色或灰度與背景的差異，進(jìn)行圖像二值化處理。按照灰度生成二值圖的方法：先將原圖像轉(zhuǎn)為單通道灰度圖像，這種圖像是將一個(gè)代表明暗的數(shù)值作為一個(gè)像素的黑白圖像，然后再用一個(gè)設(shè)定的閾值來(lái)劃分圖像區(qū)域[8]，將大于等于這個(gè)值的區(qū)域設(shè)為像素單元的最大值，小于這個(gè)值的區(qū)域設(shè)為最小值。按照顏色提取目標(biāo)圖的方法：先將原圖像轉(zhuǎn)為HSV 三通道圖像，每個(gè)像素都由代表色度、飽和度、亮度的三個(gè)值來(lái)表示。每種顏色的這三個(gè)值對(duì)應(yīng)的取值范圍不同，只要三個(gè)值都落入這種顏色的對(duì)應(yīng)取值范圍，這個(gè)像素點(diǎn)的顏色就是這種顏色。產(chǎn)品可能具有多種顏色，我們可以將多種顏色提取的圖像區(qū)域合并，只要與背景顏色不同，我們就可以將產(chǎn)品按照顏色不同與背景區(qū)分開(kāi)來(lái)。第二種方式的適應(yīng)性和準(zhǔn)確性更好一些。

然后再對(duì)生成的二值圖進(jìn)行腐蝕、膨脹、形態(tài)學(xué)[9]等操作去除噪點(diǎn)的干擾，利用圓形檢測(cè)[10]先找到每個(gè)產(chǎn)品的近似圓心和半徑，再以每個(gè)圓心為中心，在二值圖中進(jìn)行圓周輻射掃描檢測(cè)，掃描半徑按圓形檢測(cè)獲取半徑乘以1.5 倍左右系數(shù)適當(dāng)加大。延輻射線向外檢測(cè)，當(dāng)圖像像素由白點(diǎn)變黑點(diǎn)（最大值變?yōu)樽钚≈担r(shí)，記錄該白點(diǎn)為輪廓點(diǎn)。當(dāng)達(dá)到最大掃描半徑都是白點(diǎn)，則該輻射線不記錄輪廓點(diǎn)。

最后得到單個(gè)產(chǎn)品的外輪廓線。對(duì)于相接觸的兩個(gè)產(chǎn)品或與橫撐、分隔條接觸的產(chǎn)品，如果直接用findContours 函數(shù)（OpenCV 中獲取輪廓線的函數(shù)），那么生成的輪廓線是連在一起的，非獨(dú)立的，不便于將它們分開(kāi)。而本方案的這種算法獲取的輪廓線不但可以將互相接觸的產(chǎn)品物體分開(kāi)，而且還可以自動(dòng)地將橫撐或分隔條這種非圓物體從目標(biāo)中剔除。

4.3 圖像識(shí)別

接下來(lái)就是查找分析壞果區(qū)域：壞果缺陷或腐爛區(qū)域及果梗/花萼處的顏色與正常產(chǎn)品表面顏色不同，在上述按照產(chǎn)品HSV 顏色特征生成的二值圖中，這些區(qū)域應(yīng)該會(huì)被提取出來(lái)。但在實(shí)際應(yīng)用中，因?yàn)楣庹栈蚺臄z角度不同，某些小面積的缺陷不能被正常識(shí)別，并且這種方法很難將缺陷與果梗/花萼區(qū)分開(kāi)來(lái)。馮斌、汪懋華[7]對(duì)目標(biāo)灰度剖面形狀進(jìn)行分析，來(lái)區(qū)分二者，所提取的剖面線特征信息量太少，實(shí)際應(yīng)用準(zhǔn)確性堪憂。缺陷與果梗/花萼的區(qū)分識(shí)別成為壞果識(shí)別分揀的技術(shù)難點(diǎn)與要點(diǎn)。

筆者對(duì)產(chǎn)品HSV 圖像的亮度通道進(jìn)行了研究，先對(duì)它進(jìn)行高斯去噪平滑處理，然后按照亮度高低進(jìn)行梯度分層，繪制每層的亮度等高線。為了便于觀察，采用紅、黃、綠、青、藍(lán)的顏色來(lái)繪制亮度由高到低的每一層然后疊加，形成如圖5（b）所示的亮度值效果圖，對(duì)應(yīng)圖5（a）的原圖，可以看到腐爛處與果梗/花萼處都形成了亮度“凹坑”。將每一層梯度的外輪廓標(biāo)記為青色，形成亮度的“凸臺(tái)”，將內(nèi)輪廓標(biāo)記為綠色，形成亮度“凹坑”，各層疊加后形成如圖5（c）所示的亮度等高線圖。發(fā)現(xiàn)果梗/花萼處的綠色“凹坑”標(biāo)記的底層和高層等高線圓圈的質(zhì)心是按照一個(gè)方向偏移的，偏移方向就是光照反方向，而較小面積的腐爛處的內(nèi)外層等高線圈的質(zhì)心基本不會(huì)偏移。因?yàn)楫a(chǎn)品果梗/花萼處與缺陷處的基本不同在于，前者大多是喇叭口狀較深的“凹坑”，與后者相比較，表面較為平整。所以在某個(gè)方向的光線照射下，前者在凹陷處會(huì)留下偏向光照方向的陰影，由于陰影的存在，背陰側(cè)亮度變化較平緩，向陽(yáng)側(cè)亮度高低變化較陡峭，而光線照射方向?qū)笳吡炼鹊雀呔€影響較小。再者，腐爛處清晰的邊界線經(jīng)過(guò)高斯去噪處理后原本陡峭的亮度梯度變得平滑，再經(jīng)過(guò)亮度分層后形成等距變化的圓圈，不會(huì)產(chǎn)生質(zhì)心偏移的現(xiàn)象。所以在基本光照條件下，偏向一側(cè)的不均勻光照有利于這種方式的識(shí)別。通過(guò)分析亮度等高線，還發(fā)現(xiàn)果梗/花萼處的亮度等高線的長(zhǎng)度及距離變化是比較均勻的，而較大面積缺陷的邊緣處等高線分布密集均勻而內(nèi)部稀疏不規(guī)則，體現(xiàn)在等高線圈的長(zhǎng)度變化上是不均勻的，在某兩個(gè)相鄰的等高線圈間，他們的長(zhǎng)度會(huì)出現(xiàn)陡然的跳變。因此，通過(guò)亮度等高線法不僅可以準(zhǔn)確找出缺陷處與果梗/花萼處的大小和位置，而且還可以將它們區(qū)分開(kāi)來(lái)，從而實(shí)現(xiàn)壞果的剔除。

圖5 亮度等高線圖像處理效果圖

5 結(jié)論

通過(guò)綜合協(xié)同運(yùn)用計(jì)算機(jī)、PLC 和機(jī)械機(jī)構(gòu)，找到了一種高效全自動(dòng)化去除壞果的方法，并且在計(jì)算機(jī)視覺(jué)識(shí)別壞果方面提出了利用HSV 亮度等高線特征的方法來(lái)識(shí)別缺陷與果梗/花萼，效果明確，復(fù)雜度較低，可以完成過(guò)去只有通過(guò)人工才能完成的工作。同時(shí)，該系統(tǒng)提供了一種基于計(jì)算機(jī)視覺(jué)識(shí)別的農(nóng)產(chǎn)品檢測(cè)分揀的系統(tǒng)框架，它的功能不局限于去除壞果，也不局限于檢測(cè)一種產(chǎn)品。它可以根據(jù)對(duì)產(chǎn)品顏色、大小、形狀等不同視覺(jué)特征指標(biāo)的要求，在計(jì)算機(jī)中輸入或選擇相應(yīng)識(shí)別程序完成相應(yīng)分揀任務(wù)，它還可以采用多級(jí)噴吹機(jī)構(gòu)或其他分揀執(zhí)行機(jī)構(gòu)擴(kuò)展其功能，實(shí)現(xiàn)多級(jí)分揀。