宋 騁

（天杭辦公耗材（杭州）有限公司，浙江 杭州 311100）

近年來(lái)，隨著機(jī)器視覺(jué)理論的不斷完善和圖像識(shí)別技術(shù)的發(fā)展，基于機(jī)器視覺(jué)的農(nóng)作物分揀技術(shù)也得到了迅猛發(fā)展，已廣泛用于水稻、紅棗、辣椒、蘋(píng)果、西紅柿、西瓜、大蒜、玉米、花生、大豆、茶、堅(jiān)果等農(nóng)作物的預(yù)加工分揀，這給人們的生產(chǎn)和生活帶來(lái)了極大的便利。隨著圖像處理算法的日益成熟，色選機(jī)在識(shí)別率及速度上的提高取得飛速進(jìn)步，將機(jī)器視覺(jué)算法應(yīng)用于農(nóng)產(chǎn)品的分揀工作已經(jīng)成為近幾年研究的熱門(mén)問(wèn)題。色選機(jī)是集光、機(jī)、電等科學(xué)技術(shù)于一體的農(nóng)產(chǎn)品快速分選設(shè)備，是保證食品品質(zhì)及安全的重要設(shè)備。使用色選機(jī)代替手工勞作并消除人為因素的干擾，不僅可以提高生產(chǎn)效率，而且可以降低生產(chǎn)成本。色選機(jī)主要原理是基于農(nóng)/副產(chǎn)品各種光學(xué)特性來(lái)檢測(cè)材料中的異常顏色或表面缺陷和雜質(zhì)，并自動(dòng)對(duì)其進(jìn)行分類(lèi)和挑選去除[1-2]。而在合格產(chǎn)品與殘次品品相相似的情況下，傳統(tǒng)的篩選則難以實(shí)現(xiàn)，色選機(jī)具備明顯優(yōu)勢(shì)[3-4]。

1 機(jī)器視覺(jué)算法在色選機(jī)上的應(yīng)用

1.1 基于RGB數(shù)值變化

基于RGB的數(shù)值變化可對(duì)農(nóng)作物表皮的顏色進(jìn)行評(píng)級(jí)，基于計(jì)算機(jī)視覺(jué)系統(tǒng)具備以下優(yōu)勢(shì)：提供一種自動(dòng)、客觀的方式來(lái)實(shí)現(xiàn)更一致、更準(zhǔn)確的顏色評(píng)級(jí)，改進(jìn)當(dāng)前果實(shí)的顏色與標(biāo)準(zhǔn)色表之間的手動(dòng)比較，這既費(fèi)力又主觀。該系統(tǒng)成功地使用了照相機(jī)時(shí)代的灰度來(lái)減少戶(hù)外色彩等級(jí)中的兩個(gè)主要障礙的影響：（1）環(huán)境光線(xiàn)不一致；（2）產(chǎn)品表皮（如櫻桃）有明顯的反光[5]。

為了有效地消除反光，該算法實(shí)施了兩步過(guò)程：（1）使用顏色評(píng)級(jí)區(qū)域的綠色通道（在RGB顏色模型中）檢測(cè)出反光的像素；（2）消除了圖像顏色等級(jí)區(qū)域中檢測(cè)到的像素。優(yōu)質(zhì)的櫻桃表面的皮膚顏色相對(duì)均勻。如果沒(méi)有明顯的反光，則額定區(qū)域的紅色、綠色和藍(lán)色的直方圖應(yīng)接近對(duì)稱(chēng)分布。從統(tǒng)計(jì)上講，對(duì)稱(chēng)性可以描述為直方圖的平均值μ和中位數(shù)Md相等。當(dāng)出現(xiàn)明顯的反光時(shí)，這些直方圖的分布將向右偏斜μ＞Md，因?yàn)檫@種反光通常比櫻桃皮的顏色要亮得多，該消除眩光的算法首先將搜索一個(gè)閾值以區(qū)分原始膚色和反光區(qū)域。該算法將計(jì)算并比較綠色通道中獲得的直方圖的μ和Md值。如果μ＞Md，則圖像中將出現(xiàn)明顯的反光。然后，該算法將通過(guò)以μ為增量嘗試從μ到255的值來(lái)啟動(dòng)搜索循環(huán)以找到閾值T。在每個(gè)循環(huán)中，該算法將重新計(jì)算直方圖分布的均值μ’和中值Md’從0到T。將重復(fù)該過(guò)程，直到最終閾值Tf滿(mǎn)足關(guān)系μ’≤Md’。綠色值大于閾值Tf的所有像素都代表水果表面上的耀眼反光，并且圖像處理軟件會(huì)使用白色填充空間，從選定的評(píng)級(jí)區(qū)域中刪除那些反光像素。

1.2 基于RGB、HSV、CIELab3種顏色模式

常規(guī)的色選機(jī)被廣泛用于按顏色區(qū)分谷物[5-6]、堅(jiān)果和其他產(chǎn)品，但它們不具有空間分辨率或圖像處理能力來(lái)檢測(cè)籽粒上的小斑點(diǎn)，即無(wú)法檢測(cè)出內(nèi)核上的單個(gè)斑點(diǎn)或多個(gè)斑點(diǎn)且準(zhǔn)確度較低[7]?；赗GB、HSV、CIELab這3種顏色信息的視覺(jué)系統(tǒng)算法，使用顏色信息來(lái)幫助農(nóng)作物上的斑點(diǎn)與其他較暗區(qū)域分開(kāi)從而可實(shí)現(xiàn)檢測(cè)和去除具有較小局部瑕疵或缺陷的單個(gè)谷粒?；诟呦袼貓D像傳感器使用色彩Bayer濾光片來(lái)感測(cè)不同像素上的紅色R，綠色G和藍(lán)色B三原色的值。像素?cái)?shù)據(jù)在圖像傳感器芯片上被數(shù)字化，并在不插值色彩的情況下傳輸?shù)紽PGA[8]。當(dāng)從圖像傳感器接收到每個(gè)像素時(shí)，它將進(jìn)入緩沖區(qū)，并且當(dāng)前像素位置正上方兩行的像素?cái)?shù)據(jù)將由緩沖區(qū)輸出。這些緩沖器的輸出和當(dāng)前像素?cái)?shù)據(jù)隨后被輸入到三個(gè)旋轉(zhuǎn)存儲(chǔ)變量中，形成3×3像素陣列。顏色插值是使用相鄰像素的顏色為圖像中所有像素計(jì)算R，G和B像素值的三元組的過(guò)程。這個(gè)過(guò)程可能涉及大量的像素和數(shù)值運(yùn)算。為了最大程度地減少計(jì)算量，3×3陣列的中心像素僅用作RGB的顏色之一，在G像素居中的情況下，兩個(gè)相鄰R像素的平均值和兩個(gè)相鄰B像素的平均值用于完成RGB三元組。通過(guò)將像素值相加并隨后右移1位以獲得平均值來(lái)計(jì)算平均值。

首先對(duì)爆米花仁的圖像進(jìn)行彩色插值，并以BMP格式保存以進(jìn)行離線(xiàn)（off-line）分析，從而開(kāi)發(fā)出用于檢測(cè)受損內(nèi)核的圖像處理算法。進(jìn)行的第一個(gè)離線(xiàn)分析是將藍(lán)眼受損區(qū)域與內(nèi)核的其他部分區(qū)分開(kāi)，在Adobe Photoshop中打開(kāi)每個(gè)保存的內(nèi)核圖像，并在藍(lán)眼區(qū)域（如果存在）中記錄10個(gè)像素的RGB值，在內(nèi)核的其他區(qū)域中記錄20個(gè)像素的RGB值，R值與藍(lán)眼區(qū)域相似。由于內(nèi)核表面起伏不定，其他區(qū)域通常位于內(nèi)核邊緣附近或有陰影的區(qū)域。在未損壞的內(nèi)核上，從散布在內(nèi)核周?chē)?0個(gè)像素記錄邊緣和陰影區(qū)域的RGB值。將所有像素的RGB值轉(zhuǎn)換為色相，飽和度和值（HSV）和CIELab顏色值。另外，計(jì)算每個(gè)像素的三個(gè)顏色值（R-G，R-B和G-B）中的兩個(gè)之間的差。所有計(jì)算出的顏色值和RGB值以及它們與藍(lán)眼受損區(qū)域，陰影或內(nèi)核其他部分的關(guān)聯(lián)均保存在電子表格中。使用逐步判別選擇單個(gè)最佳顏色值，以區(qū)分藍(lán)眼區(qū)域中的像素與內(nèi)核上的其他區(qū)域。逐步過(guò)程選擇飽和度作為區(qū)分內(nèi)核其他區(qū)域的藍(lán)眼睛像素的最佳功能，并選擇R-B區(qū)分陰影的藍(lán)眼睛區(qū)域。文獻(xiàn)[9]中列出了藍(lán)眼受損內(nèi)核的彩色圖像和僅顯示HSV圖像飽和度分量的圖像。接下來(lái)，處理飽和度圖像以提取指示藍(lán)眼損傷的斑點(diǎn)，細(xì)菌和頂蓋區(qū)域的飽和度較高，而藍(lán)眼區(qū)域的飽和度較低?？拷鼉?nèi)核邊緣的部分可以具有與藍(lán)眼區(qū)域相似的飽和度[9]。

1.3 基于色度和R-B分量

基于色度和R-B成分農(nóng)作物圖像識(shí)別原理[10]，對(duì)采集的圖像數(shù)據(jù)進(jìn)行對(duì)比度自適應(yīng)直方圖平均化，然后對(duì)處理后的圖像進(jìn)行中值濾波。以灰度帶比例作為西瓜子分類(lèi)特征值，用色選機(jī)進(jìn)行特征量分類(lèi)訓(xùn)練，將非正常的西瓜子進(jìn)行特征識(shí)別，實(shí)現(xiàn)分揀工作。預(yù)處理算法：首先用高斯濾波器對(duì)灰度圖像進(jìn)行噪聲去除，去除污漬小的區(qū)域后，對(duì)噪聲去除后的灰度圖像進(jìn)行對(duì)比度自適應(yīng)直方圖平均化、二值化處理，中值濾波；設(shè)定灰度帶比例特征：提取正常瓜子的輪廓（例如canny算子法），定義單粒瓜子外輪區(qū)域?yàn)閟，定義內(nèi)外輪的區(qū)域?yàn)镾1，S-S1為中部灰質(zhì)區(qū)域?yàn)镾2，比例值K=S2/S1；使用邊界跟蹤求出對(duì)象區(qū)域的輪廓點(diǎn)，并且根據(jù)各輪廓點(diǎn)的跟蹤方向信息，計(jì)算出輪廓內(nèi)畫(huà)像素總數(shù)的和以計(jì)算目標(biāo)區(qū)域的面積。該方法的識(shí)別速度為1.2t/h，準(zhǔn)確率為95%。

1.4 結(jié)合HSI空間的FCM算法

HSI（Hue，Saturation，Intensity）是以色度、飽和度、強(qiáng)度這三個(gè)特征來(lái)感知不同色彩的，最為直觀地反映了人類(lèi)的對(duì)色覺(jué)感知。其中日常生活中見(jiàn)到的白、黃、青、綠、紅、藍(lán)、黑等宏觀顏色就是色度；而飽和度通常是指顏色的純度，用來(lái)表達(dá)顏色的鮮艷程度，顏色越鮮艷亮麗，則飽和度越高。

H、S分類(lèi)可以用于識(shí)別彩色圖像，而強(qiáng)度與圖像的灰度相對(duì)應(yīng)，反映了顏色的亮度。HSV顏色空間中的H、S分量與HSI中的H、S分量一致，V分量（Value）表示亮度。由于HSI和HSV更適合人類(lèi)的直接視覺(jué)感官，它們并不特別適合機(jī)器對(duì)圖像的感知，所以一般將顏色從RGB空間域轉(zhuǎn)換為HSI和HSV空間域，進(jìn)行圖像處理后，轉(zhuǎn)換為RGB空間域進(jìn)行顯示。模糊聚類(lèi)算法擴(kuò)展了隸屬度的可能范圍，具有強(qiáng)大的圖像分割能力，目標(biāo)函數(shù)的模糊聚類(lèi)算法主要包括：模糊c均值聚類(lèi)算法（即FCM、Fuzzy c means algorithm）和可能性c均值聚類(lèi)算法。在實(shí)際的使用中，我們需要將圖像處理空間由RGB空間轉(zhuǎn)換到HSI空間中，此時(shí)需要處理的圖像就不再是灰度域的圖像，而特征空間也變成了三維，而此時(shí)結(jié)合了HSI空間后，聚類(lèi)中心也變成了三個(gè)，在此為了算法的實(shí)現(xiàn)，本文中選取了歐氏距離，統(tǒng)一了三維空間中的聚類(lèi)距離dij。

基于FCM的圖像識(shí)別算法具體流程：首先是讀取大米圖像的RGB信息，由RGB空間向HSI空間轉(zhuǎn)換，得到大米圖像在HSI空間下的H、S、I分量圖，并將其合成在HSI空間中大米圖像，通過(guò)FCM算法去除背景后，進(jìn)行大米邊緣提取，最終可提取出大米圖像中的異色米粒信息，該方法的實(shí)現(xiàn)是將雜質(zhì)歸于異色米粒一類(lèi)中，從而實(shí)現(xiàn)大米圖像中雜質(zhì)。

1.5 基于神經(jīng)網(wǎng)絡(luò)算法

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）已廣泛應(yīng)用于圖像識(shí)別領(lǐng)域，相比于傳統(tǒng)的基于顏色值的圖像分類(lèi)算法，是一種經(jīng)典的深度學(xué)習(xí)方法?；谏疃葘W(xué)習(xí)的圖像分類(lèi)算法不僅準(zhǔn)確率高、速度快，而且對(duì)于顏色豐富、形狀不一的復(fù)雜物料的篩選具有明顯的優(yōu)勢(shì)。一方面，通過(guò)選用L2范數(shù)正則化、指數(shù)衰減法和滑動(dòng)平均模型的方法優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)，以提高分類(lèi)的準(zhǔn)確性；另一方面，通過(guò)簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，來(lái)降低計(jì)算量，從而實(shí)時(shí)性大為提高。在挑選出破損的農(nóng)作物的過(guò)程，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法構(gòu)建基本流程為：數(shù)據(jù)采集及預(yù)處理，卷積神經(jīng)網(wǎng)絡(luò)的建立，評(píng)價(jià)指標(biāo)。算法優(yōu)化過(guò)程為：L2范數(shù)正則化，指數(shù)衰減，滑動(dòng)平均模型，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)簡(jiǎn)化。

2 結(jié)束語(yǔ)

在圖像處理、深度學(xué)習(xí)等機(jī)器視覺(jué)算法的迅猛發(fā)展下，農(nóng)作物色選機(jī)也取得了飛速進(jìn)展，在農(nóng)作物識(shí)別分類(lèi)的準(zhǔn)確度、實(shí)效性上均有顯著的提高。在算法應(yīng)用上，從傳統(tǒng)的基于色彩空間算法到人工智能機(jī)器學(xué)習(xí)算法，不斷應(yīng)用到農(nóng)作物的分揀加工中來(lái)，為提高糧食的加工效率和質(zhì)量提供了方便。