項輝宇，黃恩浩，冷崇杰，張 勇

（北京工商大學 人工智能學院，北京 100048）

在蘋果的質量檢測方面，國外的研究較為先進，可準確檢測蘋果的外觀，并對內部缺陷等問題進行深入研究。國內對于蘋果等水果的檢測主要采用人工識別的方法，近年來也出現一些運用圖像處理自動識別的方法，但不夠準確、高效。1984年，Thylor R.W.等提出了用模擬攝像機檢測蘋果的外部損傷；1989年Rehkugler G.E.和Throop J.A.提出一種基于損傷面積和表面灰度的新算法；Kazuhiro Nakano等通過神經網絡對蘋果的顏色進行分級。國內的研究者們在21世紀也紛紛投入此項研究中。項輝宇等[1]使用Halcon對蘋果的外部與特征進行圖像處理的研究，該方法可較好地完成缺陷等外部特征的識別檢測；高輝等[2]采用亮度校正與機器視覺結合的方法對蘋果的缺陷進行快速檢測，該方法較為清晰且準確率較高；周雨帆等[3]采用輕量級卷積神經網絡，大幅減少了模型參數和訓練時間，對蘋果的表面缺陷檢測取得了較好的效果。在傳統研究方法中，多數學者對檢測識別進行了探究，但如何在識別到分級的整個過程中做到完全自動化還沒有很好的解決方 案[4-5]。因此，本研究嘗試采用卷積神經網絡（Convolutional Neural Networks，CNN）與 分 類 器（Support Vector Machine，SVM）相結合的方法，對比圖像識別方法的結果，檢測其準確率，并為深度學習在其他領域的新應用提供思路與理論基礎。

1 材料與方法

1.1 材料與儀器

蘋果的來源：放置一段時間的市售紅富士蘋果；維視視覺檢測（MV-BDP200型），維視數字圖像技術有限公司。

1.2 方法

1.2.1 蘋果特征檢測

（1）特征檢測整體流程。蘋果的大小、顏色、缺陷檢測的總體流程如圖1所示，其中缺陷檢測是3項檢測中最重要的，因此也是內容最復雜的。

圖1 特征檢測流程圖

圖像增強是將原圖像中的感興趣特征放大，讓圖像更清晰，更好地達到檢測的需要。圖像復原是利用模糊函數將圖像的模糊部分去除，還原圖像。圖像灰度處理是將彩色圖片轉化成灰白圖片，為后續(xù)圖片的其他處理做準備工作。圖像二值化是將得到的灰度化圖像，通過設定閾值門限進行分割，高于閾值的像素值變?yōu)?，低于閾值的像素值變?yōu)?，從而使圖像只有兩個值。圖像的平滑處理有3種最主要的方法，即中值濾波法、鄰域平均法和高斯濾波法，綜合考慮各方法的優(yōu)缺點，并根據本實驗希望得到清晰、平滑、精準的預處理圖的目的選擇最適合于本次研究的高斯濾波法。高斯濾波法是目前應用最廣泛的平滑圖像方法，能夠非常有效地抑制噪聲，達到平滑圖像的目的。高斯濾波器輸出的是濾波窗口內所有像素的平均值，它的模板系數隨著距模板中心的距離增大而減小，這使高斯濾波器具有很大優(yōu)勢，因此它對圖像的模糊程度比其他幾種濾波器要小。由圖2可以看出，經過圖像增強以及濾波過后的圖片，特征清晰度更高。

圖2 圖像增強及灰度直方圖

（2）大小檢測。通過蘋果在圖像中的面積對整體大小進行檢測。利用imfill函數，填充二值圖像中的空洞區(qū)域bw=imfill(～bw,‘holes’)；利用bwarea函數計算面積bwarea（bw）。

（3）顏色檢測。在檢測水果顏色時，需要找到適合的顏色模板，目前常用的顏色模板有RGB、HIS、HSV和HSB等，本實驗選取HSV模型檢測蘋果的顏色信息。蘋果的顏色檢測主要通過圖像的H分量展示，詳見圖3。

圖3 HSV分量

（4）缺陷檢測。蘋果的缺陷檢測是3項檢測中最重要的，也是復雜程度最高的。在實驗中主要采用邊緣檢測求出缺陷的區(qū)域從而識別。在圖像邊緣檢測過程中，涉及Sobel算子、Canny算子、Laplacian算子、Prewitt算子和Roberts算子等一系列非常重要的檢測算子，其優(yōu)缺點見表1。

表1 各算子優(yōu)缺點對比

Roberts算子是最簡單的算子之一，是一種使用局部差分算子來尋找邊緣的算子。對角線上兩個相鄰像素之間的差異用于近似梯度幅度以檢測邊緣。檢測垂直邊緣的效果優(yōu)于傾斜邊緣，定位精度高，對噪聲更敏感，無法抑制噪聲的影響。Roberts邊緣算子是一個2×2模板，它使用對角線方向上兩個相鄰像素之間的差異。從圖像處理的實際效果來看，邊緣定位準確，對噪聲敏感。Roberts算子的模板及算法原理如式（1）、式（2）所示，對于輸入圖像f(x,y)，使用Roberts算子后輸出的目標圖像 為G(x,y)。

Roberts算子是2×2算子模板。式（3）、式（4）所示的2個卷積核形成了Roberts算子。

圖像中的每一個點都用這2個核做卷積。Sobel算子對傳入的圖像像素執(zhí)行卷積。卷積的本質是求梯度值，或給一個加權平均，權重就是所謂的卷積核；生成新像素的灰度值作閾值計算來確定邊緣信息。Sobel算子認為鄰域內的像素點對當前像素點的影響是不等價的，因此不同距離的像素點權重不同，對算子結果的影響也不同。一般來說，距離越遠，影響越小。運算原理如式（5）、式（6）、式（7）。

其中，Gx是對原圖x方向上的卷積，Gy是對原圖y方向上的卷積，代入A，則最終得到的G就是（x，y）處的像素值。Sobel算子在兩個方向上的檢測效果見圖4。

圖4 Sobel算子邊緣檢測

在表面效應方面，Canny算法是對Sobel等算子效應的進一步細化和更準確的定位。Canny算法步驟如下。

使用高斯濾波器，以平滑圖像，濾除噪聲。二維高斯分布公式如下：

計算圖像中每個像素點的梯度幅值和方向。此步驟方法與Sobel算子非常類似。運用一對卷積陣列，使用式（9）、式（10）、式（11）計算梯度幅值和方向，梯度幅值近似到4個可能的角度之一（一般為0，45，90和135）。

應用非極大值（Non-Maximum Suppression）抑制，以消除邊緣檢測帶來的雜散響應。這一步也是使Canny算子優(yōu)于Sobel算子最重要的步驟。

應用雙閾值（Double-Threshold）檢測來確定真實的和潛在的邊緣。

確定出一定是邊的像素點，然后遍歷這些一定是邊的像素點的8鄰域，找到是否存在灰度值在minvalue與maxvalue之間可能是邊的像素點。如果此像素點可能是邊并且又在肯定是邊的像素點的8鄰域內，則將其標記為一定是邊的像素點。將這些一定是邊的像素點連接起來就是邊緣。

1.2.2 分級系統及基于深度學習的蘋果質量自動評級

（1）單項分級。先將檢測到的蘋果大小、顏色、缺陷進行單項分級。①大?。娣ebw）。當bw≥ 30000時顯示為A級果；當1000＜bw＜30000時顯示為B級果；當0＜bw≤1000時顯示為C級果。②顏色（H分量r）。當r＞1.0時顯示為A級果；當0.8＜r＜1.0時顯示為B級果；當r＜0.8時顯示為C級果。③缺陷（缺陷面積比Q）。用以下代碼將缺陷面積占比Q表示出來。X=imclearborder(bw,4)；Q=(bwarea(X)/bwarea(～bw))。當Q＜0.05時 顯 示 為A級果；當0.05＜Q＜0.10時顯示為B級果；當Q≥0.10時顯示為C級果。

（2）設計GUI界面。本實驗將原始圖像、二值圖像、H分量圖像、濾波圖像、通過3種算子檢測的邊緣圖像以及檢測得到的大小、顏色缺陷的結果及評級展示在同一界面上，使該研究結果更清晰明了。設計GUI界面如圖5所示。

圖5 GUI界面

（3）總體質量評級。通過上述方法，得到蘋果的大小、顏色以及缺陷評級A、B、C。本實驗將最終評級細化，將三者綜合在一起。若三者都是A，則整個蘋果質量為A；若三者有兩個A、一個B，則整個蘋果質量為A-；若三者有一個A、兩個B或兩個A、一個C，則整個蘋果質量為B+；若三者有一個A、一個B、一個C或三者都為B，則整個蘋果質量為B；若三者有一個A、兩個C或兩個B、一個C，則整個蘋果質量為B-；若三者有一個B、兩個C，則整個蘋果質量為C+；若三者都是C，則整個蘋果質量為C。該總體評級由簡單的條件語句即可完成，總體質量評級表見表2。如圖5中該蘋果顏色為C、大小為A、缺陷為C，故總體質量為B-。

表2 總體質量評級表

（4）基于深度學習的自動分級。上述方法檢測結果非常準確，但不太便捷，需要手動選擇蘋果圖像，檢測過程較為煩瑣，圖像識別運行速度不夠迅速，因此本文引入深度學習的方法，與上述方法相結合，通過卷積神經網絡，經過圖像處理和特征提取，對比預測出最終分級結果并對準確率進行比對。

卷積神經網絡是深度學習中在分類識別方面最常見的，由圖6可知，它的結構主要包括輸入層、卷積層、池化層、全連接層和輸出層。卷積神經網絡可很好地實現特征提取，而SVM學習的超平面是距離各個類別樣本最遠的平面，用于分類的可靠性，是機器學習工具中最好的。機器學習的最終目的就是找到一個最優(yōu)的分類超平面，用這個分類超平面區(qū)分開類別不同的圖片。本文將CNN卷積層提取的特征向量交給SVM進行分類，這樣泛化效果更好。建立整合的卷積神經網絡，利用訓練數據進行訓練，得到卷積層的權重參數，之后將卷積層輸出交給SVM，再利用上一步的特征向量對SVM進行訓練（將CNN最后一層配置為HingeLoss即可成為SVM分類器）。

在機器學習過程中，分類器的訓練是最重要的一部分，不斷通過調節(jié)參數與訓練適配特征向量，得到最適合本次研究的分類器參數。訓練分類器的步驟見圖7。

圖7 訓練分類器步驟

SVM模型有兩個非常重要的參數C和γ，其中C是懲罰系數，C越高，說明越不容忍出現誤差，極易造成過擬合，反之C越小易造成欠擬合。C值過大或過小都會使泛化能力變差。γ是RBF函數自帶的參數，它決定了數據映射到新特征空間后的分布，γ越大，支持向量越少，γ越小，支持向量越多，支持向量的個數直接影響訓練和預測的速度。使用Cross Validation和GridSearch得 到 最 優(yōu) 的C和γ。SVM分類器無法一次性預測出總體級別，因此按3個特征的級別給圖片貼上標簽（即每組特征將每張圖片標簽），讓其進行單項識別與預測，將評級標準按照表2合并，得到總體級別。

1.2.3 準確率判斷

本文選取800個蘋果樣品圖片（140個優(yōu)質果，660個有缺陷果）作為數據集，選取圖像檢測結果作為評判標準，再對深度學習得到的蘋果評級進行準確率判斷。在800個樣品圖片中隨機選取400個蘋果樣品圖像進行訓練，將剩下400個蘋果樣品圖像作為測試集進行檢測。統計測試集的圖像檢測結果與深度學習檢測結果。

2 結果與分析

由表3可知，A級果及A-級果的準確率較低，但其他各級果分類準確率均超過90%，總體分類準確率平均可達91.5%，分類效果比較理想。但是，C類果判斷準確而A和A-類果判斷略有偏差，這說明判斷條件過于苛刻，還需再調整參數，數據集不夠充足，導致預測結果準確率有偏差，需補充數據。

表3 圖像檢測結果與深度學習結果對比

3 結論

本實驗采用Matlab對蘋果圖像進行處理，傳統圖像識別方法與深度學習相結合，運用卷積神經網絡CNN提取特征，支持向量機SVM進行分級預測，分級效果十分顯著。通過本實驗也驗證了支持向量機SVM在分類識別方面確實有著非常優(yōu)異的表現。這也為卷積神經網絡CNN與支持向量機SVM相結合進行分類預測的方法在水果分級領域奠定了基礎，也為深度學習在其他領域的應用提供了新的參考和思路。