徐文龍，侯 明

（北京信息科技大學 自動化學院，北京 100192）

0 引言

工業(yè)4.0快速發(fā)展時代，傳統(tǒng)制造業(yè)面臨著嚴峻的挑戰(zhàn)[1]。隨著計算機技術(shù)的進步和科技的不斷發(fā)展，制造業(yè)自動化程度不斷提高，融合人工智能的智能高精尖設(shè)備成為行業(yè)發(fā)展熱點。隨著中國制造2025概念的提出，加工制造業(yè)的智能化成為行業(yè)發(fā)展的必然趨勢。

精密孔坯結(jié)構(gòu)的零件，如液壓閥體、發(fā)動機缸體等，粗加工留下的孔緣毛刺清除，對于保證零件的密封性能具有重要影響。毛刺的清除目前采用人工銼削，工時長、品質(zhì)參數(shù)不易[1]保證。研發(fā)孔類零件的自動磨削設(shè)備對于提高生產(chǎn)效率、保證部件性能具有重要意義。

本文對礦用液壓閥體的孔結(jié)構(gòu)邊緣毛刺檢測進行研究，為自動加工提供目標位置參量。

1 背景

孔緣毛刺參數(shù)提取，需要對工業(yè)相機拍攝的圖像進行邊緣檢測。根據(jù)理論邊緣與檢測邊緣的差值，獲得毛刺參數(shù)。邊緣信息在圖像分析中起著重要的作用，也是目標識別的重要依據(jù)[2]。由工業(yè)相機獲取的工件圖像，其邊緣包含目標工件的重要信息，精確的邊緣檢測結(jié)果可以有效獲取圖像的邊界結(jié)構(gòu)[3～5]，為后期自動磨削提供空間參數(shù)。目前有許多圖像邊緣檢測的算法被提出。Canny算法是當前廣泛使用的傳統(tǒng)邊緣檢測算法[6，7]，其很大程度上解決了Prewitt和Sobel等經(jīng)典邊緣檢測算子在圖像處理中出現(xiàn)的問題。HED[8]（Holistically-Nested Edge）神經(jīng)網(wǎng)絡(luò)是目前比較好的圖像邊緣檢測網(wǎng)絡(luò)，無需經(jīng)過復(fù)雜的特征工程即可對工業(yè)圖像進行邊緣檢測，并且能夠自動學習到工業(yè)零件圖像的多層級特征，得到最佳的邊緣特征圖像，可以最大程度上抑制非目標區(qū)域邊緣。

在項目研發(fā)階段，遇到了兩個難點：

1）在孔類零件孔的周圍存在的劃痕、銹蝕、油跡等給邊緣提取帶來很大干擾，Canny算法會導致細節(jié)過多［9］，從而影響工業(yè)零件圖像分割的效果。

2）HED方法能夠?qū)崿F(xiàn)特征的自動提取，實現(xiàn)了圖像預(yù)處理的目的，但是經(jīng)過HED網(wǎng)絡(luò)輸出的邊緣檢測結(jié)果是一個粗邊緣的概率圖，對于結(jié)構(gòu)相對細小的毛刺對象產(chǎn)生了覆蓋，影響毛刺結(jié)構(gòu)的辨識精度。

通過初期的效果分析，發(fā)現(xiàn)Canny算法和HED算法能夠進行互補，在本文所涉及的應(yīng)用場合具有較好的針對性，預(yù)計在自動選擇零件特征的基礎(chǔ)上能夠提高邊沿細小特征的分辨率。于是開展研究，獲得了較好的效果。

2 研究方法原理

2.1 HED網(wǎng)絡(luò)

HED網(wǎng)絡(luò)在VGG（Visual Geometry Group）網(wǎng)絡(luò)[10]的基礎(chǔ)上改進而來，VGG網(wǎng)絡(luò)結(jié)構(gòu)簡潔且具有強大的目標特征提取能力。VGG網(wǎng)絡(luò)比HED網(wǎng)絡(luò)多最后一個全鏈層，全連接層計算復(fù)雜、算力資源消耗大，能獲得的細節(jié)多；對于本文涉及的場景來講，實時性、抗擾性適應(yīng)度不佳，因此研究選擇HED網(wǎng)絡(luò)。

HED在VGG網(wǎng)絡(luò)上增加了5個側(cè)邊輸出層，分別從VGG16網(wǎng)絡(luò)的最后一個卷積層進行輸出，即圖1所示的conv1-2，conv2-2，conv3-3，conv4-3和conv5-3，并對原VGG網(wǎng)絡(luò)進行修改，將網(wǎng)絡(luò)所有的全連接層去除。HED網(wǎng)絡(luò)從低層到高層的感受野在不斷擴大，但位置信息也會不斷丟失，而語義信息將會逐漸豐富。由于每一層得到的圖像的長寬尺寸是不一樣的，所以HED利用轉(zhuǎn)置卷積和反卷積操作對每一層得到的圖像再做一遍運算。這樣HED在每個尺度上得到的圖像，都是相同的大小。

圖1 HED網(wǎng)絡(luò)結(jié)構(gòu)

2.2 HED訓練方法改進

現(xiàn)有的HED網(wǎng)絡(luò)與FCN（Fully Convolutional Networks）網(wǎng)絡(luò)[11，12]相似。在訓練過程中，采取了分別對各個融合層進行訓練的方式，這種訓練方式比較復(fù)雜，訓練耗費的時間也更長，實時效果不佳。因此對HED網(wǎng)絡(luò)訓練方法進行了改進：

1）通過5個側(cè)邊輸出層與融合層同時進行訓練的方式，對網(wǎng)絡(luò)的訓練步驟進行了簡化。

2）改進損失函數(shù)。在本應(yīng)用場景中，圖片大部分區(qū)域都是非邊緣像素，且有嚴重的擾動，若使用常用的損失函數(shù)進行訓練會造成訓練后的模型不穩(wěn)定，影響工件的邊緣檢測效果。修改后的HED網(wǎng)絡(luò)的邊緣位置損失函數(shù)很好的解決目標邊緣像素和非邊緣像素不平衡的問題。

最終修改后的HED網(wǎng)絡(luò)的損失函數(shù)如下：

式(1)中，Lside表示圖像像素級的側(cè)邊輸出代價。在HED網(wǎng)絡(luò)訓練的過程中，對于每一張圖像，這一函數(shù)表示為：

式(2)中：Y+：標簽中標記為邊緣的像素；

Y-：標簽中標記為非邊緣的像素；

Pr(yi=1|X；W，wm)：是由側(cè)邊輸出的響應(yīng)值通過邏輯回歸函數(shù)計算得到的參數(shù)。對于網(wǎng)絡(luò)的第m個側(cè)邊輸出層記為。HED網(wǎng)絡(luò)將所有的側(cè)邊輸出層的預(yù)測結(jié)果連接在一起學習混合權(quán)重，混合權(quán)重層的損失函數(shù)如式(3)所示。

式(3)中h表示為HED網(wǎng)絡(luò)的側(cè)邊的各個輸出層的融合系數(shù)。表示手工標記的標簽與網(wǎng)絡(luò)預(yù)測結(jié)果的距離，利用交叉熵函數(shù)計算得出。最終網(wǎng)絡(luò)利用梯度下降法進行迭代優(yōu)化，最終總體損失函數(shù)如式(4)所示：

2.3 Canny算法融合

Canny算法在對零件進行邊緣檢測時，一般會先對零件圖像進行高斯濾波降噪處理，然后計算圖像梯度的幅值和以及圖像梯度的方向，再利用非極大值抑制算法對梯度幅值進行非極大值抑制，最后用雙閾值算法檢測并且連接圖像邊緣。非極大值抑制就是指尋找像素點的局部最大值，在零件邊緣檢測中非極大值抑制就是抑制零件局部區(qū)域內(nèi)像素點不是極大值的點。這樣就可以進一步的將零件部分非目標邊緣點剔除掉。Canny算子采用非極大值抑制算法對圖像邊緣細化。經(jīng)過細化后，得到的邊緣仍然存在一部分虛假邊緣。Canny算子采用雙閾值算法對該邊緣圖像進一步檢測并連接邊緣。Canny算法在HED網(wǎng)絡(luò)輸出的邊緣范圍附近進行檢測，會獲得更小的毛刺邊緣細節(jié)，且能有效的避開非邊界區(qū)的擾動。

3 實驗實施與結(jié)果

3.1 數(shù)據(jù)集的自建

HED訓練首先要有高相關(guān)的圖片數(shù)據(jù)集。而目前尚沒有公用的坯孔邊緣毛刺的數(shù)據(jù)集。因此需要先自建數(shù)據(jù)集。本實驗使用的手工制作的零件數(shù)據(jù)集。樣品零件為礦用液壓閥體，使用工業(yè)相機對不同孔在不同角度拍攝，作為HED網(wǎng)絡(luò)訓練數(shù)據(jù)，對應(yīng)的輸出是手工標注的孔類零件邊緣。在本次實驗中，使用了200張圖片集。圖2為其中一張數(shù)據(jù)集的原始圖，圖3為對應(yīng)的標記圖。

圖2 原始圖

圖3 標注圖

3.2 硬件及軟件架構(gòu)與參數(shù)調(diào)節(jié)

本實驗基于TensorFlow深度學習框架和CUDA9.2并行計算庫進行開發(fā)。實驗中硬件平臺為：CPU，Xeon E5 2689；GPU GTX-1070（8G）；RMA，32G。

輸入原始零件圖片，用訓練好的HED網(wǎng)絡(luò)模型對圖片進行檢測。得到零件邊緣概率圖，將邊緣概率大于等于0.5的像素點設(shè)置為255，將邊緣概率小于0.5的像素點像素值設(shè)置為0，得到零件顯著性邊緣。同時對原始零件圖片進行Canny檢測，將檢測結(jié)果與HED網(wǎng)絡(luò)檢測的顯著邊緣進行與運算，得到最終融合圖。

實驗在進行HED網(wǎng)絡(luò)模型訓練時，采用遷移學習的思想，用VGG進行初始化，加載VGG網(wǎng)絡(luò)初始化參數(shù)，并進行微調(diào)。為防止訓練過程中陷入局部最小值，引入自適應(yīng)學習率，動態(tài)調(diào)整學習率大小。

3.3 實驗結(jié)果分析

圖4原始零件圖片，可以看出零件周圍有很多劃痕以及油污點、銹跡等，孔邊緣的左上部存在毛刺。

圖4 原始零件

圖5是Canny算子檢測結(jié)果。

圖6是HED檢測結(jié)果。

通過圖5、圖6和圖7的對比，得出結(jié)論如下：

圖5 Canny算法檢測效果

圖6 HED網(wǎng)絡(luò)檢測效果

圖7 本文算法檢測效果

Canny算法雖然采用濾波函數(shù)對工件圖像進行了降噪處理，相比較其他傳統(tǒng)算法有著較強的噪聲抑制能力，不容易受到工業(yè)現(xiàn)場產(chǎn)生的噪聲干擾，但是在本課題中，效果不佳，對于一些與邊緣像素尺度相近的痕跡不能區(qū)分。

HED算法在去噪能力上明顯優(yōu)于Canny算法。HED網(wǎng)絡(luò)在訓練過程中，能自動學習零件的邊緣圖像特征，且檢測出的零件邊緣特征明顯，零件毛刺輪廓比較清晰。HED神經(jīng)網(wǎng)絡(luò)通過對數(shù)據(jù)的學習，對孔類零件的非邊緣區(qū)域較少檢測，零件的邊緣部分成為網(wǎng)絡(luò)處理的重點。HED算法自動學習邊緣圖像特征的能力、降噪能力、抑制非目標物體邊緣能力上比Canny算法強，但是檢測出的邊緣較粗，會在一定程度上影響工件視覺測量的精度，忽略小細節(jié)，在本課題對應(yīng)的場景中，也存在明顯的不足。

圖7是將HED網(wǎng)絡(luò)與Canny算法融合的結(jié)果。具有兩個明顯的優(yōu)越性。

1）通過改進算法檢測出的圖像邊緣像素寬度能達到1～2像素，與Canny算法相當。HED算法檢測出的邊緣像素寬度在4～5像素。改進算法相比較HED算法定位更加準確，定位精度提高300%。

2）下面采用距離品質(zhì)因數(shù)對整體輪廓點的有效性進行定量分析。品質(zhì)因數(shù)主要通過三個因子組合定義的，即檢測到的假邊緣數(shù)，丟失的邊緣數(shù)量以及邊緣的定位誤差。品質(zhì)因素的定義如下：

式中，Ne是參考邊緣點數(shù)目，Nd是提取的邊緣點數(shù)目。d(i)是參考邊緣與提取的邊緣之間的距離。FM值越大表示提取的邊緣與實際的邊緣越接近，也反映出方法的魯棒性好。

下圖是用于定量分析的部分數(shù)據(jù)集，從左至右對應(yīng)1號圖片、2號圖片、3號圖片。

邊緣檢測結(jié)果品質(zhì)因素對比如表1所示。

表1 距離品質(zhì)因素評估

根據(jù)表1的結(jié)果可以發(fā)現(xiàn)改進融合算法相比較Canny算法，距離品質(zhì)明顯提高，實驗條件下至少提高70%。

4 結(jié)語

隨著人工智能技術(shù)的發(fā)展，基于機器視覺的在線檢測技術(shù)在工業(yè)上的應(yīng)用也更加廣泛。而傳統(tǒng)算法由于自身的局限性，無法自主選擇圖像特征，需要手動提取特征，這不符合高效在線檢測不同特征零件的要求；此外，傳統(tǒng)算法去噪能力有限，在實際應(yīng)用中存在很大的不足。本文提出基于改進的HED網(wǎng)絡(luò)融合Canny算子的零件邊緣檢測算法，自動化度更高、精度更高、品質(zhì)好、魯棒性高。對于磨削機器人加工運動控制實時性、精度提供了更有效的方案。

在研究中，對于HED網(wǎng)絡(luò)的訓練只用了200張圖片，遠低于公共數(shù)據(jù)集數(shù)量，然而檢測結(jié)果品質(zhì)整體提高較多，適合工業(yè)應(yīng)用。