徐嘯順 任 建 林 立 高雪婷

(上汽通用汽車有限公司, 上海 201206)

1 研究背景

在汽車生產(chǎn)裝配線環(huán)境中，零部件裝配的防錯檢測是一項普遍而又重要的工藝。目前裝配防錯手段一般有人工目視/觸覺防錯、機器視覺防錯、機械機構(gòu)防錯、接近或測距傳感器防錯等，其中以機器視覺防錯為主流趨勢。機器視覺是指通過光學和非接觸的裝置自動地接收和處理一個真實物體的圖像，通過分析圖像獲得所需信息或用于控制機器運動的裝置[1]。

采用機器視覺防錯主要有以下優(yōu)勢：高精度、重復性、速度快、靈活性和可追溯性。

目前主流傳統(tǒng)的機器視覺防錯技術主要基于灰度圖像的特征提取，比如邊緣、形狀、尺寸等[2]。主流的傳統(tǒng)圖像處理方法目前在理論和硬件處理平臺方面已發(fā)展地較為成熟，設備成本也基本符合替換人工的收益計算。但在車企內(nèi)大規(guī)模應用傳統(tǒng)機器視覺進行防錯時，往往會遇到以下問題，在一定程度上阻礙機器視覺的普及。

1) 投產(chǎn)初期難以確保極高的準確率。一般車企對防錯要求極高，制造標準規(guī)范中對視覺防錯檢測準確率要求往往在99.9%以上。但新項目在視覺系統(tǒng)集成時，往往由于集成周期短、調(diào)試樣件昂貴數(shù)量稀少、裝配錯誤形式多種多樣等原因，導致如果大規(guī)模應用傳統(tǒng)機器視覺設備，則往往在應用初期難以保證高準確率的要求。

2) 受現(xiàn)場環(huán)境變化影響大。對于現(xiàn)場裝配，往往存在現(xiàn)場環(huán)境照明的變化，比如環(huán)境光變化、光源老化、周邊工件位置變化(比如線纜)引起的圖像灰度變化，導致傳統(tǒng)視覺算法檢測所依賴的圖像特征對比度、完整性受到影響而錯判。

3) 設備成本高。相較于機械檢測裝置或者傳感器，機器視覺軟硬件投資相對昂貴。

基于深度學習的機器視覺系統(tǒng)可以與傳統(tǒng)機器視覺形成互補。深度學習的機器視覺使用卷積神經(jīng)網(wǎng)絡深度學習技術訓練的圖片模型，導入運用已有的算法庫。通過在訓練過程中增加圖像的偏移、旋轉(zhuǎn)、噪點、亮度等干擾，模型可以很好的適應圖片可能的擾動。對導入圖像的精細分類標注，可以給出準確的策略。對于光源亮暗波動或工件位置的變動，深度學習也可避免或顯著降低其負面影響，通過分類概率顯示最可能的判讀結(jié)果。

鑒于原理上的差異，深度學習機器視覺防錯技術是在缺陷檢測、防錯這類應用領域非常前沿且有潛力的技術，可以與傳統(tǒng)機器視覺算法防錯技術優(yōu)勢互補。

當然深度學習機器視覺防錯技術在應用中也存在一些難點，主要如下：

1) 計算機算力要求。深度學習應用的模型訓練往往涉及數(shù)千張圖像、數(shù)百萬個參數(shù)的迭代解算，因此需要強大的硬件性能支撐。

2) 圖像樣本采集和標注。為了訓練出準確的識別模型，必須準備數(shù)量巨大，且標注準確的訓練集，通常需要數(shù)千張缺陷圖片和更多正常圖片的集合[3]。對于這些圖像的標注、整理和格式統(tǒng)一的工作量是非常大的。

3) 適合定性式的防錯檢測。深度學習神經(jīng)網(wǎng)絡一般輸出結(jié)果會按照概率歸屬到預設的幾類標簽判斷進行顯示[4-5]。而預設的類別一般都需要有明顯可見的差異。因此如果檢測需求為定量式的判斷，比如檢測一個定位銷是否安裝到位是通過測量外露長度是否達到圖紙要求，那么深度學習則只能檢測其安裝有無，無法準確的測出其長度，因為不能準確進行判斷。

因此需要結(jié)合實際工業(yè)環(huán)境特點，對應用場景進行分析，確認何種情況應用常規(guī)機器視覺算法更有優(yōu)勢，何種情況適合應用深度學習的機器視覺。同時在確認使用深度學習的前提下，盡可能減少需求樣本數(shù)量、技術上合并失效模式場景等，并且在實際生產(chǎn)線背景下克服或避免以上難點，使深度學習可以滿足更多的應用場景。

目前，在產(chǎn)品包裝、交通安全、機器人視覺應用等領域，已有部分深度學習機器視覺的成功應用案例[3-7]，汽車制造領域則鮮有涉足?？紤]到汽車制造的工藝復雜性和對視覺檢測的切實需求，有必要引入深度學習機器視覺以實現(xiàn)更好的產(chǎn)品質(zhì)量監(jiān)控。目前各大視覺公司已有一些深度學習的圖像處理軟件或功能包，比如康耐視公司的Vidi防錯系統(tǒng)、Halcon圖像處理平臺[6]的深度學習功能包，但授權(quán)費用較為昂貴，且通常按照臺數(shù)、年限付費，不適合大批量應用。因此考慮利用開源算法和Python等工具，自主開發(fā)更適合工業(yè)環(huán)境應用的深度學習軟件。

2 項目應用需求

在汽車生產(chǎn)裝配線環(huán)境中，利用普通工業(yè)相機以及常規(guī)的鏡頭、光源等配件，和常規(guī)性能工控電腦，自行搭建視覺檢測系統(tǒng)?，F(xiàn)場所有硬件投資控制在5萬元以內(nèi)。

深度學習視覺檢測系統(tǒng)運行在工控電腦上，并實現(xiàn)與工業(yè)PLC系統(tǒng)的通信。根據(jù)PLC信號對所需檢測的工件在合適的狀態(tài)進行拍照、采集灰度圖像；將根據(jù)工藝檢測需求，對圖像進行分割、屏蔽等預處理[7-8]，導入已學習的深度學習模型對處理后的圖像進行判斷。其中深度學習模型通過預先學習獲得，對2000張以內(nèi)、4類左右的預設標簽圖像學習，獲得99.99%以上的學習準確率[9]。

檢測系統(tǒng)將對同一圖像內(nèi)不同區(qū)域、不同景深、傳統(tǒng)視覺難以檢測的裝配特征進行自動識別和防錯，達到99.95%以上的實際測量準確率，并將測量結(jié)果發(fā)送至PLC，作為零件裝配正確或錯誤的依據(jù)。所有測量結(jié)果、判斷概率以及圖像也將被保存在工控電腦中。

3 深度學習視覺檢測系統(tǒng)的自主開發(fā)

3.1 深度學習視覺檢測系統(tǒng)總體結(jié)構(gòu)

深度學習視覺檢測系統(tǒng)總體結(jié)構(gòu)如圖1所示[8]。

圖1 深度學習視覺檢測系統(tǒng)總體結(jié)構(gòu)

左側(cè)為離線部分：在現(xiàn)場收集正負樣本圖片后，將其作為輸入，通過Python的深度學習庫計算出適配的神經(jīng)網(wǎng)絡模型，運行時導入該模型用于防錯計算。

右側(cè)為現(xiàn)場運行時檢測系統(tǒng)軟件，包含以下模塊：照相機的圖片采集模塊、與PLC通信的通信模塊、深度學習算法模塊、數(shù)據(jù)庫記錄模塊、參數(shù)設置模塊以及界面UI。界面UI在實現(xiàn)相應功能時，調(diào)用各功能模塊，實現(xiàn)圖片獲取、圖片處理、結(jié)果記錄、參數(shù)設置、結(jié)果返回的完整功能?；赟NAP7協(xié)議的PLC通訊模塊首先實時檢測PLC給出的圖片采集觸發(fā)信號，采集后的圖片經(jīng)過裁剪均一化等預處理，傳遞給深度學習算法模塊，后者計算防錯結(jié)果。防錯結(jié)果通過PLC通訊模塊，寫入PLC的DB塊，并同時將結(jié)果記錄到本地數(shù)據(jù)庫。

現(xiàn)場運行時檢測系統(tǒng)軟件在windows下運行，使用C#作為編程語言，同時配合其包管理系統(tǒng)Nuget，可以大量節(jié)約開發(fā)時間。界面UI基于Windows桌面主流的框架WPF開發(fā)，同時搭配第三方MVVM(Model-View-ViewModel)框架MVVM Light，實現(xiàn)了視圖顯示邏輯和數(shù)據(jù)內(nèi)容的分離。

3.2 深度學習神經(jīng)網(wǎng)絡算法

深度學習網(wǎng)絡包括卷積神經(jīng)網(wǎng)絡、深度信念網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡等。卷積神經(jīng)網(wǎng)絡是深度學習的代表算法，在圖像識別和分類領域已被證明非常有效[10]。

卷積神經(jīng)網(wǎng)絡包含輸入層、隱層和輸出層，輸入層用來輸入圖像信息，輸出層輸出網(wǎng)絡的判別結(jié)果，隱層由若干個卷積層、池化層和全連接層組成。卷積層通過圖像與卷積核的卷積運算，將數(shù)據(jù)輸入映射到隱層特征空間，得到的特征圖又會作為下一層的輸入。每個卷積層后連接池化層，對輸入的特征圖進行壓縮，一方面減小特征圖尺寸，簡化網(wǎng)絡計算復雜度；另一方面壓縮特征，提取主要特征。全連接層用于連接卷積池化后的所有特征，并將輸出值送給分類器進行圖像分類?？偟膩碚f，卷積神經(jīng)網(wǎng)絡通過構(gòu)建具有多個隱層的網(wǎng)絡模型，將底層外觀特征逐層傳播，形成高層語義特征，最后通過全連接層-分類層輸出類別及概率信息，整個網(wǎng)絡模型的結(jié)構(gòu)如圖2所示[9, 11]。

本項目將采用卷積神經(jīng)網(wǎng)絡算法，項目實施步驟如下：

1) 檢測類別定義

根據(jù)工藝和質(zhì)量規(guī)范，定義產(chǎn)品缺陷和錯誤種類。

2) 建立適用于防錯應用的樣本庫

根據(jù)產(chǎn)品缺陷類別，利用合適的工業(yè)相機采集適當數(shù)量樣本圖像，部分罕見缺陷樣本將人工模擬重現(xiàn)。為了提高檢測率以及降低計算量，本文利用Opencv等開源工具，對采集到的樣本圖像進行剪裁、重命名、特征區(qū)域選取等預處理工作。收集完樣本后，將其中60%作為訓練集，20%作為驗證集，剩下的作為測試集。

圖2 卷積神經(jīng)網(wǎng)絡模型

Fig.2 Convolutional neural network (CNN) model

3) 設計合適的網(wǎng)絡模型，并進行模型訓練

本文使用Python、Tensorflow和Keras等搭建卷積神經(jīng)網(wǎng)絡，設置適當?shù)膶W習率、迭代次數(shù)、隱層數(shù)等超參數(shù)，并采用了小批量梯度下降法、批歸一化處理、衰減學習率等優(yōu)化算法，經(jīng)過一段時間的訓練迭代，得到99.99%準確率的網(wǎng)絡權(quán)重文件[12]?？赏ㄟ^安裝GPU并行計算架構(gòu)CUDA和深度學習加速庫cuDNN，縮短訓練時間，訓練程序部分代碼如圖3所示。

圖3 訓練程序部分代碼

4) 驗證模型，上線使用

訓練好的模型先經(jīng)過離線驗證，在準確率達到99.9%以上后，投入現(xiàn)場使用并會根據(jù)運行狀況改進優(yōu)化。

3.3 深度學習視覺檢測系統(tǒng)所應用硬件選型

視覺系統(tǒng)的硬件主要包含相機、鏡頭和光源。

相機的選型主要基于視覺系統(tǒng)的檢測精度、視野范圍；鏡頭的選型主要考慮檢測環(huán)境；光源的選型基于使被測物體的重要特征顯現(xiàn)，且盡可能的避免環(huán)境光帶來的負面影響。

如表1所示，本檢測系統(tǒng)選用的相機類型為普通工業(yè)相機，檢測精度要求為1毫米，視野范圍為600毫米×200毫米，根據(jù)分辨率F = 視野范圍/檢測精度，可知相機分辨率至少為600，從市面上大部分的相機分辨率參數(shù)及成本考慮，確認選用130W(1280×1024)像素的工業(yè)相機，產(chǎn)品型號為acA1300-30gc；根據(jù)相機的傳感器尺寸以及現(xiàn)場工位布局，視覺系統(tǒng)的工作距離為500 mm，根據(jù)鏡頭焦距f = 物距×傳感器尺寸/視野范圍，確認選擇焦距4mm的廣角鏡頭；根據(jù)本案例的檢測需求，同時基于深度學習所帶來的魯棒性，使用普通LED紅外條形光源即可滿足檢測需求，光源型號為 LIM - 800×40 - IR - W。

3.4 軟件操作界面

運行時軟件主要包括以下主要頁面包括：Run(運行)、Setup(設置)、History(歷史)。

3.4.1Run運行界面

運行界面如圖4所示，具備開啟、停止深度學習在線運行的功能，還具備用于測試的手動觸發(fā)功能。同時也顯示了當前該軟件的外部連接狀態(tài)，包括PLC和相機等外部設備。當外部信號觸發(fā)拍照后，照片特征區(qū)域會根據(jù)當前的檢測項目顯示在當前主界面上，同時顯示OK/NG結(jié)果以及其他細節(jié)信息。通過選擇檢測項目的下拉框，可以切換不同的檢測項目，圖片特征區(qū)域顯示以及相關結(jié)果信息也會隨之更新。

表1 視覺系統(tǒng)硬件參數(shù)

圖4 運行界面

3.4.2Setup設置界面

設置界面下，還有三個分設置頁，分別設置軟件的基本參數(shù)、相機參數(shù)以及導入的神經(jīng)網(wǎng)絡模型。

在Basic(基本參數(shù))頁面，可以設置圖片存儲的路徑，PLC相關的參數(shù)，圖片平均灰度值閾值以及歷史頁面的最大顯示項，如圖5所示。

圖5 設置界面——基本參數(shù)

在相機設置界面，可以設置待連接相機的序列號和曝光時間，在連接上后，可以顯示圖片的分辨率。同時，該界面還具備用作深度學習樣本的圖像取圖功能，如圖6所示。

深度學習導入頁面如圖7所示，該頁面用來導入由Python離線計算得到的模型文件。使用左下角的Load按鍵，即可導入該算法模型。成功導入后，界面上將顯示該模型文件的具體信息，包括檢測項目名、模型文件、分辨率以及特征檢測區(qū)域。

圖6 設置界面——相機設置

圖7 設置界面——深度學習模型導入

3.4.3History歷史界面

歷史界面如圖8所示。在每次檢測后，檢測結(jié)果除返回給PLC外，還可存儲在本地以便之后回溯。按界面的Refresh刷新按鈕，可以得到當前最近的檢測結(jié)果，包括圖片預覽、文件名，結(jié)果可信度以及灰度值等信息。

圖8 歷史界面

4 已應用典型案例

4.1 變速箱裝配防錯案例

變速箱裝配防錯案例的工藝要求是取下油泵密封圈保護套，安裝渦輪軸O型圈，如圖9所示。傳統(tǒng)的視覺檢測算法是通過紋理特征提取零件的輪廓或通過背景與待檢測目標的灰度差值來判斷，該方法對光照要求較高，受外界因素影響較大，不能保證檢測效率。該案例中油泵密封圈保護套與背景較為相似，且保護套表面紋理細節(jié)特征較少，無法用傳統(tǒng)視覺算法實現(xiàn)，因此本文根據(jù)實際工業(yè)需要，提出基于深度學習的保護套及O型圈檢測算法。

(1) 有保護套，無O型圈

(2) 無保護套，有O型圈

圖9 保護套及O型圈

Fig.9 Protective sleeve and O-ring

圖10為基于深度學習的保護套及O型圈檢測算法流程圖。整個過程分為兩大部分，離線訓練和在線檢測。離線訓練：將收集的樣本經(jīng)過預處理后送入卷積神經(jīng)網(wǎng)絡進行訓練，最后輸出網(wǎng)絡的權(quán)重信息。圖像預處理包括mask(掩膜)處理和圖像裁剪[13]，原始圖像通過mask對圖像上O型圈作屏蔽，使其不參與卷積計算，處理后的圖像作為保護套檢測模型的訓練樣本；原始圖像經(jīng)過裁剪，得到O型圈區(qū)域，用于訓練O型圈檢測模型；訓練過程中訓練集和驗證集的準確率和損失函數(shù)的值如圖11所示，經(jīng)過600次的迭代，精度接近1，損失接近0，模型訓練到最優(yōu)狀態(tài)。在線檢測：相機拍攝一張圖片，經(jīng)過預處理后，送入訓練好的兩個網(wǎng)絡，輸出類別及概率信息，最后融合兩個網(wǎng)絡的輸出結(jié)果以及圖像平均灰度值信息，輸出最終的檢測結(jié)果OK/NG。經(jīng)過42771個工件驗證，結(jié)果表明該算法的準確率可達99.97%以上，驗證了深度學習算法在防錯應用上的可行性。

圖10 基于深度學習的保護套及O型圈檢測算法流程圖

圖11 訓練過程中準確率和損失的曲線圖

盡管深度神經(jīng)網(wǎng)絡在保護套及O型圈檢測任務中取得了不錯的表現(xiàn)，但它像黑匣子一樣難以解釋，模型可視化有助于解釋神經(jīng)網(wǎng)絡學習到的特征。圖12為熱力圖可視化結(jié)果，圖中紅色區(qū)域表示模型關注的區(qū)域，O型圈和保護套都被標成了紅色，表明模型學習到了O型圈和保護套的特征，證明了深度學習算法的可靠性。

圖12 檢測熱力圖

4.2 發(fā)動機裝配防錯案例

在發(fā)動機線的生產(chǎn)過程中，發(fā)現(xiàn)發(fā)動機上的五個瓦蓋在轉(zhuǎn)臺旋轉(zhuǎn)過程中偶爾出現(xiàn)翻倒，可能導致向下夾緊瓦蓋的裝配機構(gòu)斷裂，造成經(jīng)濟損失。常規(guī)視覺設備或傳感器需要加裝五處才能達到防錯目的。為了解決該問題，同時節(jié)約視覺項目的投資成本，實現(xiàn)了基于一個工業(yè)相機結(jié)合深度學習軟件的瓦蓋位置檢測案例。

圖13是相機拍攝的瓦蓋圖片，從圖中可以看出由于位置差異，五個瓦蓋的成像結(jié)果偏差較大。該案例如果用傳統(tǒng)的視覺檢測算法，需要將瓦蓋分成五類分別處理，算法繁瑣復雜，且對環(huán)境光照的魯棒性差；而深度學習在光線變化、目標姿態(tài)變化明顯以及復雜場景下都能取得較好的檢測效果，因此本文將五個瓦蓋分為兩大類：一類凹槽為暗色，另一類凹槽為亮色。

根據(jù)上述的兩大類，分別收集正負樣本[7]，由于實際瓦蓋翻倒的情況較少，因此本文通過人工模擬瓦蓋翻倒，在兩大類別下分別將樣本集劃分三小類：瓦蓋未翻倒、瓦蓋完全翻倒和瓦蓋不完全翻倒，如圖14所示。由于目標一致性較好，每個小類別采集100張圖像作為訓練集，40張作為驗證集，經(jīng)過如圖15所示的圖像裁剪預處理后，送入卷積神經(jīng)網(wǎng)絡學習，最后輸出能夠準確判斷瓦蓋位置的網(wǎng)絡模型。該案例目前已上線使用，生產(chǎn)4000多件的誤檢率為0，測試各類傾覆場景各50件，表明算法具有高準確率，而且高效和健壯、降低硬件依賴。

圖13 正常瓦蓋狀態(tài)圖片

Fig.13 Bearing tap of normal status

(1) 第一類

(2) 第二類

(3) 第三類

圖14 樣本圖片

Fig.14 Samples

(1) 第一類

(2) 第二類

(3) 第三類

圖15 分割圖片

Fig.15 Cropped images

5 結(jié)論與收益

5.1 節(jié)約視覺檢測設備的投資成本

常規(guī)的智能相機包含圖像處理軟件的授權(quán)以及整套拍照和處理系統(tǒng)的硬件，價格往往在10萬元左右。而且對于單個工件的多個裝配防錯點檢測，一個智能相機由于其鏡頭、光源等限制，不能覆蓋所有防錯點，必須追加智能相機。通常一個變速箱工件的裝配工位至少安裝1個智能相機，智能相機單價在5-10萬，總體投資在10-15萬左右。但通過使用深度學習的視覺系統(tǒng)，降低對選用相機硬件要求，一般5000元左右的工業(yè)相機即可滿足系統(tǒng)性能。成功將硬件成本目前控制在2萬元以內(nèi)。同時軟件自主開發(fā)，應用升級更新也無需費用，因此總體投資控制在2萬以內(nèi)。

5.2 進一步提高視覺防錯檢測準確率

采用深度學習的檢測系統(tǒng)通過前期采集大量工件的失效圖像，可以較好的建立檢測模型，完善參數(shù)配置。正確的裝配模式和失效的裝配模式圖像可以人工預先模擬歸類。采集圖像時配以不同的外部光源和照射角度，盡可能將光照變化引入神經(jīng)網(wǎng)絡模型。

目前包括以上兩項案例的多個應用都已經(jīng)達到或超過了99.95%檢測準確率。能夠滿足高產(chǎn)能高質(zhì)量標準下的生產(chǎn)質(zhì)量監(jiān)控要求。

5.3 在各大車間各類制造應用中進行推廣

通過以上案例，已驗證此技術在工業(yè)制造領域的可靠性和經(jīng)濟價值。未來將在動力總成、整車制造的各大車間視覺防錯應用中推廣。