劉舒浩 楊宏志 楊之鵬 屈盼盼 金芳 劉慶泉

摘要：針對(duì)工件人工檢測(cè)效率低、漏判率高的問(wèn)題，本文提出了工件移動(dòng)測(cè)量自動(dòng)化的實(shí)現(xiàn)方法，利用工件識(shí)別、圖像采集設(shè)備采樣完成工件圖像的數(shù)據(jù)轉(zhuǎn)換，計(jì)算機(jī)軟件HALCON進(jìn)行瑕疵判斷、數(shù)據(jù)轉(zhuǎn)換、信息反饋，將這一檢測(cè)過(guò)程置于聯(lián)動(dòng)裝置，基于工件和采樣設(shè)備的同步運(yùn)動(dòng)，完成工件移動(dòng)檢測(cè)功能。結(jié)果表明，該設(shè)備基于HALCON和深度學(xué)習(xí)的應(yīng)用保證了檢測(cè)效率與準(zhǔn)確率，聯(lián)動(dòng)裝置的應(yīng)用保證了檢測(cè)過(guò)程的穩(wěn)定性，二者相輔相成共同實(shí)現(xiàn)了工件的移動(dòng)檢測(cè)。

關(guān)鍵詞：HALCON ?圖像采集 ?深度學(xué)習(xí)??機(jī)械臂與聯(lián)動(dòng)裝置

Realization of Automatic Photographing Platform for Workpiece Movement Measurement

LIU Shu-hao?YANG Hong-zhi?YANG Zhi-peng?QU Pan-pan?JIN Fang?LIU Qingquan

（1.School of Equipment Engineering Shenyang Ligong University，?Liaoning Province， 110159 China; 2.School of Automation and Electrical Engineering Shenyang Ligong University，?Shenyang，?Liaoning Province， 110159 China;3.?Fujian Zhongrui Network Co.， Ltd.， Fuzhou，?Fujian Province，?350015 China）

Abstract：?Aiming at the problems of low efficiency and high miss rate of workpiece manual detection， this paper puts forward the implementation method of workpiece movement measurement automation. The data conversion of workpiece image is completed by using workpiece recognition and image acquisition equipment sampling. The computer software Halcon carries out defect judgment， data conversion and information feedback. This detection process is placed in the linkage device to complete the workpiece movement detection function based on the synchronous movement of workpiece and sampling equipment. The results show that the application of the equipment based on Halcon and deep learning ensures the detection efficiency and accuracy， and the application of linkage device ensures the stability of the detection process. They complement each other and jointly realize the moving detection of workpieces.

Key Words： HALCON ?Image acquisition ?Deep learning ?manipulator and linkage module

當(dāng)今時(shí)代科技快速發(fā)展，傳統(tǒng)的靜止測(cè)量已經(jīng)不能勝任日益增長(zhǎng)的工件生產(chǎn)效率的需求。提高工件檢測(cè)的效率與準(zhǔn)確度，即本設(shè)計(jì)的初衷。工件移動(dòng)測(cè)量自動(dòng)化拍攝平臺(tái)的技術(shù)基礎(chǔ)，建立在“HALCON”這一圖像處理軟件的運(yùn)用上，對(duì)工件進(jìn)行移動(dòng)多方位圖像的掃描和收集，通過(guò)事先設(shè)定的程序?qū)κ占降膱D像進(jìn)行識(shí)別和檢測(cè)，最后將檢測(cè)結(jié)果數(shù)據(jù)反饋到計(jì)算機(jī)進(jìn)行深度學(xué)習(xí)。一方面可以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)與反饋相結(jié)合，另一方面也可以實(shí)現(xiàn)基于人工智能（AI）視覺(jué)系統(tǒng)的行深度學(xué)習(xí)，從而形成一套精準(zhǔn)而高效的工件識(shí)別處理系統(tǒng)，實(shí)現(xiàn)了工件在移動(dòng)中測(cè)量對(duì)精度與效率的兼顧。

1 HALCON與圖像采集原理

1.1 HALCON程序的運(yùn)用

該軟件的載體即計(jì)算機(jī)。HALCON是一個(gè)龐大的圖像處理庫(kù)，包含上千個(gè)獨(dú)立或相互聯(lián)系的處理函數(shù)和圖像底層處理數(shù)據(jù)管理應(yīng)用核心。HALCON可以完成工件圖像基本參數(shù)的測(cè)量，并可以高效地將圖像語(yǔ)言轉(zhuǎn)換為程序語(yǔ)言和數(shù)字語(yǔ)言。HALCON強(qiáng)大的計(jì)算分析能力提高了工件檢測(cè)自動(dòng)化的效率。

機(jī)器視覺(jué)技術(shù)的利用得以使工件自動(dòng)測(cè)量，應(yīng)用HALCON的開(kāi)發(fā)環(huán)境Hdevelop，利用其軟件交互性，可以開(kāi)發(fā)一套工件檢測(cè)的視覺(jué)應(yīng)用程序。本文中HALCON的使用參考了基于雙目立體視覺(jué)的工件高度測(cè)量方法，拍攝的工件的圖像傳輸?shù)接?jì)算機(jī)后，通過(guò)HALCON的圖像灰度化處理和閾值分割法測(cè)得工件的基本尺寸。

1.2 圖像采集系統(tǒng)組成

圖像采集系統(tǒng)依托計(jì)算機(jī)為軟件載體和數(shù)據(jù)平臺(tái)，由工業(yè)相機(jī)或工業(yè)紅外相機(jī)等設(shè)備為圖像采集硬件系統(tǒng)載體，光源、通信接口等輔助設(shè)備組成。計(jì)算機(jī)程序負(fù)責(zé)控制圖像采集設(shè)備并進(jìn)行圖像算法處理;工業(yè)相機(jī)可以將工件光信號(hào)裝換成電信號(hào)的形式傳輸給計(jì)算機(jī)等處理設(shè)備。

1.3 工件多方位立體檢測(cè)原理

基于物體運(yùn)動(dòng)相對(duì)靜止原理，工件于聯(lián)動(dòng)裝置上的平移與機(jī)械臂操控的多方位運(yùn)動(dòng)，工件可以在保持平移的同時(shí)被翻轉(zhuǎn)、調(diào)整，以不同的面面向圖像采集系統(tǒng)，稱之為工件多方展示運(yùn)動(dòng)。相對(duì)于平移的工件靜止，保證采集工件不同面相關(guān)參數(shù)的精度，將該系統(tǒng)進(jìn)行復(fù)制并聯(lián)，多套自動(dòng)檢測(cè)設(shè)備依次檢測(cè)，保證移動(dòng)檢測(cè)的效率，并聯(lián)測(cè)試系統(tǒng)圖如圖1所示。

2 深度學(xué)習(xí)

2.1 工件檢測(cè)的深度學(xué)習(xí)

深度學(xué)習(xí)在工件檢測(cè)方面應(yīng)用的主要任務(wù)就是圖像各項(xiàng)參數(shù)的自動(dòng)提取，智能識(shí)別出工件的瑕疵或者是其他指標(biāo)要求，并為之添加一個(gè)標(biāo)記來(lái)達(dá)到檢測(cè)并反饋的目的。用卷積層使程序模擬對(duì)某一特定圖案的響應(yīng)，池化層來(lái)模擬動(dòng)物視覺(jué)皮層的感受野。在工件檢測(cè)領(lǐng)域，這一算法處理的特定圖像就是工件的各個(gè)細(xì)節(jié)之處。

2.2 工件圖像數(shù)據(jù)增廣

目標(biāo)檢測(cè)模型工作時(shí)，對(duì)于采集到的圖像，一般是把圖像進(jìn)行縮小，以產(chǎn)生一個(gè)能被程序網(wǎng)絡(luò)所接受的尺寸，然后進(jìn)行訓(xùn)練或預(yù)測(cè)。這一過(guò)程會(huì)使圖像中的部分信息遭受損失，尤其是工件的微小型缺陷，這種信息的損失將會(huì)直接影響，為了保證工件檢測(cè)的精度。采用特殊的圖像數(shù)據(jù)增廣方法諸如Overlap切圖數(shù)據(jù)增廣和Mosaic數(shù)據(jù)增廣，在盡可能使圖像信息不缺失的情況下獲得較大的數(shù)據(jù)量和復(fù)雜性。

3 聯(lián)動(dòng)裝置和機(jī)械臂

3.1 工件平移機(jī)械聯(lián)動(dòng)裝置

為了實(shí)現(xiàn)上文所述在保證工件在生產(chǎn)線上平移的同時(shí)，實(shí)現(xiàn)圖像采集設(shè)備的同步運(yùn)動(dòng)和工件多方位的展示運(yùn)動(dòng)，要設(shè)計(jì)一部機(jī)械臂和一段特殊的傳送裝置，其基本原理就是利用工件和圖像采集設(shè)備的以相同速率平移而相對(duì)靜止。本文設(shè)想的方法是由機(jī)械臂上的機(jī)械手夾持工件，圖像采集裝置由另外的機(jī)械裝置固定，該機(jī)械裝置可以與傳機(jī)械臂移速率相同的速率在一段基座導(dǎo)軌上進(jìn)行平移運(yùn)動(dòng)，稱之為機(jī)械聯(lián)動(dòng)裝置。

3.2?多方位展示機(jī)械臂

該機(jī)械臂應(yīng)用力矩限制器對(duì)旋轉(zhuǎn)力矩進(jìn)行限制，進(jìn)而使工件不同的面停留在圖樣采集裝置前。機(jī)械臂主要包括支撐底座、云臺(tái)、大臂、小臂、機(jī)械手、舵機(jī)和Arduino。機(jī)械臂由圖像采集器等傳感器檢測(cè)到物體時(shí)發(fā)出的指令，機(jī)械臂和聯(lián)動(dòng)裝置從檢測(cè)傳送始端帶機(jī)械臂開(kāi)始從初始位置運(yùn)動(dòng)到物體所在位置，將物體抓起并以設(shè)定好的程序操控其進(jìn)行多方位展示運(yùn)動(dòng)。

機(jī)械臂的運(yùn)動(dòng)控制系統(tǒng)是由硬件系統(tǒng)和軟件系統(tǒng)兩大部分構(gòu)成的。機(jī)械臂能夠按照預(yù)先設(shè)定的程序做出指定動(dòng)作，由軟件系統(tǒng)操控檢測(cè)硬件系統(tǒng)完成，控制系統(tǒng)框圖如圖2所示。

多方位展示機(jī)械臂采用以Arduino控制板為核控制器，以實(shí)現(xiàn)機(jī)械手的多方位轉(zhuǎn)向和多角度運(yùn)動(dòng)。數(shù)據(jù)由傳感器收集后傳輸?shù)娇刂破鳎瑢?shí)現(xiàn)機(jī)械臂和機(jī)械手的智能化。

4 結(jié)語(yǔ)

大體上，該平臺(tái)包含4個(gè)部分：計(jì)算機(jī)HALCON、圖像采集設(shè)備、聯(lián)動(dòng)裝置、機(jī)械臂。在檢測(cè)重復(fù)性上應(yīng)用了人工智能深度學(xué)習(xí)，在保證了工件于生產(chǎn)線上高效運(yùn)送的同時(shí)能夠?qū)崿F(xiàn)多方面、立體的機(jī)械圖像采集，深度學(xué)習(xí)使得其檢測(cè)不再是人工循規(guī)蹈矩地輸入指令，而是可以自主學(xué)習(xí)，去完善檢測(cè)方面的缺陷，使得檢測(cè)設(shè)備獲得了一雙辨明是非的“火眼金睛”。該平臺(tái)的應(yīng)用將會(huì)大大提高工件檢測(cè)的效率，節(jié)省大量的人力成本，為工件的批量生產(chǎn)和加工擴(kuò)大規(guī)模奠定了堅(jiān)實(shí)的基礎(chǔ)。

參考文獻(xiàn)

[1] MVTec Software GmbH München Germany.A quick access to the functionality of HALCON， Version 12.0[P].Copyright ? 2007-2018

[2]鄭如新，孫青云，肖國(guó)棟.基于機(jī)器視覺(jué)的工件尺寸測(cè)量研究[J].電子測(cè)量技術(shù)，2021，44（16）：110-115.

[3]牛鵬磊.高精度圖像測(cè)量系統(tǒng)研究[D].齊魯工業(yè)大學(xué)，2021.

[4]呂伏，劉鐵.基于學(xué)習(xí)率自增強(qiáng)的圖像識(shí)別深度學(xué)習(xí)算法[J].計(jì)算機(jī)應(yīng)用與軟件，2021，38（12）：268-273.

[5]于宏全，袁明坤，常建濤，羅坤宇.基于深度學(xué)習(xí)的鑄件缺陷檢測(cè)方法[J].電子機(jī)械工程，2021，37（6）：59-64.

[6] 趙修琪，盧文豪，王珊.基于Arduino的自動(dòng)分揀機(jī)械臂控制系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2021，44（24）：163-166.

[7] Qiming Wu，Siyue Yu，Peng Chen，Luyun Zhang. Design and Implementation of Intelligent Mechanical Arm[C].Proceedings of the 11th International Conference on Computer Engineering and Networks（CENet2021）Part II.，2021：244-250.

基金項(xiàng)目：遼寧省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（項(xiàng)目名稱：工件移動(dòng)測(cè)量自動(dòng)化拍攝平臺(tái)實(shí)現(xiàn)，項(xiàng)目編號(hào)：S202110144015）;福州市重點(diǎn)科技專項(xiàng)（項(xiàng)目名稱：支持水下無(wú)線光通信的多業(yè)務(wù)物聯(lián)網(wǎng)網(wǎng)關(guān)，項(xiàng)目編號(hào)：2020FZZD0601）。

作者簡(jiǎn)介：劉舒浩（2000—），男，本科在讀，研究方向?yàn)樽詣?dòng)化控制技術(shù)、人工智能、彈藥工程與爆炸技術(shù)。

通信作者簡(jiǎn)介：金芳（1981—），女，本科，高級(jí)實(shí)驗(yàn)師，研究方向?yàn)榫W(wǎng)絡(luò)化測(cè)控系統(tǒng)。E-mail：308628820@qq.com。