郭 波，李福星，許淑嫻，林宸億，劉慶文

（1.武夷學(xué)院 農(nóng)機(jī)智能控制與制造技術(shù)重點(diǎn)實(shí)驗(yàn)室，武夷山 354300；2.華梵大學(xué) 機(jī)電工程系，臺北 223）

0 引言

國際經(jīng)濟(jì)環(huán)境近年變化劇烈，我國制造業(yè)提質(zhì)增效需求愈加迫切。數(shù)控機(jī)床CNC作為加工母機(jī)，在制造上的地位舉足輕重。部分產(chǎn)業(yè)如汽車、航天等通過引入FMS等先進(jìn)制造系統(tǒng)，已實(shí)現(xiàn)加工自動化和無人化。但承擔(dān)著國計民生的中低端制造，因受成本制約，經(jīng)濟(jì)型數(shù)控系統(tǒng)和老舊數(shù)控設(shè)備的種類多且保有量大，需要大量勞動密集型崗位，因此帶來諸如招工難，人力成本攀升等系列問題。

制造業(yè)近年提出“機(jī)器換人”，工業(yè)機(jī)器人被大量引入，卻主要以單機(jī)模式完成上下料與搬運(yùn)等工作。而少數(shù)CNC與工業(yè)機(jī)器人的集成方案，是專為特定加工過程或幾道工序研制，自動化水平高但通用性不足，且引進(jìn)成本不菲。數(shù)控加工的無人值守技術(shù)，對成本敏感的制造企業(yè)可望但不可及。研究通用性強(qiáng)，可靠性高的低成本CNC無人值守技術(shù)，對我國制造業(yè)跨越瓶頸具有重大意義，因此領(lǐng)域內(nèi)的研究和開發(fā)熱度一直較高。

一些研究提出了CNC監(jiān)控技術(shù)的應(yīng)用，Tuqilong等[1]在2012年設(shè)計嵌入式網(wǎng)絡(luò)視頻采集與壓縮系統(tǒng)，以便適應(yīng)數(shù)控加工和智能機(jī)器人控制領(lǐng)域的遠(yuǎn)程多用戶視頻監(jiān)控。Wangyushun等人[2]2019年公開了一種使用HTML5技術(shù)遠(yuǎn)程監(jiān)控CNC機(jī)床的方法。相關(guān)方法本質(zhì)上為有人值守的輔助技術(shù)。Keyhoon Ko等[3]2005年以PC相機(jī)和圖像處理算法應(yīng)用于收集加工操作和對數(shù)控的實(shí)際影響。Songsiyong等[4]2006年研究了PC攝像機(jī)無人值守數(shù)控銑削實(shí)時監(jiān)控系統(tǒng)的實(shí)現(xiàn)方法，提出了一種檢測工作臺運(yùn)動的圖像變化檢測算法。喻志響[5]2015年以實(shí)現(xiàn)軸套零件數(shù)字化無人值守加工為目標(biāo)，圍繞加工、上下料、誤差檢測和刀具磨鈍的識別等方面進(jìn)行研究。此類無人值守技術(shù)假設(shè)CNC開放對外信息采集與控制，但實(shí)際上，經(jīng)濟(jì)型數(shù)控系統(tǒng)出于保護(hù)市場和成本考慮，事實(shí)上封閉了對外部查詢和控制。因此受限制的制造業(yè)，目前只能成套引進(jìn)高端制造系統(tǒng)，用于減輕CNC值守的人力需要，可替代的技術(shù)很少。

卷積神經(jīng)網(wǎng)絡(luò)（CNNs）技術(shù)近年在機(jī)器視覺、語音識別、自然語言處理等領(lǐng)域的性能突飛猛進(jìn)。不少團(tuán)隊(duì)在其他領(lǐng)域取得了智能監(jiān)控突破。Gustavo Alfonso Garcia Ricardez等[6]2018年使用CNNs來分別檢測設(shè)備和操作部件，以便服務(wù)機(jī)器人可以操作微波爐、烤面包機(jī)等設(shè)備的啟停。E Bj?rlykhaug等[7]2019年公開其檢測魚類加工線機(jī)器上的血液污染，實(shí)驗(yàn)了處理帶增強(qiáng)數(shù)據(jù)圖像的CNN方法，用于評估機(jī)器人清洗質(zhì)量。Gianluca Giuffrida等[8]在2019年以YOLO v2卷積神經(jīng)網(wǎng)絡(luò)分析視頻流，識別殘障人士用戶可以與之交互的對象，在HMI標(biāo)識對象邊框，引導(dǎo)機(jī)械手自動執(zhí)行任務(wù)。因此這些研究為CNC無人值守指出了可行的方向。

本文提出一種利用制造系統(tǒng)配置的工業(yè)機(jī)器人實(shí)現(xiàn)的CNC無人值守技術(shù)，利用集成于機(jī)器人的視覺觸控執(zhí)行器模塊，識別CNC工作狀態(tài)及報警信息，模擬人手觸控CNC操作面板，執(zhí)行預(yù)定保護(hù)措施。研究了尺度不變特征轉(zhuǎn)換與CNN方法，比較了兩者識別性能，提出利用CNN方法構(gòu)建面板識別模型，獲得了CNC工作狀態(tài)及報警信息的良好綜合識別性能，識別準(zhǔn)確率達(dá)到99.34%，識別速度約0.6秒百張圖像。為提升技術(shù)通用性和可推廣性，研究并提出一種模型訓(xùn)練步驟，用于模型結(jié)構(gòu)參數(shù)優(yōu)化，尋求最優(yōu)綜合識別性能。技術(shù)方案應(yīng)用于閩北竹加工制造，提供了CNC無人值守加工的新型技術(shù)選擇。

1 方案工作原理與執(zhí)行部件

方案設(shè)計與實(shí)施是為了解決閩北竹制品加工企業(yè)實(shí)際生產(chǎn)問題，企業(yè)占絕大多數(shù)的老舊數(shù)控設(shè)備和非標(biāo)準(zhǔn)設(shè)備，不支持外部數(shù)字控制，需要大量人工。研究對象竹制品加工制造單元如圖1左示，由西門子802D數(shù)控銑床與三菱FRV7L工業(yè)機(jī)器人組成。該數(shù)控系統(tǒng)生產(chǎn)于2004年，僅有串口通信允許備份文件；三菱FRV7L工業(yè)機(jī)器人則允許多種端口實(shí)施外部直接通訊與控制。制造單元集成控制軟件自行開發(fā)，對工業(yè)機(jī)器人，采用以機(jī)器人控制器CR800為服務(wù)器的網(wǎng)口通訊模式。

圖1 竹加工制造單元及其視覺觸控模塊執(zhí)行器

方案設(shè)計了圖1右所示視覺觸控執(zhí)行器模塊，安裝于手腕1處的安裝板2，其方孔上裝有USB攝像頭模組3，用于模擬人眼識別，采集和識別CNC顯示面板的狀態(tài)信息；氣動交換件4與支撐架5有利于加工過程工業(yè)機(jī)器人搬運(yùn)模塊與本模塊的快速切換；支撐鋁件6與行程開關(guān)觸點(diǎn)7構(gòu)成觸控CNC操作面板按鈕的執(zhí)行件。方案目標(biāo)期望在機(jī)器人在工件裝卸任務(wù)外，可以輔助工程師的特定CNC監(jiān)視需要，用于制造系統(tǒng)獨(dú)立識別出CNC工作狀態(tài)或報警等信息，以便在制造系統(tǒng)人為條件設(shè)定下，通知工程師或獨(dú)立操作面板應(yīng)對問題。

此前工作設(shè)計了集成制造系統(tǒng)軟件，工程師下達(dá)指令或滿足識別狀態(tài)后，軟件轉(zhuǎn)化指令為機(jī)器人移動目標(biāo)的坐標(biāo)，通過網(wǎng)口操縱機(jī)器人，移動機(jī)器人觸控模塊執(zhí)行器至面板按鈕坐標(biāo)處，模擬人手操作CNC操作面板，完成上下料、報警檢測急停，或者開關(guān)機(jī)回零等功能。為此，前期工作已優(yōu)化了工業(yè)機(jī)器人運(yùn)動學(xué)和程序。

數(shù)控系統(tǒng)因其復(fù)雜的功能結(jié)構(gòu)，與加工過程有關(guān)的狀態(tài)信息數(shù)量很多。而就目前為止，工程師的數(shù)控操作技能仍需要相當(dāng)時間的專業(yè)培訓(xùn)，才能熟練操作機(jī)床并上崗。并且封閉式數(shù)控機(jī)床不被允許對外提供機(jī)床運(yùn)行的狀態(tài)和報警信息。因此方案的核心挑戰(zhàn)在于，對視覺觸控執(zhí)行器模塊采集CNC顯示面板圖像，集成制造系統(tǒng)軟件應(yīng)從中準(zhǔn)確并快速的識別CNC設(shè)備工作狀態(tài)或報警等信息。為此，方案嘗試了機(jī)器視覺和深度學(xué)習(xí)領(lǐng)域兩種先進(jìn)視覺識別技術(shù)，包括尺度不變特征轉(zhuǎn)換的匹配算法以及CNN方法。

2 視覺識別技術(shù)方案

模仿工程師操作CNC的經(jīng)驗(yàn)，視覺識別技術(shù)最直接的實(shí)現(xiàn)方案，是匹配CNC顯示面板圖像與已知所屬工作狀態(tài)或報警分類。數(shù)控機(jī)床液晶顯示面板圖像通常以字符，數(shù)字和少量符號標(biāo)識數(shù)控系統(tǒng)狀態(tài)信息，因光學(xué)字符識別OCR技術(shù)對特種符號的支持較差，因此被排除可選方案外。目前尺度不變特征轉(zhuǎn)換（Scale invariant feature Transform，SIFT）解決了特征提取和圖像匹配應(yīng)用的許多實(shí)際問題，被首先應(yīng)用于提取CNC顯示面板圖像獨(dú)特的不變特征。

2.1 尺度不變特征轉(zhuǎn)換的匹配算法及效果

算法在每個被檢測圖像的尺度空間的每個分割層中檢測特征極值，用于模板圖像與被采集圖像之間的特征匹配[9]。建立的圖像尺度空間是高斯函數(shù)G（x，y，σ）卷積而成，其中（x，y）表示空間坐標(biāo)，σ表示縮放坐標(biāo)，算法提取空間相鄰層的高斯函數(shù)差分（DOG），對DOG函數(shù)的導(dǎo)數(shù)取零，得到相應(yīng)的極值位置，作為連續(xù)空間中處理點(diǎn)的偏移坐標(biāo)，由下式獲得初始極值：

初步極值點(diǎn)排除|Dextremal|＜0.03的弱極值點(diǎn)。

算法獲得初步極值點(diǎn)后，濾波極值劃分為4×4個采樣區(qū)域，并分別計算每個區(qū)域的方向直方圖。到了具有

訓(xùn)練結(jié)果表明，當(dāng)已分類的訓(xùn)練數(shù)據(jù)集分四批從637張擴(kuò)充至2321張，經(jīng)過4次訓(xùn)練后，模型對測試數(shù)據(jù)集的識別準(zhǔn)確率，隨著數(shù)據(jù)集的擴(kuò)充得到逐步提高。如圖5所示，對測試數(shù)據(jù)的識別準(zhǔn)確率自61.75%提升至98.24%，但數(shù)據(jù)集總量增多所提供的準(zhǔn)確率增加效益在不斷降低。因此，與方案預(yù)期相同，CNN方法的面板識別模型較為有效的克服了尺度不變特征轉(zhuǎn)換算法的軟肋，抑制了噪點(diǎn)像素，區(qū)分了更多近似分類的被采集圖像特征，獲得了98%以上的識別準(zhǔn)確率。但CNN方法存在兩個不足，一是對訓(xùn)練用數(shù)據(jù)集需求大，須耗費(fèi)大量人工預(yù)先標(biāo)定其所屬的分類，數(shù)據(jù)成本較高，收集時間長；其二網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練超參數(shù)數(shù)量多且物理效果不明，所需訓(xùn)練時間長。

圖5 訓(xùn)練數(shù)據(jù)集數(shù)量的擴(kuò)充提升識別準(zhǔn)確率

為了使方案通用于種類繁多，界面差異很大的不同廠家的CNC，適應(yīng)多樣的無人值守需求。面板識別模型在應(yīng)用時，將必須多次遷移學(xué)習(xí)或重新訓(xùn)練。為提升方案通用性和可推廣性，提出一種模型結(jié)構(gòu)參數(shù)優(yōu)化訓(xùn)練步驟，以便最大程度提升模型的識別性能，降低所需的數(shù)據(jù)及訓(xùn)練成本。

3 建議的模型結(jié)構(gòu)參數(shù)優(yōu)化訓(xùn)練步驟

前期對CNN方法實(shí)驗(yàn)測試，有效表明了方法在機(jī)床狀態(tài)圖像識別應(yīng)用中的效果。對比評估實(shí)驗(yàn)效果，我們明顯發(fā)現(xiàn)，對同一結(jié)構(gòu)模型的訓(xùn)練，若提供給模型的訓(xùn)練數(shù)據(jù)集不同的分辨率圖像，在同等數(shù)據(jù)集數(shù)量時，識別準(zhǔn)確率與輸入的分辨率大小正相關(guān)，與此同時圖5的統(tǒng)計結(jié)果表明識別準(zhǔn)確率又與訓(xùn)練集數(shù)據(jù)量大小正相關(guān)。

隨著實(shí)驗(yàn)深入，對比評估實(shí)驗(yàn)效果，表明輸入模型的分辨率從480×480降低至28×28后，識別準(zhǔn)確率微降約4～5個百分點(diǎn)，但可部署的模型權(quán)重文件優(yōu)化至原大小萬分之一，且提升了約24倍的識別速度，對綜合識別性能存在決定性的影響。

因此方案建議，前期步驟利用高分辨率訓(xùn)練集圖像，如表2中Step1輸入分辨率，逐步增加的訓(xùn)練數(shù)據(jù)集數(shù)量，可獲得如圖5所示數(shù)據(jù)集數(shù)量與識別準(zhǔn)確率的相關(guān)曲線，據(jù)此可估計模型識別準(zhǔn)確率最佳收斂。后期步驟降低輸入訓(xùn)練的圖像分辨率，如表2中Step5～Step 8，用于優(yōu)化獲得識別準(zhǔn)確率、識別速度和可部署模型權(quán)重文件大小的綜合性能，較小的權(quán)重文件可降低對微機(jī)硬件的成本需求。這一過程會稍降模型的識別準(zhǔn)確率，但仍可通過1～2個訓(xùn)練數(shù)據(jù)集數(shù)量提升訓(xùn)練，使識別準(zhǔn)確率提高至期望水平。

最終應(yīng)用竹制品加工制造的面板識別模型，通過9步訓(xùn)練過程，獲得了較理想的綜合模型性能，表2的指標(biāo)數(shù)據(jù)變化統(tǒng)計了各步訓(xùn)練的輸入分辨率和訓(xùn)練數(shù)據(jù)集數(shù)量。而完成訓(xùn)練的Step9后，識別準(zhǔn)確率可達(dá)99.34%，識別速度每百張圖像僅需0.64秒，不到1MB的存儲空間即可部署模型，適用部署于各類微型電腦。

表2 訓(xùn)練各步驟的指標(biāo)數(shù)據(jù)變化

4 結(jié)語

1）設(shè)計的竹加工制造單元裝備視覺觸控執(zhí)行器模塊，通過部署性能較優(yōu)的面板識別模型，使制造系統(tǒng)軟件具備一定智能，識別CNC工作狀態(tài)或報警等信息，自動操縱工業(yè)機(jī)器人完成上下料、報警檢測急停，或者開關(guān)機(jī)回零等功能，部署需求低，工作可靠。

2）機(jī)床狀態(tài)圖像識別算法，對比尺度不變特征轉(zhuǎn)換的匹配算法和CNN方法，提出尺度不變特征轉(zhuǎn)換的匹配算法在明顯區(qū)分的低分類數(shù)量識別任務(wù)更優(yōu)，而CNN方法基本克服了圖像噪點(diǎn)對識別準(zhǔn)確率的影響，實(shí)際應(yīng)用性能更優(yōu)，但存在數(shù)據(jù)成本較高，訓(xùn)練時間較長等問題。

3）總結(jié)CNN模型訓(xùn)練實(shí)驗(yàn)效果，建議以表2所示步驟對可能的綜合性能搜尋最優(yōu)模型，提升方案通用性和可推廣性。因此方案適應(yīng)各種自定的CNC無人值守目標(biāo)，通用性強(qiáng)，且易于拓展應(yīng)用至其他人機(jī)界面的識別與無人值守任務(wù)。