摘要：為減少生產(chǎn)過程中工序錯(cuò)誤引起的安全事故，提出了一種基于機(jī)器視覺的生產(chǎn)工序異常檢測方案。方案以機(jī)器視覺為基礎(chǔ)，研究面向生產(chǎn)過程的目標(biāo)自動檢測與異常發(fā)現(xiàn)。首先，設(shè)計(jì)一種基于人工神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法，從工業(yè)攝像頭中自動識別與定位多種類型目標(biāo)；其次，設(shè)計(jì)一種工序識別算法，將多個(gè)孤立的圖像目標(biāo)關(guān)聯(lián)成一道具體的生產(chǎn)工序；最后，對工序錯(cuò)誤的預(yù)警機(jī)制進(jìn)行研究，以實(shí)現(xiàn)工序異常的快速發(fā)現(xiàn)與報(bào)警，避免生產(chǎn)事故。以汽車生產(chǎn)過程中的“車門間隙與平度檢測”為例，對上述方案進(jìn)行了詳細(xì)介紹。

關(guān)鍵詞：機(jī)器視覺；目標(biāo)檢測；工序識別

一、前言

在工業(yè)生產(chǎn)過程中，必然存在工人疲勞操作、注意力不集中、操作錯(cuò)序等導(dǎo)致的返工或產(chǎn)品質(zhì)量問題，甚至引發(fā)安全事故。2021年4月，黑龍江某企業(yè)在進(jìn)行設(shè)備檢修過程中沒有按照規(guī)定的設(shè)備檢修工序操作，導(dǎo)致13人傷亡，直接經(jīng)濟(jì)損失873萬元的重大安全事故[1]。據(jù)統(tǒng)計(jì)，2021年我國共發(fā)生各類生產(chǎn)安全事故3.46萬起，死亡2.63萬人[2]。研究如何有效減少工業(yè)生產(chǎn)中人為因素導(dǎo)致的經(jīng)濟(jì)損失、安全事故，具有十分重要的現(xiàn)實(shí)意義。

近些年來，將機(jī)器視覺應(yīng)用于質(zhì)量檢測已成為國內(nèi)外研究的熱點(diǎn)，并廣泛應(yīng)用于實(shí)際生產(chǎn)。2016年，上海交通大學(xué)的朱冉基于機(jī)器視覺提出了一種帶鋼表面質(zhì)量缺陷的特征提取方法，使得帶鋼表面質(zhì)量缺陷檢測的準(zhǔn)確度提高了12.4%[3]。2019年，黃超等針對復(fù)雜產(chǎn)品制造過程中的關(guān)鍵工序控制問題，提出了一種關(guān)鍵工序識別方法和影響評價(jià)體系[4]。2020年，許海生等為了確定船舶分段車間生產(chǎn)過程中對分段精度尺寸影響最大的關(guān)鍵工序，提出了基于三重要素綜合考量的船舶分段車間關(guān)鍵工序的識別方法，該方法能夠有效識別車間生產(chǎn)過程中的關(guān)鍵工序[5]。

與上述研究不同，本文設(shè)計(jì)了一種基于機(jī)器視覺的生產(chǎn)工序異常檢測方案，側(cè)重于目標(biāo)的自動分割、工序組合及異常發(fā)現(xiàn)與預(yù)警。方案以“車門間隙與平度檢測”為例進(jìn)行說明?！败囬T間隙與平度檢測”是汽車總裝過程中的一項(xiàng)重要流程，目前仍主要依賴于人工完成，機(jī)器難以介入。為簡化說明過程，本文將該流程簡化為放置平度磁鐵、使用墊片檢測間距、觀察車門間距、標(biāo)記間隙缺陷并記錄、檢查車門平度、標(biāo)記平度缺陷并記錄6道具體工序。

方案的整體思路是：首先設(shè)計(jì)目標(biāo)檢測算法，對“車門間隙與平度檢測”各工序所涉及的重要目標(biāo)進(jìn)行檢測和定位；然后通過工序識別算法，將多個(gè)孤立的圖像目標(biāo)關(guān)聯(lián)成一道具體的生產(chǎn)工序；最后，研究一種預(yù)警機(jī)制，快速發(fā)現(xiàn)工序的異常情況，并發(fā)出警告，避免生產(chǎn)事故。

二、目標(biāo)檢測算法

2016年，YOLO算法[6]在CVPR會議上被提出，可以快速進(jìn)行目標(biāo)檢測與識別，結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)的錨機(jī)制，研究者不斷對YOLO進(jìn)行改進(jìn)，形成多個(gè)衍生算法[7]。其中，YOLOv5極大縮短了訓(xùn)練時(shí)間，提高了檢測速率及準(zhǔn)確率。YOLOv5包括YOLOv5s、YOLOv5m等多個(gè)版本。本文以YOLOv5s為基礎(chǔ)模型，研究一種面向圖形的目標(biāo)自動檢測算法，能夠自動地從攝像頭中識別與定位多種類型目標(biāo)。

首先，通過特征提取、變換、升維等方法，對原始RGB三通道圖像從低維空間映射到高維空間，變換出豐富的細(xì)節(jié)特征，增強(qiáng)整個(gè)神經(jīng)網(wǎng)絡(luò)的表達(dá)能力，提升算法的識別率。然后，利用YOLOv5s算法進(jìn)行圖像預(yù)處理，其中，將采集到的圖像作為輸入端參數(shù)，進(jìn)行圖形縮放、歸一化等操作。

為了進(jìn)一步提高模型的準(zhǔn)確率和健壯性，采用遷移學(xué)習(xí)的思想，首先在MS COCO大型目標(biāo)檢測數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，得到一個(gè)初始的模型，然后再采用本文的數(shù)據(jù)集對初始模型進(jìn)行參數(shù)調(diào)整訓(xùn)練，得到最后的預(yù)測模型。

方案采用LabelImg工具嚴(yán)格標(biāo)注圖片中的目標(biāo)，如圖1。

為了確定工序進(jìn)行情況，在目標(biāo)識別的基礎(chǔ)上進(jìn)行目標(biāo)關(guān)鍵位置判別，即判斷不同目標(biāo)間相對位置。如在工序5中，需要通過手的上下滑動來確定車門平度，則以“平度磁鐵”為基準(zhǔn)，判斷“手”在“平度磁鐵上方”以及“平度磁鐵下方”出現(xiàn)，擬通過下列公式進(jìn)行位置識別。

其中，j，k是被判斷目標(biāo)中心點(diǎn)坐標(biāo)，a、b、c和d是合規(guī)區(qū)域的左邊界、右邊界、上邊界和下邊界，φ為判定結(jié)果。

通過以上多方面的研究可實(shí)現(xiàn)高準(zhǔn)確率、高推理速度的項(xiàng)目目標(biāo)檢測算法。

三、工序識別算法

基于機(jī)器視覺的自動目標(biāo)檢測算法可以實(shí)時(shí)提取監(jiān)測視頻中的各種目標(biāo)，但目標(biāo)是單一的、孤立的。本文采用CART決策樹算法將靜態(tài)的、孤立的目標(biāo)關(guān)聯(lián)起來組合成一段實(shí)際的工序，便于進(jìn)行工序異常檢測及預(yù)警。

CART決策樹在工序檢測中，主要包括工序數(shù)據(jù)集準(zhǔn)備和特征選擇、CART決策樹生成和工序識別兩大部分，下面對其進(jìn)行詳細(xì)說明。

（一）工序數(shù)據(jù)集準(zhǔn)備和特征選擇

對“檢測車門間隙與平度”的每個(gè)工序各選取24段視頻作為數(shù)據(jù)集，其中任意16段視頻用于CART決策樹訓(xùn)練，剩余8段視頻用于測試。為了構(gòu)建工序識別CART決策樹，首先要選擇最有利于工序劃分的特征作為決策樹的輸入特征。通過對6道工序進(jìn)行初步分析，可以得出工序1的檢出目標(biāo)應(yīng)包括：車門、手持平度磁鐵、平度磁鐵在縫隙中部；工序2的檢出目標(biāo)應(yīng)包括：車門、平度磁鐵在縫隙中部、墊片插入；工序3的檢出目標(biāo)應(yīng)包括：車門、平度磁鐵在縫隙中部、人觀察車門縫隙；工序4的檢出目標(biāo)應(yīng)包括：車門、平度磁鐵在縫隙中部、紅磁鐵、人做缺陷記錄；工序5的檢出目標(biāo)應(yīng)包括：車門、平度磁鐵在縫隙中部、手壓縫隙；工序6的檢出目標(biāo)應(yīng)包括：車門、平度磁鐵在縫隙中部、紅磁鐵、人做缺陷記錄。

在工序6中，當(dāng)平度磁鐵位于前后車門間隙的中部區(qū)域時(shí)，表示平度磁鐵的位置符合要求。對工序所涉及的目標(biāo)及決策過程進(jìn)一步分析可知，由于人與車門對不同工序的區(qū)分度很弱，作為決策樹輸入特征的意義很小，可以刪除。這樣，CART決策樹的輸入特征及編號就可定義為：手持平度磁鐵、平度磁鐵在縫隙中部、墊片插入、人觀察車門間距、紅磁鐵、人做缺陷記錄和手壓縫隙，共7個(gè)目標(biāo)檢測對象。對“車門間隙與平度檢測”工序訓(xùn)練視頻的每一幀進(jìn)行檢測，根據(jù)目標(biāo)檢測結(jié)果，將檢測到相應(yīng)目標(biāo)標(biāo)識為“1”，未檢測到相應(yīng)目標(biāo)標(biāo)識為“0”。

（二）CART決策樹生成和工序識別

在完成CART決策樹特征選擇后，可以采用最大深度最優(yōu)值訓(xùn)練一次決策樹模型。如圖2，給出了一個(gè)初始CART決策樹，其中方形框表示輸入目標(biāo)，橢圓形框表示工序決策。需要說明的是圖中的決策樹并非算法得到的結(jié)果，而僅是用于描述工序識別思想的一個(gè)例子。通過得到的CART決策樹，可以將孤立的圖像目標(biāo)組合成對一個(gè)執(zhí)行工序的判斷，例如當(dāng)平度磁鐵在縫隙中部，紅磁鐵不存在，且墊片插入時(shí)，可以判斷當(dāng)前正在執(zhí)行的是工序2。但對于圖像檢測目標(biāo)相同的工序，如工序4和工序6，決策樹將無法進(jìn)一步區(qū)分。這時(shí)將通過算法記錄前序工序，以實(shí)現(xiàn)對工序4和工序6的區(qū)分，緊跟工序3的為工序4，而緊跟工序5的為工序6。

但是，通過工序識別僅能判斷工序是否執(zhí)行，難以判斷工序完成的效果。為此，增加關(guān)鍵狀態(tài)判定并結(jié)合工序識別實(shí)現(xiàn)二級判斷。例如在工序2中，墊片插入車門縫隙并不能判斷間距是否均勻，需要上下移動墊片滑過整個(gè)縫隙才能實(shí)現(xiàn)完整的檢查。此時(shí)，僅通過工序識別就難以判斷工序的完成度，必須增加關(guān)鍵狀態(tài)判定。關(guān)鍵狀態(tài)應(yīng)對該工序的完成度具有決定性意義，且通常在工序識別目標(biāo)出現(xiàn)后。在工序2中，可將墊片出現(xiàn)在縫隙上部（關(guān)鍵目標(biāo)1）和墊片出現(xiàn)在縫隙下部（關(guān)鍵目標(biāo)2）設(shè)為關(guān)鍵狀態(tài)，若目標(biāo)檢測算法識別這兩個(gè)關(guān)鍵目標(biāo)，認(rèn)為關(guān)鍵狀態(tài)成立結(jié)合工序識別結(jié)果，算法輸出工序完成；否則，算法判斷工序未完成。不同工序的關(guān)鍵狀態(tài)不同，某些工序可能并不存在關(guān)鍵狀態(tài)，則該工序的關(guān)鍵狀態(tài)檢查將直接通過。

在實(shí)際的CART決策樹訓(xùn)練中，將測試不同樹深下的決策樹訓(xùn)練精度和測試精度最高值，并以此最高值對應(yīng)的最大樹深進(jìn)行訓(xùn)練，以獲得高精度的工序識別決策樹。然后，通過不斷分析及優(yōu)化生成決策樹中的目標(biāo)對象，疊加剪枝操作，在降低決策樹復(fù)雜度的同時(shí)，使決策樹的工序識別度保持95%以上。

四、工序錯(cuò)誤分級預(yù)警

針對工序檢測后的預(yù)警問題，本文采取多級預(yù)警方案。首先通過調(diào)研確定各工序錯(cuò)誤將造成的損失大小，然后根據(jù)損失程度確定不同的預(yù)警級別。對于正常工序，無須預(yù)警；對于可忽略工序或工序互換不會造成其他損失的，如本文中的工序2與工序3可互換順序，定義為無損預(yù)警；對于工序未完成（超時(shí)、缺失）或交換工序可能造成較大損失的，如本文中的工序4或工序6出現(xiàn)紅磁鐵后未記錄，定義為中級預(yù)警；對于工序未完成（超時(shí)、缺失）將造成后序工序無效或重大損失的，如本例中的工序1，定義為嚴(yán)重預(yù)警。如表1給出了不同預(yù)警級別的警示方式。

對于不同的預(yù)警級別，使用不同的顏色進(jìn)行閃爍警示和語音播報(bào)，有利于工作人員快速、直觀地發(fā)現(xiàn)問題。

五、結(jié)語

本文以汽車生產(chǎn)過程中的“車門間隙與平度檢測”為例，設(shè)計(jì)一種基于機(jī)器視覺的目標(biāo)檢測算法，能夠自動地從圖像中識別與定位多種類型目標(biāo)，通過優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)，使之?dāng)M合數(shù)據(jù)集，從而檢測實(shí)操工序中的各種目標(biāo)；利用工序識別算法，將檢測出的靜態(tài)及孤立的目標(biāo)進(jìn)行關(guān)聯(lián)、組合，構(gòu)成一道具體的工序，實(shí)現(xiàn)對不同工序的識別；最后針對不同工序錯(cuò)誤造成損失的不同，定義不同級別的工序預(yù)警方案，實(shí)現(xiàn)工序錯(cuò)誤分級報(bào)警。本文設(shè)計(jì)的一種基于機(jī)器視覺的生產(chǎn)工序異常檢測方案，能夠有效預(yù)防人工操作失誤導(dǎo)致的產(chǎn)品質(zhì)量或安全事故等問題。

參考文獻(xiàn)

[1]蓬萊區(qū)人民政府.黑龍江凱倫達(dá)科技有限公司“4·21”較大中毒窒息事故[EB/OL].http：//www.penglai.gov.cn/art/2022/6/13/art_30464_2931722.html，2022-06-13.

[2]應(yīng)急管理部消防救援局.2022年1月20日新聞發(fā)布會中華人民共和國應(yīng)急管理部[EB/OL].https：//www.mem.gov.cn/xw/xwfbh/2022n1y20rxwfbh/.2022-03-24.

[3]朱冉.基于機(jī)器視覺的帶鋼表面質(zhì)量檢測系統(tǒng)在線應(yīng)用的研究[D].上海：上海交通大學(xué)，2016.

[4]黃超，谷長超，王靖，等.復(fù)雜產(chǎn)品制造工藝關(guān)鍵工序識別方法研究[J].質(zhì)量與可靠性，2019，29（04）：21-25.

[5]許海生，蘭凱鵬，馬彥軍，等.面向精度的分段車間關(guān)鍵工序識別方法及應(yīng)用[J].船舶工程，2020，42（03）：166-171.

[6]Uijlings J R R，van de Sande K E A，Gevers T，et al.Selective Search for Object Recognition[J].International Journal of Computer Vision，2013，104（2）：154-171.

[7]Liu W，Wang Z，Zhou B，et al.Real-time Signal Light Detection based on Yolov5 for Railway[J].IOP Conference Series Earth and Environmental Science，2021，769（4）：042069.

基金項(xiàng)目：四川航天技術(shù)創(chuàng)新項(xiàng)目（2022）課題題目“基于機(jī)器視覺的工序智能監(jiān)測平臺”（2022H002）