張建鵬，徐 云，楊承翰，林奇洲

(1.浙江理工大學(xué) 信息科學(xué)與工程學(xué)院，杭州 310018；2.浙江理工大學(xué) 機(jī)械工程學(xué)院，杭州 310018)

0 引言

智能制造水平直接關(guān)乎著一個(gè)國(guó)家制造業(yè)發(fā)展的水平[1]。目前，計(jì)算機(jī)視覺、工業(yè)控制數(shù)據(jù)、物聯(lián)網(wǎng)技術(shù)等極大化地推動(dòng)了制造業(yè)的發(fā)展。制造業(yè)數(shù)字化轉(zhuǎn)型、網(wǎng)絡(luò)化協(xié)同、智能化變革是制造強(qiáng)國(guó)建設(shè)的主攻方向。隨著智能工廠中監(jiān)控設(shè)備的普及，針對(duì)工廠監(jiān)控視頻開展生產(chǎn)流程的有效性檢測(cè)，提高工廠的生產(chǎn)質(zhì)量、生產(chǎn)效能、減少資源消耗是推動(dòng)產(chǎn)業(yè)技術(shù)變革和優(yōu)化升級(jí)的必經(jīng)之路[2-7]。

空調(diào)外機(jī)結(jié)構(gòu)復(fù)雜，出廠前需人工探測(cè)空調(diào)外機(jī)中銅管焊接的可靠性，從而保障壓縮機(jī)殼體與儲(chǔ)液器的密封性。該過(guò)程中，人工檢測(cè)的不確定性將導(dǎo)致空調(diào)外機(jī)中銅管焊點(diǎn)的檢測(cè)存在漏檢、誤檢等情況的發(fā)生。利用工廠的監(jiān)控視頻設(shè)備，開展基于監(jiān)控視頻流的手持探針探測(cè)位置檢測(cè)算法的研究，利用計(jì)算機(jī)實(shí)時(shí)分析人工手持探針探測(cè)過(guò)程的有效性，對(duì)提高工廠的生產(chǎn)效能具有重要的研究意義[8-10]。

本文以空調(diào)外機(jī)氣密性探測(cè)為研究背景，利用人工智能技術(shù)和機(jī)器視覺技術(shù)對(duì)空調(diào)外機(jī)生產(chǎn)企業(yè)的工廠監(jiān)控視頻流進(jìn)行研究，采集監(jiān)控視頻流中人工手持探針的圖像并對(duì)其進(jìn)行前景和背景分離研究，構(gòu)建基于像素搜索的探針位置探測(cè)模型，對(duì)比理論應(yīng)檢測(cè)的真實(shí)位置，從而判斷人工手持探針檢測(cè)的有效性，保障出廠前空調(diào)外機(jī)銅管焊點(diǎn)氣密性檢測(cè)的有效性。

1 基于機(jī)器視覺的探針識(shí)別算法

空調(diào)外機(jī)出廠前，機(jī)身上銅管的焊縫(如圖1(a)所示)需進(jìn)行氣密性檢測(cè)，從而保證空調(diào)外機(jī)壓縮機(jī)殼體與儲(chǔ)液器的密封性。一般而言，需人工對(duì)其焊縫點(diǎn)進(jìn)行手工探測(cè)。該過(guò)程中監(jiān)控視頻捕獲的圖像如圖1(b)所示。

圖1 空調(diào)外機(jī)焊縫檢測(cè)

圖1(a)可以看出，外機(jī)待檢測(cè)的焊縫數(shù)量多、分布零散、背景復(fù)雜，且部分待測(cè)焊點(diǎn)相對(duì)較密集，極大化地增加了手持探針探測(cè)的難度。圖1(b)給出的工廠監(jiān)控視頻流捕獲的圖像中，工人手持探針進(jìn)行探測(cè)時(shí)，探針細(xì)長(zhǎng)，圖像背景復(fù)雜，探針特征難以直接提取，不利于開展手持探針探測(cè)位置的檢測(cè)。

針對(duì)上述問(wèn)題，本文設(shè)計(jì)了基于前景背景分類模型和目標(biāo)檢測(cè)相融合的手持探針探測(cè)位置檢測(cè)方案，探測(cè)流程如圖2所示。

圖2 探針有效性探測(cè)算法流程

圖2所示的探測(cè)算法流程主要可分為4大部分：1)前景背景分類模型；2)探針目標(biāo)識(shí)別部分；3)探針位置推算部分；4)探測(cè)位置有效性辨別。

在前景背景分類模型中，需要提取視頻流中前100幀的圖像，然后利用KNN分類模型對(duì)該100幀圖像進(jìn)行訓(xùn)練與分析，KNN分類模型具備精度高的優(yōu)勢(shì)，利用該前景背景分類模型對(duì)實(shí)時(shí)采集的監(jiān)控視頻中前后幀視頻圖像進(jìn)行前景和背景的分離，捕獲工人手持探針的前景圖像，并將其應(yīng)用于后期探針的目標(biāo)識(shí)別。

探針目標(biāo)識(shí)別部分，旨在實(shí)現(xiàn)視頻圖像中人工手持探針的識(shí)別?；赮olov5算法對(duì)工廠監(jiān)控視頻流采集的圖像中人工手持探針進(jìn)行目標(biāo)跟蹤與識(shí)別。該算法主要包括輸入端、主干網(wǎng)絡(luò)層、頸部層以及預(yù)測(cè)端層。根據(jù)工廠監(jiān)控視頻流采集的圖像，利用主干網(wǎng)絡(luò)層、頸部層實(shí)現(xiàn)人工手持探測(cè)的圖像特征加強(qiáng)，從而最終實(shí)現(xiàn)監(jiān)控視頻流采集的圖像中人工手持探測(cè)的識(shí)別與跟蹤。

探針位置推算部分是實(shí)現(xiàn)探針有效性辨別的核心。本文提出基于像素搜索的探針位置推算的算法。該算法基于像素搜索的方式對(duì)視頻圖像中人工手持探針探測(cè)位置進(jìn)行搜索與推算，在此基礎(chǔ)上利用最小二乘算法對(duì)搜索與推算獲得的探針位置進(jìn)行擬合，在保證擬合相關(guān)系數(shù)的前提下，對(duì)監(jiān)控視頻流采集的圖像中手持探針的長(zhǎng)度進(jìn)行補(bǔ)償，從而實(shí)現(xiàn)監(jiān)控視頻流采集的圖像中人工手持探針探測(cè)位置的判斷。

探測(cè)位置有效性辨別根據(jù)當(dāng)前監(jiān)控視頻流采集的圖像中人工手持探針探測(cè)的位置，結(jié)合實(shí)際待檢測(cè)的位置進(jìn)行判別，求解手持探針檢測(cè)的實(shí)際位置與待檢測(cè)位置的交并比，從而實(shí)現(xiàn)人工手持探針探測(cè)位置有效性的辨別。

下面針對(duì)上述各部分的模型和算法進(jìn)行詳細(xì)闡述與分析。

1.1 前景和背景分類模型

前景和背景的分離旨在實(shí)現(xiàn)對(duì)監(jiān)控視頻流采集圖像進(jìn)行前景和背景的分離，從而獲得人工手持探針探測(cè)的前景圖像。根據(jù)監(jiān)控視頻流中前后幀視頻圖像的時(shí)空特征，去除復(fù)雜的工作環(huán)境背景，即可獲得工人手持探針探測(cè)的前景圖像。本文監(jiān)控視頻流中的每幀視頻圖像像素為1 920×1 080。

1) 前景、背景分類模型訓(xùn)練。提取當(dāng)前視頻圖像的前100幀視頻圖像，利用KNN分類算法對(duì)每個(gè)像素的特征做前景、背景訓(xùn)練，從而獲得視頻圖像中前景和背景的分離模型。

2) 前景提取。利用該前景、背景的分離模型對(duì)當(dāng)前視頻圖像進(jìn)行前景提取，設(shè)當(dāng)前第i幀視頻圖像中第n個(gè)像素點(diǎn)像素為：

(1)

第i-100到第i-1幀視頻圖像中第j幀視頻圖像中第n個(gè)像素點(diǎn)像素為：

(2)

分別計(jì)算第i幀圖像與前100幀圖像中第n個(gè)像素點(diǎn)Xin和Yjn的歐式距離：

(3)

根據(jù)式(3)計(jì)算的100幀視頻圖像的歐式距離，尋找與第i幀像素點(diǎn)最近鄰的像素點(diǎn)。應(yīng)用訓(xùn)練得到的前景背景分類模型對(duì)第i幀圖像中所有的點(diǎn)進(jìn)行前景和背景的分類，獲得當(dāng)前第i幀圖像中的前景圖像，并將其應(yīng)用于后續(xù)視頻圖像中的人工手持探針的識(shí)別。

1.2 探針目標(biāo)識(shí)別

針對(duì)工廠監(jiān)控視頻中的人工手持探針，開展探針探測(cè)位置的有效性檢測(cè)。基于Yolov5算法對(duì)工廠視頻中的探針探測(cè)的位置進(jìn)行跟蹤與識(shí)別，從而判斷工人進(jìn)行空調(diào)外機(jī)銅管焊縫氣密性檢測(cè)的有效性?；赮olov5算法的人工手持探針跟蹤與識(shí)別算法構(gòu)架如圖3所示。

圖3 基于Yolov5算法的人工手持探針跟蹤與識(shí)別算法構(gòu)架圖

基于Yolov5的算法具備快速高效、準(zhǔn)確率高、模型輕量化、易于部署和使用的優(yōu)點(diǎn)。圖3中的算法構(gòu)架主要分為4個(gè)部分。

1) 輸入端：采集監(jiān)控視頻中的圖像，并將其輸入至該算法的輸入端并進(jìn)行輸入端的前期處理。輸入端進(jìn)行前期處理的算法主要包括Mosaic數(shù)據(jù)增強(qiáng)算法、自適應(yīng)錨框計(jì)算、自適應(yīng)圖像縮放算法等預(yù)處理。其中，Mosaic數(shù)據(jù)增強(qiáng)算法通過(guò)隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式對(duì)輸入的圖像進(jìn)行拼接以增強(qiáng)圖像數(shù)據(jù)，增加訓(xùn)練集的多樣性和難度，同時(shí)提高檢測(cè)模型的魯棒性和泛化能力，降低過(guò)擬合的風(fēng)險(xiǎn)；在每次圖像訓(xùn)練時(shí)，自適應(yīng)錨框計(jì)算用于自適應(yīng)地計(jì)算不同訓(xùn)練集中的最佳錨框值，提高檢測(cè)的精度和魯棒性；自適應(yīng)圖像縮放算法是將原始采集的圖像自適應(yīng)地縮放到一個(gè)標(biāo)準(zhǔn)尺寸，再輸入到檢測(cè)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)中進(jìn)行處理。經(jīng)過(guò)上述圖像的預(yù)處理，還能夠有效減少工廠監(jiān)控視頻因探測(cè)環(huán)境光照亮度不足對(duì)圖像采集的影響。

2) 主干網(wǎng)絡(luò)：由下采樣層、卷積層、瓶頸層和池化層組成。對(duì)于輸入為608×608×3的圖像而言，經(jīng)過(guò)下采樣層的操作，可將其變?yōu)?04×304×12的特征圖。再經(jīng)過(guò)卷積層，利用32個(gè)卷積核的操作，將其變?yōu)?04×304×32的特征圖。瓶頸層為Yolov5算法的重要部分，將輸入特征圖分為兩部分，一部分進(jìn)行子網(wǎng)絡(luò)處理，先使用卷積層將輸入的特征圖像進(jìn)行壓縮，然后再進(jìn)行卷積處理，從而提取出相對(duì)較少的高層次的特征，另外一部分直接輸入頸部層進(jìn)行處理。Yolov5算法中隨著網(wǎng)絡(luò)的不斷加深，可增加網(wǎng)絡(luò)特征提取和特征融合能力，因此圖3中主干網(wǎng)絡(luò)層采用了多層網(wǎng)絡(luò)。瓶頸CSP層1的作用可有效減少網(wǎng)絡(luò)參數(shù)和計(jì)算量，提高特征提取的效率。主干網(wǎng)絡(luò)旨在實(shí)現(xiàn)輸入圖像的特征提取。

3) 頸部層：由特征金字塔網(wǎng)絡(luò)(FPN，feature pyramid network)和聚合網(wǎng)絡(luò)(PAN，path aggregation network)組成。FPN為自頂向下的設(shè)計(jì)，通過(guò)上采樣操作，將高層的特征信息和底層的特征信息進(jìn)行融合，計(jì)算出預(yù)測(cè)的特征圖。FPN中頂部信息流須通過(guò)主干網(wǎng)絡(luò)逐層往下傳遞，由于層數(shù)較多將導(dǎo)致計(jì)算量較大。PAN層在FPN層的基礎(chǔ)上提取網(wǎng)絡(luò)內(nèi)特征層次的結(jié)果，引入自底向上的路徑，經(jīng)過(guò)自頂向下的特征融合后，再進(jìn)行自底向上的特征融合，實(shí)現(xiàn)底層位置信息的深層傳遞，從而增加多個(gè)尺度的定位能力，將底層的特征信息和高層特征進(jìn)行融合，最后輸出預(yù)測(cè)的特征圖給預(yù)測(cè)端進(jìn)行預(yù)測(cè)。頸部層利用瓶頸CSP層2加強(qiáng)網(wǎng)絡(luò)特征的融合能力。對(duì)步驟2)中提取的有效特征進(jìn)行上采樣和下采樣的特征融合，實(shí)現(xiàn)視頻圖像中特征的加強(qiáng)提取。

4) 預(yù)測(cè)端：通過(guò)卷積層輸出特征后，利用CIOU_Loss損失函數(shù)計(jì)算預(yù)測(cè)框和真實(shí)框的損失值，采用加權(quán)非極大值抑制方法針對(duì)多目標(biāo)框進(jìn)行篩選，實(shí)現(xiàn)手持探針的識(shí)別與跟蹤。

1.3 探針位置探測(cè)推算

基于分離的前景圖像以及目標(biāo)識(shí)別捕獲的手持探針的位置，開展人工手持探針位置探測(cè)的推算分析，本文提出基于像素搜索的探針探測(cè)位置推算算法，主要由以下5部分組成：

1) 設(shè)手持探針的初始位置為O(x，y)，記背景分離后的前景圖像中探針寬度所占像素為a。根據(jù)探針的方向，分別沿x軸和y軸搜索5個(gè)檢測(cè)框，每個(gè)檢測(cè)框的像素為a×a，共9個(gè)檢測(cè)框，如圖4所示。

圖4 探針位置探測(cè)搜索示意圖

2) 根據(jù)搜索的9個(gè)檢測(cè)框，分別計(jì)算各個(gè)檢測(cè)框中的像素之和Pn：

(4)

其中：Px(i)為背景分離后各檢測(cè)框中第i個(gè)點(diǎn)的像素值。基于像素搜索的方式開展探針探測(cè)位置的推算。

3) 判斷Pn是否超過(guò)設(shè)定閾值，如果未超過(guò)，則在起點(diǎn)位置的基礎(chǔ)上增加a個(gè)像素，沿探針?biāo)诘姆较蚪軸和y軸繼續(xù)搜索。重復(fù)5次，仍然未超過(guò)設(shè)定的閾值，則跳出搜索轉(zhuǎn)向下一幀圖像處理；如果超過(guò)設(shè)定的閾值，判斷該檢測(cè)框?qū)?yīng)的原視頻圖像中的顏色與探針的顏色是否相符，若相符，則認(rèn)定該點(diǎn)為探針上的點(diǎn)，否則在起點(diǎn)位置的基礎(chǔ)上增加a個(gè)像素，并分別在探針?biāo)诘姆较蜓豿軸和y軸繼續(xù)搜索。

4) 當(dāng)該點(diǎn)判定為探針上的點(diǎn)時(shí)，則以當(dāng)前探針上的點(diǎn)為起點(diǎn)O(x，y)，返回1)繼續(xù)搜索并進(jìn)行探針探測(cè)位置的推算。

5) 采用最小二乘法對(duì)獲得的探針探測(cè)位置上所有點(diǎn)進(jìn)行擬合，保證擬合的相關(guān)系數(shù)r值大于0.98。根據(jù)探針標(biāo)準(zhǔn)長(zhǎng)度，對(duì)擬合算法獲得的探針長(zhǎng)度進(jìn)行補(bǔ)償，從而最終判定人工手持探針探測(cè)的位置。

1.4 探測(cè)位置辨別

在探針位置探測(cè)推算的基礎(chǔ)上，結(jié)合實(shí)際待檢測(cè)的位置進(jìn)行判斷，求解探針位置和待檢測(cè)位置的交并比(IOU，Intersection over Union)，從而判斷人工手持探針探測(cè)的位置是否有效。

(5)

其中：TP為被判定為正樣本，實(shí)際也是正樣本。FP為被判定為正樣本，但實(shí)際是負(fù)樣本。FN為被判定為負(fù)樣本，但實(shí)際為正樣本。

2 實(shí)驗(yàn)測(cè)試

2.1 實(shí)驗(yàn)測(cè)試環(huán)境與說(shuō)明

利用python3.7編寫探針探測(cè)有效性檢測(cè)算法的代碼，選用的主板為Inter(R) Core(TM) i7-11700，顯卡為RTX3070Ti，內(nèi)存為16 GB，操作系統(tǒng)為Windows10的計(jì)算機(jī)開展實(shí)驗(yàn)測(cè)試的研究。根據(jù)工廠提供的實(shí)時(shí)監(jiān)控視頻，選取其中一段監(jiān)控視頻數(shù)據(jù)，每秒提取一幀視頻圖像，共提取包含探針的1 645張圖像作為數(shù)據(jù)集。隨機(jī)劃分該數(shù)據(jù)集，其中訓(xùn)練集、驗(yàn)證集和測(cè)試集的比例為8：1：1。采用精確度、召回率、F1值對(duì)本文設(shè)計(jì)的人工手持探針的有效性檢測(cè)算法進(jìn)行綜合評(píng)判。

根據(jù)人工手持探針有效性探測(cè)算法的流程，針對(duì)算法的測(cè)試效果進(jìn)行測(cè)試，主要包括前景背景分類模型的效果測(cè)試，探針探測(cè)位置的有效性測(cè)試。1)前景背景分類模型的效果測(cè)試用于對(duì)監(jiān)控視頻流中采集的圖像進(jìn)行基于KNN算法的前景和背景的分離，并對(duì)分離的效果進(jìn)行測(cè)試和分析。2)探針探測(cè)位置的有效性測(cè)試用于對(duì)監(jiān)控視頻流中手持探針探測(cè)位置的有效性進(jìn)行測(cè)試與分析。

2.2 前景背景分類模型的效果測(cè)試

分析監(jiān)控視頻中前后幀圖像的時(shí)序特征，去除復(fù)雜工作環(huán)境背景，采用KNN算法，獲得前景圖像。截取視頻中的一幀圖像，以圖5(a)為例，設(shè)前景圖像為白色，背景圖像為黑色，對(duì)其原視頻圖像進(jìn)行前景、背景分離，效果如圖5(b)所示。

圖5 背景分離效果圖

圖5(b)可以看出，監(jiān)控視頻中的前景和背景圖像已充分分離，能夠獲得人工手持探針的前景灰度圖像。

2.3 探針探測(cè)位置的有效性測(cè)試

探針探測(cè)位置的有效性測(cè)試步驟如下：1)每秒采集監(jiān)控視頻中的圖像，基于每幀視頻圖像建立包含人工手持探針的數(shù)據(jù)集，按照Yolov5算法的要求對(duì)數(shù)據(jù)集進(jìn)行探針的標(biāo)注；2)隨機(jī)劃分?jǐn)?shù)據(jù)集，其中訓(xùn)練集、驗(yàn)證集和測(cè)試集的占比為8：1：1；3)利用Yolov5算法對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，利用驗(yàn)證集對(duì)訓(xùn)練的模型進(jìn)行效果驗(yàn)證，從而獲得最優(yōu)的人工手持探針探測(cè)位置的檢測(cè)模型；4)在測(cè)試集中，采用訓(xùn)練的人工手持探針探測(cè)位置的檢測(cè)模型進(jìn)行測(cè)試，并輸出探針探測(cè)位置的辨識(shí)結(jié)果。

根據(jù)訓(xùn)練獲得的人工手持探針探測(cè)位置的檢測(cè)模型，對(duì)工廠監(jiān)控視頻中工人手持探針探測(cè)的位置進(jìn)行實(shí)時(shí)檢測(cè)。記工人手持探針的檢測(cè)框?yàn)門ool_box，目標(biāo)概率記為Tool_score，其閾值設(shè)為0.5。篩選所有目標(biāo)概率大于0.5的檢測(cè)框，并且篩選目標(biāo)概率最大的兩個(gè)檢測(cè)框，區(qū)分左右手檢測(cè)框，并分別記為Tool_box_L和Tool_box-R，如圖6所示。

圖6 手持探針檢測(cè)效果圖

圖6可以看出，工人手持的探針能夠有效識(shí)別出該目標(biāo)，為后續(xù)探針探測(cè)位置的檢測(cè)奠定了基礎(chǔ)。

根據(jù)分離的前景圖像以及基于Yolov5算法的手持探針檢測(cè)獲得的檢測(cè)框Tool_box_L和Tool_box_R，開展基于像素搜索的探針探測(cè)位置的檢測(cè)。根據(jù)1.3節(jié)給出的手持探針探測(cè)位置的推算流程，圖7給出了人工手持探針探測(cè)位置推算的示意圖。

圖7 探針探測(cè)位置推算過(guò)程圖

圖7(a)為利用分離的前景圖像，開展基于像素搜索的探針探測(cè)位置的推算過(guò)程圖。圖7(b)為搜索的檢測(cè)框與原始圖像中的探針進(jìn)行對(duì)比的效果，其中小方塊的標(biāo)注為探測(cè)的探針上的點(diǎn)。圖7(c)為采用最小二乘法對(duì)檢測(cè)到的探針進(jìn)行擬合和補(bǔ)償?shù)男Ч麍D。圖7(d)為根據(jù)擬合與補(bǔ)償后的探針推算出的探針檢測(cè)的位置推算結(jié)果，圖中采用圓圈標(biāo)注。

根據(jù)手持探針檢測(cè)的位置，對(duì)標(biāo)實(shí)際待檢測(cè)的位置，求解探針檢測(cè)的位置與實(shí)際待檢測(cè)位置的交并比，若交并比大于50%，則視為檢測(cè)正確，否則視為檢測(cè)錯(cuò)誤，最終實(shí)現(xiàn)人工手持探針檢測(cè)位置有效性的辨別。本文采用精確度、召回率、F1值對(duì)設(shè)計(jì)的手持探針有效性檢測(cè)算法進(jìn)行綜合評(píng)判。召回率旨在評(píng)價(jià)探針探測(cè)位置為正確的待探測(cè)位置的概率，F(xiàn)1值是用于評(píng)價(jià)探針探測(cè)位置模型精確度的一種指標(biāo)。精確度、召回率越高越好，F(xiàn)1值同時(shí)考慮精確度和召回率，讓兩者同時(shí)達(dá)到最高，取得平衡，F(xiàn)1值越大越好。

針對(duì)工廠提供的監(jiān)控視頻，計(jì)算機(jī)利用計(jì)時(shí)器對(duì)探針有效性探測(cè)算法進(jìn)行測(cè)試，記錄一幀視頻圖像從采集到有效性檢測(cè)完成所需的時(shí)間，計(jì)算獲得探針有效性探測(cè)算法的平均檢測(cè)速度為9.66 fps/s。此外，對(duì)手持探針有效性的檢測(cè)進(jìn)行了10組測(cè)試，檢測(cè)結(jié)果如表1所示。

表1 探針有效性檢測(cè)結(jié)果統(tǒng)計(jì)表

表1可以看出，采用本文所提的手持探針有效性檢測(cè)算法的檢測(cè)精確度達(dá)到93.26%，召回率約81.11%，F(xiàn)1值約86.76%，實(shí)現(xiàn)了工廠監(jiān)控視頻流中人工手持探針位置的有效性檢測(cè)，檢測(cè)精度和檢測(cè)速度均能夠滿足工廠實(shí)際的生產(chǎn)需求。

3 實(shí)驗(yàn)數(shù)據(jù)分析

工廠實(shí)際監(jiān)控視頻的測(cè)試結(jié)果可以看出：1)采用工廠監(jiān)控視頻流訓(xùn)練的基于KNN的前景背景分類模型能夠有效地實(shí)現(xiàn)視頻流中采集圖像的前景和背景分離，獲得人工手持探針的前景灰度圖像，為后續(xù)開展探針探測(cè)位置的檢測(cè)奠定了良好的基礎(chǔ)；2)探針探測(cè)位置的有效性測(cè)試中，根據(jù)分離的人工手持探針的前景灰度圖像，基于像素搜索的探針探測(cè)位置推算算法，結(jié)合最小二乘擬合算法能夠有效實(shí)現(xiàn)探針的擬合和補(bǔ)償，在此基礎(chǔ)上獲得人工手持探針探測(cè)位置的推算；3)基于人工手持探針探測(cè)位置推算的結(jié)果，結(jié)合實(shí)際待檢測(cè)的位置進(jìn)行分析，最終實(shí)現(xiàn)了工廠監(jiān)控視頻中手持探針探測(cè)位置的有效性檢測(cè)。

4 結(jié)束語(yǔ)

以空調(diào)出廠前空調(diào)外機(jī)中銅管焊縫的氣密性檢測(cè)為研究背景，開展基于工廠監(jiān)控視頻中人工手持探針探測(cè)位置的有效性檢測(cè)算法的設(shè)計(jì)研究。首先，采用KNN算法對(duì)監(jiān)控視頻中前后幀圖像的時(shí)空特征進(jìn)行提取，實(shí)現(xiàn)視頻圖像中前景和背景圖像的分離；其次，基于Yolov5算法開展探針探測(cè)位置的檢測(cè)模型研究，提出基于像素搜索的探針探測(cè)位置推算算法，結(jié)合最小二乘擬合算法實(shí)現(xiàn)探針檢測(cè)位置的有效推算；最后，對(duì)標(biāo)實(shí)際待檢位置，判斷工人手持探針探測(cè)的有效性。工況實(shí)檢測(cè)試結(jié)果表明，本文設(shè)計(jì)的手持探針檢測(cè)算法的檢測(cè)速度可達(dá)9.66 fps/s，平均檢測(cè)精確度約為93.26%，召回率約81.11%，F(xiàn)1值約86.76%，能夠滿足工廠實(shí)際應(yīng)用的需求。