張 智，劉子瑜，邱靈龍，王楦燁，董 旭

(1.浙江工業(yè)大學(xué)之江學(xué)院信息工程學(xué)院，浙江 紹興 312030；2.浙江工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，浙江 杭州 310023；3.浙江工業(yè)大學(xué)信息工程學(xué)院，浙江 杭州 310023)

近年來(lái)，視覺(jué)識(shí)別被廣泛應(yīng)用于視覺(jué)定位[1]、物品檢測(cè)[2]、生物鑒別[3]等。隨著智慧城市化、快遞貨運(yùn)行業(yè)等方向的高速發(fā)展，視覺(jué)識(shí)別應(yīng)用于機(jī)器人代替人工從事重復(fù)繁雜的工作非常普遍，且逐漸產(chǎn)生分揀機(jī)器人、自動(dòng)包裝機(jī)器人和視障輔助識(shí)別等多元化應(yīng)用。

隨著社會(huì)需求的增加，視覺(jué)識(shí)別的功能與性能也在逐步上升。利用視覺(jué)識(shí)別技術(shù)結(jié)合網(wǎng)絡(luò)化和信息化的模式實(shí)現(xiàn)自動(dòng)分揀成為安全監(jiān)控、產(chǎn)品檢查和自動(dòng)包裝等行業(yè)的主要研究和發(fā)展方向之一[4－6]。在對(duì)物體進(jìn)行精準(zhǔn)操作的應(yīng)用中，關(guān)注物體整體三維形狀是十分必要的。通過(guò)單目攝像頭只能做到二維目標(biāo)識(shí)別，部分研究中通過(guò)單目攝像頭完成的三維物體識(shí)別需要結(jié)合圖像處理算法獲取其他信息，實(shí)質(zhì)上識(shí)別的圖像還是二維的。視覺(jué)識(shí)別研究中通常需要多視角或多目攝像頭實(shí)現(xiàn)物體在三維空間上的目標(biāo)識(shí)別。如Wiles等[7]提出的從單個(gè)和多個(gè)視圖預(yù)測(cè)雕塑的3D表面學(xué)習(xí)方法中，使用2D剪影圖像仍然受圖像尺寸的限制，而多視圖預(yù)測(cè)需要合成多個(gè)視圖來(lái)估計(jì)三維。三維目標(biāo)識(shí)別一般具有兩個(gè)以上的攝像機(jī)[8－9]，隨著大量攝像頭的安裝，監(jiān)管者需要不斷關(guān)注視頻屏幕并從中提取信息，這對(duì)于人員來(lái)說(shuō)在耐力和工作強(qiáng)度上都存在挑戰(zhàn)。此外，隨著監(jiān)控時(shí)間的增加，視頻錄像數(shù)據(jù)的不斷增長(zhǎng)對(duì)存儲(chǔ)設(shè)備的性能提出了更高的要求。

射頻識(shí)別(Radio Frequency Identification，RFID)[10]通過(guò)射頻信號(hào)獲得有關(guān)數(shù)據(jù)，屬于無(wú)接觸式自動(dòng)識(shí)別技術(shù)，可有效縮短識(shí)別目標(biāo)對(duì)象的時(shí)長(zhǎng)。通過(guò)射頻技術(shù)與視覺(jué)技術(shù)融合可以降低數(shù)據(jù)冗余[11]。但是當(dāng)前關(guān)于RFID與視頻結(jié)合的研究更傾向于利用RFID獲取位置信息或者利用相位值這種無(wú)線(xiàn)信號(hào)的物理層屬性來(lái)輔助視覺(jué)算法完成目標(biāo)的定位或追蹤任務(wù)[12－13]，沒(méi)有充分利用RFID標(biāo)簽所關(guān)聯(lián)的物體信息。

在對(duì)現(xiàn)有視覺(jué)識(shí)別技術(shù)進(jìn)行深入研究的基礎(chǔ)上，為了提高識(shí)別物體的速度和準(zhǔn)確率，本文提出了一種可以在不同場(chǎng)景下通用的射頻技術(shù)輔助的視覺(jué)識(shí)別系統(tǒng)，借助RFID自動(dòng)識(shí)別和動(dòng)態(tài)收集功能，將物體特征數(shù)據(jù)綁定于RFID標(biāo)簽作為先驗(yàn)信息存儲(chǔ)于數(shù)據(jù)庫(kù)，通過(guò)讀取物體特征信息可以輔助攝像頭識(shí)別物體，以三維立體坐標(biāo)形式復(fù)現(xiàn)物體所在平面的位姿。這樣可以對(duì)物體進(jìn)行綜合判斷，提高原始視頻識(shí)別系統(tǒng)的智能性，可以廣泛的應(yīng)用在未來(lái)的自動(dòng)分揀、視障輔助、機(jī)器輔助操縱等場(chǎng)景。本文主要的創(chuàng)新點(diǎn)包括:①提出了一種通用的多傳感器融合的方法，能夠通過(guò)采用射頻標(biāo)簽所關(guān)聯(lián)的先驗(yàn)信息輔助不同視覺(jué)識(shí)別算法。②以Canny[14]和Faster R-CNN[15]兩種算法為例，詳述了如何運(yùn)用本文方法使用標(biāo)簽關(guān)聯(lián)的物體信息作為先驗(yàn)信息輔助現(xiàn)有視覺(jué)算法完成單目三維識(shí)別，證明了本文方法的通用性。③對(duì)不同物體進(jìn)行大量實(shí)驗(yàn)，驗(yàn)證了本文方法的有效性，與使用三維攝像頭、多目攝像頭實(shí)現(xiàn)三維識(shí)別的視覺(jué)算法相比，通過(guò)RFID輔助單目攝像頭進(jìn)行物體識(shí)別可以降低復(fù)雜度，并提升處理速度，多傳感器的融合提高了識(shí)別的準(zhǔn)確度。

1 設(shè)計(jì)原理

本文系統(tǒng)通過(guò)RFID標(biāo)簽標(biāo)記物品特性，讀取物品的重量、尺寸和材質(zhì)等先驗(yàn)信息輔助攝像頭對(duì)物體的識(shí)別、距離的判斷等操作。如圖1所示為本文系統(tǒng)框圖，系統(tǒng)包含的模塊有:傳感器模塊、控制模塊、傳輸模塊、數(shù)據(jù)庫(kù)。其中傳感器模塊包含RFID單元(射頻模塊)和攝像頭(視頻模塊)，RFID單元由電子標(biāo)簽、天線(xiàn)和讀寫(xiě)器組成；以電腦作為控制模塊；傳輸模塊采用RFID讀寫(xiě)器和攝像頭上的有線(xiàn)網(wǎng)口通信。標(biāo)簽中的物品信息存儲(chǔ)于數(shù)據(jù)庫(kù)作為先驗(yàn)信息，方便識(shí)別物品時(shí)讀寫(xiě)器讀取數(shù)據(jù)，減少計(jì)算機(jī)分析視頻識(shí)別物體的時(shí)間。

圖1 系統(tǒng)框圖

1.1 射頻識(shí)別原理

無(wú)接觸式自動(dòng)識(shí)別技術(shù)RFID是由RFID電子標(biāo)簽、讀寫(xiě)器、天線(xiàn)三部分組成。無(wú)源超高頻RFID系統(tǒng)采用的是反向散射調(diào)制，如圖2所示，系統(tǒng)運(yùn)行時(shí)，讀寫(xiě)器發(fā)射查詢(xún)信號(hào)，無(wú)源電子標(biāo)簽獲得查詢(xún)信號(hào)后，將其中部分信號(hào)整流為直流電，用于為電子標(biāo)簽中的電路提供能量，另一部分信號(hào)由電子標(biāo)簽反射并調(diào)制后，將數(shù)據(jù)反饋給讀寫(xiě)器。讀寫(xiě)器的作用是讀寫(xiě)電子標(biāo)簽中的內(nèi)容，天線(xiàn)的作用是在電子標(biāo)簽和讀寫(xiě)器間傳送射頻信號(hào)(能量和數(shù)據(jù))[11]。

圖2 反向散射調(diào)制

1.2 視覺(jué)識(shí)別算法介紹

視覺(jué)識(shí)別在物體檢測(cè)中的應(yīng)用是機(jī)器視覺(jué)的經(jīng)典研究方向之一，主要目的是得到圖像中物體的目標(biāo)框，以及給出物體的類(lèi)別。不管是機(jī)器視覺(jué)中解決物體檢測(cè)的基礎(chǔ)方法邊緣檢測(cè)，還是更加成熟的深度學(xué)習(xí)目標(biāo)檢測(cè)算法，都無(wú)法做到單目攝像頭的三維目標(biāo)識(shí)別。

邊緣檢測(cè)在視覺(jué)識(shí)別中是十分重要的研究方向，經(jīng)典的邊緣檢測(cè)包括微分法、最優(yōu)法和擬合法。最常見(jiàn)的是微分法，一般被劃分為一階邊緣算法和二階邊緣算法，如常用的Sobel[16]算子屬于一階邊緣算法，Sobel具有較強(qiáng)的抗噪聲干擾能力，在灰度漸變或者噪聲強(qiáng)的場(chǎng)景中圖像處理效果不錯(cuò)，但是定位準(zhǔn)確度較低。Laplacian[17]和Canny[14]算子屬于比較有名的二階邊緣算法，Laplacian算子在噪聲干擾下容易丟失邊緣梯度信息，因此更為常用的是Canny算子。

在使用Canny算法進(jìn)行邊緣檢測(cè)任務(wù)之前，通常使用高斯函數(shù)對(duì)圖像進(jìn)行平滑處理，以降低高斯噪聲，并設(shè)定分辨率，使得圖像的強(qiáng)度變化能夠更快速被檢測(cè)到，這個(gè)過(guò)程非常有利于檢測(cè)到灰度變化最大的邊緣。通過(guò)選擇圖像梯度可以定位這些最大邊緣的區(qū)域，返回水平梯度值Gx和垂直梯度值Gy。然后計(jì)算歐幾里得距離，作為梯度大小G，如式(1)所示。圖像的邊緣往往存在被延伸的情況，只確定梯度值不能很好地確定邊緣，因此有必要確定邊緣方向θ，計(jì)算方法如式(2)所示。

但是，Canny算法也存在一些缺點(diǎn)。例如無(wú)法識(shí)別物體周?chē)娜踹吘墸蛘?，由于噪聲的存在，有可能識(shí)別出虛假的邊緣。此外，它無(wú)法識(shí)別出分支的邊緣和一些重要的細(xì)節(jié)。Canny的漏檢率低于Sobel，但誤檢率更高。

隨著深度學(xué)習(xí)的發(fā)展，物體檢測(cè)算法中會(huì)加入卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)框架對(duì)圖像進(jìn)行訓(xùn)練提升識(shí)別性能[18]?；谏疃葘W(xué)習(xí)的視頻識(shí)別過(guò)程中，首先要使用攝像頭傳感器采集視頻信息，通過(guò)嵌入深度學(xué)習(xí)算法識(shí)別、檢測(cè)視頻圖像。

普通的識(shí)別方法是對(duì)單幀圖像進(jìn)行深度學(xué)習(xí)表達(dá)，單個(gè)圖像粒度通過(guò)CNN網(wǎng)絡(luò)將得到一個(gè)輸出，CNN由輸入層、卷積層、歸一化層、池化層和全連接層組成。在靜態(tài)的識(shí)別過(guò)程中，需要提取圖像特征進(jìn)行學(xué)習(xí)。而在快速運(yùn)動(dòng)的視頻中，為了減輕背景對(duì)視頻識(shí)別算法性能的影響，需要加強(qiáng)時(shí)間域上的學(xué)習(xí)。因此，為了提高識(shí)別精度，在運(yùn)動(dòng)量較明顯的視頻識(shí)別過(guò)程中，CNN網(wǎng)絡(luò)可以通過(guò)在更深層進(jìn)行時(shí)間卷積，將同一層的參數(shù)傳遞給不同時(shí)間的同一層網(wǎng)絡(luò)。

R-CNN(Regions with CNN features)[19]系列的目標(biāo)檢測(cè)算法一般包含候選區(qū)域提取、卷積特征提取、訓(xùn)練分類(lèi)器和邊界回歸。前人所提的R-CNN、SPP-Net[20]、Fast R-CNN[21]算法都對(duì)CNN在物體檢測(cè)上的應(yīng)用做出了重要貢獻(xiàn)，但是仍然存在特征重復(fù)提取、耗時(shí)過(guò)大的問(wèn)題。

Faster R-CNN使用了區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)[15]，和之前的R-CNN系列算法有所區(qū)別的是在特征圖上進(jìn)行候選區(qū)域提取，而不是在原圖。Faster R-CNN使用預(yù)訓(xùn)練模型訓(xùn)練后可以得到卷積網(wǎng)絡(luò)層VGG－16[22]，輸入圖像至卷積層后能夠在第五個(gè)卷積block的第三個(gè)卷積層輸出最終的特征圖，然后使用RPN選擇候選區(qū)域。結(jié)合特征圖和候選區(qū)域的輸出結(jié)果，并執(zhí)行感興趣區(qū)域池化(Region of interest pooling，RoI pooling)之后在全連接層可以實(shí)現(xiàn)目標(biāo)的識(shí)別和定位。相比R-CNN和Fast R-CNN，F(xiàn)aster R-CNN在檢測(cè)精度和耗時(shí)方面都有所改進(jìn)，但對(duì)于每個(gè)目標(biāo)候選框的計(jì)算量還是比較大。

2 射頻輔助的三維視覺(jué)識(shí)別

本文提出的射頻輔助視覺(jué)識(shí)別方法是一種通用的三維識(shí)別輔助方法，適用于改進(jìn)任意物體視覺(jué)識(shí)別檢測(cè)算法。本文以Canny邊緣檢測(cè)算法和Faster R-CNN目標(biāo)檢測(cè)算法來(lái)證明新提出的射頻輔助視覺(jué)識(shí)別方法的通用性和有效性。

2.1 算法流程

射頻輔助視覺(jué)識(shí)別程序流程圖如圖3所示。

圖3 視頻識(shí)別原理流程圖

首先，啟動(dòng)攝像頭后，開(kāi)啟視頻流，然后捕獲視頻的一幀，根據(jù)選擇的視覺(jué)識(shí)別算法對(duì)捕獲的圖像進(jìn)行數(shù)據(jù)預(yù)處理，隨后使用視覺(jué)識(shí)別算法能夠較好的對(duì)物體進(jìn)行標(biāo)定。若置信度過(guò)低則重新檢測(cè)。

在視覺(jué)識(shí)別過(guò)程中，由于相機(jī)拍攝畫(huà)面的畸變?nèi)菀自斐蓤D片桶形失真，因此本文采用相機(jī)標(biāo)定算法[23]對(duì)圖像進(jìn)行矯正處理。首先將世界坐標(biāo)轉(zhuǎn)化為相機(jī)坐標(biāo)，如式(3)所示，其中(Xw，Yw，Zw)表示某點(diǎn)的世界坐標(biāo)，(Xc，Yc，Zc)表示該點(diǎn)的相機(jī)坐標(biāo)，R為世界坐標(biāo)系分別繞X，Y，Z軸旋轉(zhuǎn)的旋轉(zhuǎn)矩陣之積。T表示偏移向量。

然后結(jié)合小孔成像原理和三角形相似性原理計(jì)算二維圖像坐標(biāo)，關(guān)系表達(dá)式如式(4)所示:

式中，f為圖像坐標(biāo)系原點(diǎn)與相機(jī)坐標(biāo)系原點(diǎn)之間的距離，(xg，yg)表示圖像坐標(biāo)。

最后，通過(guò)圖像坐標(biāo)計(jì)算像素坐標(biāo)，雖然圖像坐標(biāo)系和像素坐標(biāo)系都在成像的平面中，但是兩者一般情況下是不垂直的(如圖4所示)，轉(zhuǎn)換關(guān)系如式(5)所示，(u，v)表示像素坐標(biāo)，(u0，v0)為像素坐標(biāo)系原點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)值，θ為像素坐標(biāo)系的夾角。

圖4 圖像坐標(biāo)轉(zhuǎn)像素坐標(biāo)示意圖

多目識(shí)別系統(tǒng)復(fù)雜度較高，而無(wú)論用何種單目識(shí)別方法得到的結(jié)果都是二維的，難以分析物體整體情況，因此本文引入RFID標(biāo)簽信息作為先驗(yàn)信息輔助識(shí)別物體。視覺(jué)識(shí)別獲得目標(biāo)框的同時(shí)，也將返回物體的長(zhǎng)、寬和高等信息，將其兩兩相乘得到不同面的面積，再將目標(biāo)框面積與先驗(yàn)信息計(jì)算得出的面積進(jìn)行比較，設(shè)定誤差在某個(gè)區(qū)間內(nèi)為同一個(gè)面，此時(shí)先驗(yàn)信息中剩余的長(zhǎng)(或者寬、高)則為實(shí)際的高，得知物體的高后可從目標(biāo)框的中心點(diǎn)坐標(biāo)映射出重心坐標(biāo)，然后以目標(biāo)框?yàn)轫斆婵梢詮?fù)現(xiàn)出三維物體。以圖5為例，加粗黑線(xiàn)框?yàn)闄z測(cè)到的目標(biāo)框，返回目標(biāo)框的頂點(diǎn)像素坐標(biāo)后，通過(guò)左上角頂點(diǎn)像素坐標(biāo)(x，y，z)計(jì)算其真實(shí)坐標(biāo)(X，Y，Z)，如式(6)所示，其中dx、dy、dz分別是指真實(shí)距離Dx、Dy、Dz對(duì)應(yīng)的像素距離。通過(guò)頂點(diǎn)真實(shí)坐標(biāo)可計(jì)算出目標(biāo)框中心點(diǎn)的真實(shí)坐標(biāo)。由俯視角度得到了目標(biāo)框的中心點(diǎn)坐標(biāo)，則以長(zhǎng)方體為例，可映射出的重心坐標(biāo)為。

圖5 識(shí)別目標(biāo)框示意圖

本文以Canny邊緣檢測(cè)算法和Faster R-CNN目標(biāo)檢測(cè)算法為例來(lái)詳述如何使用本文方法對(duì)現(xiàn)有算法進(jìn)行改進(jìn)，對(duì)Canny和Faster R-CNN的改進(jìn)分別見(jiàn)2.2節(jié)和2.3節(jié)。

2.2 Canny的改進(jìn)算法

當(dāng)物體檢測(cè)過(guò)程中采用邊緣檢測(cè)算法時(shí)，為了盡可能減少噪聲對(duì)邊緣檢測(cè)結(jié)果的影響，采用高斯濾波對(duì)圖像進(jìn)行平滑及過(guò)濾噪聲處理。然后計(jì)算圖像中不同像素點(diǎn)的梯度強(qiáng)度和方向，圖像邊緣一般會(huì)指向各個(gè)方向，于是Canny算法使用四種算法來(lái)識(shí)別圖像中的水平、垂直和對(duì)角邊緣。在傳統(tǒng)的Canny邊緣檢測(cè)中，偽邊的存在會(huì)導(dǎo)致物體尺寸的確定出現(xiàn)誤差[14]，因此基于原始的算法，本文做了如下的改進(jìn)。

首先對(duì)圖像進(jìn)行平滑時(shí)，通過(guò)每個(gè)像素的水平梯度和垂直梯度的高斯核計(jì)算梯度的絕對(duì)值，并得到邊緣方向，分別如式(7)和式(8)所示。

本文改進(jìn)的Canny邊緣檢測(cè)方法中，為了消除邊緣檢測(cè)引起的虛假響應(yīng)，采用非最大值抑制，然后采用雙閾值檢測(cè)方法進(jìn)行標(biāo)定真實(shí)邊緣和潛在邊緣，實(shí)質(zhì)是結(jié)合了RFID標(biāo)簽中準(zhǔn)確的物體幾何信息和像素信息來(lái)確定濾波窗口的權(quán)重，像素值越接近幾何中心的像素，則權(quán)重越大，數(shù)學(xué)表達(dá)如式(9)所示。

式中，(ui，vj)為當(dāng)前點(diǎn)的像素坐標(biāo)，(uk，vl)為幾何中心點(diǎn)的真實(shí)坐標(biāo)，獲取物體幾何信息后由具體的幾何中心計(jì)算公式得到。f(ui，vj)和f(uk，vl)分別表示當(dāng)前點(diǎn)和幾何中心點(diǎn)的像素值。δd和δg分別表示空間距離標(biāo)準(zhǔn)差和灰度距離標(biāo)準(zhǔn)差。由上式可知，若像素值和附近目標(biāo)點(diǎn)的像素很接近或者差異很大時(shí)，難以達(dá)到去噪目的，因此需要縮小邊緣的搜索范圍，本文采取減小搜索范圍閾值進(jìn)行自適應(yīng)雙閾值，表達(dá)式如下:

最后，通過(guò)抑制孤立的弱邊緣來(lái)完成邊緣檢測(cè)。分級(jí)后的強(qiáng)邊與弱邊相關(guān)聯(lián)，通過(guò)保留局部極大值和抑制所有其他的非極大值點(diǎn)可以實(shí)現(xiàn)將模糊的邊緣轉(zhuǎn)換成銳利的邊緣。

2.3 Faster R-CNN的改進(jìn)算法

為了更全面對(duì)視覺(jué)識(shí)別方法進(jìn)行改進(jìn)，來(lái)展示此方法的通用性，本算法也提供了對(duì)目標(biāo)檢測(cè)算法的輔助識(shí)別，輸入的數(shù)據(jù)集標(biāo)定了RFID標(biāo)簽中準(zhǔn)確的物體幾何信息。由于對(duì)于分類(lèi)較多的目標(biāo)檢測(cè)任務(wù)，ResNet[25]模型在精確度和運(yùn)行速度上都優(yōu)于VGG模型，因此本文采用的基礎(chǔ)網(wǎng)絡(luò)為ResNet－50，預(yù)訓(xùn)練模型選擇ImageNet，且在卷積層中運(yùn)用ImageNet中的批歸一化(Batch Normalization，BN)方法。訓(xùn)練迭代輪數(shù)為24，初始學(xué)習(xí)率設(shè)置為0.002 5，批大小為6，觀(guān)察到訓(xùn)練集損失發(fā)散時(shí)降低學(xué)習(xí)率。

本文為了增強(qiáng)識(shí)別精度，改進(jìn)的方法在原始的Faster R-CNN的RPN架構(gòu)上引入了特征金字塔(Feature Pyramid Network，F(xiàn)PN)[26]，在每次的卷積下采樣時(shí)都生成對(duì)應(yīng)的特征圖，然后通過(guò)自頂向下的上采樣方式將特征圖放大，同時(shí)語(yǔ)義也越強(qiáng)，這使得網(wǎng)絡(luò)更具魯棒性，提高了Faster R-CNN算法對(duì)多尺度的小目標(biāo)的檢測(cè)精度。將前后兩種特征圖進(jìn)行橫向特征融合，可得圖6中右邊的FPN特征圖組。

圖6 FPN結(jié)構(gòu)圖

RPN對(duì)特征圖輸出提議框之后，由Softmax模型確定生成的提議框中的候選目標(biāo)部分，RPN的損失函數(shù)如式(11)所示:

式中，Nc表示類(lèi)別數(shù)目，Np表示候選區(qū)域中目標(biāo)的數(shù)量，i為候選目標(biāo)的編號(hào)，Pi表示候選目標(biāo)是真實(shí)目標(biāo)的概率，P′i表示預(yù)測(cè)正確性標(biāo)簽，獲取先驗(yàn)信息計(jì)算候選目標(biāo)的預(yù)測(cè)框與真實(shí)目標(biāo)框重合面積，當(dāng)此面積大于等于80%時(shí)，P′i＝1，當(dāng)重合面積小于30%時(shí)，P′i＝0。bi表示預(yù)測(cè)框的邊界參數(shù)坐標(biāo)，b′i代表P′i＝1時(shí)的目標(biāo)標(biāo)注框邊界坐標(biāo)向量。λ＝10，是損失函數(shù)在訓(xùn)練總損失函數(shù)中占比的平衡參數(shù)。

由于RoI Pooling會(huì)導(dǎo)致區(qū)域錯(cuò)誤匹配的問(wèn)題，因此為了提高多層次目標(biāo)的檢測(cè)精度，本文在選擇候選區(qū)域之后增加RoI對(duì)齊[19]層，替換Faster R-CNN的RoI Pooling層。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境介紹

本文所提系統(tǒng)基于Python3.6和PaddlePaddle實(shí)現(xiàn)，算法采用邊緣檢測(cè)Canny算子和Faster R-CNN目標(biāo)檢測(cè)算法。PaddlePaddle用于訓(xùn)練Faster R-CNN模型并進(jìn)行數(shù)據(jù)增強(qiáng)以提高模型準(zhǔn)確度，模型使用時(shí)需要導(dǎo)入依賴(lài)庫(kù)paddlex。硬件配置為Intel i7－8700K 3.70GHz CPU和16GB內(nèi)存，Nvidia GeForce RTX 2080顯卡，Nvidia依賴(lài)為CUDA10.0、cuDNN7.5.1。射頻模塊讀寫(xiě)器由INDY R2000芯片和雙CPU架構(gòu)設(shè)計(jì)組成。視頻模塊硬件包括海康威視攝像頭DS－2DC2204IW－DE3/W，該攝像頭可變焦，焦距范圍2.8 mm～12 mm，其使用的圖像傳感器能夠?qū)D像進(jìn)行精準(zhǔn)的顯示，且具有降噪功能，在對(duì)相鄰幀圖像進(jìn)行比較濾波后，能夠?qū)φ页龅脑肼朁c(diǎn)位置進(jìn)行增益控制，以弱化弱信號(hào)圖像的噪聲干擾；支持水平350°無(wú)死角監(jiān)控，通過(guò)網(wǎng)口傳輸視頻流，結(jié)合物體檢測(cè)可實(shí)現(xiàn)對(duì)物體坐標(biāo)的精準(zhǔn)定位。

本文基于兩種不同的算法進(jìn)行的對(duì)比實(shí)驗(yàn)過(guò)程分別包含雙目識(shí)別和單目RFID輔助識(shí)別兩種不同的識(shí)別方式。雙目識(shí)別采取如圖7所示的通過(guò)兩個(gè)攝像頭獲取物體三維信息，其中攝像頭1獲取單個(gè)截面目標(biāo)框，攝像頭2可獲取物體的高度；單目RFID輔助識(shí)別方式的測(cè)試演示圖如圖8所示，包括RFID讀寫(xiě)器、RFID天線(xiàn)、帶有標(biāo)簽的物體和一個(gè)攝像頭。圖7中的攝像頭1與圖8中的攝像頭1位置一致，即攝像頭1在雙目、單目的情況下位置一致。

圖8 RFID輔助單目攝像頭識(shí)別演示圖

為體現(xiàn)本研究的可靠性及效果，本文以視野范圍左上角頂點(diǎn)處為原點(diǎn)建立三維坐標(biāo)系，對(duì)不同規(guī)格的物體進(jìn)行了不同方位、不同距離的測(cè)試，結(jié)果表現(xiàn)出物體越小識(shí)別誤差越大，因此最終選擇了較小規(guī)格的物體識(shí)別結(jié)果數(shù)據(jù)進(jìn)行分析，實(shí)物如圖9所示，包括長(zhǎng)方體、立方體、直棱柱、平行六面體、球體和圓錐形狀的物體。

圖9 部分測(cè)試物體實(shí)物圖

3.2 性能評(píng)估

雙目識(shí)別需要靠視覺(jué)識(shí)別技術(shù)獲取物體的有效信息。而基于RFID技術(shù)的單目視頻識(shí)別輔助系統(tǒng)中，RFID標(biāo)簽存有物體實(shí)際的先驗(yàn)信息，通過(guò)真實(shí)的信息輔助攝像頭識(shí)別物體加快了識(shí)別速度、減少了估計(jì)誤差。

在定位準(zhǔn)確度方面，如圖10所示為邊緣檢測(cè)實(shí)驗(yàn)的中心距離偏差對(duì)比圖，圖11為Faster R-CNN目標(biāo)檢測(cè)實(shí)驗(yàn)的中心距離偏差對(duì)比圖。相同尺寸物體基于同樣的環(huán)境因素進(jìn)行測(cè)試，由于邊緣檢測(cè)比目標(biāo)檢測(cè)算法更易受環(huán)境因素的影響，因此定位誤差起伏較大。對(duì)比不同形狀的物體的檢測(cè)結(jié)果，本文通過(guò)RFID標(biāo)簽信息輔助單目邊緣檢測(cè)進(jìn)行三維視覺(jué)識(shí)別的方法誤差均比雙目邊緣檢測(cè)的誤差要小，總體平均降低定位誤差為25.60%。通過(guò)RFID標(biāo)簽信息輔助單目Faster R-CNN進(jìn)行三維視覺(jué)識(shí)別的方法誤差均比雙目Faster R-CNN三維識(shí)別方式的誤差更小，總體平均降低定位誤差為25.70%。

圖10 邊緣檢測(cè)誤差對(duì)比圖

圖11 目標(biāo)檢測(cè)誤差對(duì)比圖

在識(shí)別準(zhǔn)確度方面，邊緣檢測(cè)能標(biāo)識(shí)物體的邊緣，但得到的結(jié)果中目標(biāo)框會(huì)大于物體實(shí)際邊緣。目標(biāo)檢測(cè)能準(zhǔn)確識(shí)別出物體標(biāo)記好的標(biāo)簽，但不論是邊緣檢測(cè)或是目標(biāo)檢測(cè)算法都會(huì)由于環(huán)境因素的影響而使得目標(biāo)框不夠標(biāo)準(zhǔn)，導(dǎo)致返回物體的長(zhǎng)、寬和高有一定的誤差，如圖12中實(shí)際俯視應(yīng)該是黃色的框，但是檢測(cè)返回的結(jié)果卻是紅色的框，這時(shí)通過(guò)RFID讀寫(xiě)器讀取物體標(biāo)簽?zāi)艿玫綔?zhǔn)確的物體尺寸信息，使得檢測(cè)的計(jì)算結(jié)果更加準(zhǔn)確。本實(shí)驗(yàn)中，對(duì)于物體三維尺寸信息，邊緣檢測(cè)的平均識(shí)別誤差為9.02%，目標(biāo)檢測(cè)的平均識(shí)別誤差為9.25%，通過(guò)從數(shù)據(jù)庫(kù)中獲取讀寫(xiě)器上傳的真實(shí)的物體信息，能去除三維尺寸的識(shí)別誤差，有助于未來(lái)應(yīng)用于各種機(jī)器，提高機(jī)器對(duì)物體的準(zhǔn)確操縱程度。

圖12 物體識(shí)別目標(biāo)框示意圖

在算法速度方面，運(yùn)行多目攝像頭進(jìn)行物體識(shí)別，產(chǎn)生的數(shù)據(jù)量更大，而且需要對(duì)多個(gè)攝像頭畫(huà)面進(jìn)行關(guān)聯(lián)分析，算法計(jì)算更耗時(shí)。單目RFID可以減少視角，利用單目識(shí)別出的二維圖形加上RFID標(biāo)簽關(guān)聯(lián)的物體尺寸等信息，可以識(shí)別出物體的三維位置，并且射頻讀取的速度很快，因此從原理上是能夠提高物體識(shí)別的速度的，而且實(shí)驗(yàn)也證實(shí)了單目RFID確實(shí)提升了識(shí)別速度，該方法的代價(jià)是在物體上需要貼上電子標(biāo)簽，將物體的信息與標(biāo)簽相關(guān)聯(lián)并存儲(chǔ)在數(shù)據(jù)庫(kù)中，這部分的工作需人工操作。如圖13所示的邊緣檢測(cè)識(shí)別速度對(duì)比圖中可看出在所有的測(cè)試中，雙目邊緣檢測(cè)所需的時(shí)間均高于基于RFID改進(jìn)的單目邊緣檢測(cè)算法，本文在速度上平均提升約32.82%。

圖13 邊緣檢測(cè)識(shí)別速度對(duì)比圖

如圖14所示為目標(biāo)檢測(cè)識(shí)別速度對(duì)比圖，由于Faster R-CNN計(jì)算量更大，加以調(diào)用了第三方paddlex依賴(lài)庫(kù)，在準(zhǔn)確度提升的同時(shí)會(huì)犧牲速率，因此基于RFID的單目Faster R-CNN在速度的提升上更加明顯，速度上提升約48.38%。本文以一個(gè)攝像頭代替兩個(gè)攝像頭實(shí)現(xiàn)三維識(shí)別，降低了算法復(fù)雜度，提高了識(shí)別速度。

圖14 目標(biāo)檢測(cè)識(shí)別速度對(duì)比圖

4 總結(jié)

本文提出了一種通用的射頻技術(shù)輔助的視覺(jué)識(shí)別系統(tǒng)，通過(guò)讀取RFID標(biāo)簽信息輔助單目視覺(jué)識(shí)別算法識(shí)別定位物體，并獲取數(shù)據(jù)庫(kù)中存儲(chǔ)的標(biāo)簽數(shù)據(jù)實(shí)現(xiàn)三維坐標(biāo)可視化復(fù)現(xiàn)，對(duì)今后自動(dòng)分揀、視障輔助、機(jī)器輔助操縱等不同場(chǎng)景的智能化發(fā)展具有極大的研究?jī)r(jià)值。實(shí)驗(yàn)數(shù)據(jù)證明，針對(duì)邊緣檢測(cè)算法的輔助識(shí)別，本文方法可提高25.60%的定位準(zhǔn)確度，降低9.02%的三維尺寸識(shí)別誤差，速度提升了32.82%；針對(duì)Faster R-CNN目標(biāo)檢測(cè)算法的輔助識(shí)別，本文方法可提高25.70%的定位準(zhǔn)確度、降低9.25%的三維尺寸識(shí)別誤差以及提升48.38%的識(shí)別速度。在本文系統(tǒng)的輔助之下，視覺(jué)識(shí)別效果能得到整體的提升，后續(xù)工作將繼續(xù)優(yōu)化識(shí)別的準(zhǔn)確度，使得本系統(tǒng)能夠復(fù)現(xiàn)不規(guī)則物體的三維圖像。