王 琦,鄭飂默,王詩宇,劉信君,郭 威

1(中國科學(xué)院大學(xué),北京 100049)2(中國科學(xué)院 沈陽計(jì)算技術(shù)研究所,沈陽 110168)3(沈陽中科數(shù)控技術(shù)股份有限公司,沈陽 110168)4(鹽城師范學(xué)院 信息工程學(xué)院,江蘇 鹽城 224002)

1 引 言

精準(zhǔn)而靈活的機(jī)械臂在工業(yè)制造領(lǐng)域中有著廣泛的應(yīng)用,機(jī)械臂能夠執(zhí)行裝配作業(yè)、物體抓取、人機(jī)交互、碰撞檢測等任務(wù)[1].近年來,基于視覺的機(jī)械臂控制受到了越來越多的關(guān)注,與使用特定傳感器的傳統(tǒng)系統(tǒng)相比,視覺系統(tǒng)具有更大的信息量,更加靈活,能夠適應(yīng)復(fù)雜多樣的任務(wù)[2,3].基于視覺的機(jī)械臂控制系統(tǒng)[4,5]能夠根據(jù)視覺信息對機(jī)械臂進(jìn)行控制,并且可以進(jìn)一步地實(shí)現(xiàn)機(jī)械臂的抓取[6,7].而如果我們想對機(jī)械臂進(jìn)行控制,首先就要知道機(jī)械臂各個關(guān)節(jié)的位置,即機(jī)械臂的姿態(tài),因此機(jī)械臂的姿態(tài)估計(jì)是機(jī)械臂進(jìn)行控制必不可少的一步,對于機(jī)械臂控制系統(tǒng)的實(shí)現(xiàn)至關(guān)重要.

在實(shí)際的機(jī)械臂應(yīng)用中,機(jī)械臂所能提供的存儲資源和計(jì)算資源有限,機(jī)械臂的姿態(tài)估計(jì)不僅需要模型有較高的精度,還要求模型具有較小的參數(shù)量和計(jì)算量.因此,在機(jī)械臂姿態(tài)估計(jì)的過程中,如何減少模型的參數(shù)量和計(jì)算量是一個非常重要且現(xiàn)實(shí)的研究課題.

針對機(jī)械臂的姿態(tài)估計(jì)問題,學(xué)術(shù)界已經(jīng)開展了相關(guān)的研究工作.Zuo等人[8]使用3D模型生成了大量的虛擬數(shù)據(jù),在此虛擬領(lǐng)域中訓(xùn)練視覺模型,并在領(lǐng)域自適應(yīng)后應(yīng)用于真實(shí)世界的圖像.此外,其設(shè)計(jì)了一種半監(jiān)督方法,該方法充分利用了關(guān)鍵點(diǎn)之間的幾何約束,使用迭代算法進(jìn)行優(yōu)化.Lee等人[1]提出了一種從單個圖像估計(jì)機(jī)械臂姿態(tài)的方法,其使用深度神經(jīng)網(wǎng)絡(luò)來處理RGB圖像來檢測機(jī)械臂上的關(guān)鍵點(diǎn),并且使用域隨機(jī)化完全在模擬數(shù)據(jù)上進(jìn)行網(wǎng)絡(luò)的訓(xùn)練.Widmaier等人[9]使用機(jī)械臂的深度圖像作為輸入來直接估計(jì)角關(guān)節(jié)的位置.其使用了一個隨機(jī)回歸森林來進(jìn)行估計(jì),該模型使用合成生成的數(shù)據(jù)進(jìn)行訓(xùn)練.Tremblay等人[10]使用RGB圖像作為神經(jīng)網(wǎng)絡(luò)的輸入,并在虛擬數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò),通過領(lǐng)域隨機(jī)化來彌補(bǔ)虛擬和真實(shí)的差距,該神經(jīng)網(wǎng)絡(luò)還會執(zhí)行在線的相機(jī)標(biāo)定來更精準(zhǔn)地估計(jì)機(jī)械臂的姿態(tài).Bohg等人[11]使用隨機(jī)決策森林來分割機(jī)械臂之間的連接,并使用標(biāo)注好的深度圖像進(jìn)行訓(xùn)練,從而來估計(jì)機(jī)械臂真實(shí)關(guān)節(jié)的位置.盡管上述算法的精度很高,但這些方法仍存在參數(shù)量和計(jì)算量過大等不足.現(xiàn)有方法往往通過犧牲模型效率來換取精度優(yōu)勢,精度越高的方法所需要的計(jì)算開銷也越大.在云上部署這些高精度模型會很困難,龐大的參數(shù)量也限制了模型在資源受限設(shè)備(比如機(jī)械臂、手機(jī)等設(shè)備)上的部署.這些高精度模型需要巨大的計(jì)算開銷和內(nèi)存開銷,嚴(yán)重阻礙了資源受限情況下的使用.

針對現(xiàn)有研究中缺乏通用的模型輕量化方法以及輕量級模型會面臨的性能退化問題,本文以堆疊沙漏網(wǎng)絡(luò)為基礎(chǔ),構(gòu)建了具有兩個堆的堆疊沙漏網(wǎng)絡(luò),并使用了一種全新的神經(jīng)網(wǎng)絡(luò)基本單元Ghost模塊來替代堆疊沙漏網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積,從而搭建出輕量級的機(jī)械臂姿態(tài)估計(jì)神經(jīng)網(wǎng)絡(luò),即Ghost-SHN(Ghost Module-Based Stacked Hourglass Network).Ghost-SHN在保留模型泛化性能的前提下改善機(jī)械臂姿態(tài)估計(jì)模型的推理效率,能夠更好地在機(jī)械臂上進(jìn)行部署,實(shí)現(xiàn)了輕量級的機(jī)械臂姿態(tài)估計(jì).

2 相關(guān)理論

2.1 堆疊沙漏網(wǎng)絡(luò)

堆疊沙漏網(wǎng)絡(luò)(Stacked Hourglass Network,SHN)[12]是由Newell等人提出的用于姿態(tài)估計(jì)的神經(jīng)網(wǎng)絡(luò).基于這種網(wǎng)絡(luò)結(jié)構(gòu)的人體姿態(tài)識別方法獲得了 MPII 2016 競賽的冠軍.

SHN由多個堆疊起來的沙漏模塊(Hourglass Module)組成.類似Inception[13]的殘差塊(Residual Block)組成了沙漏模塊.

沙漏模塊主要由下采樣與上采樣操作構(gòu)成.下采樣是通過卷積及池化操作實(shí)現(xiàn)的,以獲得分辨率較低的特征圖,降低計(jì)算復(fù)雜度.之后通過最近鄰插值法(Nearest Interpolation)進(jìn)行上采樣,使圖像特征的分辨率提高.此外,直連邊(Shortcut Connection)可以向該模塊的后半部傳遞所有分辨率的特征.該網(wǎng)絡(luò)結(jié)構(gòu)提取的特征融合了多尺度及上下文信息,具有較強(qiáng)的預(yù)測物體位置的能力.

相較于其他姿態(tài)估計(jì)方法,SHN擁有更加簡明且易于擴(kuò)展的結(jié)構(gòu),并且更加準(zhǔn)確高效.

2.2 模型壓縮方法

因?yàn)镾HN之類的神經(jīng)網(wǎng)絡(luò)模型又大又慢,所以將其部署到機(jī)械臂等資源受限設(shè)備很困難.因此,學(xué)者們提出了一些模型的壓縮方法,比如剪枝[14]、量化[15]、知識蒸餾[16,17]等;還有一些研究則致力于緊致的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì),比如MobileNet[18]和ShuffleNet[19]就是兩個非常經(jīng)典的緊致網(wǎng)絡(luò)結(jié)構(gòu).

MobileNet將普通卷積替換為深度可分離卷積(Depthwise Separable Convolution,DSC).深度可分離卷積通過深度卷積(Depthwise Convolution)和卷積這兩個操作來實(shí)現(xiàn),從而實(shí)現(xiàn)了網(wǎng)絡(luò)的輕量化.

由于MobileNet中大量使用1×1卷積,為了得到更加輕量級的網(wǎng)絡(luò),ShuffleNet將1×1卷積替換為組卷積并引入通道打亂(Channel Shuffle),從而在加快速度的同時保證模型的精度.

除了上述經(jīng)典的模型壓縮方法外,Han等人[20]提出了一種新穎的Ghost模塊,其可以使用更少的參數(shù)來生成更多特征圖,并且與普通卷積相比,在輸出特征圖大小不變的情況下,Ghost模塊中所需的參數(shù)量和計(jì)算量都有一定程度的減少.

在本文4.3節(jié)“實(shí)驗(yàn)過程與結(jié)果分析”中,我們將分別采用MobileNet和ShuffleNet中使用的方法來對堆疊沙漏網(wǎng)絡(luò)進(jìn)行模型壓縮,并與本文提出的模型進(jìn)行對比.

3 輕量級機(jī)械臂姿態(tài)估計(jì)

由SHN的網(wǎng)絡(luò)結(jié)構(gòu)可知,SHN使用了大量的卷積,但這些卷積會占據(jù)大量的參數(shù)量和計(jì)算量,這給機(jī)械臂姿態(tài)估計(jì)模型在機(jī)械臂上的部署帶來了挑戰(zhàn).為了減少SHN的參數(shù)量與計(jì)算量,本文引入了Ghost模塊,提出了一種新的基于Ghost模塊的堆疊沙漏網(wǎng)絡(luò),簡稱為Ghost-SHN.Ghost-SHN以SHN為基礎(chǔ),通過替換SHN的普通卷積為Ghost模塊,有效地減少了模型的參數(shù)量和計(jì)算量.

3.1 基于Ghost模塊的堆疊沙漏網(wǎng)絡(luò)

Ghost-SHN用來檢測機(jī)械臂的關(guān)鍵點(diǎn),其輸入是機(jī)械臂的圖像,輸出是機(jī)械臂圖像的熱圖(Heatmap),并將熱圖中響應(yīng)值較大的區(qū)域視為關(guān)鍵點(diǎn),每個關(guān)鍵點(diǎn)對應(yīng)一個熱圖.Ghost-SHN由兩個沙漏模塊組成,每個沙漏模塊由多個殘差塊組成,每個殘差塊的卷積被替換為Ghost模塊,其結(jié)構(gòu)如圖1所示.下面具體介紹下Ghost-SHN中單個沙漏模塊以及沙漏模塊中殘差塊的結(jié)構(gòu).

圖1 Ghost-SHN網(wǎng)絡(luò)結(jié)構(gòu)

Ghost-SHN的單個沙漏模塊用來捕捉機(jī)械臂各個尺度的信息,其結(jié)構(gòu)如圖2所示.在沙漏模塊中,特征圖(Feature Map)的計(jì)算可分為兩個階段:自頂向下(Top-Down)階段和自底向上(Bottom-Up)階段.在自頂向下階段中,沙漏模塊使用Ghost模塊和池化操作(Pooling Operation)進(jìn)行下采樣.當(dāng)特征圖的分辨率達(dá)到最低的時候,沙漏模塊開始自底向上階段.在自底向上階段,沙漏模塊采用最近鄰插值來進(jìn)行上采樣,并且通過直連邊把較高分辨率的特征圖拿過來,再將這兩部分特征按元素位置進(jìn)行相加(Elementwise Addition),因此沙漏模塊能夠提取多尺度特征.

圖2 單個沙漏模塊的結(jié)構(gòu)

圖2中的方塊是殘差塊,殘差塊中的特征映射可分為殘差映射(Residual Mapping)和恒等映射(Identity Mapping).我們將組成單個沙漏模塊的殘差塊中的普通卷積替換成Ghost模塊(除了1×1卷積).因此殘差塊包括了一個Ghost模塊和兩個1×1卷積,其具體結(jié)構(gòu)如圖3所示.

圖3 殘差塊結(jié)構(gòu)

假設(shè)輸入的數(shù)據(jù)為X′∈c′×h′×w′,其中c′是輸入數(shù)據(jù)的通道數(shù),h′和w′分別是輸入數(shù)據(jù)的高度和寬度.假設(shè)要輸出m個特征圖,SHN使用的是的p×p卷積,則計(jì)算過程如式(1)所示.

Y′=X′*W

(1)

其中*是卷積運(yùn)算,W∈c′×p×p×m是這一層中的卷積核,Y′∈h″×w″×m是具有m個通道的輸出特征圖,h″和w″分別是輸出數(shù)據(jù)的高度和寬度.

Ghost-SHN中使用的是Ghost模塊,Ghost模塊使用一次卷積(Primary Convolution)來生成n個原始特征圖,一次卷積與普通卷積的超參數(shù)相同,其計(jì)算過程如式(2)所示.

Y″=X′*W′

(2)

其中W′∈c′×p×p×n是卷積核,n≤m.接著,本文對每個原始特征使用線性運(yùn)算來生成k個幻影特征圖,具體計(jì)算過程如式(3)所示.

(3)

(4)

因?yàn)榫€性運(yùn)算g在每個通道上執(zhí)行,所以其計(jì)算量比普通卷積少得多.

3.2 模型復(fù)雜度分析

接下來,本文分析下Ghost-SHN的模型復(fù)雜度.首先對比下SHN和Ghost-SHN的參數(shù)量,假設(shè)β為SHN中d個p×p卷積參數(shù)所占的內(nèi)存開銷,β*為Ghost-SHN中d個Ghost模塊所占的內(nèi)存開銷,則模型參數(shù)的壓縮比Cr的計(jì)算如式(5)所示.

(5)

其中a×a的大小與p×p相似,k遠(yuǎn)小于c.Ghost模塊有一個恒等映射和m/k(k-1)個線性運(yùn)算,每個線性運(yùn)算的平均核大小為a×a.

接著對比下SHN和Ghost-SHN的計(jì)算量,假設(shè)λ為SHN中d個p×p卷積的計(jì)算開銷,λ*為Ghost-SHN中d個Ghost模塊的計(jì)算開銷,則模型的計(jì)算量比Sr的計(jì)算如式(6)所示.

Sr(SHN,Ghost-SHN)=

(6)

由式(5)和式(6)可知,堆疊沙漏網(wǎng)絡(luò)使用了大量的普通卷積操作,其設(shè)計(jì)存在一定的冗余性.Ghost-SHN使用Ghost模塊替代SHN中的普通卷積,可以較好地減少SHN的參數(shù)量和計(jì)算量.

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)服務(wù)器的操作系統(tǒng)為 Ubuntu 18.04,配置有Intel Core i9-10920X 3.5 GHz CPU和 9.7 G 顯存的 RTX 3080 顯卡.模型使用深度學(xué)習(xí)框架 PyTorch 來實(shí)現(xiàn).

實(shí)驗(yàn)使用的是 OWI-535機(jī)械臂,如圖4所示,該機(jī)械臂有4個關(guān)節(jié)和17個關(guān)鍵點(diǎn).4個關(guān)節(jié)分別稱為旋轉(zhuǎn)、底座、肘部和腕部.每個關(guān)節(jié)上都有1個電機(jī),4個電機(jī)的運(yùn)動范圍分別為 270度、180度、300度和120度.

圖4 OWI-535 機(jī)械臂結(jié)構(gòu)

4.2 實(shí)驗(yàn)數(shù)據(jù)集

本文使用文獻(xiàn)[8]中的4個數(shù)據(jù)集進(jìn)行模型的訓(xùn)練和測試.

第1個數(shù)據(jù)集是虛擬數(shù)據(jù)集,該數(shù)據(jù)集里面有用虛幻引擎 4 生成的 5000 張?zhí)摂M圖像.其中,4500 張用于訓(xùn)練,其余 500 張用于測試.

第2個數(shù)據(jù)集是實(shí)驗(yàn)室數(shù)據(jù)集,該數(shù)據(jù)集包含了 720P 攝像頭拍攝的428張圖片.圖片中有一些干擾因素,比如彩色的盒子、骰子等,這增加了數(shù)據(jù)集的難度.

第3個數(shù)據(jù)集是YouTube 數(shù)據(jù)集,其中的圖片從 YouTube 上抓取的.圖片類型多樣,圖片中的機(jī)械臂可能被修改,幾何約束條件可能不完全成立.YouTube 數(shù)據(jù)集里面有 275 張圖片,里面標(biāo)注了每個二維關(guān)鍵點(diǎn)的可見性以及位置.

第4個數(shù)據(jù)集是第3個數(shù)據(jù)集的子集,僅考慮YouTube數(shù)據(jù)集中關(guān)鍵點(diǎn)可見的圖片,本文稱其為YouTube(可見)數(shù)據(jù)集.

3個數(shù)據(jù)集的圖像示例如圖5所示,第1行是虛擬數(shù)據(jù)集,第2行是實(shí)驗(yàn)室數(shù)據(jù)集,第3行是 YouTube 數(shù)據(jù)集.

圖5 3個數(shù)據(jù)集的圖像示例

4.3 實(shí)驗(yàn)過程與結(jié)果分析

首先進(jìn)行關(guān)鍵點(diǎn)的檢測,將輸入的機(jī)械臂圖像裁剪為256×256并將其傳送到具有兩個堆的Ghost-SHN.Ghost-SHN生成了17 個熱圖,每個熱圖的大小為64×64,對應(yīng)著一個關(guān)鍵點(diǎn).在模型訓(xùn)練時,本文使用了數(shù)據(jù)增強(qiáng)技術(shù),對裁剪后的圖像進(jìn)行隨機(jī)平移、旋轉(zhuǎn)、縮放、色彩轉(zhuǎn)換和翻轉(zhuǎn).本文使用RMSProp優(yōu)化器來優(yōu)化網(wǎng)絡(luò),學(xué)習(xí)率為2.5×10-4,損失函數(shù)為均方誤差函數(shù),每一批輸入網(wǎng)絡(luò)的樣本個數(shù)為6,對于本文使用的4個數(shù)據(jù)集,Ghost-SHN訓(xùn)練 30個epoch.

在上述關(guān)鍵點(diǎn)檢測的步驟中,本文通過Ghost-SHN進(jìn)行關(guān)鍵點(diǎn)的檢測,網(wǎng)絡(luò)的輸出是與17個關(guān)鍵點(diǎn)對應(yīng)的17個通道的熱圖.在預(yù)測時,本文取熱圖上響應(yīng)最明顯的位置作為預(yù)測結(jié)果.關(guān)鍵點(diǎn)檢測結(jié)果的示意圖如圖6所示.

圖6 關(guān)鍵點(diǎn)檢測結(jié)果

獲取了二維關(guān)鍵點(diǎn)的位置后,本文進(jìn)行三維還原,將機(jī)械臂建模為一個4個自由度的多剛體模型,因此17個關(guān)鍵點(diǎn)的位置滿足一定的約束關(guān)系(比如兩個關(guān)節(jié)之間的長度).在透視投影的假設(shè)下,每個關(guān)鍵點(diǎn)都是三維坐標(biāo)的二維投影,因此可以寫成如式(7)所示的方程:

[y|1]T·S=K·[R|t]·[z|1]T

(7)

其中y是二維坐標(biāo)矩陣,z是三維坐標(biāo)矩陣,1是全一向量,K是相機(jī)的內(nèi)參矩陣,S是縮放向量,R是旋轉(zhuǎn)矩陣,t是平移向量.本文通過解如式(7)所示的線性方程,就可以得到關(guān)鍵點(diǎn)的三維坐標(biāo),進(jìn)一步地,本文可以根據(jù)幾何約束關(guān)系來獲得機(jī)械臂各轉(zhuǎn)軸的角度.

為了驗(yàn)證本文算法的有效性,本文分別實(shí)現(xiàn)了DSC-SHN(基于深度可分離卷積的堆疊沙漏網(wǎng)絡(luò))以及Shuffle-SHN(基于組卷積和通道重排的堆疊沙漏網(wǎng)絡(luò)).接下來對Ghost-SHN、SHN、DSC-SHN和Shuffle-SHN這4個算法的性能進(jìn)行對比評估.

為了評估關(guān)鍵點(diǎn)檢測的精度,本文把預(yù)測關(guān)鍵點(diǎn)和真正的關(guān)鍵點(diǎn)之間的距離與閾值τ進(jìn)行比較,如果在閾值τ內(nèi),就認(rèn)為預(yù)測關(guān)鍵點(diǎn)是正確定位的關(guān)鍵點(diǎn),本文使用正確定位的關(guān)鍵點(diǎn)的百分比(Percentage of Correct Keypoints,PCK)作為度量指標(biāo).具體地,令τ=0.2,即使用PCK@0.2來衡量關(guān)鍵點(diǎn)檢測的精度.PCK@0.2是指當(dāng)閾值為0.2時,正確定位的關(guān)鍵點(diǎn)的百分比.二維關(guān)鍵點(diǎn)檢測的結(jié)果如表1所示.

表1 4個數(shù)據(jù)集上的二維關(guān)鍵點(diǎn)檢測正確率

本文還在真實(shí)圖像上測試模型的三維姿態(tài)估計(jì)性能.本文僅針對實(shí)驗(yàn)室數(shù)據(jù)集來進(jìn)行定量的 三維姿勢估計(jì),因?yàn)楹茈y獲取YouTube 數(shù)據(jù)集的三維標(biāo)注.三維姿態(tài)估計(jì)的結(jié)果如表2所示.

表2 實(shí)驗(yàn)室數(shù)據(jù)集上的三維姿態(tài)估計(jì)誤差(角度)

接下來,計(jì)算各個模型在4個數(shù)據(jù)集上的參數(shù)量與計(jì)算量.參照文獻(xiàn)[20],本文使用浮點(diǎn)運(yùn)算量(FLoating point OPerations,FLOPs)來衡量模型的計(jì)算量.具體來說,實(shí)驗(yàn)中使用的是GFLOPs,即109FLOPs.不同模型參數(shù)量的對比結(jié)果如圖7所示,不同模型計(jì)算量的對比結(jié)果如圖8所示.由于事先將輸入圖像裁剪成256×256,所以同一個模型在4個數(shù)據(jù)集上的參數(shù)量和計(jì)算量都是一樣的.

最后,本文綜合對比下各個算法.如表1所示,Ghost-SHN在 YouTube數(shù)據(jù)集和 YouTube(可見)數(shù)據(jù)集的精度是最高的,因此Ghost-SHN的泛化性能很好.如表2所示,Ghost-SHN在3個關(guān)節(jié)上的預(yù)測誤差以及平均預(yù)測誤差比SHN小.此外,如圖7所示,SHN的參數(shù)量是Ghost-SHN的1.49倍.如圖8所示,SHN的計(jì)算量是Ghost-SHN的1.42倍.雖然DSC-SHN 的參數(shù)量和計(jì)算量比Ghost-SHN更小,但其在4個數(shù)據(jù)集上的精度都不如Ghost-SHN高.這就是說,DSC-SHN雖然具有較低參數(shù)量與計(jì)算開銷,但模型的泛化能力也同時發(fā)生了退化.而Ghost-SHN提升了模型的泛化能力,其在精度、參數(shù)量、計(jì)算量三者之間取得了一個較好的權(quán)衡.

圖7 不同算法參數(shù)量對比

圖8 不同算法FLOPs對比

5 總 結(jié)

在實(shí)際的應(yīng)用中,機(jī)械臂的姿態(tài)估計(jì)不僅需要模型有較高的精度,還要求模型具有較小的參數(shù)量和計(jì)算量.為此,本文分析了傳統(tǒng)的機(jī)械臂姿態(tài)估計(jì)算法在參數(shù)量和計(jì)算量上的不足,提出一種基于Ghost模塊的堆疊沙漏網(wǎng)絡(luò),即Ghost-SHN.Ghost-SHN以SHN基礎(chǔ),將SHN中的普通卷積替換成輕量的Ghost模塊,從而實(shí)現(xiàn)了模型的壓縮.4個典型數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,Ghost-SHN不僅繼承了SHN泛化性能好的優(yōu)點(diǎn),而且模型的參數(shù)量和計(jì)算量大大減少.Ghost-SHN在參數(shù)量、計(jì)算量和精度三者之間取得了較好的權(quán)衡,能夠更好地在機(jī)械臂上進(jìn)行部署,實(shí)現(xiàn)了輕量級的機(jī)械臂姿態(tài)估計(jì).