國防科技大學(xué)

趙 航，孫 毅，李紀偉，孫盛陽

指導(dǎo)老師：李 楠

1 應(yīng)用背景與作品簡介

1.1 應(yīng)用背景

隨著現(xiàn)代工業(yè)與服務(wù)業(yè)的迅速細分發(fā)展，機械臂作為重要的基礎(chǔ)智能裝備發(fā)揮著極大的作用。機械臂具有運行速度快、穩(wěn)定性高、精確度高、安全性好等優(yōu)點，被應(yīng)用于諸多領(lǐng)域，如搬運行業(yè)、噴漆行業(yè)、精準(zhǔn)焊接、流水線裝配等程式化、流程化的生產(chǎn)環(huán)節(jié)已完全可代替人工進行高強度、高重復(fù)的工作。在醫(yī)療手術(shù)、微電子制造與封裝、遠程操作、反恐排爆、位置環(huán)境探索等領(lǐng)域，甚至能夠完成多種人工無法完成的操作。近年來，隨著人類對深海、太空、環(huán)境工程、遠程醫(yī)療、家居服務(wù)等領(lǐng)域研究與應(yīng)用的多樣化需求，機械臂控制技術(shù)向大需求、多樣化、智能化方向迅猛發(fā)展已成趨勢。20世紀60年代以來，美國、德國、日本等發(fā)達國家將機器人特別是工業(yè)機械臂確定為國家重要的研究發(fā)展方向，大大推動了其工業(yè)化發(fā)展進程，也為國家創(chuàng)造了巨大的經(jīng)濟效益。在工業(yè)機械臂發(fā)展的前中期，機械臂主要用于取代人工的大量重復(fù)性工作，不僅大大延長了工作時間更提高了工作效率。近年來，隨著各行各業(yè)作業(yè)多樣化的迫切需求，工業(yè)機械臂正快速向智能化方向發(fā)展。在傳統(tǒng)工業(yè)機械臂作業(yè)環(huán)境中，考慮到安全性與穩(wěn)定性的要求，機械臂通常被放置于安全空間內(nèi)工作，這無疑阻隔了機械臂與人的協(xié)調(diào)工作，且該方式缺乏操縱的靈活性，工作人員與機械臂的交互方式被限制在控制柄、鼠標(biāo)、鍵盤之類的傳統(tǒng)模式中。為解決諸如機械臂工作環(huán)境中人員安全空間、障礙物碰撞干擾機械臂的軌跡和姿態(tài)規(guī)劃，及隨機靈活操作、遠程控制、復(fù)雜環(huán)境中無法控制機械臂的問題，壓力傳感器、視覺傳感器、觸覺傳感器、距離傳感器等智能感知設(shè)備被廣泛應(yīng)用于機械臂系統(tǒng)，越來越多的機械臂系統(tǒng)向智能化方向發(fā)展，以滿足在復(fù)雜多變環(huán)境中更安全靈活的作業(yè)需求。

近年來，智能人機交互技術(shù)迅猛發(fā)展，語音識別、圖像識別、視覺建模與定位、機器學(xué)習(xí)算法理論的突破性發(fā)展為機器人技術(shù)的智能化開辟了廣闊的發(fā)展空間。傳統(tǒng)機械臂的培訓(xùn)以及人員熟悉時間較長，往往需要操作員花費大量時間學(xué)習(xí)，在人員培訓(xùn)效率和操作靈活性方面效率不高，也不能很好地將人手的靈活性充分體現(xiàn)在機械臂上。因此，基于視覺手勢交互方式控制的機械臂系統(tǒng)越來越多地受到人們的關(guān)注。該系統(tǒng)可以結(jié)合人工熟練的操作技能和機械臂本身的精確操作，解決復(fù)雜環(huán)境下的機械臂控制端架設(shè)問題以及自主完成任務(wù)的難題，使得基于視覺手勢識別的機械臂交互控制系統(tǒng)成為智能機器人領(lǐng)域的研究熱點。

1.2 國內(nèi)外研究現(xiàn)狀

基于視覺信息的機械臂控制多采用手勢識別技術(shù)。手勢識別主要包括兩種方法：基于可穿戴設(shè)備的手勢識別技術(shù)，如數(shù)據(jù)手套等；基于視覺的手勢識別技術(shù)。國外最早的手勢識別技術(shù)是美國貝爾實驗室的科學(xué)家在上世紀80年代通過數(shù)據(jù)手套實現(xiàn)的，雖然可穿戴設(shè)備經(jīng)過長時間的發(fā)展已有較高的穩(wěn)定性、精準(zhǔn)度及實時性，但其固有的高成本以及穿戴不便的問題依舊存在。隨著科學(xué)技術(shù)的進步，目前越來越多的人投入到基于視覺信息的手勢控制研究中，基于視覺信息的手勢控制漸漸成為主流。日本富士通公司于1991年首先實現(xiàn)了基于視覺信息的手勢識別控制技術(shù)，隨后，美國的T.Starner等人在此基礎(chǔ)上成功研制了可靠性較高的美國手語識別系統(tǒng)。1997年，又有科學(xué)家將HMM算法用于視覺手勢識別，大幅提高了手勢識別的識別率，達91%以上。隨后F.Pollick等人采用基于曲線段擬合手勢輪廓算法將手勢平均識別率提高到95%。2000年，清華大學(xué)博士任海濱等通過對手勢動作的時空表現(xiàn)建模，基于動態(tài)時間規(guī)整算法進行手勢動作識別，使手勢識別率達97.2%。但上述技術(shù)都是在較好的光照和單一背景下得到的識別效果，對于復(fù)雜光照和不同背景條件的識別存在不穩(wěn)定性。2010年，美國微軟公司推出了深度攝像機Kinect，為手勢識別帶來了革命性變化，其可記錄所拍攝物體的深度信息，為更加靈活的操作提供了可能。國外機械臂視覺手勢控制技術(shù)產(chǎn)品中有兩家最具代表性，其產(chǎn)品也在該領(lǐng)域處于領(lǐng)先地位。其中之一是日本筑波大學(xué)團隊研發(fā)的基于手勢控制的機械臂。它利用不同位置的兩款攝像頭來記錄手部的輪廓和運動信息，然后經(jīng)計算機處理成機械臂的舵機指令發(fā)送到機械臂的舵機端，從而控制機械臂運動，其優(yōu)點是機械臂自由度大、運動靈活，可實現(xiàn)包括單個手指在內(nèi)的全手臂全自由度控制，但其也存在視覺提取設(shè)備復(fù)雜、占地面積大、架設(shè)成本高等缺點。另一個是基于Leap motion的機械臂7Bot，其無需分立攝像頭采集圖像，設(shè)備簡單，易于布置，有較好的識別率，機械臂可靈活運轉(zhuǎn)。但受Leap motion性能的限制，其只能給出特定的一些目標(biāo)，如手指尖端，特定手掌的位置和朝向信息等，不利于系統(tǒng)的深度開發(fā)。國內(nèi)有團隊利用Kinect實現(xiàn)手勢識別，進而控制機械臂運動，這種方式雖然可以實現(xiàn)手勢靈活控制機械臂的目的，但Kinect是美國微軟公司的產(chǎn)品，不對外開放源代碼，這對提升我國自主研發(fā)能力帶來了巨大挑戰(zhàn)。

1.3 作品簡介及研究意義

本作品是基于深度攝像頭的智能交互設(shè)備，具有識別人體手部動作，并以此靈活控制機械臂運動的功能?；谝曈X手勢識別的人機交互方式具有下述優(yōu)點：

（1）控制方式靈活。非接觸式遠程控制，適用于遠程操作等特殊場合，環(huán)境適應(yīng)力強。通過手勢控制可以更加靈活地對機械臂進行操控，控制方式更加高效。

（2）控制精度高。使用手勢識別控制可以降低機械臂的最小步進，使機械臂的運動更加精準(zhǔn)。

（3）操作簡單。手勢控制機械臂使機械臂的運動與手部運動相統(tǒng)一，控制方式更直觀，易于使用。機械臂跟隨人手部動作做相同的動作，無需操作者學(xué)習(xí)控制手冊，大大提高了人員培訓(xùn)效率和機械臂的使用效率。

（4）使用成本低。只需要相鄰兩個攝像頭和一臺精簡的專用計算機系統(tǒng)即可完成手勢采集、處理和識別工作。占地面積小，無需分布式架設(shè)，節(jié)約時間和人力成本。

由此可見，基于手勢控制的機械臂將在機械手遠程控制、復(fù)雜環(huán)境作業(yè)等工業(yè)、軍事、醫(yī)療、航空航天領(lǐng)域發(fā)揮重要作用。

2 方案論證與設(shè)計

2.1 方案對比論證

2.1.1 基于可穿戴設(shè)備的手勢識別

基于可穿戴設(shè)備的視覺識別一般使用可穿戴手套作為控制基礎(chǔ)，通常包括肌電、加速度、壓力等傳感方式。此方式雖然能夠識別手部動作，但其識別的只是某幾個點的運動趨勢，無法精確解析出手部的運動姿態(tài)、位置乃至整個手臂的運動姿態(tài)。同時這種方案還受到每個人的個體習(xí)慣影響，難以實現(xiàn)精確操控。有限的操作信息不利于機械臂的高靈活性控制。

2.1.2 基于二維圖像的手勢識別

二維手勢識別基本不含深度信息，手勢信息僅停留在二維層面。這種技術(shù)不僅可以識別手型，還可以識別一些簡單的二維手勢動作，比如對著攝像頭揮手等。其代表公司是來自以色列的PointGrab，EyeSight和ExtremeReality。二維手勢識別擁有動態(tài)特征，可以追蹤手勢的運動，進而識別將手勢和手部運動結(jié)合在一起的復(fù)雜動作。得益于更加先進的計算機視覺算法，二維手勢識別從純粹的狀態(tài)控制變成了比較豐富的平面控制。這種技術(shù)已被集成到電視中，但目前還不成熟，無法成為主要的控制方式。

由于機械臂的控制需在三維空間中完成，因此二維圖像的手勢識別具有明顯的局限性，無法獲得手部的空間深度信息。

2.1.3 基于三維信息的手勢識別

三維手勢識別需要輸入包含有深度的信息，以識別各種手型、手勢和動作。相比于前兩種手勢識別技術(shù)，三維手勢識別不能僅使用單個普通攝像頭（單個普通攝像頭無法提供深度信息），要得到深度信息需要特別的硬件，目前國際上主要有3種硬件實現(xiàn)方式。

（1）多目成像（Multi-camera）

多目成像的基本原理是使用兩個或以上的攝像頭同時攝取圖像，類似人類用雙眼、昆蟲用多目復(fù)眼觀察世界，通過比對這些不同攝像頭在同一時刻獲得的圖像的差別，使用算法計算深度信息，多角三維成像。多目成像這一技術(shù)的代表產(chǎn)品是Leap Motion公司的同名產(chǎn)品和Usens公司的Fingo。多目成像在三維手勢識別技術(shù)中硬件要求最低，但同時也最難實現(xiàn)。多角成像無需任何額外的特殊設(shè)備，完全依賴于計算機視覺算法匹配兩張圖片中的相同目標(biāo)。但多目成像對于物體表面紋理特征要求較高，且目前算法還不成熟，難以實現(xiàn)較高的測量精度和速度。

（2）結(jié)構(gòu)光（Structure Light）

結(jié)構(gòu)光技術(shù)的基本原理：加載一個激光投射器，在激光投射器外放置一個刻有特定圖樣的光柵，激光通過光柵進行投射成像時會發(fā)生折射，從而使得激光最終在物體表面上的落點產(chǎn)生位移。當(dāng)物體距離激光投射器較近時，折射產(chǎn)生的位移較??；當(dāng)物體距離較遠時，折射產(chǎn)生的位移相應(yīng)變大。使用一個攝像頭檢測采集投射到物體表面上的圖樣，利用圖樣的位移變化即可通過算法計算出物體的位置和深度信息，復(fù)原三維空間。結(jié)構(gòu)光的代表應(yīng)用產(chǎn)品是微軟的Kinect一代體感相機。結(jié)構(gòu)光成像技術(shù)算法較為復(fù)雜，目前僅微軟公司掌握了其核心技術(shù)。

（3）飛行時間（Time of Flight）

飛行時間技術(shù)的基本原理：加載一個發(fā)光元件，發(fā)光元件發(fā)出的光子在碰到物體表面后會反射回來。使用一個特別的CMOS傳感器捕捉這些由發(fā)光元件發(fā)出、又從物體表面反射回來的光子，就能得到光子的飛行時間。根據(jù)光子飛行時間可以推算出光子飛行的距離，即物體的深度信息。飛行時間技術(shù)典型產(chǎn)品是索尼旗下SoftKinetic公司的深度相機。同時，這一硬件技術(shù)也是微軟新一代Kinect所使用的深度感應(yīng)技術(shù)。就計算而言，飛行時間是三維手勢識別中最簡單，無需任何計算機視覺方面的計算，對系統(tǒng)要求低，產(chǎn)品兼容性好，且容易小型化。

綜上所述，為了實現(xiàn)手勢控制，三維信息的獲取至關(guān)重要。飛行時間方案能完整識別出手部的姿態(tài)，且無需復(fù)雜的算法，可將人手的靈活性與機械手的準(zhǔn)確性特點融為一體。

2.2 方案設(shè)計

本系統(tǒng)采用多信息融合技術(shù)提取手臂姿態(tài)和深度信息。設(shè)備組成包括二維色彩攝像頭與三維深度攝像頭，將二者組合作為視覺傳感器，將手的二維圖像信息與深度信息一同發(fā)送至計算機端進行數(shù)據(jù)處理，并持續(xù)跟蹤手部變化，對得到的手勢指令信息通過算法轉(zhuǎn)換，將手勢的運動解析成機械臂各自由度的指令集，經(jīng)單片機發(fā)送至機械臂，從而實現(xiàn)手勢控制機械臂的運動。系統(tǒng)設(shè)計如圖1所示。

圖1 系統(tǒng)設(shè)計框圖

本系統(tǒng)由三部分組成，即傳感器部分、計算機端以及機械部分。傳感器部分由TI公司深度攝像頭（三維飛行時間傳感器）OPT8241、深度信息處理和控制芯片OPT9221、USB通信芯片構(gòu)成。外部光學(xué)圖像通過鏡頭聚焦在OPT8241傳感器上，獲得的深度相關(guān)數(shù)據(jù)由OPT8241傳感器進行數(shù)字化處理并提供給OPT9221控制器，處理后提供每個像素的距離輸出。最終經(jīng)過USB通信芯片發(fā)給計算機端進行圖像處理。

圖像采集部分包含一個二維RGB攝像頭和一個記錄圖片深度信息的深度攝像頭。將拍到的二維相片和帶有深度的相片發(fā)送到計算機端進行信息處理。

計算機端的功能是進行數(shù)據(jù)處理并向機械臂發(fā)送動作指令。其主要任務(wù)是通過坐標(biāo)融合、灰度提取，與事先訓(xùn)練好的樣本庫進行對比，得出手勢信息，再對得到的手勢信息進行跟蹤，提取出對應(yīng)于機械臂各自由度的控制指令。識別手勢利用有監(jiān)督機器學(xué)習(xí)的方法，其主要流程為樣本學(xué)習(xí)、特征提取、聚類分析。識別到的手勢經(jīng)手勢分析算法編碼出該手勢驅(qū)動機械臂的各自由度動作信息，經(jīng)串口將各自由度的動作指令發(fā)送到機械部分單片機端。

機械部分由舵機、單片機、通信芯片、電池組成多自由度機械臂，其功能是解碼計算機端發(fā)送的運動指令組合，實現(xiàn)手勢控制。通過機械臂的MCU單元解析計算機端的動作指令，驅(qū)動各自由度方向的舵機帶動機械臂運動。同時，機械臂觸爪上集成有溫度、壓力傳感器，可實時反饋抓取物體的問題和抓取力量，對抓取方式進行控制，實現(xiàn)近似人手的功能。

本方案克服了傳統(tǒng)機械臂需要控制柄等控制外設(shè)的不足，使用手勢控制，可以實現(xiàn)遠程非接觸式控制；同時使用手勢控制，控制指令簡明直觀，方便人員操作；搭載多種傳感器，實時反饋被抓物體信息，調(diào)整抓取方案。

3 原理分析與軟硬件設(shè)計

3.1 基于飛行時間（TOF）的三維深度傳感器工作原理

TOF是Time of Flight的簡寫，直譯為飛行時間。所謂飛行時間法3D成像，是通過給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時間得到目標(biāo)物距離。該技術(shù)與3D激光傳感器原理類似，但3D激光傳感器為逐點掃描式，而TOF相機則是同時得到整幅圖像的深度信息。TOF相機與普通機器視覺成像過程也有類似之處，都是由光源、光學(xué)部件、傳感器、控制電路以及處理電路等單元組成。飛行時間測量系統(tǒng)原理框圖如圖2所示。

圖2 飛行時間測量系統(tǒng)原理框圖

TOF技術(shù)采用主動光探測方式，與一般光照需求的不同之處在于，TOF照射單元的目的并非照明，而是利用入射光信號與反射光信號的變化測量距離，所以TOF的照射單元都先對光進行高頻調(diào)制之后再發(fā)射。作為TOF相機的核心，TOF芯片每一個像元對入射光往返相機與物體之間的相位分別進行記錄。運算單元完成數(shù)據(jù)校正和計算工作，通過計算入射光與反射光的相對相移關(guān)系，即可求取距離信息。與立體相機或三角測量系統(tǒng)相比，TOF相機體積小巧，適合于一些需要輕便、小體積相機的場合。TOF相機能夠?qū)崟r快速地計算深度信息，達到幾十到100 fps。TOF的深度計算不受物體表面灰度和特征影響，可以非常準(zhǔn)確地進行三維探測。而雙目立體相機則需要目標(biāo)具有良好的特征變化，否則無法進行深度計算。TOF的深度計算精度不隨距離改變而變化，大致穩(wěn)定在厘米級，這對于一些大范圍運動的應(yīng)用場合意義重大。

3.2 基于深度學(xué)習(xí)的圖像識別原理

圖像識別即圖像的模式識別，是模式識別技術(shù)在圖像領(lǐng)域的具體應(yīng)用，是對輸入的圖像信息建立圖像識別模型，分析并提取圖像特征，然后建立分類器，根據(jù)圖像特征進行分類識別的一種技術(shù)。圖像識別的主要目的是對圖像、圖片、景物、文字等信息進行處理和識別，實現(xiàn)計算機與外部環(huán)境的直接通信。

圖像的特征提取一般可分為兩個層次，即底層的特征提取與高層次的特征提取。底層的特征提取是圖像分析的基礎(chǔ)，常用的有顏色特征、形狀特征和紋理特征，具有計算簡單和性能穩(wěn)定等特點；高層的特征提取一般基于語義層次的高度，如人臉識別、人的行為分析等，這些都需根據(jù)底層的提取結(jié)果并通過機器學(xué)習(xí)才能得到。

深度學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)、人工智能、圖形化建模、優(yōu)化、模式識別、信號處理等研究的交叉領(lǐng)域。深度學(xué)習(xí)是模擬數(shù)據(jù)之間的復(fù)雜關(guān)系，基于表征學(xué)習(xí)的多層次的機器學(xué)習(xí)算法。一個觀測值（如一個圖像）可以通過多種方式表示，如用強度值矩陣表示像素。某些表示方法可以讓算法更容易完成學(xué)習(xí)任務(wù)（如人臉識別），表征學(xué)習(xí)的目標(biāo)是尋求更好的表示方法并建立優(yōu)異的模型來學(xué)習(xí)表示方法。

深度學(xué)習(xí)通過模擬具有豐富層次結(jié)構(gòu)的腦神經(jīng)系統(tǒng)，建立類似人腦的分層模型結(jié)構(gòu)，對輸入數(shù)據(jù)逐級提取，形成更加抽象的高層表示（屬性類別或特征）。深度學(xué)習(xí)利用多層非線性信息處理實現(xiàn)有監(jiān)督或者無監(jiān)督的特征提取和轉(zhuǎn)換、模式分析和分類，用來解釋如圖像、聲音、文本數(shù)據(jù)。高層次的特征和概念根據(jù)較低層次的特征和概念來定義，相同低層次的概念可被用來定義很多高層次的概念。這樣一個分層次的結(jié)構(gòu)稱為深層結(jié)構(gòu)。

深度學(xué)習(xí)模型主要指超過三層的神經(jīng)網(wǎng)絡(luò)模型。圖像領(lǐng)域使用和研究最為廣泛的模型有卷積神經(jīng)網(wǎng)模型和深度信念網(wǎng)模型。卷積神經(jīng)網(wǎng)模型仿照生物視覺系統(tǒng)使用“局部感受”降低了神經(jīng)元連接權(quán)值的數(shù)目。深度信念網(wǎng)能夠?qū)o監(jiān)督預(yù)訓(xùn)練與有監(jiān)督調(diào)相結(jié)合，由受限玻爾茲曼機組成，借鑒了模擬退火的思想，在圖像識別上取得了較好的效果。

深度學(xué)習(xí)模型通過對輸入圖像樣本進行處理，利用多層神經(jīng)網(wǎng)絡(luò)不斷提取目標(biāo)的特征信息，得到訓(xùn)練樣本。從而利用訓(xùn)練樣本對待分類的圖像樣本進行分類判決，實現(xiàn)基于深度學(xué)習(xí)的圖像識別。深度學(xué)習(xí)流程如圖3所示。

圖3 深度學(xué)習(xí)流程圖

3.3 系統(tǒng)軟件設(shè)計

本系統(tǒng)的軟件由若干子部分組成，分別為手勢位置提取、基于深度學(xué)習(xí)的樣本特征提取、手勢信息處理及機械臂舵機指令轉(zhuǎn)換、機械臂控制和溫度壓力檢測等。系統(tǒng)軟件運行流程如圖4所示。

圖4 軟件流程圖

在手勢識別系統(tǒng)運行前，要準(zhǔn)備充足的手勢特征庫。為此我們采集了大量拳與掌的圖片樣本并進行分類、標(biāo)定。為了提高識別率，我們采集了不同角度、遠近、方向的掌和拳的樣本，然后通過深度學(xué)習(xí)算法提取其特征，形成了比較完整的特征庫。

攝像頭系統(tǒng)上電后，首先對TOF和RGB攝像頭進行初始化，以使其能正常采集圖片數(shù)據(jù)。之后不斷利用RBG攝像頭采集RGB圖像并進行特征提取，將特征與已有的特征庫比對。如果沒有匹配項，說明當(dāng)前圖像中沒有手勢或者手勢特征不明顯，無法識別，繼續(xù)進行圖像采集和特征提取、比對流程；如果發(fā)現(xiàn)匹配項，說明手勢識別成功，計算當(dāng)前手勢中心的二維坐標(biāo)，然后利用TOF攝像頭計算深度坐標(biāo)，需要注意，TOF攝像頭和RGB攝像頭是分開的，意味著其坐標(biāo)系不一致，因此要將兩攝像頭的相對位置固定并進行坐標(biāo)系校準(zhǔn)。最后將上述手勢的類型、坐標(biāo)信息融合，并轉(zhuǎn)換為機械臂六個自由度舵機的位置控制字，通過串口發(fā)送給機械臂。

機械臂系統(tǒng)上電后，首先進行系統(tǒng)初始化。機械臂的步進電機通過PWM波控制，因此需要控制芯片產(chǎn)生PWM信號，然后不斷監(jiān)測串口是否有信息傳入。如果串口接收到計算機發(fā)來的舵機控制字，則芯片內(nèi)部將其轉(zhuǎn)換為六個自由度舵機的PWM信號，控制機械部產(chǎn)生相應(yīng)動作。我們在機械臂手指處添加了溫度和壓力傳感器，MCU還實時檢測手指處的溫度和壓力并顯示。尤其在手指閉合時可以設(shè)置壓力閾值，當(dāng)系統(tǒng)檢測到閉合壓力大于閾值時就不再繼續(xù)閉合，使機械臂可以夾取比較脆弱的物品。

3.4 系統(tǒng)硬件設(shè)計

系統(tǒng)電路結(jié)構(gòu)包括深度攝像頭模塊、RGB攝像頭模塊、USB通信模塊、傳感器模塊、機械臂控制模塊等，如圖5所示。

深度攝像頭模塊、USB通信模塊以及機械部分控制和檢測模塊是系統(tǒng)的重要組成部分。

圖5 系統(tǒng)硬件示意圖

3.4.1 深度攝像頭模塊

（1）深度傳感器

OPT8241飛行時間（TOF）傳感器屬于TI 3D TOF圖像傳感器。該器件將TOF感應(yīng)功能與經(jīng)優(yōu)化設(shè)計的模數(shù)轉(zhuǎn)換器（ADC）和通用可編程定時發(fā)生器（TG）相結(jié)合。該器件以高達150幀/秒的幀速率（600讀出/秒）提供四分之一的視頻圖形陣列（QVGA 320×240）分辨率數(shù)據(jù)。內(nèi)置TG控制復(fù)位、調(diào)制、讀出和數(shù)字化序列。TG具備可編程性，可靈活優(yōu)化各項深度感應(yīng)性能指標(biāo)，如功率、運動穩(wěn)健性、信噪比和環(huán)境消除。

OPT8241邏輯圖如圖6所示。

圖6 OPT8241邏輯圖

OPT8241供電配置電路如圖7所示。

圖7 OPT8241供電配置電路

OPT8241時鐘及數(shù)據(jù)鏈路配置電路如圖8所示。

圖8 OPT8241時鐘及數(shù)據(jù)鏈路配置電路

（2）深度信息處理與控制器

OPT9221是一款高性能3D飛行時間傳感器的控制器（TFC），用于從數(shù)字化的傳感器數(shù)據(jù)中計算深度數(shù)據(jù)，并通過可編程CMOS并行接口將數(shù)據(jù)輸出。

除了深度數(shù)據(jù)外，該芯片也提供一些附加信息的提取，如幅度、周圍環(huán)境以及每個像素的標(biāo)記信息等。這些信息可用于濾波和實現(xiàn)模糊，并根據(jù)特定的應(yīng)用動態(tài)控制系統(tǒng)配置。

OPT9221邏輯圖如圖9所示。

圖9 OPT9221邏輯圖

3.4.2 USB通信模塊

該電路的對外數(shù)據(jù)通信采用USB 3.0協(xié)議，將CYUSB3014作為其控制器。CYUSB3014是Cypress公司出品的USB3.0 控制器，集成有200 MHz的ARM9控制器、512 kB的RAM和USB 3.0物理層，具有可編程的100 MHz GPIF II接口。CYUSB3014邏輯圖如圖10所示。

圖10 CYUSB3014邏輯圖

3.4.3 機械臂控制和檢測模塊

機械臂控制和檢測模塊示意圖如圖11所示。

圖11 機械臂控制和檢測模塊示意圖

系統(tǒng)采用STC公司的8051單片機作為系統(tǒng)機械控制部分處理器。STC系列單片機是美國STC公司最新推出的一種新型51內(nèi)核單片機。片內(nèi)含有FLASH程序存儲器，SRAM，UART，SPI，A/D，PWM等模塊。STC89C51RC單片機芯片內(nèi)置標(biāo)準(zhǔn)51內(nèi)核，工作頻率范圍為0～40 MHz，擁有15 kB容量FLASH，片上集成512 B RAM、3個16位定時器、1個通用異步通信口（UART）、8個中斷源、32個通用I/O口。STC89C51RC單片機芯片示意圖如圖12所示。

圖12 STC89C51RC單片機芯片示意圖

4 創(chuàng)新點及關(guān)鍵技術(shù)

4.1 創(chuàng)新點

本作品主要創(chuàng)新點如下：

（1）控制方式靈活。此方案采用非接觸式遠程控制，適用于遠程操作等特殊場合，環(huán)境適應(yīng)力強。通過手勢控制可以更加靈活地對機械臂進行操控，控制方式更加高效。

（2）控制精度高。使用手勢識別控制可以降低機械臂的最小步進，使機械臂的運動更加精準(zhǔn)。

（3）指令通過網(wǎng)絡(luò)遠程傳輸，可以遠程控制并監(jiān)控，防止人為干預(yù)。

（4）支持力反饋修正。使用多種傳感器，監(jiān)控機械爪夾取物體的力度和溫度，實時反饋至MCU進行指令調(diào)整，及時調(diào)整夾取物體的力度和時間，也可通過外部設(shè)置改變夾取物體的力度。

（5）操作簡單。手勢控制機械臂使機械臂的運動與手部運動統(tǒng)一，控制方式直觀，易于使用。機械臂跟隨人手部動作做相同的動作，無需操作者學(xué)習(xí)控制手冊，大大提高了人員培訓(xùn)效率和機械臂的使用效率。

（6）使用成本低。只需要相鄰的兩個攝像頭和一臺精簡的專用計算機系統(tǒng)就可以完成手勢采集、處理和識別工作。占地面積小，無需分布式架設(shè)。節(jié)約時間和人力成本。

4.2 關(guān)鍵技術(shù)

本作品的關(guān)鍵技術(shù)如下：

（1）RGBD雙坐標(biāo)系的圖像配準(zhǔn)。系統(tǒng)中采用深度攝像頭和色彩攝像頭對手勢和手型進行融合識別。從攝像頭獲取的信息分別是直角坐標(biāo)和極坐標(biāo)下的數(shù)據(jù)，若想將兩個圖像融合處理則首先需要將坐標(biāo)系統(tǒng)一，因此需要進行對應(yīng)的坐標(biāo)變換。同時考慮兩個攝像頭的視場角、光心、鏡頭畸變等參數(shù)會給坐標(biāo)系帶來誤差，因此在使用之前需進行詳細的標(biāo)定和配準(zhǔn)過程。

（2）基于深度學(xué)習(xí)的手勢識別與跟蹤。系統(tǒng)基于深度攝像頭裝置得到三維信息，三維信息比二維圖像更豐富，增加了識別難度，采用傳統(tǒng)的匹配方式跟蹤識別率低于二維圖形。因此系統(tǒng)采用深度學(xué)習(xí)方式對手勢信息進行有監(jiān)督的訓(xùn)練，實現(xiàn)了較好的識別和跟蹤效果。

（3）將識別到的手勢跟蹤坐標(biāo)轉(zhuǎn)化為控制機械臂的指令。人體的生理靈活度遠比機械臂復(fù)雜，這就需要合理的算法設(shè)計，提取生理特征的多自由度，通過機械臂不同自由度的聯(lián)動實現(xiàn)機械臂的靈活控制。

（4）基于瞬時加速度的手勢跟蹤穩(wěn)定算法。在系統(tǒng)操控過程中，難免會出現(xiàn)漏識別或者誤識別情況，本作品利用預(yù)測跟蹤算法，根據(jù)人手的運動加速度預(yù)測手勢變化趨勢，從而減小漏識別與誤識別對機械臂工作不穩(wěn)定的影響，達到穩(wěn)定機械臂運動的目的。

5 系統(tǒng)測試

為了驗證本系統(tǒng)的功能與性能，設(shè)計了如下測試方案：將手掌動作與拳動作分別置于圖像傳感器前不同位置各300次，記錄識別的次數(shù)，得到識別率平均值。具體結(jié)果見表1所列。

表1 測試數(shù)據(jù)結(jié)果

測試過程的實際結(jié)果如圖13所示。

圖13 測試過程實際結(jié)果

6 總結(jié)與展望

本作品針對目前常用的機械臂控制方式多存在靈活度差、精度低、靈敏度低、操作復(fù)雜等缺點設(shè)計了基于手勢控制的智能互動機械臂。系統(tǒng)基于深度信息實現(xiàn)了肢體動作和機械的智能交互，為實現(xiàn)靈活地控制機械臂提供了一種新的操縱方式，滿足了當(dāng)前機械臂應(yīng)用領(lǐng)域的要求，使其控制更加精準(zhǔn)、靈活，用盡量少的指令指揮機械臂進行復(fù)雜動作。

目前系統(tǒng)雖然實現(xiàn)了手勢控制等功能，但是仍然存在反應(yīng)實時性不強，有時跟蹤失敗等不完善的地方，這都是我們進一步努力的目標(biāo)。下一步工作中，我們希望機械臂控制裝置更加簡潔，以降低機械臂的架設(shè)成本，提高機械臂的應(yīng)用效率，讓機械臂的仿生學(xué)功能得到充分發(fā)揮，使其盡可能像人手一樣靈活發(fā)達。后續(xù)工作主要在系統(tǒng)小型化、提高識別率以及加強控制穩(wěn)定性方面做深入研究。