高金瀟 陳亦楠

摘 ?要：人工智能技術(shù)的興起也推進(jìn)了人機(jī)交互的快速發(fā)展。該系統(tǒng)利用Kinect視覺(jué)圖像傳感器識(shí)別人體骨骼數(shù)據(jù)，并完成對(duì)操作者動(dòng)作的識(shí)別。通過(guò)以計(jì)算機(jī)軟件為核心的上位機(jī)平臺(tái)對(duì)實(shí)時(shí)數(shù)據(jù)的濾波處理、編寫(xiě)算法，實(shí)現(xiàn)從數(shù)據(jù)到控制信號(hào)的轉(zhuǎn)換。系統(tǒng)通過(guò)串口通信的傳輸方式將信號(hào)傳送至以Arduino為核心的下位機(jī)平臺(tái)，進(jìn)而完成對(duì)舵機(jī)的控制。為驗(yàn)證理論的可行性，團(tuán)隊(duì)搭建了4自由度的機(jī)械臂控制系統(tǒng)，并完成軟件開(kāi)發(fā)，可實(shí)時(shí)在計(jì)算機(jī)操作界面上顯示當(dāng)前骨骼角度及動(dòng)作狀態(tài)等其他功能。實(shí)驗(yàn)數(shù)據(jù)表明，基于Kinect的動(dòng)作識(shí)別方法能夠有效地完成預(yù)期動(dòng)作的跟蹤，并完成規(guī)定物體的抓取和移送，具有極高的可操作性。

關(guān)鍵詞：Kinect ?Arduino ?骨骼角度 ?動(dòng)作跟蹤 ?機(jī)械臂平臺(tái)

中圖分類(lèi)號(hào)：TP241 ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2019）05（c）-0001-05

Abstract： The rise of artificial intelligence technology has also promoted the rapid development of human-computer interaction. The system uses the Kinect visual image sensor to identify human bone data and complete the recognition of the operator's movements. Through the filtering process of real-time data by the host computer platform with computer software as the core， the algorithm is programmed to realize the conversion from data to control signals. The system transmits the signal to the lower computer platform with Arduino as the core through the transmission mode of the serial communication， thereby completing the control of the steering gear. In order to verify the feasibility of the theory， the team built a 4-DOF robotic arm control system and completed software development. It can display other functions such as the current bone angle and motion status in real time on the computer operation interface. The experimental data shows that the Kinect-based motion recognition method can effectively complete the tracking of the expected motion and complete the grasping and transfer of the specified objects， which has extremely high operability.

Key Words： Kinect; Arduino; Bone angle; Motion tracking; Robotic arm platform

隨著近些年來(lái)人工智能領(lǐng)域的大力發(fā)展，人機(jī)交互成為了人們關(guān)注的熱點(diǎn)問(wèn)題。動(dòng)作識(shí)別在人們?nèi)粘ａt(yī)療、教育、娛樂(lè)等諸多領(lǐng)域有著廣泛的應(yīng)用。此外，動(dòng)作分析作為工業(yè)工程的關(guān)鍵技術(shù)之一，實(shí)現(xiàn)該技術(shù)的相關(guān)方法卻一直停留在手工階段，這不僅工作量大，而且效率低。人體姿勢(shì)及特定動(dòng)作是一種人與周?chē)畔⒒蛏镞M(jìn)行信息交互的方式。圍繞動(dòng)作識(shí)別的研究在國(guó)際上可以追溯到20世紀(jì)80年代，此后，人體動(dòng)作識(shí)別的研究逐漸滲入到各個(gè)領(lǐng)域的研究開(kāi)發(fā)，并得到迅速的發(fā)展。

無(wú)線(xiàn)設(shè)備大大促進(jìn)了人機(jī)交互的發(fā)展，但目前其一定程度上依賴(lài)人工連續(xù)操作，十分不便。人體動(dòng)作或肢體語(yǔ)言是另一種有效溝通的特殊語(yǔ)言，作為一個(gè)應(yīng)用前景廣、操作性強(qiáng)的對(duì)象，非常值得關(guān)注和開(kāi)發(fā)。動(dòng)作識(shí)別跟蹤就是指對(duì)人體的某些特征運(yùn)動(dòng)動(dòng)作進(jìn)行定位，目標(biāo)檢測(cè)、提取、識(shí)別和跟蹤，獲得人體動(dòng)作的狀態(tài)，如位置、速度和運(yùn)動(dòng)軌跡等，從而完成處理與分析，并獲取一定量的有價(jià)值的實(shí)用參數(shù)，實(shí)現(xiàn)對(duì)人體運(yùn)動(dòng)的自動(dòng)處理和分析，以完成動(dòng)作跟蹤這一任務(wù)，并力爭(zhēng)擴(kuò)大到應(yīng)用于其他方面。仿真一直是人們?nèi)梭w工程學(xué)和機(jī)器人人工智能研究的重點(diǎn)方向之一，目前生產(chǎn)生活中人們使用的大型仿真機(jī)械設(shè)備成本高昂，且尚未能大量投入使用。

1 ?控制系統(tǒng)總體結(jié)構(gòu)

該控制系統(tǒng)總體硬件結(jié)構(gòu)共有視覺(jué)圖像處理傳感器、數(shù)據(jù)處理器、信號(hào)發(fā)生器、機(jī)械臂平臺(tái)（執(zhí)行部件）四部分組成。其中傳感器采用Kinect V2.0視覺(jué)圖像處理傳感器，數(shù)據(jù)處理器使用計(jì)算機(jī)平臺(tái)控制完成，信號(hào)發(fā)生器則采用Arduino控制器及相關(guān)電子模塊完成，機(jī)械臂平臺(tái)完成實(shí)際預(yù)期動(dòng)作。計(jì)算機(jī)平臺(tái)實(shí)時(shí)接收從Kinect視覺(jué)圖像傳感器傳回的實(shí)時(shí)骨骼狀態(tài)和信息，以數(shù)據(jù)流的形式傳送至計(jì)算機(jī)，用已編寫(xiě)的算法實(shí)時(shí)將數(shù)據(jù)處理后，實(shí)時(shí)用串行通信發(fā)送至下位機(jī)Arduino中，完成對(duì)舵機(jī)的控制，并將實(shí)時(shí)骨骼角度顯示在軟件操作界面中。該軟件同時(shí)加入實(shí)時(shí)截圖與錄像功能，可完成任意操作時(shí)間內(nèi)的骨骼角度的后臺(tái)保存和處理（見(jiàn)圖1）。

2 ?控制系統(tǒng)硬件結(jié)構(gòu)

2.1 Kinect V2.0

首先是攝像頭可以借助紅外線(xiàn)來(lái)識(shí)別人體的運(yùn)動(dòng)，它能夠發(fā)射紅外線(xiàn)，從而對(duì)整個(gè)房間進(jìn)行立體定位。根據(jù)光反射回來(lái)的時(shí)間判斷物體的方位。其次是光編碼技術(shù)——利用激光照射到不規(guī)整物體上會(huì)隨機(jī)產(chǎn)生高度隨機(jī)的衍射光斑這一特性，所以任意兩處的光斑強(qiáng)度都不同。每隔一段距離在一個(gè)參考平面上記錄斑點(diǎn)，累積起來(lái)就會(huì)形成一個(gè)三維形狀。對(duì)圖像進(jìn)行逐點(diǎn)掃描像素，就能區(qū)分出人體輪廓了。最后將人體中的各部分用不用顏色標(biāo)示出來(lái)，就很容易且準(zhǔn)確地找出關(guān)節(jié)的節(jié)點(diǎn)了。

Kinect V2.0的主要組成及參數(shù)如表1所示。Kinect主要有RGB感應(yīng)攝像頭、深度視覺(jué)傳感器，其可完成一定視野角度的探測(cè)識(shí)別;多點(diǎn)陣列麥克風(fēng)，用于語(yǔ)音識(shí)別和輸出聲音。

2.2 舵機(jī)

在該系統(tǒng)中，舵機(jī)的穩(wěn)定性直接影響了系統(tǒng)的穩(wěn)定性。舵機(jī)應(yīng)用范圍廣，控制簡(jiǎn)單，更穩(wěn)定，不妨設(shè)為基本的輸出執(zhí)行機(jī)構(gòu)，其簡(jiǎn)單的控制使得下位機(jī)控制器與其可以便捷地連接。

該系統(tǒng)采用型號(hào)為L(zhǎng)DX218的舵機(jī)，控制信號(hào)進(jìn)入舵機(jī)的內(nèi)部調(diào)制芯片，通過(guò)信號(hào)處理得到一定的直流偏置電壓。其將產(chǎn)生的直流偏置電壓與電位器電壓比較（周期20ms，寬度1.5ms），獲得電壓差作為輸出控制信號(hào)的模擬量。電壓的大小決定了電機(jī)的轉(zhuǎn)速，正負(fù)代表電機(jī)的轉(zhuǎn)向。當(dāng)電壓差為0，電機(jī)停止轉(zhuǎn)動(dòng)。PWM方波是舵機(jī)的控制信號(hào)，利用其占空比的瞬變性改變舵機(jī)的轉(zhuǎn)動(dòng)特性。一般舵機(jī)的控制要求如圖2所示。

2.3 下位機(jī)

該系統(tǒng)擬采用Arduino mega2560為核心控制模塊（見(jiàn)圖3），其是一種體積小、處理速度快、操作便捷的開(kāi)源電子原型平臺(tái)，能通過(guò)連接多種傳感器來(lái)感知當(dāng)前所處狀態(tài)，并得到反饋或發(fā)出控制信號(hào)。其開(kāi)發(fā)主要基于Arduino IDE環(huán)境，這也提高了其開(kāi)發(fā)效率。該系統(tǒng)主要用下位機(jī)處理計(jì)算機(jī)發(fā)送的串口數(shù)據(jù)，通過(guò)控制板處理后傳送控制信號(hào)至舵機(jī)，從而控制機(jī)械臂。

3 ?控制系統(tǒng)軟件設(shè)計(jì)

3.1 流程圖

該上位機(jī)軟件涉及的整體流程圖如圖4所示，開(kāi)始后需要進(jìn)行初始化對(duì)象操作，從而確定追蹤目標(biāo)，打開(kāi)傳感器，開(kāi)始利用Kinect的圖像采集功能收集深度數(shù)據(jù)和骨骼數(shù)據(jù)，在經(jīng)過(guò)濾波處理后，在軟件操作界面中顯示當(dāng)前圖像及數(shù)據(jù)信息。

通過(guò)算法計(jì)算出位置所需舵機(jī)轉(zhuǎn)動(dòng)角度后，將轉(zhuǎn)動(dòng)控制信息以串行通信的方式發(fā)送至下位機(jī)平臺(tái)，從而控制舵機(jī)即機(jī)械臂的運(yùn)動(dòng)，直至達(dá)到預(yù)期位置停止。

3.2 軟件界面及功能

該操作系統(tǒng)可完成實(shí)時(shí)顯示圖像、截屏、錄像、存儲(chǔ)骨骼角度信息等功能，方便用戶(hù)感知實(shí)時(shí)狀態(tài)及有效操作（見(jiàn)圖5）。

3.3 數(shù)據(jù)通信

控制器通過(guò)Arduino IDE環(huán)境編寫(xiě)控制程序并發(fā)送PWM信號(hào)給機(jī)械臂舵機(jī)，從而完成對(duì)機(jī)械臂的控制。該系統(tǒng)數(shù)據(jù)傳送采用串口通信的方式，將計(jì)算機(jī)發(fā)出的控制信號(hào)傳送至控制器Arduino中，實(shí)現(xiàn)上、下位機(jī)的連接。在協(xié)議使用兩位16進(jìn)制數(shù)作為通信協(xié)議的幀頭，并選擇中間4位作為關(guān)節(jié)轉(zhuǎn)角數(shù)據(jù)，最后一位0xED作為幀尾，用以數(shù)據(jù)校驗(yàn)。

4 ?算法簡(jiǎn)述

4.1 骨骼數(shù)據(jù)獲取

故角度就為當(dāng)前2個(gè)骨骼的夾角特征值，基于此，可以推廣至人體20個(gè)骨骼識(shí)別中，任意2個(gè)骨骼間的夾角均可以提取。用該識(shí)別方法具有一系列的好處，其不僅僅操作性強(qiáng)，還排除了一些如光照、背景和操作人位置等因素的干擾。綜上，欲得到準(zhǔn)確穩(wěn)定的目標(biāo)返回值，必須將大量的實(shí)時(shí)數(shù)據(jù)進(jìn)行數(shù)據(jù)濾波處理，提高系統(tǒng)性能，降低容錯(cuò)率。

5 系統(tǒng)性能測(cè)試

5.1 可行性

為了驗(yàn)證上述理論的可操作性，團(tuán)隊(duì)搭建了一個(gè)硬件機(jī)械臂控制系統(tǒng)（見(jiàn)圖6），機(jī)械臂以Arduino為主控制器，并完成對(duì)舵機(jī)的PWM方波控制，開(kāi)始啟動(dòng)前，進(jìn)行實(shí)際串接，在不同的背景環(huán)境和光照強(qiáng)度下，識(shí)別操作人員不同的相同動(dòng)作，并完成相應(yīng)要求。該系統(tǒng)測(cè)試擬采用的方法是抓取并搬運(yùn)物體到到指定位置，驗(yàn)證系統(tǒng)穩(wěn)定性和準(zhǔn)確性。

5.2 識(shí)別率

將Kinect水平放置在距離地面高度為70cm的平臺(tái)上，測(cè)試人員距離Kinect設(shè)備150cm遠(yuǎn)，按照要求完成動(dòng)作，利用開(kāi)發(fā)的操作軟件的錄像功能，完成錄像。

經(jīng)過(guò)多次驗(yàn)證（見(jiàn)表2、表3），其平均識(shí)別率達(dá)到95.24%，平均誤差為5.15%，可近似認(rèn)為其可以完成對(duì)目標(biāo)動(dòng)作的識(shí)別及跟蹤。

5.3 實(shí)時(shí)率

在相同條件下，以手部為例對(duì)其延遲進(jìn)行測(cè)量，如表4、圖7所示。

6 ?結(jié)語(yǔ)

該系統(tǒng)欲搭建起精確的動(dòng)作識(shí)別機(jī)械臂平臺(tái)，對(duì)人體的有規(guī)律性動(dòng)作或可替代性動(dòng)作進(jìn)行仿制系統(tǒng)研究。通過(guò)動(dòng)作識(shí)別系統(tǒng)對(duì)人體的動(dòng)作進(jìn)行跟蹤性模仿，今后替代人們進(jìn)行生產(chǎn)生活中高危險(xiǎn)、高難度、工作環(huán)境惡劣的工作;在交通方面，人體動(dòng)作識(shí)別跟蹤系統(tǒng)可以代替交通警察的日常出勤指揮交通工作，避免了交通警察在工作過(guò)程中發(fā)生的種種意外，使得交通警察可以在遠(yuǎn)處遠(yuǎn)程指揮交通，提高了工作效率，減輕了交通警察的負(fù)擔(dān)。除此以外，在醫(yī)療衛(wèi)生、工業(yè)生產(chǎn)等諸多生產(chǎn)生活領(lǐng)域均有一定的使用價(jià)值。

綜上所述，人體動(dòng)作識(shí)別跟蹤系統(tǒng)有著巨大的研究?jī)r(jià)值。該系統(tǒng)通過(guò)Kinect視覺(jué)圖像傳感器來(lái)采集人體的骨骼數(shù)據(jù)，并將數(shù)據(jù)濾波處理，轉(zhuǎn)化為舵機(jī)的控制指令，進(jìn)而完成對(duì)其動(dòng)作的識(shí)別并對(duì)應(yīng)映射到所搭建的4自由度機(jī)械臂平臺(tái)上，間接實(shí)現(xiàn)了人機(jī)交互的功能。

參考文獻(xiàn)

[1] 李文陽(yáng)，馬行，穆春陽(yáng).基于Kinect V2的跌倒行為檢測(cè)與分析[J].現(xiàn)代電子技術(shù)，2019（6）：142-145.

[2] 高日，張雷，郭亮.基于Kinect的機(jī)器人交互系統(tǒng)設(shè)計(jì)與研究[J].現(xiàn)代電子技術(shù)，2019（6）：175-178，182.

[3] 朱耀麟，王丹，萬(wàn)韜阮，等.Kinect體感器的人體姿勢(shì)交互漫游方法[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2019，19（2）：1-3，8.

[4] 呂思男，馬培立，陳哲，等.基于Kinect骨骼信息的機(jī)械臂體感示教研究[J].工業(yè)控制計(jì)算機(jī)，2018，31（12）：11-12，16.

[5] 王順?lè)?基于Kinect的手勢(shì)識(shí)別及其在機(jī)械臂控制中的應(yīng)用[D].湖北工業(yè)大學(xué)，2018.

[6] 陳慰南.基于Kinect動(dòng)作交互系統(tǒng)設(shè)計(jì)[D].廣東工業(yè)大學(xué)，2018.

[7] 陳佳文，蘇齊光，王卓.基于Kinect的桌面型仿人雙臂機(jī)器人設(shè)計(jì)[J].機(jī)械管理開(kāi)發(fā)，2018，33（2）：1-2，154.

[8] 丁大民.手術(shù)機(jī)器人機(jī)械臂運(yùn)動(dòng)控制系統(tǒng)的研究與實(shí)現(xiàn)[D].上海工程技術(shù)大學(xué)，2015.

[9] 裴巖明.基于Kinect的遠(yuǎn)程機(jī)械臂體感控制系統(tǒng)研究[D].大連理工大學(xué)，2013.

[10] F.Buisseret，F(xiàn). Dierick，O.Hamzaoui，et al.Ergonomic Risk Assessment of Developing Musculoskeletal Disorders in Workers with the Microsoft Kinect： TRACK TMS[J]. IRBM，2018.

[11] Chenglong Li，F(xiàn)an Zhong，Qian Zhang，et al.Accurate and fast 3D head pose estimation with noisy RGBD images[J].Multimedia Tools and Applications，2018，77（12）：14605-14624.