江連會,龐嘉鴻,馬方粲,胡雨杭
(武漢理工大學 機電工學院,武漢 430070)
殘疾人克服寫字的困難需要長時間的改變和適應,握筆書寫的字體潦草,甚至可能無法正常寫字。此外,年邁的老人由于缺乏鍛煉等原因握筆寫字能力下降,不利于遺囑等需要親筆簽字的現(xiàn)實生活問題的解決。市面上缺少輔助殘疾人群寫字的器具,雖然電子板能夠一定程度上實現(xiàn)寫字功能,但無法識別并顯示潦草字體。因此,急需一款特殊群體輔助寫字器具。針對以上問題,建立了機械—電—手勢的系統(tǒng)體系:基于Leap Motion的單指令式追蹤機械筆,可以很好地解決手部殘疾人群和握筆困難的老年人群體的寫字問題,使上述人群獨立完成寫字任務。
基于Leap Motion的單指令式追蹤機械筆由上位機(處理Leap Motion數(shù)據(jù)的電腦)和下位機(機械結(jié)構(gòu)和電路)組成。
用戶在 Leap Motion滑動手指,傳感器得到數(shù)據(jù)后,經(jīng)USB協(xié)議將處理后的數(shù)據(jù)傳到上位機,上位機通過藍牙模塊發(fā)送處理后的數(shù)據(jù)。在相應的藍牙端口,微型處理機MPU獲取藍牙模塊的數(shù)據(jù)并轉(zhuǎn)換,以PWN信號輸送給驅(qū)動模塊,進而驅(qū)動3個步進電機進行工作,達到機械筆運作的目的。
控制系統(tǒng)軟件設計分為上位機控制系統(tǒng)的軟件設計和下位機控制系統(tǒng)的軟件設計。上位機控制系統(tǒng)主要由PC機完成手指信息的采集、數(shù)據(jù)處理及發(fā)送的功能;下位機控制系統(tǒng)主要由MPU完成數(shù)據(jù)接受處理、指令轉(zhuǎn)換以及舵機和步進電機控制的功能。
采集途徑:在C++的編譯環(huán)境下加載Leap Motion的SDK,調(diào)用其相關的函數(shù)或API,程序運行后可獲取手部各類信息內(nèi)容。
左右手識別:C++配置的頭文件中聲明HandList類,調(diào)用該方法實現(xiàn)左、右手的識別。確定左、右手后,鎖定識別的手部id,避免左、右手同時運動帶來信號干擾。
手指識別:程序識別確定寫字的手指骨后,Leap Motion傳感器鎖定追蹤其運動軌跡,實現(xiàn)單指令追蹤功能。系統(tǒng)的信息來源為單一目標源,數(shù)據(jù)輸入更加穩(wěn)定、準確。
構(gòu)造自定義平面:Leap Motion采用自定的坐標系統(tǒng)建立坐標,手指軌跡需通過算法轉(zhuǎn)換才能捕獲真實值,設計構(gòu)建自定義平面以減少計算機換算的負擔。在手指識別后,Leap Motion傳感器采樣3個點,完成自定義平面的構(gòu)建。
采樣:本項目采用C++進行開發(fā),獲取數(shù)據(jù)的速度快、數(shù)據(jù)的靈敏度高。C++編寫的程序開發(fā)Leap Motion有30~40幀的函數(shù)調(diào)用頻率,在此采樣基礎上,軟件編程和數(shù)據(jù)處理更便利。
濾波:Leap Motion硬件采用兩個分辨率為640×240的高幀率攝像頭,采樣頻率高達kHz級別,使手指移動的信息完整地保留。為了解決噪聲問題,需引入動態(tài)滑動平均濾波器,實現(xiàn)低通濾波功能,提高系統(tǒng)的抗干擾性。
擬合回歸直線:經(jīng)過滑動平均濾波器的采樣點并不能嚴格滿足線性關系,加之抖動等因素,使得字體的直線與點的線性關系變成非線性,因此,需要引入回歸方程,將經(jīng)滑動平均濾波器處理后的采樣點擬合成線性直線。
下位機的軟件算法通過加入增益系數(shù)K,調(diào)整步進電機的PWN(方波),達到字體大小放縮的效果。
操作界面部分主要執(zhí)行下位機不同工作模型轉(zhuǎn)換的指令發(fā)送工作,用于發(fā)送高度調(diào)整、筆芯切換、開始或者結(jié)束寫字等信號。
下位機機械機構(gòu)由高度調(diào)節(jié)機構(gòu)、橫向進給機構(gòu)、縱向進給機構(gòu)以及筆芯切換機構(gòu)構(gòu)成。高度調(diào)節(jié)機構(gòu)使筆芯遠離或接近夾紙板;縱向進給機構(gòu)、橫向進給機構(gòu)分別實現(xiàn)縱向與橫向的平移;筆芯切換機構(gòu)實現(xiàn)筆芯的轉(zhuǎn)換和定位。
為了實現(xiàn)筆芯高度調(diào)節(jié)、橫向及縱向移動的功能,考慮到步進電機的安裝空間、筆芯的低速運動等因素,采用3個42型步進電機作為3個獨立驅(qū)動源。控制信號以16細分工作,提高筆芯寫字的準確性和穩(wěn)定性。本方案設計串口轉(zhuǎn)藍牙模塊作為傳輸方式,實現(xiàn)上位機與下位機之間的無線通訊。為了實現(xiàn)筆芯切換機構(gòu)的筆芯切換功能,經(jīng)受力分析,綜合舵機安裝位置、筆芯切換角度等因素,選取SD-5舵機作為獨立的驅(qū)動源。
本作品針對手殘疾人群和握筆寫字困難的老年人群體,通過Leap Motion單手手勢的識別追蹤,經(jīng)過無線模塊、驅(qū)動裝置完成寫字任務,滿足特殊群體的寫字要求。與其他殘疾人輔助器具相比,本作品需求結(jié)構(gòu)少而簡單。
本作品在調(diào)研中受到好評,可以填補寫字輔助產(chǎn)品市場空白,未來可改進推廣甚至完全替代現(xiàn)有寫字板等接觸式輔助寫字裝置,應用前景廣闊。
[1]陶林,李凱格,王淼.基于Leap Motion手勢識別的機器人控制系統(tǒng)[J].制造業(yè)自動化,2015,37(24):64-66,81.
[2]李映輝,史卓,安亞磊.基于Leap Motion的三維手勢識別方法[J].現(xiàn)代計算機(專業(yè)版),2016(14):74-76,80.
[3]黃俊,景紅.基于Leap Motion的手勢控制技術初探[J].計算機系統(tǒng)應用,2015,24(10):259-263.
[4]陶林.基于手勢識別的裝配機器人控制系統(tǒng)研發(fā)[D].廣州:廣東工業(yè)大學,2016.
[5]趙楊.基于多傳感技術相融合的手勢交互系統(tǒng)研究[D].石家莊:河北經(jīng)貿(mào)大學,2016.
[6]任磊.基于Leap Motion的動態(tài)手勢識別研究[D].大連:大連理工大學,2015.