亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種面向移動終端的WEB微手勢識別?

        2018-07-10 09:25:06羅先錄張永棠
        計算機(jī)與數(shù)字工程 2018年6期
        關(guān)鍵詞:膚色手掌手勢

        羅先錄 張永棠

        1 引言

        隨著移動應(yīng)用的發(fā)展,消費者已經(jīng)不再滿足于點按的交互方式。而當(dāng)手勢識別技術(shù)被應(yīng)用到移動端時,成本大小和便捷與否就應(yīng)該被優(yōu)先考慮[1~2]。從數(shù)據(jù)的采集方式考慮,傳統(tǒng)的采用數(shù)據(jù)手套等的方式由于成本較高以及使用時的不便,所以并不適用于移動平臺。而Kinect等三維信息采集設(shè)備雖然具有極大的發(fā)展前景[3~4],但就目前來說,并不適合用在移動平臺上。由此,本文所介紹的系統(tǒng)只使用移動設(shè)備自帶的網(wǎng)絡(luò)攝像頭獲取視頻信息。

        當(dāng)前市場上的移動平臺主要有蘋果和安卓這兩大系統(tǒng),在開發(fā)過程中必須考慮不同系統(tǒng)的應(yīng)用[5]。所以,為了使系統(tǒng)具備跨平臺工作的能力,本系統(tǒng)以移動WEB應(yīng)用的方式進(jìn)行實現(xiàn)。它將與運行的移動平臺無關(guān),切實解決平臺局限性問題。

        此外,現(xiàn)有手勢識別往往會忽略了對于較小動作手勢的識別,這也是本系統(tǒng)所重視的問題之一。

        2 識別流程及關(guān)鍵技術(shù)

        2.1 識別流程

        基于移動WEB的微手勢識別的流程如圖1所示。首先通過網(wǎng)絡(luò)攝像頭獲取手勢圖像;再使用已經(jīng)訓(xùn)練完成的分類器,通過objectdetect.js對獲取的圖像進(jìn)行對手掌區(qū)域的位置確定;然后根據(jù)手掌域位置的確定,獲得手指域位置;接著根據(jù)YCrCb顏色空間的膚色模型[6],對圖像進(jìn)行二值化處理,而后再經(jīng)過一定的形態(tài)學(xué)處理,去除一定噪聲;最后對已分割出的圖像,采取微手勢識別算法,提取出其中的手掌與手指重心,解析手勢信息。

        圖1 微手勢設(shè)別的流程

        本文的目標(biāo)圖像為手掌圖像,通過對手掌域的定位,獲取手勢的大致位置。在大致位置的確定之后,后續(xù)的圖像處理工作將被定在這塊區(qū)域內(nèi)。這樣不僅排除了非手勢區(qū)域的干擾信息,并且大大加快了處理速度,提高了系統(tǒng)的工作效率。

        2.2 關(guān)鍵技術(shù)

        2.2.1 膚色分割

        相對RGB,YCrCb顏色空間可以將色度和亮度分離,從而在膚色分割的過程中降低亮度的干擾。用Y表示亮度,Cr表示紅色分量,Cb表示藍(lán)色分量。膚色分割必須滿足兩個條件:

        (1)將彩色圖像的像素點P由RGB空間轉(zhuǎn)換為YCrCb空間[7]。RGB 向 YCrCb的轉(zhuǎn)換公式如式(1):

        (2)根據(jù)像素點P的Cr和Cb的值滿足133≤Cr≤173且77≤Cb≤127,那么該點可以被判斷為膚色點,否則不是。

        根據(jù)這個標(biāo)準(zhǔn),膚色區(qū)域像素點的灰度值被設(shè)為255,非膚色區(qū)域像素點的灰度值被設(shè)為0,生成膚色二值圖像。

        2.2.2 手指識別

        手指識別的作用在于對所得的手勢圖像進(jìn)行解析,獲得其所表達(dá)的手勢信息。它是整個流程中最重要的部分。本系統(tǒng)的檢測部分屬于機(jī)器學(xué)習(xí)類算法。整個過程包括懸停判斷,膚色區(qū)域編號,輪廓統(tǒng)計,重心相對位置計算,手勢信息確定。其中,重心相對法利用手掌域重心,手指域重心的相對位置,判斷手指相對于手掌的運動情況,再結(jié)合手指域重心的前后兩者變化,從而解析出手勢信息。

        3 手勢識別算法的研究

        本系統(tǒng)的重點在于對手指的識別與追蹤,需要具有一定的高效、實時性。

        3.1 算法流程

        算法流程圖2所示。

        圖2 算法流程

        3.2 算法實現(xiàn)

        3.2.1 獲取手掌域重心

        在處理過的膚色二值圖像中,膚色像素的灰度被設(shè)置為255。這意味著手掌域內(nèi)的膚色像素的坐標(biāo)點已經(jīng)被確定,然后手掌域的重心可以根據(jù)下方的公式算出。

        其中,C(x ,y)為重心坐標(biāo),Pi(x)為膚色像素點的橫坐標(biāo),Pi(y)為膚色像素點的縱坐標(biāo),N為膚色像素點的總數(shù)目。

        3.2.2 懸停判斷

        WEB端的手勢識別,在追求高效、實時性的同時,會失去相應(yīng)的準(zhǔn)確性,為了達(dá)到效率與精度的相平衡,采用了一種懸停判斷的方法[8]。此方法的前提是手掌域的圖像已經(jīng)被識別,且手掌域重心已經(jīng)被獲取到。將此時手掌重心的坐標(biāo)記為(x0,y0)。隨著時間推移,視頻的每一幀的重心坐標(biāo)可以組成一個序列,即(xi,yi) ,i=0,1,…,50。若其中有30個坐標(biāo)處于(x0,y0)的鄰域內(nèi),則該手勢在這個位置保持了一定時間。它所代表的含義即為“選中,執(zhí)行下一步操作”。

        3.2.3 膚色區(qū)域編號

        在經(jīng)過膚色二值化操作后,膚色像素在圖中呈區(qū)域的形態(tài)。為了有效地處理其中的膚色信息,系統(tǒng)對膚色像素區(qū)域進(jìn)行編碼,從中提取出所需要的區(qū)域,并排除不需要的區(qū)域[9]。編碼過程的大體準(zhǔn)則為:首先初始化整個手勢圖像的值;接著按照從左到右、從上到下的方式對膚色像素區(qū)域進(jìn)行編碼。

        1)初始化編號值

        圖像區(qū)域如圖3所示:其中Total為整個圖像區(qū)域;Pre為事先獲得的手勢圖像區(qū)域;Ext為將手勢圖像區(qū)域邊界延伸2個像素大小所得的圖像區(qū)域。

        圖3 區(qū)域示意圖

        圖像初始化是將Ext區(qū)域內(nèi)的所有像素點的編號值初始化為0,如圖4所示:其中黑色邊框為Pre區(qū)域,灰色框代表膚色像素點,白色框代表非膚色像素點。

        圖4 編碼初始化

        2)編號方法

        如圖所示,整個編碼過程依照從左到右、從上到下的原則進(jìn)行。假設(shè)膚色點的坐標(biāo)為(x,y),碼值為num。系統(tǒng)需要判定(x-1,y),(x-1,y-1),(x,y-1)和(x+1,y-1)這四個點是否已被更改編碼:若四個點的碼值都是0,則認(rèn)定該像素點所處區(qū)域未被重新編碼,然后將當(dāng)前點的碼值重新賦值為num=num+1;若其中至少有一個點被重新編號,則當(dāng)前點的值應(yīng)被賦值為那個被重新編號的碼值。根據(jù)以上原則,如圖4中所示,首先遇到的膚色像素點為P點,當(dāng)前num=0。因為P點四個方向上的點編號值均為0,故P點的編號值應(yīng)為num=num+1,即為1。同理,對于圖中Q點,系統(tǒng)需判定Q點的左前方、左上方、上方、友上方四個點是否被重新編號,由于P點為Q點的左前方點,又因為P點已被重新編號為1,那么Q點的編號值應(yīng)與P點的編號值相同,即仍為1;最終,圖4中膚色區(qū)域編碼后的結(jié)果如圖5。

        圖5 編碼結(jié)果

        3.2.4 輪廓統(tǒng)計

        由于膚色分割存在一定缺陷,膚色相近的顏色也誤認(rèn)為是膚色。因此,在對不同區(qū)域的膚色采用不同的數(shù)字進(jìn)行編碼之后,還要將其經(jīng)過膚色二值化處理,并通過輪廓統(tǒng)計篩選出系統(tǒng)所需要的膚色輪廓,去除圖像中存在的噪聲干擾區(qū)域。具體步驟如下:

        首先獲得手掌區(qū)域的外圍輪廓(如圖6(a)),然后對手掌輪廓按輪廓點的按照順時針的方向進(jìn)行定長掃描[10]。如圖6(b)所示,掃描輪廓起點a與終點b兩者連線ab的長度為Dab,掃描輪廓點P到ab垂線的長度為Dp。為了排除過大或過小的干擾區(qū)域,我們設(shè)置了相應(yīng)的最小門閾值ε,將滿足式(3)的點設(shè)為手指指尖的候選點。

        圖6(b)手指P、G、Q三個候選點掃描后,計算出輪廓點的ratio值如圖6(c)的曲線3個波峰所示。X軸為輪廓點索引值,Y軸為各輪廓點處的ratio值。同時,參考ab兩個端點連線的矩形范圍,判斷其是否為膚色區(qū)域。若為膚色區(qū)域,則判定P為指尖點,否則P為非指尖點。

        圖6 基于輪廓統(tǒng)計的手指檢測

        3.2.5 重心相對位置識別法

        經(jīng)過輪廓統(tǒng)計,已經(jīng)可以得出手指區(qū)域。與手掌域重心的獲取一樣,系統(tǒng)采用膚色二值圖像方法獲取手指域重心坐標(biāo),并將手指重心點抽象出來,如圖7所示。其中“狀態(tài)一”指“手部運動開始前且通過懸浮判定成功獲取重心坐標(biāo)的狀態(tài)”,“狀態(tài)二”指“手部運動結(jié)束后且通過懸浮判定成功獲取重心坐標(biāo)的狀態(tài)”。

        圖7 手部運動狀態(tài)

        3.2.6 算法具體實現(xiàn)方法

        1)構(gòu)建重心坐標(biāo)三角形

        過掌心A點做一條垂線L,過手指重心B點做L的垂線L′且兩條線交于點C,得∠ABC,記A角度數(shù)為 θ 。同理可得 ∠A′B′C′,記 A′角度數(shù)為 θ′。如圖8所示。

        圖8 手部運動狀態(tài)形式化

        (2)計算手指長度

        在手指域部分,假設(shè)手指區(qū)域縱坐標(biāo)最小點為E,縱坐標(biāo)最大點為F,分別過E、F點做水平線,記水平線間距為d,如圖9所示。手指分為伸長和彎曲情況,彎曲情況下的手指長度大體為伸長情況下的二分之一。故根據(jù)這一點,假設(shè)狀態(tài)一的手指長度為d1,狀態(tài)二的手指長度為d2,max為d1、d2中的較大者,設(shè)m= ||d1-d2。

        圖9 手指彎曲

        若m≥0.4max,則認(rèn)為手指前后發(fā)生了彎曲動作;若m<0.4max,則認(rèn)為手指未進(jìn)行彎曲動作,此時,系統(tǒng)需要從角度變化方面入手來解析手指的運動信息。

        3)計算角θ、θ′

        通過事先構(gòu)建的坐標(biāo)三角形,系統(tǒng)可以利用三角信息計算出相應(yīng)的夾角。假設(shè)A點坐標(biāo)為(x1,y1),B點坐標(biāo)為(x2,y2),C點坐標(biāo)為(x1,y2),由此可得:

        同理可得θ′。

        若 ||θ-θ′≤10,則認(rèn)為手指前后未進(jìn)行左右擺動,并且事先已知手指前后長度未改變,此時可認(rèn)為手部微小動作前后未發(fā)生改變。

        當(dāng) ||θ-θ′>10,若θ>θ′,則認(rèn)為手指部分進(jìn)行了向右的擺動運動;若θ<θ′,則認(rèn)為手指部分進(jìn)行了向左的擺動運動。

        綜上,系統(tǒng)得到了手指的4個運動情況:彎曲、保持、向左和向右。然后系統(tǒng)將手指的4個動作與手掌部重心坐標(biāo)相結(jié)合起來,就可以解析出多種事先定義的手勢信息。

        4 實驗分析

        圖像采集基于Google提出的Web RTC框架,它基于HTML5標(biāo)準(zhǔn),使用JavaScript API來實現(xiàn)對攝像頭的調(diào)用和瀏覽器的無插件視頻播放[11]。對于網(wǎng)絡(luò)攝像頭所獲取的視頻信息,系統(tǒng)利用<canvas>獲取視頻的每一幀圖像,用來檢測視頻中的手勢。而在對視頻中的手勢進(jìn)行檢測和定位時,系統(tǒng)采用開源項目objectdetect.js來實現(xiàn)。

        為了驗證該手勢識別研究的有效性,我們選取了200組膚色不同、大小不同、手形不同的手勢圖像。分別對10種不同的靜態(tài)手勢(如圖10中的a至j所示),每個手勢進(jìn)行了1000次微手勢識別實驗,驗證其對不同的手勢圖像的識別成功率。實驗結(jié)果如表1所示。

        圖10 十種不同的靜態(tài)手勢

        表1 識別結(jié)果統(tǒng)計

        測得各個手勢的正確率都在90%以上,由于圖像掃描及程序運行等因素的影響,各分組的平均耗時略有差異,但是都控制在小于180ms的極小時間范圍之內(nèi)。說明了本文研究微手勢識別方法在移動移動平臺設(shè)備上有一定的實時性和準(zhǔn)確性。

        5 結(jié)語

        本系統(tǒng)通過網(wǎng)絡(luò)攝像頭獲取手勢視頻,使用基于Haar特征的級聯(lián)分類器定位手掌位置,再通過膚色分割、形態(tài)學(xué)處理等方法獲取手部圖像,然后根據(jù)手掌和手指的信息分析獲得當(dāng)前手勢所代表的命令。系統(tǒng)從數(shù)據(jù)采集到獲取命令的整個過程,都體現(xiàn)了低成本、高便捷性等特點,對于移動設(shè)備具有較好的適用性。

        [1]蒲興成,王濤,張毅.基于改進(jìn)Hu矩算法的Kinect手勢識別[J].計算機(jī)工程,2016,42(7):165-172.

        PU Xingcheng,WANG Tao,ZHANG Yi.Kinect Gesture Recognition Based on Improved Hu Moment Algorithm[J].Computer Engineering,2016,42(7):165-172.

        [2]黃振翔,彭波,吳娟.基于DTW與混合判別特征檢測器的手勢識別[J].計算機(jī)工程,2014,40(5):216-219.

        HUANG Zhenxian,PENG Bo,WU Juan.Gesture Recognition Based on DTW and Combined Discriminative Feature Detector[J].Computer Engineering,2014,40(5):216-219.

        [3]吳江梅,張瑜慧,孫瑩,等.一種基于單目視覺的人手檢測與識別方法[J].計算機(jī)與數(shù)字工程,2014,42(7):1251-1253.

        WU Jiangmei,GHANG Yuhui,SUN Ying,et al.A Hand Gesture Detection and Recognition Method Based on Monocular Vision[J].Computer&Digital Engineering,2014,42(7):1251-1253.

        [4]張永棠.一種高精度TR-UWB系統(tǒng)同步算法[J].四川理工學(xué)院學(xué)報(自然科學(xué)版),2016,29(3):19-22.

        ZHANG Yongtang.A High-precision Synchronization Algorithm TR-UWBSystem[J].Journal of Sichuan University of Science&Engineering(Natural Science Edition),2016,29(3):19-22.

        [5]邱麗萍.指紋圖像識別技術(shù)新思路與實驗研究[J].計算機(jī)與數(shù)字工程,2017,45(3):540-543.

        QIU Liping.New Idea and Experimental Study of Fingerprint Identification Technology[J].Computer&Digital Engineering,2017,45(3):540-543.

        [6]張軍,張孔,楊正領(lǐng).基于計算機(jī)視覺的多特征手勢識別[J].計算機(jī)應(yīng)用與軟件,2016,33(6):151-155.

        ZHANG Jun,ZHANG Kong,YANG Zhengling.Computer Vision-Based Recognition of Hand Gesture with Multiple Features[J].Computer Applications and Software,2016,33(6):51-155.

        [7]Gupta S,Jaafar J,Ahmad W F W.Static Hand Gesture Recognition Using Local Gabor Filter[J].Procedia Engineering,2012,33(5):827-832.

        [8]Hasan H,Abdul-Kareem S.Static Hand Gesture Recognition Using Neural Networks[J].Artificial Intelligence Review,2014,41(11):147-181.

        [9]Shaik K B,Ganesan P,Kalist V,et al.Comparative Study of Skin Color Detection and Segmentation in HSV and YCbCr Color Space[J].Procedia Computer Science,2015,57(10):41-48.

        [10]Jaeger S,Warble A.Online handwriting recognition:the Pen recognizer[J].IJDAR,2011(3):169-180.

        [11]Sargur N.On-Line and Off-Line Handwriting Recognition:A Comprehensive Survey[J].IEEE Transactions On Pattern Analysis And Machine Intelligence,2010,22(1):63-84.

        猜你喜歡
        膚色手掌手勢
        Conversation in a house
        人的膚色為什么不同
        好孩子畫報(2020年3期)2020-05-14 13:42:44
        挑戰(zhàn)!神秘手勢
        攤開手掌
        V字手勢的由來
        手掌上的童話
        勝利的手勢
        手掌上的“小洞”
        膚色檢測和Hu矩在安全帽識別中的應(yīng)用
        為什么人有不同的膚色?
        91精品国产丝袜在线拍| 人妻中文字幕在线网站| 内射欧美老妇wbb| 色综合无码av网站| 日韩在线视频不卡一区二区三区 | 久久精品国产亚洲夜色av网站| 曰韩无码二三区中文字幕| 欧美黄色免费看| 精品人妻久久av中文字幕| 国产嫩草av一区二区三区| 亚洲人成电影在线播放| 中文字幕天堂网| 熟女丝袜美腿亚洲一区二区三区 | 日韩精品视频高清在线| 99精品人妻无码专区在线视频区| 1000部拍拍拍18勿入免费视频下载| 欧美xxxxx精品| 男人天堂亚洲天堂av| 狠狠色婷婷久久一区二区三区| 色综合久久丁香婷婷| 国产一品二品三品精品久久| 午夜福利一区在线观看中文字幕| 亚洲精品国偷拍自产在线麻豆| 乱子伦av无码中文字幕| 久久精品久久精品中文字幕| 国产 高潮 抽搐 正在播放 | 香蕉视频www.5.在线观看| 亚洲无码啊啊啊免费体验| 华人在线视频精品在线| 国语对白做受xxxxx在线| 97色偷偷色噜噜狠狠爱网站97| 亚洲精品中文字幕乱码3| 中文亚洲av片不卡在线观看| 99久久国产综合精品麻豆| av在线免费观看你懂的| 中文字幕在线看精品乱码| 久久久国产精品黄毛片| 国产aⅴ天堂亚洲国产av| 国产一区二区三区免费av| 人妻少妇乱子伦无码视频专区| 风流少妇又紧又爽又丰满|