亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于CNN和OpenCV的智能手語機器人的實現(xiàn)

        2021-04-14 20:38:18沈燁培邱金波
        卷宗 2021年11期
        關(guān)鍵詞:手語手勢亮度

        沈燁培 邱金波

        (廣東石油化工學(xué)院 電子信息工程學(xué)院,廣東 茂名 525000)

        根據(jù)世界衛(wèi)生組織的報告,全球約有4.66億人遭受聽力損失的困擾,并且預(yù)計2050年人數(shù)將超過9億人,而我國是世界上聽力語言殘疾人數(shù)最多的國家,有聽力語言殘疾人2057萬(2010年)[1]。手語為聽力語言殘疾人與他人交流提供了可能性。本項目引入最新的圖像識別和機器學(xué)習(xí)技術(shù),對中國手語進行向自然語言的文字和語音形式的轉(zhuǎn)化,從而實現(xiàn)惠及中國聽力語言殘疾群體的無第三人介入的中國手語翻譯解決方案。

        1 相關(guān)研究

        在計算機科學(xué)中,手勢識別是通過數(shù)學(xué)算法來識別人類手勢的一個議題。手勢識別可以來自人的身體各部位的運動,但一般是指臉部和手的運動。識別人的姿勢,步態(tài),行為也是手勢識別的一個分 支[2]。手勢識別可以認為是讓計算機理解人體肢體語言的一種手段。

        目前,根據(jù)不同的識別方法,手勢識別的輸入設(shè)備大多分為以下幾類:手套(Wired Gloves),手語使用者需要佩戴特制的手套對其手指動作進行捕捉;深度感知相機(Depth-aware cameras)[3]主要應(yīng)用結(jié)構(gòu)光(Structured light)和飛行時間相機(Time-of-flight camera)技術(shù)對近距離的手勢進行識別感知。Google I/O 2015上也有使用雷達對手勢進行識別的展示。

        從以上文獻調(diào)研可知:

        手勢識別技術(shù)由于作為非接觸人機交互的先進領(lǐng)域得到快速發(fā)展,但較為復(fù)雜手語的識別并非主流需求,所以直到2019年1月才出現(xiàn)了較大規(guī)模的可用于機器學(xué)習(xí)訓(xùn)練的連續(xù)中國手語數(shù)據(jù)集[4]。本項目則實現(xiàn)一種無需第三人介入而只需要單一攝像頭的視頻源,基于卷積神經(jīng)網(wǎng)絡(luò)CNN與OpenCV計算機視覺庫的智能中國手語翻譯方案。

        2 實現(xiàn)思路

        2.1 手部分割

        手語中的手勢最重要的就是對手指的識別。在手指檢測系統(tǒng)中,首先要解決的問題是如何在視頻采集圖像中分割出手部。一般采用膚色模型來識別出膚色區(qū)域,再進行篩選提取手部輪廓[5]。將采集到的圖像從RGB(紅、綠、藍3個通道的像素值)顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間來建立膚色模型,YCbCr顏色空間通過亮度(Y)、藍色亮度(Cb)與亮度差、紅色亮度(Cr)和亮度差來描述顏色,可以把圖像的亮度通道分離出來,不易受光照影響。

        2.2 骨骼建模

        分割出手部后,需要對指尖和掌心的位置進行確認,從而進行骨骼建模,得出單個手語動作。以下是凸包算法的例子[6]。給定平面上的一些點,用最少的點連成一個凸多邊形,使得平面內(nèi)所有點皆在此多邊形內(nèi)或此多邊形上,這個凸多邊形就是給定點的二維凸包。最常用的凸包算法是Graham掃描法,主要通過排序、掃描來實現(xiàn),但是其所需時間較長。一種快速凸包算法,則是利用遞歸的方法逐步排除凸包內(nèi)部的點。

        2.3 3D-CNN卷積神經(jīng)網(wǎng)絡(luò)進行動態(tài)手勢識別

        通常情況下,手語是一連串一起表達的,所謂的動態(tài)手勢?;谝曈X的動態(tài)手勢識別是指用攝像機采集包含動態(tài)手勢的視頻圖像序列,然后分析提取圖像序列中的動態(tài)手勢,最后由計算機通過一定的模式識別技術(shù)對該動態(tài)手勢進行識別。

        一般CNN(2D-CNN)主要應(yīng)用在二維的圖像中,在提取空間特征上有著很好的效果,而在處理視頻類的任務(wù)中,2D-CNN無法捕捉連續(xù)視頻幀中的運動信息,3D-CNN在行為識別中取得的突出成績?yōu)槭终Z識別提供了新的思路,基于3D-CNN的手語識別框架,替代了傳統(tǒng)的手動特征提取及HMM建模的識別方法,通過設(shè)計CNN整體框架,實現(xiàn)了對手語的時間空間特征提取及有效分類。

        3 項目實現(xiàn)

        3.1 翻譯終端機器

        本項目中翻譯終端機器附有一個攝像頭。為了實現(xiàn)對手語使用者較為精確的動作捕捉和手勢識別。采用的攝像頭規(guī)格應(yīng)高于最低 規(guī)格。

        3.2 云服務(wù)器

        本項目從翻譯終端機器采集的畫面會實時推流到云服務(wù)器中進行處理運算,并獲得翻譯的結(jié)果。這對服務(wù)器的算力要求較高。

        從直播推流技術(shù)棧的角度來考慮。使用rtmp協(xié)議可以采用Ngix+RTMP插件模塊來搭建服務(wù)端。其中若選用DSS(Darwin Streaming Server),DSS是Apple公司提供的開源實時流媒體播放服務(wù)器程序。采用C++編寫,并且DSS是一個開源,基于標準的流媒體服務(wù)器,可以運行在Windows NT和Windows 2000,以及幾個UNIX實現(xiàn)上,包括Mac OS X,Linux,F(xiàn)reeBSD,和Solaris操作系統(tǒng)上。

        第一,為了實現(xiàn)視頻的穩(wěn)定上傳推流需要充足的帶寬。第二,低延遲反饋翻譯結(jié)果的基本要求就是要保持視頻傳輸過程的延遲低,做到實時的傳播,避免出現(xiàn)卡頓情況。第三,需要用到負載均衡技術(shù),系統(tǒng)在線診斷技術(shù),同時及時故障處理的技術(shù)人員。

        綜上所述,采用云服務(wù)提供商的直播云服務(wù)而不是自行維護云服務(wù)器,可以使項目成本顯著下降。

        猜你喜歡
        手語手勢亮度
        挑戰(zhàn)!神秘手勢
        自然手語在聾人大學(xué)生手語中的使用調(diào)查研究——以南京特殊教育師范學(xué)院為例
        活力(2019年15期)2019-09-25 07:23:06
        亮度調(diào)色多面手
        V字手勢的由來
        勝利的手勢
        亮度一樣嗎?
        基于斬波調(diào)制的LED亮度控制
        人生的亮度
        奇怪的手語圖
        奇怪的手語圖
        边啃奶头边躁狠狠躁| 亚洲中文字幕一区精品| 亚洲久悠悠色悠在线播放| 人妻少妇偷人精品无码| 精品乱码一区二区三区四区| 国产裸体AV久无码无遮挡| 亚洲国产精品日韩av专区| 少妇被粗大的猛进出69影院| 少妇人妻真实偷人精品视频| 精品免费一区二区三区在| 国产av一区二区三区天美| 国产午夜免费高清久久影院| 男男车车的车车网站w98免费| 国产福利小视频在线观看| 亚洲一区二区三区在线激情| 综合亚洲伊人午夜网| 欧美日韩中文国产一区发布| 中文字幕日产人妻久久| 精品熟女av中文字幕| 国产亚洲精品美女久久久m| 狠狠躁夜夜躁人人爽天天不卡软件| 午夜精品久视频在线观看| 精品人妻少妇丰满久久久免| 色偷偷av一区二区三区| 秋霞午夜无码鲁丝片午夜精品| 国产人成在线成免费视频 | 成熟的女人毛茸茸色视频| 97碰碰碰人妻无码视频| 国产高潮刺激叫喊视频| av网址大全在线播放| 手机免费在线观看av网址| 无码国产精品一区二区免费模式| 国产精品1区2区| 日本免费影片一区二区| 欧美日韩一区二区三区在线观看视频| 国产一起色一起爱| 久久久精品亚洲懂色av| 免费亚洲一区二区三区av| 婷婷久久久亚洲欧洲日产国码av| 国产精品久久久一本精品| 久久精品国产亚洲av久五月天 |