丁亮，武林，劉清民

（1.中國(guó)科學(xué)技術(shù)信息研究所，北京 100038；2.重慶理工大學(xué)保衛(wèi)處信息科，重慶 400054）

基于邊緣保持中值濾波和BP神經(jīng)網(wǎng)絡(luò)的自然手勢(shì)識(shí)別研究

丁亮1，武林2，劉清民1

（1.中國(guó)科學(xué)技術(shù)信息研究所，北京 100038；2.重慶理工大學(xué)保衛(wèi)處信息科，重慶 400054）

旨在對(duì)噪聲干擾下的自然手勢(shì)進(jìn)行提取并識(shí)別，通過(guò)圖像小波去噪、提取邊緣的中值濾波處理，再將手勢(shì)樣本二值化并進(jìn)行區(qū)域特征的提取，得到自然手勢(shì)的二值化圖像?；贐P神經(jīng)網(wǎng)絡(luò)對(duì)自然手勢(shì)模擬，實(shí)現(xiàn)自然手勢(shì)的去噪識(shí)別。對(duì)已有自然手勢(shì)識(shí)別技術(shù)進(jìn)行分析并做出合理展望，為自然手勢(shì)識(shí)別研究提供新思路。

中值濾波邊緣提??；區(qū)域特征提取；BP神經(jīng)網(wǎng)絡(luò)

0 引言

自然手勢(shì)識(shí)別技術(shù)是人工智能和自動(dòng)化發(fā)展過(guò)程中必須解決的問(wèn)題，生活中自然手勢(shì)已經(jīng)成為人機(jī)交互的重要信息。這些自然手勢(shì)大數(shù)據(jù)的正確識(shí)別成為計(jì)算機(jī)科學(xué)與自動(dòng)化領(lǐng)域研究的熱點(diǎn)。國(guó)內(nèi)外已經(jīng)有很多的研究者從不同角度進(jìn)行了不同程度的研究與應(yīng)用，并且取得了一些研究成果。因?yàn)槲幕町惡蛻?yīng)用情景的不同，使得手勢(shì)識(shí)別研究不能整合到完整的框架中，理論及技術(shù)并沒(méi)有成為一個(gè)完整的體系。

筆者通過(guò)小波去噪處理輸入，將其二值化處理，根據(jù)邊緣保持中值濾波等特征工程進(jìn)行噪聲去除。利用BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)手勢(shì)模型，實(shí)現(xiàn)常見(jiàn)手勢(shì)識(shí)別。

1 研究現(xiàn)狀

20世紀(jì)90年代，Starner首先利用HMM模型進(jìn)行美國(guó)手語(yǔ)（ASL）的識(shí)別研究，利用4個(gè)特征值構(gòu)成單手手勢(shì)的特征向量[1]，University of Illinois的Pavlovic,V.I.等人提出手勢(shì)識(shí)別的可視化交互研究，首次提出了手勢(shì)識(shí)別的數(shù)學(xué)模型[2]，Aditya Institute of Technology的GRS Murthy博士提出手勢(shì)識(shí)別中的數(shù)據(jù)手套作為輸入設(shè)備[3]，哈爾濱工業(yè)大學(xué)的高文教授提出基于Hausdorff距離的手勢(shì)識(shí)別[4]，清華大學(xué)徐光祐教授進(jìn)行了基于線條特征的手勢(shì)識(shí)別研究，通過(guò)過(guò)去特征線條的特征、曲線段的跟蹤、運(yùn)動(dòng)參數(shù)的獲取、手勢(shì)識(shí)別幾個(gè)步驟[5]，燕山大學(xué)的楊阿妮碩士提出基于馬爾科夫模型的手勢(shì)識(shí)別系統(tǒng)研究[6]，上海海事大學(xué)的殷濤碩士提出了基于幾何矩的手勢(shì)識(shí)別算法[7]，Jintae Lee和Tosiyasvl kunii進(jìn)行了通過(guò)立體圖像自動(dòng)分析三維手勢(shì)的研究工作，成功提取27個(gè)交互作用的手參數(shù)，實(shí)現(xiàn)了三維手勢(shì)的重構(gòu)[8]，這些研究為虛擬現(xiàn)實(shí)交互技術(shù)的發(fā)展和機(jī)器人研究的發(fā)展做出了貢獻(xiàn)。但是均未考慮自然手勢(shì)原始圖像中的噪聲信息，即上述研究中的自然手勢(shì)均為預(yù)處理好的單一場(chǎng)景下的樣本數(shù)據(jù)。本文提出基于邊緣保持中值濾波的噪聲去除方案，對(duì)原始圖像中的手勢(shì)以外噪音進(jìn)行去除，并用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)現(xiàn)基本自然手勢(shì)識(shí)別。

2 基于邊緣保持中值濾波的去噪處理

考慮背景干擾發(fā)生在圖像采集中的情況，我們可以把圖像劣化分為兩種，一種是目標(biāo)失真或者模糊而劣化，另一種是障礙物出現(xiàn)在目標(biāo)圖像上導(dǎo)致的劣化。像后者那樣的障礙物就是圖像的噪聲。筆者針對(duì)手勢(shì)圖像采集時(shí)候可能出現(xiàn)的噪聲，進(jìn)行邊緣檢測(cè)并基于邊緣保持提取手勢(shì)特征實(shí)現(xiàn)去噪。

下面簡(jiǎn)單介紹連續(xù)小波變換理論將任意地L2(R)空間里的函數(shù) f(t)在小波基下展開(kāi)，表達(dá)式為：小波變換和傅立葉變換一樣，是一種積分變換，f(a,b)為小波變換系數(shù)。不同于傅立葉變換的是小波具有尺度a和平移b兩個(gè)參數(shù)，這樣有利于提取信號(hào)函數(shù)的本質(zhì)特征。

對(duì)于噪聲處理，最好的結(jié)果是噪聲被消除了，而邊緣還完好地保留著。如圖1所示，我們采用邊緣保持中值濾波的方式進(jìn)行，邊緣保持中值濾波不僅可以用于噪聲點(diǎn)消除，還可用于邊緣提取，由于圖像中的自然手勢(shì)與背景之間的交界是邊緣，邊緣存在于圖像中灰度、紋理結(jié)構(gòu)或者色素點(diǎn)聚變的地方，首先將其灰度化，然后將焦點(diǎn)集中在灰度上就可以進(jìn)行RGB256中相鄰色素點(diǎn)大于整體標(biāo)準(zhǔn)偏差的點(diǎn)作為邊界點(diǎn)：

圖1 小波去噪算法

圖2-圖5分別為無(wú)障礙自然手勢(shì)和有障礙自然手勢(shì)加入椒鹽噪聲之后小波去噪的結(jié)果和進(jìn)行邊緣檢測(cè)的處理結(jié)果。

3 有障礙自然手勢(shì)的區(qū)域特征提取

對(duì)于有障礙自然手勢(shì)樣本圖像，必須進(jìn)行適當(dāng)?shù)奶卣魈崛?，我們采用基于特征參?shù)來(lái)提取物體。研究中我們采用以下幾種特征描述：區(qū)域特征描述（面積、周長(zhǎng)、重心）、形狀特征描述（圓形度、歐拉數(shù)）、曲線和表面的擬合。在圖像分析中，為了描述物體邊界或者其他特征，需要將局部離散擬合為曲線或者曲面，通常使用最小均方誤差準(zhǔn)則來(lái)找出一定參數(shù)形式下的最佳擬合函數(shù)。

以圖3為例，樣本中不僅包含自然手勢(shì)，還摻雜質(zhì)圖像，我們首先讀入圖像，進(jìn)行閾值化處理、圖像平滑、區(qū)域標(biāo)記，最后計(jì)算出每個(gè)物體的上述特征，可見(jiàn)其中長(zhǎng)寬比和面積最大的區(qū)域只有自然手勢(shì)一個(gè)區(qū)域，只要把面積較大和長(zhǎng)寬比較大區(qū)域提取出來(lái)即為自然手勢(shì)區(qū)域。通過(guò)上述算法流程，得到通過(guò)特征提取的自然手勢(shì)如圖6所示。

圖6 有障礙自然手勢(shì)區(qū)域特征提取

4 建立BP神經(jīng)網(wǎng)絡(luò)模型識(shí)別自然手勢(shì)

BP算法是Rumelhart等人在1986年提出來(lái)的，由于其結(jié)構(gòu)簡(jiǎn)單，可調(diào)整的參數(shù)多，可操作性好，得到了非常廣泛的應(yīng)用。

圖2 無(wú)障礙自然手勢(shì)去噪

圖3 無(wú)障礙自然手勢(shì)輪廓提取

圖4 有障礙自然手勢(shì)去噪

圖5 有障礙自然手勢(shì)輪廓提取

該網(wǎng)絡(luò)在結(jié)構(gòu)上與自組織特征映射的神經(jīng)網(wǎng)絡(luò)相似，分為輸入層和輸出層，輸入層采集特征提取后的平面圖像數(shù)據(jù)，主要在進(jìn)行手勢(shì)識(shí)別時(shí)候需要各個(gè)手指的手部姿勢(shì)的信息，需要14個(gè)可能活動(dòng)的紅色節(jié)點(diǎn)信息，如7圖所示，輸入的每個(gè)量看作十四維空間中的一個(gè)特征向量；連接層采用全連接的方式，即每一個(gè)輸出節(jié)點(diǎn)都與輸入層的14個(gè)輸入節(jié)點(diǎn)連接，每個(gè)連接都有相對(duì)應(yīng)的輸入權(quán)值ω。每個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)的14個(gè)ω表征了十四個(gè)輸入量對(duì)于此輸出節(jié)點(diǎn)的不同重要程度，輸入權(quán)值在訓(xùn)練的過(guò)程中進(jìn)行調(diào)整；輸出層成為競(jìng)爭(zhēng)層，每個(gè)輸出節(jié)點(diǎn)根據(jù)各個(gè)輸入的數(shù)值和權(quán)值進(jìn)行計(jì)算后輸出。在這個(gè)過(guò)程中，每一次全面輸出都對(duì)應(yīng)一種手勢(shì)。

圖7 自然手勢(shì)關(guān)節(jié)

針對(duì)9個(gè)節(jié)點(diǎn)進(jìn)行BP神經(jīng)網(wǎng)絡(luò)模型構(gòu)建，輸入-規(guī)則-輸出三層模型設(shè)計(jì)必須遵循神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其神經(jīng)元的傳遞是S型函數(shù)，輸出量為0～1的連續(xù)量，可以實(shí)現(xiàn)從輸入到輸出的任意非線性映射。其中ωij（i，j=12…9）表示權(quán)值，其中傳輸函數(shù)通常采用sigmoid函數(shù)。設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)的隱含層總共9×5=45個(gè)權(quán)值，輸入-輸出層構(gòu)造五種手勢(shì)如圖8所示，該研究就以簡(jiǎn)單的數(shù)字識(shí)別為例，該部分就特征提取部分提取的手勢(shì)為例子，進(jìn)行訓(xùn)練和仿真。如下為仿真結(jié)果，輸入手勢(shì)5和0時(shí)能得到對(duì)應(yīng)的類(lèi)別向量。

判定為 5，輸出的類(lèi)別向量為（0，0，0，0，1，0，0，0，0）

判定為 0，輸出的類(lèi)別向量為（1，0，0，0，0，0，0，0，0）

圖8 神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

5 結(jié)語(yǔ)

本文采用了圖像采集、二值化、小波去噪、疊加椒鹽噪聲、提取邊緣的中值濾波處理、提取自然手勢(shì)部分的區(qū)域特征處理、模擬自然手勢(shì)的BP神經(jīng)網(wǎng)絡(luò)模型這幾種計(jì)算機(jī)圖像學(xué)和人工智能技術(shù)進(jìn)行作為最關(guān)鍵的處理機(jī)制。通過(guò)上述機(jī)制很好地解決了有噪聲障礙的自然手勢(shì)識(shí)別，并取得了很好的效果。

在當(dāng)今交交互系統(tǒng)應(yīng)用廣泛的時(shí)代，自然手勢(shì)識(shí)別交互系統(tǒng)的研究可以大大使得生活變得方便，例如可以制造出更加人性化的電子游戲設(shè)備、在醫(yī)學(xué)上可以進(jìn)行機(jī)器人手術(shù)操作來(lái)提高手術(shù)準(zhǔn)確度、在殘疾人療養(yǎng)中心可以采用自然手勢(shì)識(shí)別交互系統(tǒng)來(lái)幫聾啞人方便的交流，甚至在當(dāng)前流行的電子商務(wù)網(wǎng)站中運(yùn)用自然手勢(shì)別是交互系統(tǒng)來(lái)便于企業(yè)盈利[9]。

[1]Starnert,Pentland A.Real-Time American Sign Language Recognition from Using Hidden Markov Model[R].Technical Report,375,MIT Media Lab,Perceptual Computing Group,1995.

[2]Pavlovic V I,Sharma R,Huang T S.Visual Interpretation of Hand Gestures for Human-Computer Interaction:A Review[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1997,19（7）:677-695.

[3]Murthy G R S,Jadon R S.A Review of Vision Based Hand Gestures Recognition[J].International Journal of Information Technology and Knowledge Management,2009,2（2）:405-410.

[4]張良國(guó),吳江琴,高文,等.基于Hausdorff距離的手勢(shì)識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2002,7（11）:1144-1150.

[5]任海兵,徐光祜.基于特征線條的手勢(shì)識(shí)別[J].軟件學(xué)報(bào),2002,13（5）:987-993.

[6]楊阿妮,常丹華.神經(jīng)網(wǎng)絡(luò)與馬爾可夫模型的手勢(shì)識(shí)別系統(tǒng)[J].電子測(cè)量技術(shù),2010,33（4）:60-64.

[7]殷濤,葛元,王林泉.基于幾何矩的字母手勢(shì)識(shí)別算法[J].計(jì)算機(jī)工程,2004,30（18）:127-129.

[8]Hans Rijpkema,Michael Girard.Computer Animation of Knowledge-Based Human Grasping[J].Computer Graplrics,1991,25（4）:339-348.

[9]丁亮.關(guān)于電子商務(wù)網(wǎng)站中商品分類(lèi)的分析[J].中國(guó)電子商務(wù),2012（22）:12-12.

Abstract：Extracts and identifies the natural gestures under noise interference.Through the image wavelet denoising,the median filtering process of the edge is extracted,and the gesture samples are binarized and the regional features are extracted to obtain the binarized image of the natu?ral gestures.Based on BP neural network for natural gesture simulation,to achieve the natural gesture denoising identification.Analyzes the existing natural gesture recognition technology and makes a reasonable prospect,and provides a new idea for natural gesture recognition re?search.

Keywords：Edge Extraction Median Filter;Feature Extraction;BP Neural Network

Research on Natural Gesture Recognition Based on Edge Preserving Median Filter and BP Neural Network

DING Liang1，WU Lin2，LIU Qing-min1
（1.Institute of scientific and Technical Information of China,Beijing 100038;2.Chongqing University of Technology，Chongqing 400054）

1007-1423（2017）25-0010-04

10.3969/j.issn.1007-1423.2017.25.003

丁亮（1994-），男，陜西漢中人，碩士研究生，研究方向?yàn)樽匀徽Z(yǔ)言處理與機(jī)器翻譯

武林（1991-），男，江蘇連云港人，碩士研究生，研究方向?yàn)榇髷?shù)據(jù)技術(shù)及應(yīng)用

劉清民（1993-），男，遼寧朝陽(yáng)人，碩士研究生，研究方向?yàn)樽匀徽Z(yǔ)言處理與機(jī)器翻譯，Email：dingliang2015@istic.ac.cn

2017-07-27

2017-07-31