趙蔚寧

(吉林省福彩中心 協(xié)會(huì)籌建辦公室，長(zhǎng)春 130061)

基于HMM_SVM的中國(guó)手語(yǔ)識(shí)別研究

趙蔚寧

(吉林省福彩中心 協(xié)會(huì)籌建辦公室，長(zhǎng)春 130061)

提出了基于隱馬爾可夫方法的中國(guó)手語(yǔ)識(shí)別方法，通過對(duì)于手勢(shì)的取像，圖像處理，降維技術(shù)，通過應(yīng)用Sugeno模糊積分，圖像處理技術(shù)是計(jì)算機(jī)圖形學(xué)識(shí)別的基本步驟，采用直方圖的特征可以將手型的區(qū)域從背景中分離出來，然后通過降維處理，將得到的手部圖像去除手部以外的區(qū)域，從而得到手的輪廓;使得不攜帶其他相關(guān)手套工具，達(dá)到靜態(tài)簡(jiǎn)單手語(yǔ)識(shí)別，其正確率達(dá)到85%以上，證明這種方法在中國(guó)手語(yǔ)識(shí)別上的可行性。

多維分割，隱馬爾科夫算法，SVM(support vector machine支持向量機(jī))，中國(guó)手語(yǔ)識(shí)別

0 引言

手語(yǔ)識(shí)別一直是在人機(jī)交互領(lǐng)域研究的重點(diǎn)和人工智能發(fā)展的熱點(diǎn)，讓計(jì)算機(jī)更好的了解手語(yǔ)，使得聾啞人和健康聽力的人能夠進(jìn)行很好的交流和溝通，通過計(jì)算機(jī)圖像處理，讓手語(yǔ)識(shí)別更加可行，手語(yǔ)識(shí)別可分為靜態(tài)手語(yǔ)識(shí)別和動(dòng)態(tài)手語(yǔ)識(shí)別兩類。在HMM的基礎(chǔ)上，通過靜態(tài)手勢(shì)識(shí)別并與數(shù)據(jù)庫(kù)相關(guān)信息進(jìn)行比對(duì)，達(dá)到中國(guó)手語(yǔ)識(shí)別的目的。中國(guó)手語(yǔ)手勢(shì)識(shí)別研究有助于促進(jìn)人機(jī)交互、虛擬現(xiàn)實(shí)等相關(guān)科學(xué)研究的發(fā)展。以便手語(yǔ)識(shí)別在人機(jī)交互應(yīng)用上實(shí)現(xiàn)人類和計(jì)算機(jī)的自然交流。

1 基于圖像的模型

在基于HMM_SVM圖像的模型中，輪廓和邊界是其中兩個(gè)可從手勢(shì)中提取的最直接的屬性。使用基于邊界線的技術(shù)，使在系統(tǒng)中預(yù)先存儲(chǔ)可以實(shí)時(shí)識(shí)別的二十六個(gè)手型字母。另一種通過圖像模型的主成份因素分析(principal component analysis)。對(duì)于一個(gè)圖像集合的主成份因素分析確定一個(gè)圖像的正交集，而此正交集可以用來描述原圖像集合。相似的圖像在一個(gè)特征空間上有相似的投影，因此在特征空間上的距離可以用來衡量圖像的相似性。反饋層節(jié)點(diǎn)是隱層節(jié)點(diǎn)的拷貝，并加入了一個(gè)單位的延遲.網(wǎng)絡(luò)的輸入層和反饋層組成聯(lián)合輸入層。所以兩種方法各有所長(zhǎng)。

2 手形識(shí)別

手形識(shí)別技術(shù)包括:模板匹配、特征提取和神經(jīng)網(wǎng)絡(luò)等相關(guān)方法，本節(jié)介紹前兩種方法，神經(jīng)網(wǎng)的方法絡(luò)將在2.3節(jié)中介紹。手勢(shì)是用來強(qiáng)調(diào)或表達(dá)一種意念、感情或態(tài)度一個(gè)手的動(dòng)作。所以，從開始的意圖到最終的動(dòng)作，手勢(shì)由一個(gè)時(shí)間段內(nèi)所做的一系列手形組成。所以在手勢(shì)識(shí)別的過程中，一個(gè)基礎(chǔ)的工作就是進(jìn)行手勢(shì)分解，即把手勢(shì)按時(shí)間順序分解成若干手勢(shì)識(shí)別。

3 手勢(shì)分解

可以把一個(gè)手勢(shì)分為3個(gè)階段:準(zhǔn)備、動(dòng)作和收回。Quek則定義了一系列規(guī)則來規(guī)范手勢(shì)分解。①整個(gè)手勢(shì)包含3個(gè)階段:緩慢的初始動(dòng)作、加速的中間過程和返回初始位置;②在中間過程中，手做了一個(gè)包含具體語(yǔ)義的手勢(shì);③手在靜止位置附近的小擾動(dòng)不算手勢(shì);④手的動(dòng)作不應(yīng)超出某個(gè)空間范圍;⑤靜態(tài)手勢(shì)應(yīng)該在一個(gè)有限的時(shí)間段內(nèi)被識(shí)別;⑥重復(fù)的動(dòng)作可以作為手勢(shì)。

根據(jù)以上規(guī)則，手勢(shì)的組成類似于語(yǔ)言的組成。手形的識(shí)別相當(dāng)于詞法分析，而手勢(shì)的識(shí)別則相當(dāng)于語(yǔ)言的解釋。因此一系列在語(yǔ)言分析中成功應(yīng)用的技術(shù)可以被引入手勢(shì)識(shí)別領(lǐng)域。其中比較成功的是隱馬爾可夫模型(hiddenmarkovmodel)。分解第2階段的困難在于人們的習(xí)慣不同，即不同的人可以以不同的方式做同一個(gè)的動(dòng)作。對(duì)于這個(gè)問題，引入神經(jīng)網(wǎng)絡(luò)將是一個(gè)合適而有效的方法。

最簡(jiǎn)單的靜態(tài)手勢(shì)識(shí)別可以只是識(shí)別出目標(biāo)手所表示的數(shù)字，但對(duì)于復(fù)雜的手勢(shì)則需要用到分類器來識(shí)別。其基本的思想是一個(gè)逐漸尋優(yōu)的過程。過程如下:

在一個(gè)o維的空間內(nèi)R存在n個(gè)向量x1，x2，x3，...，xn，空間內(nèi)的某點(diǎn)x的向量可用如下的公式求得:

式中h!點(diǎn)x的鄰域樣本空間;xi!落入樣本空間中的向量;K(x)!一個(gè)單位核函數(shù)，一般是一個(gè)高斯核函數(shù);l!一個(gè)正定的對(duì)稱o?o矩陣，稱為帶寬矩陣;因此，通過式(1)得到的向量x是Ro內(nèi)在鄰域h內(nèi)的向量在核函數(shù)作用下的平均偏移向量。在圖像分割中，一張圖像，即為Ro，每個(gè)像素是一個(gè)3維向量(R，G，B)，h是像素的鄰域。對(duì)圖像的處理過程就是逐步地將各個(gè)像素向量朝鄰域內(nèi)最優(yōu)向量接近，最后以此最優(yōu)向量為模式歸一化此鄰域，完成圖像分割。

4 傅里葉特征提取

輪廓提取

特征提取前用高斯模式訓(xùn)練好一個(gè)用于手部皮膚的顏色向量V。將分割后的圖像用向量V去除背景，得到僅剩手部的圖像，最后二值化圖像。接下來用傅里葉描述子提取其邊界特征。為了保證得到的輪廓的封閉性，用八鄰域搜索算法提取得到的二值圖的輪廓。八鄰域搜索算法記錄一個(gè)一維序列，序列中存放邊界像素的位置。背景像素為零值，目標(biāo)像素為非零值。從開始坐標(biāo)出發(fā)，在當(dāng)前坐標(biāo)的八鄰域內(nèi)搜索非零像素，將搜到的第一個(gè)坐標(biāo)記為序列的下一個(gè)坐標(biāo)，并將當(dāng)前坐標(biāo)存入序列中;直到當(dāng)前坐標(biāo)和開始坐標(biāo)相等，則完成搜索。得到的一維序列即為二值圖的輪廓。

SVM基本的理論是針對(duì)二分類問題的，對(duì)于多個(gè)類的分類問題，SVM包括一對(duì)多方法(One Against Two)，一對(duì)一方法(One Against One)，樹分類方法。這些方法在分類過程中普遍存在計(jì)算量大、需要多次二分類、算法復(fù)雜等缺點(diǎn)。

鑒于以上分類方法的缺點(diǎn)，借用幾何學(xué)的方法提出了最小包圍球的SVM方法(MEB_SVM)。

通過SVM算法將給定的手勢(shì)訓(xùn)練樣本集S經(jīng)圖像分割、二值化等步驟得到一組特征向量;再用基函數(shù)對(duì)這些向量進(jìn)行空間映射。為了能快速地得到樣本集的最小包圍球，可以采用近似的辦法。其主要思想是通過遞增迭代的方式逐步擴(kuò)展包圍球的半徑。擴(kuò)展過程中將離當(dāng)前球心最遠(yuǎn)的樣本加入包圍球中。記第t次迭代時(shí)的包圍球包含的樣本為St，球心和半徑為Ct和Rt，包圍球?yàn)锽。則對(duì)于給定的?樣本＞0，算法可描述為以下過程:

(1)對(duì)于一類樣本，任選一個(gè)樣本點(diǎn)作為S0，記球心C0為該點(diǎn)向量，半徑R0為0;

(2)結(jié)束訓(xùn)練條件:不存在樣本點(diǎn)z在(1+?)包圍球B(Ct，(1+?Rt)的外面;

(3)找到特征空間內(nèi)離當(dāng)前包圍球心Ct最遠(yuǎn)的樣本點(diǎn)，并添加到當(dāng)前包圍球:St+1=St*{z};

(4)更新包圍球的球心和半徑Ct+1、Rt+1;

(5)t=t+1，計(jì)數(shù)增加一個(gè)，返回到(2);

經(jīng)過以上步驟后即得到本類的最小包圍球。對(duì)于各訓(xùn)練樣本類都執(zhí)行以上步驟則得到全樣本空間的所有最小包圍球。對(duì)于測(cè)試樣本T的分類，只需計(jì)算T與各個(gè)包圍球的球心Ci的歐式距離，并加以比較，則與T距離最近的球心所在的包圍球的類即為T所屬的類。

5 實(shí)驗(yàn)

本研究選取了手語(yǔ)中1～10的10個(gè)手勢(shì)作為測(cè)試對(duì)象，并分別對(duì)每個(gè)手勢(shì)進(jìn)行20次實(shí)驗(yàn)。實(shí)驗(yàn)程序所使用的編程環(huán)境為Vistua l Studio2008 C++和OpenCV開源圖像處理庫(kù)。圖像采集采用具有130萬(wàn)像素的10moons天弓攝像頭。

經(jīng)過試驗(yàn)，筆者以5?5為鄰域像素，核函數(shù)采用高斯核N(x)=exp(－(x(2)，帶寬矩陣簡(jiǎn)化為 l=h2I，即為一個(gè)單位數(shù)量陣。權(quán)重系數(shù)按與x點(diǎn)的距離賦值。

經(jīng)二值化和八鄰域搜索得到輪廓后，對(duì)輪廓即可作傅里葉變換。為使傅里葉描述子的誤差盡量減少，作傅里葉變換的輪廓圖像應(yīng)該大小一致。實(shí)驗(yàn)中分別取不同的?進(jìn)行訓(xùn)練。得到的結(jié)果如表1所示。

識(shí)別準(zhǔn)確度=作出正確分段的個(gè)數(shù)/實(shí)際所有分段的個(gè)數(shù)*100%。

表1 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果中，?越小，算法收斂時(shí)間越短，但由于包含在包圍球中的向量太少，對(duì)算法的準(zhǔn)確度會(huì)有一定的影響，當(dāng)?大于0.002以上時(shí)，算法訓(xùn)練時(shí)間增加明顯，同時(shí)算法準(zhǔn)確度也有所增加。

6 結(jié)語(yǔ)

手語(yǔ)詞主要是通過手形變化和空間運(yùn)動(dòng)軌跡，以及手同身體之間的相對(duì)位置關(guān)系表達(dá)相關(guān)信息。無(wú)論是手形變化還是手部運(yùn)動(dòng)，均在執(zhí)行過程中存在一些不確定因素。采用肌電、加速度和視覺3種傳感器作為手勢(shì)輸入設(shè)備，提出了一種基于多傳感器信息檢測(cè)和融合的中國(guó)手語(yǔ)分類識(shí)別方法。該方法采用的多級(jí)分類策略考慮到了各個(gè)傳感器的優(yōu)勢(shì)和手語(yǔ)詞匯的模糊特性，用模糊積分將來自不同分類器的識(shí)別信息進(jìn)行有機(jī)結(jié)合，用以提高多傳感器融合系統(tǒng)的分類精確率，改善系統(tǒng)的穩(wěn)健性。對(duì)于20個(gè)中國(guó)手語(yǔ)詞匯，3種傳感器融合的識(shí)別率均在90%以上，此實(shí)驗(yàn)結(jié)果證實(shí)了多傳感器融合在手語(yǔ)識(shí)別中的有效性和可擴(kuò)展性。同時(shí)，對(duì)采用不同決策級(jí)融合方法進(jìn)行的對(duì)比實(shí)驗(yàn)，結(jié)果證實(shí)了基于HMM_SVM方法的有效性和實(shí)用性。

［1］ 任海兵，祝遠(yuǎn)新，徐光祐，等.基于視覺手勢(shì)識(shí)別的研究綜述［J］.電子學(xué)報(bào)，2000，28(2):118－121.

［2］ WU J Q，GAO W，PANG B，eta.l A fast sign wo rd recogn ition technique for Chinese sign language［J］.High Technology Letters，2001，11(6):23－27.

［3］ CERVANTES J，LIXiao ou，YU W en，etal.Support vectorm ach ine classification for larg e data sets v iam in imum enclosing ba ll c lustering［J］.N eurocomputing，2008，71(4－6):611－619.

［4］ CHENG Yi zong.M ean shift，mode seek ing and clustering［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1995，17(8):790－799.

［5］ CORTES C，VAPN IK V N.Support vector netwo rks［J］.Machine Learning，1995，20:273 － 297.

［6］ 黃春木，周利莉.密度分布特征及其在二值圖像檢索中的應(yīng)用［J］.中國(guó)圖象圖形學(xué)報(bào)，2008，13(2):307－311.

［7］ 段一洪，陳一民，林鋒.基于LSSVM的靜態(tài)手勢(shì)識(shí)別［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2004，12(25):2352－2368.

［8］ Basir O，Yuan XH.Engine fault diagnosis based on multi-sensor information fusion usingDempster-Shafer evidence theory［J］.Information Fusion，2007(8):379－386.

Study on HMM_SVM-based Chinese Sign Language Recognition

ZHAO Wei-ning

(Association Establishment Office，Welfare Lottery Center of Jilin Province，Changchun 130061，China)

This paper presents a Hidden Markov-based Chinese sign language recognition method by means of image capture of gestures，image processing and dimensionality reduction techniques.Through the application of Sugeno fuzzy integral，image processing technology is basic step for computer graphics identification，which can separate the hand-shaped area from the background by using histograms features，and then removes the part outside hand from obtained hand image by dimension reduction process to get the profile of hand.This method realizes the static identification for simple sign language without related gloves tools，the correct rate reaches 85%or more and the feasibility of sign language recognition in China is proved.

multi-dimensional segmentation;Hidden Markov Algorithm;SVM;Chinese sign language recognition

TP391.41

A

1009－3907(2011)10－0024－03

2011-06-20

趙蔚寧(1966-)，女，吉林懷德人，工程師，主要從事計(jì)算機(jī)應(yīng)用方面的研究。

責(zé)任編輯:吳旭云