嚴(yán)　焰　劉　蓉

1(湖北師范學(xué)院教育信息與技術(shù)學(xué)院　湖北 黃石 435002)2(華中師范大學(xué)物理科學(xué)與技術(shù)學(xué)院　湖北 武漢 430079)

?

基于低分辨率視頻圖像的手語(yǔ)識(shí)別方法

嚴(yán)焰1劉蓉2

1(湖北師范學(xué)院教育信息與技術(shù)學(xué)院湖北 黃石 435002)2(華中師范大學(xué)物理科學(xué)與技術(shù)學(xué)院湖北 武漢 430079)

實(shí)際環(huán)境中常遇到大量低分辨率手語(yǔ)視頻圖像需要識(shí)別,但其只含有相對(duì)有限的判別信息，識(shí)別效率不高，因此提出一種手語(yǔ)識(shí)別方法。該方法在采用實(shí)時(shí)皮膚顏色特征提取目標(biāo)區(qū)域的基礎(chǔ)上，計(jì)算目標(biāo)區(qū)域形心、邊界鏈碼兩種識(shí)別特征值，利用動(dòng)態(tài)時(shí)間規(guī)整算法依次識(shí)別手勢(shì)起始幀與結(jié)束幀，結(jié)合識(shí)別結(jié)果還原手語(yǔ)單詞。在南佛羅里達(dá)大學(xué)公共手語(yǔ)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，采用該方法與現(xiàn)有方法比較,識(shí)別出正確手語(yǔ)單詞增加21個(gè)，錯(cuò)誤手語(yǔ)單詞減少1個(gè)，消除了手語(yǔ)單詞殘缺干擾,證明該方法的有效性。

手語(yǔ)識(shí)別動(dòng)態(tài)時(shí)間規(guī)整算法數(shù)字圖像處理

0　引　言

低分辨率圖像識(shí)別是在分辨率低于320×240圖像數(shù)據(jù)中進(jìn)行自動(dòng)目標(biāo)內(nèi)容識(shí)別的過(guò)程。該類圖像中目標(biāo)內(nèi)容尺寸占整個(gè)圖像像素10%以下，并伴有一定噪聲和運(yùn)動(dòng)模糊[1]。

與高分辨率圖像識(shí)別系統(tǒng)相比，低分辨率圖像識(shí)別系統(tǒng)需要克服圖像信息量小、噪聲多、較少的可利用方法與工具等特殊難點(diǎn)。傳統(tǒng)基于高分辨率圖像識(shí)別算法直接應(yīng)用于低分辨率圖像中性能大多不理想。目前基于低分辨率圖像識(shí)別方法有：1) 超分辨率增強(qiáng)。首先對(duì)低分辨率圖像進(jìn)行增強(qiáng)得到高分辨率圖像，然后利用傳統(tǒng)的高分辨率識(shí)別方法進(jìn)行識(shí)別[2，3]。該種方法需要冗長(zhǎng)的圖像重建時(shí)間，并且所應(yīng)用的算法并非針對(duì)低分辨率圖像識(shí)別設(shè)計(jì)。2)分辨率穩(wěn)健特征表達(dá)。直接從低分辨率圖像上提取識(shí)別特征信息，根據(jù)識(shí)別對(duì)象本身特點(diǎn)設(shè)計(jì)識(shí)別器[4,5]。

基于低分辨率視頻圖像手勢(shì)識(shí)別是手勢(shì)識(shí)別中一個(gè)研究熱點(diǎn)。雖然科學(xué)工作者在低分辨率手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)方面做了大量工作，但在實(shí)際應(yīng)用中，尤其在手語(yǔ)視頻中仍然存在一些挑戰(zhàn)性難題。本文針對(duì)以下兩個(gè)難題進(jìn)行研究：1) 分辨率穩(wěn)健特征提取。廣泛應(yīng)用高分辨率手勢(shì)識(shí)別系統(tǒng)中的有效特征如顏色、紋理特征[6,7]，對(duì)光照變化比較敏感，手部與人臉、背景區(qū)分度不高，將其直接應(yīng)用于低分辨率條件下性能有待提高。2) 基于多幀圖像的手語(yǔ)自動(dòng)識(shí)別。已有算法大部分關(guān)注單幀自定義手勢(shì)指令識(shí)別[8,9]，而手語(yǔ)作為一種以手勢(shì)變化為表達(dá)形式，具有完整語(yǔ)法規(guī)則的日常交流語(yǔ)言[10]，其識(shí)別技術(shù)有待發(fā)展。

1　手語(yǔ)圖像特征提取

在低分辨率圖像手勢(shì)識(shí)別過(guò)程中，靜態(tài)全局皮膚顏色特征易受到場(chǎng)景光線變化、手與身體其他部分相互遮擋影響，不能有效提取目標(biāo)區(qū)域。而手語(yǔ)中手勢(shì)動(dòng)作既有手部相對(duì)于頭部的位移信息又有手形變化信息，如何在低分辨率圖像中計(jì)算合適的識(shí)別特征值是一個(gè)難題。

1.1目標(biāo)區(qū)域檢測(cè)

本文采用相鄰幀差分法，快速去除背景，檢測(cè)運(yùn)動(dòng)目標(biāo)，然后在運(yùn)動(dòng)目標(biāo)中提取皮膚顏色特征，從低分辨率圖像中提取需要目標(biāo)區(qū)域。由于每一幀提取目標(biāo)區(qū)域所使用的顏色模版都是由該幀與后一幀進(jìn)行差分運(yùn)算提取的運(yùn)動(dòng)目標(biāo)顏色特征構(gòu)建，因此有效地避免了整個(gè)視頻中不同光照對(duì)皮膚顏色特征的影響，并減小如背景、臉部等運(yùn)動(dòng)幅度小的區(qū)域顏色對(duì)顏色模版構(gòu)建過(guò)程的干擾。整個(gè)目標(biāo)區(qū)域檢測(cè)算法流程如圖1所示。圖2是該目標(biāo)區(qū)域提取方法在低分辨率公共手語(yǔ)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)的結(jié)果。

圖1　目標(biāo)區(qū)域檢測(cè)算法流程圖

圖2　目標(biāo)區(qū)域提取結(jié)果

1.2手勢(shì)特征提取

(1)

手形變化主要體現(xiàn)在手部像素邊界的改變，而八連通鏈碼與常用四連通鏈碼相比較，更符合局部細(xì)節(jié)像素分布情況，因此采用八連通鏈碼簡(jiǎn)化手部邊界描述。

2　基于低分辨視頻圖像的手語(yǔ)識(shí)別器設(shè)計(jì)

2.1手語(yǔ)的運(yùn)動(dòng)學(xué)特點(diǎn)

手語(yǔ)單詞是構(gòu)建手語(yǔ)這門獨(dú)立語(yǔ)言的最小、完整、有意義的要素[11]，因此識(shí)別手語(yǔ)單詞是計(jì)算機(jī)在手語(yǔ)交互應(yīng)用發(fā)展中必須解決的難題。從手勢(shì)識(shí)別角度分析，手語(yǔ)單詞是一種變形類手勢(shì)，具有運(yùn)動(dòng)區(qū)域多變、運(yùn)動(dòng)快慢不同的特點(diǎn)。因此手語(yǔ)識(shí)別器設(shè)計(jì)過(guò)程需要充分研究手語(yǔ)自身語(yǔ)言特點(diǎn)。在人機(jī)交互應(yīng)用中，已有的預(yù)定義靜態(tài)手勢(shì)指令識(shí)別器識(shí)別自然手語(yǔ)性能不佳。

通過(guò)對(duì)不同手語(yǔ)視頻分析，手語(yǔ)句言簡(jiǎn)意賅、語(yǔ)素完整，手語(yǔ)單詞分布均勻，無(wú)“省略”、“倒裝”等復(fù)雜語(yǔ)法。一個(gè)完整手語(yǔ)單詞包括手形、位置和運(yùn)動(dòng)三個(gè)要素。手語(yǔ)單詞內(nèi)部由一系列連續(xù)變化的手勢(shì)動(dòng)作組成，手語(yǔ)單詞之間由明顯起始、終止動(dòng)作區(qū)分。

2.2目標(biāo)手語(yǔ)單詞識(shí)別

常見手語(yǔ)識(shí)別器大多利用全局檢索方法在人工構(gòu)建的手語(yǔ)詞典上進(jìn)行手語(yǔ)識(shí)別。例如中科院設(shè)計(jì)的中國(guó)手語(yǔ)識(shí)別系統(tǒng)[12]，利用HMM算法將數(shù)據(jù)手套采集信息轉(zhuǎn)換成手語(yǔ)特征數(shù)據(jù)，然后進(jìn)行全局檢索手語(yǔ)識(shí)別。復(fù)雜的算法計(jì)算和全局檢索方式直接應(yīng)用在數(shù)據(jù)規(guī)模較大的低分辨率手語(yǔ)視頻中效果不一定理想。

在實(shí)際應(yīng)用中，手語(yǔ)單詞包含豐富運(yùn)動(dòng)軌跡、手形變化信息，視頻幀數(shù)受到攝像機(jī)采集速率、用戶表達(dá)習(xí)慣、詞語(yǔ)使用場(chǎng)景等因素影響而造成不同。動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法是一種能夠消除不同時(shí)空表示模式之間時(shí)間差異的簡(jiǎn)便有效算法。為了快速識(shí)別手語(yǔ)，通過(guò)識(shí)別手語(yǔ)單詞的起始幀和終止幀特征信息，減少手語(yǔ)識(shí)別過(guò)程計(jì)算量，并利用起始幀與終止幀之間約束關(guān)系縮小檢索范圍，提高識(shí)別效率。

具體步驟如下：

1) 在起始幀識(shí)別過(guò)程中，利用條件迭代模式，計(jì)算一條手語(yǔ)短句每一幀與同組其他手語(yǔ)短句各幀之間BTW距離。將每幀BTW距離與該條手語(yǔ)短句所有幀BTW距離和的比值作為目標(biāo)手語(yǔ)單詞起始幀的后驗(yàn)概率，根據(jù)后驗(yàn)概率分布，構(gòu)建起始幀備選集。

2) 在結(jié)束幀識(shí)別過(guò)程中，由于完整手語(yǔ)短句在語(yǔ)法上包括主語(yǔ)、謂語(yǔ)、賓語(yǔ)，同一人表達(dá)語(yǔ)速平穩(wěn)，因此將起始幀備選集各幀作為步驟2)搜索的起點(diǎn)，沿時(shí)間軸向后搜索三分之一總幀長(zhǎng)。然后按照步驟1)在搜索范圍內(nèi)構(gòu)建目標(biāo)手語(yǔ)結(jié)束幀備選集。

3) 因?yàn)樾枰紤]所還原手語(yǔ)單詞應(yīng)符合人們觀察認(rèn)知習(xí)慣，所以在步驟1)、步驟2)識(shí)別出的起始幀前、結(jié)束幀后各取一幀作為過(guò)渡幀，與識(shí)別結(jié)果組合還原完整目標(biāo)手語(yǔ)單詞。

3　手語(yǔ)識(shí)別實(shí)驗(yàn)與結(jié)果分析

本文選擇的實(shí)驗(yàn)素材(http://marathon.csee.usf.edu/ASL/)滿足低分辨率視頻識(shí)別實(shí)驗(yàn)要求。視頻分辨率為24位，184×176；視頻流幀率為15.00 fps；視頻比特率為436 kbps。該手語(yǔ)視頻數(shù)據(jù)集由136條機(jī)場(chǎng)出行常用手語(yǔ)短句的視頻序列組成，分為動(dòng)詞、名詞兩大類共10組手語(yǔ)單詞。本文實(shí)驗(yàn)識(shí)別結(jié)果如表1所示。

表1　實(shí)驗(yàn)仿真結(jié)果

在相同手語(yǔ)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，本文提出的方法與文獻(xiàn)[13]相比較，識(shí)別結(jié)果：完整正確手語(yǔ)單詞增加21個(gè)，錯(cuò)誤手語(yǔ)單詞減少1個(gè)，消除了手語(yǔ)單詞殘缺干擾。鄭韡等[14]利用數(shù)據(jù)手套采集10種美國(guó)單詞的動(dòng)態(tài)手勢(shì),其平均識(shí)別率為87%。本文采用的方法識(shí)別效果與之相當(dāng)，但低分辨率攝像機(jī)拍攝與數(shù)據(jù)手套采集方式比較，在外部設(shè)備成本與用戶體驗(yàn)方面具有一定的優(yōu)勢(shì)。

4　結(jié)　語(yǔ)

本文針對(duì)手語(yǔ)識(shí)別在低分辨率視頻條件下遇到的兩個(gè)難題展開研究，在識(shí)別過(guò)程中結(jié)合手語(yǔ)手勢(shì)內(nèi)在特性，提高識(shí)別效率。并與國(guó)內(nèi)外的相關(guān)成果進(jìn)行比較，證明本文提出手語(yǔ)識(shí)別方法的有效性。在進(jìn)一步工作中，尋找描述目標(biāo)區(qū)域各部分之間層次關(guān)系的有效特征，解決左右手之間位置關(guān)系不明顯、頭部和手部邊界重合問(wèn)題，提高識(shí)別效率。

[1] Fookes C, Lin F,Chandran V,et al. Evaluation of image resolution and super-resolution on face recognition performance[J].Journal of Visual Communication and Image Representation,2012,23(1):75-93.

[2] Xiang Ma,Junping Zhang,Chun Qi.Hallucinating face by position-patch[J].Pattern Recognition,2010,43(6):2224-2236.

[3] Yu Hu,KinMan Lam,Guoping Qiu,et al.From local pixel structure to global image super-resolution:A new face hallucination framework[J].IEEE Transactions on,Image Processing,2011,20(2):433-445.

[4] Zhen Lei,Ahonen T,Pietikainen M,et al.Local frequency descriptor for low-resolution face recognition[C]//IEEE International Conference on,Automatic Face & Gesture Recognition and Workshops, 2011:161-166.

[5] Jae Young Choi,Yong Man Ro,Plataniotis K N.Boosting color feature selection for color face recognition[J].IEEE Transactions on,Image Processing,2011,20(5):1425-1434.

[6] 張彤,趙瑩雪.基于膚色與邊緣檢測(cè)及排除的手勢(shì)識(shí)別[J].軟件導(dǎo)刊,2012,11(7):151-152.

[7] Vasilis Papadourakis,Antonis Argyros.Multiple objects tracking in the presence of long-term occlusions[J].Computer Vision and Image Understanding,2010,114(7):835-846.

[8] 林水強(qiáng),吳亞?wèn)|,陳永輝.基于幾何特征的手勢(shì)識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(2):636-640.

[9] 楊波,宋曉娜,馮志全,等.復(fù)雜背景下基于空間分布特征的手勢(shì)識(shí)別算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(10):1841-1848.

[10] 姜華強(qiáng),潘紅.基于關(guān)鍵幀的多級(jí)分類手語(yǔ)識(shí)別研究[J].計(jì)算機(jī)應(yīng)用研究,2010,27(2):491-493.

[11] 肖曉燕.歐美手語(yǔ)語(yǔ)言學(xué)研究[J].中國(guó)特殊教育,2011(8):41-46.

[12] 張良國(guó),高文,陳熙霖，等.面向中等詞匯量的中國(guó)手語(yǔ)視覺識(shí)別系統(tǒng)[J].計(jì)算機(jī)研究與發(fā)展,2006,43(3):476-482.

[13] Nayak S,Sarkar S,Loeding B.Automated extraction of signs from continuous sign language sentences using Iterated Conditional Modes.[C]//IEEE Conference on,Computer Vision and Pattern Recognition, 2009:2583-2590.

[14] 鄭韡,沈旭昆.基于連續(xù)數(shù)據(jù)流的動(dòng)態(tài)手勢(shì)識(shí)別算法[J].北京航空航天大學(xué)學(xué)報(bào),2012,38(2):273-279.

SIGN LANGUAGE RECOGNITION METHOD BASED ON LOW RESOLUTION VIDEO

Yan Yan1Liu Rong2

1(College of Educational Information and Technology,Hubei Normal University,Huangshi 435002,Hubei,China)2(CollegeofPhysicalScienceandTechnology,CentralChinaNormalUniversity,Wuhan430079,Hubei,China)

In practical environment,there are a lot of recognition requirements in regard to low resolution sign language video,but only relatively limited discrimination information are contained,thus the recognition efficiency is low.In light of this,we proposed a sign language recognition method.Based on the extraction of target area using real-time skin colour feature,the method calculates two recognition feature values of centroid and boundary chain code of target area,uses dynamic time warping algorithm to recognise the starting frame and ending frame of hand gestures in turn,and restores the sign language words in combination with recognition results.In experiment using the public sign language dataset of the University of South Florida,the use of the proposed method has been compared with current method.The correctly recognised sign language words were increased by 21,and the wrong words was decreased by 1.It eliminated the interference of crippled sign language words,and this proved the effectiveness of the method.

Sign language recognitionDynamic time warpingDigital image processing

2015-03-25。國(guó)家社會(huì)科學(xué)基金項(xiàng)目(12BTQ038)。嚴(yán)焰，助教，主研領(lǐng)域：人機(jī)交互，圖像處理。劉蓉，副教授。

TP3

A

10.3969/j.issn.1000-386x.2016.09.036