倪訓博，高雅利，丁剛毅，金乾坤，倪訓然，李紅松，李鵬，劉棟

(1.北京理工大學軟件學院，北京100081;2.北京理工大學計算機學院，北京100081;3.洛陽理工學院電氣工程與自動化系，河南洛陽100124;4.哈爾濱醫(yī)科大學結(jié)核病防治院，黑龍江哈爾濱150081)

手語是通過人體的上肢運動來表達和傳遞信息的肢體語言，對聾人等聽覺有障礙的殘疾人士參與社會活動起到了十分重要的作用.手語也是由人體上肢運動衍生出來的、具有規(guī)律性的動作語言.因而從不同的語言與手語的共同特性角度出發(fā)，依據(jù)人體上肢運動的限制條件和手語所表達的語言信息，構(gòu)建人體上肢運動的描述框架是十分重要的，而手指動作是其中重要的組成環(huán)節(jié).對于靜態(tài)手形的標記，國內(nèi)外研究者一直以來都采用本國手語進行研究［1］.這些靜態(tài)手形的標記體系是根據(jù)本國手語的特征構(gòu)建的，不同國家的不同形態(tài)的手語手形標記體系之間無法相互對應，因而上述靜態(tài)手形的標記體系擴展性很差.本文依據(jù)人手解剖構(gòu)造模型，提出了基于手指動作的新的標記體系，在此基礎(chǔ)上對手形動作進行了系統(tǒng)的分類和相應標記規(guī)則;本研究依據(jù)人體上肢運動的生物力學模型，將不同手語的動作標記體系進行統(tǒng)一，這是不同手語標記統(tǒng)一到同一標記框架下不可或缺的重要環(huán)節(jié).

對不同國家的手語標記體系，本文提出了新的、統(tǒng)一的手語標記記號體系;并從改變各手指指形的動作和改變手指之間相互關(guān)系的動作來考慮手指動作的標記記號:1)將拇指和拇指以外的動作分別進行處理，2)將拇指以外的動作和改變指形的動作的標記為主特征，相應的動作為主要動作，其他動作為次要動作，3)對于主要動作的指形組合及其指關(guān)節(jié)的動作變化進行了標記，4)在動作標記的仿真實驗的標記列表中，按照拇指以行為序，其他手指以列為序進行手指動作的標記組合.根據(jù)上述原則對手語指動作進行了標記和歸納總結(jié)，最終以列表的形式給出了新標記體系中各手語指動作的仿真實驗結(jié)果，并對實驗結(jié)果進行了有效性的分析.

1 基于人手解剖結(jié)構(gòu)模型的手指動作標記記號

本文參考了人手的解剖構(gòu)造模型，本文的指1～5分別表示拇指、食指、中指、無名指、小指.將拇指(指1)、食指(指2)、中指(指3)、無名指(指4)、小指(指5)的伸展和彎曲、外展和內(nèi)收、拇指(指1)的旋轉(zhuǎn)動作進行排列組合，總結(jié)出手語手指運動的所有可能情況，圖1為手指各關(guān)節(jié)運動簡圖.

圖1 手指各關(guān)節(jié)的運動Fig.1 Movement of the joints of the fingers

圖1中用空心的圓圈表示手指關(guān)節(jié)，用黑色的實現(xiàn)表示手指的指骨，由上述的抽象符號圖形描述的手指運動動作可以變化出手語的各種手形.以圖1(b)所描述的手指伸展動作為例，手指運動的初始狀態(tài)用實線表示，完成狀態(tài)則用虛線表示.圖1(b)中手形的變化是依靠承載著手指指骨的手指各關(guān)節(jié)來實現(xiàn)的，因此指關(guān)節(jié)的標記對于手語手形乃至手語指運動都是至關(guān)重要的.掌指(metacarpophalangeal joint，MP)、中心端指間關(guān)節(jié)(proximal interphalangeal joint，PIP)、末梢指間關(guān)節(jié)(distal interphalangeal joint，DIP)都存在于指2～5中.MP關(guān)節(jié)能夠做伸展和彎曲的動作，也可以做以指3為中心參照的內(nèi)收和外展的動作.指2～5內(nèi)收和外展的動作是以指3為中心參照，其他手指向指3靠攏或遠離的動作.指3的回轉(zhuǎn)動作分為:向橈骨方向轉(zhuǎn)動的動作稱為橈骨彎曲，向尺骨方向轉(zhuǎn)動的動作稱為尺骨彎曲.PIP關(guān)節(jié)和DIP關(guān)節(jié)只有伸展和彎曲的動作.

在指 1中分別有腕掌關(guān)節(jié)(carpometacarpal joint，CM)、MP以及指節(jié)間關(guān)節(jié)(interphalangeal joint，IP)，共3種關(guān)節(jié).CM關(guān)節(jié)的轉(zhuǎn)動動作是與手掌在同一平面上進行的，根據(jù)旋轉(zhuǎn)的方向可分為:內(nèi)收和外展.與手掌的在同一平面方向上的內(nèi)收和外展的手指動作又可分為尺側(cè)內(nèi)收和橈側(cè)外展;而與手掌平面垂直方向上的內(nèi)收和外展的手指動作又可分為掌側(cè)內(nèi)收和掌側(cè)外展.MP關(guān)節(jié)和IP關(guān)節(jié)在CM關(guān)節(jié)的相應的平面上僅有伸展和彎曲的手指動作.

2 食指、中指、無名指、小指的動作分類

對于手指動作的標記，本文按照如下的原則進行手指動作的分類與標記:

1)指1雖然與其他的4個手指有相同數(shù)量的關(guān)節(jié)，由于指1關(guān)節(jié)自由度較大和連接位置的不同，因此指1的獨立運動的類別較多.所以在指2～5動作的基礎(chǔ)上，還要對指1附加一些特有的動作.并把指1的指動作做為其他4個手指的起始標記.

2)本文將前述的動作分為:改變指形的動作(如伸展和彎曲)，改變指間關(guān)系的動作(如內(nèi)收和外展)，并根據(jù)這些動作的不同組合來確定手指動作的類別.

依據(jù)上述原則本文先對指2～5的動作進行編排分類.

2.1 改變指形的動作

本文將改變指形的動作的基準狀態(tài)設(shè)定為MP關(guān)節(jié)、PIP關(guān)節(jié)和DIP關(guān)節(jié)完全伸展開的狀態(tài)，并根據(jù)上述關(guān)節(jié)的彎曲程度分為鉤狀、半角、角形、半握拳、握拳:

1)鉤狀:MP關(guān)節(jié)保持伸展狀態(tài)，PIP關(guān)節(jié)和DIP關(guān)節(jié)呈現(xiàn)彎曲狀態(tài).

2)半角:PIP關(guān)節(jié)和DIP關(guān)節(jié)保持伸展狀態(tài)，MP關(guān)節(jié)呈現(xiàn)半彎曲狀態(tài).

3)角形:PIP關(guān)節(jié)和DIP關(guān)節(jié)保持伸展狀態(tài)，MP關(guān)節(jié)呈現(xiàn)完全彎曲狀態(tài).

4)半握拳:MP關(guān)節(jié)呈現(xiàn)半彎曲狀態(tài)，PIP關(guān)節(jié)和DIP關(guān)節(jié)也呈現(xiàn)半彎曲狀態(tài).

5)握拳:MP關(guān)節(jié)呈現(xiàn)彎曲狀態(tài)，PIP關(guān)節(jié)和DIP關(guān)節(jié)也呈現(xiàn)完全彎曲狀態(tài).

需要注意的是，MP關(guān)節(jié)的伸展狀態(tài)和完全彎曲狀態(tài)之間，存在的MP關(guān)節(jié)半彎曲狀態(tài)仍然可以細分出更多的彎曲狀態(tài)，這是MP關(guān)節(jié)的靈活自由度較大所致，這是此類運動難于控制的原因，但也是非特定人手語手指動作產(chǎn)生差異性的原因之一，但在標準的手語詞典中這樣不規(guī)范的動作是不存在的，本文對不規(guī)范的手指動作做符號化的表示.

2.2 改變手指間相互關(guān)系的動作

在指間相互關(guān)系的動作中，本文將手指內(nèi)收成閉合的狀態(tài)(指3做為中心參照)做為基準狀態(tài)，因此指間相互關(guān)系的動作可分為外展和交叉:

1)外展:2根以上的手指從基準狀態(tài)向外與手掌同平面的方向向外伸展，即遠離指3的動作，不是橈骨彎曲或尺骨彎曲的方向.

2)交叉:指2和指3由初始的伸展狀態(tài)，指2做內(nèi)收的動作，指3做橈骨彎曲的動作交叉搭在指2上，指3的PIP關(guān)節(jié)和DIP關(guān)節(jié)也呈現(xiàn)略微彎曲的狀態(tài).

3 拇指動作的分類

指1動作同指2～5的分類一樣，也分為改變指形的動作和改變手指間相互關(guān)系的動作.

3.1 改變拇指形的動作

指1的基準狀態(tài)為所有關(guān)節(jié)均完全伸展，CM關(guān)節(jié)向尺骨內(nèi)收方向回轉(zhuǎn)，手掌為伸展狀態(tài).根據(jù)MP關(guān)節(jié)和IP關(guān)節(jié)的不同彎曲狀態(tài)，可分為鉤狀、半握拳、握拳:

1)鉤狀:CM關(guān)節(jié)與手掌同平面的方向向外伸展，MP關(guān)節(jié)伸展，IP關(guān)節(jié)呈現(xiàn)彎曲狀態(tài).

2)半握拳:CM關(guān)節(jié)與手掌同平面的方向半內(nèi)收，MP關(guān)節(jié)和IP關(guān)節(jié)垂直于掌方向半彎曲狀態(tài).

3)握拳:CM關(guān)節(jié)與手掌同平面的方向完全內(nèi)收，MP關(guān)節(jié)和IP關(guān)節(jié)垂直于掌方向呈彎曲狀態(tài).

與指2～5的情況一樣，呈半握拳狀態(tài)的指動作的許多細節(jié)不規(guī)范，本文對此忽略不計并且不做符號化的表示.

3.2 改變手指間相互關(guān)系的動作

改變手指間相互關(guān)系的動作，將基準狀態(tài)做為初始狀態(tài)，可分為橈側(cè)外展、掌側(cè)內(nèi)收、掌側(cè)外展、交叉、接觸:

1)橈側(cè)外展:CM關(guān)節(jié)向橈骨方向外轉(zhuǎn)，MP關(guān)節(jié)和IP關(guān)節(jié)呈現(xiàn)伸展狀態(tài).

2)掌側(cè)外展:CM關(guān)節(jié)沿手掌同平面的方向向外伸展，MP關(guān)節(jié)和IP關(guān)節(jié)呈現(xiàn)伸展狀態(tài).

3)掌側(cè)內(nèi)收:CM關(guān)節(jié)沿手掌同平面的方向向里內(nèi)收，MP關(guān)節(jié)和IP關(guān)節(jié)呈現(xiàn)伸展狀態(tài).

4)交叉:指1與指2～5之間相互接觸的動作，指1的CM關(guān)節(jié)沿掌同平面的方向向里內(nèi)收，MP關(guān)節(jié)彎曲向掌心靠攏，指1壓在指2～5之上.

5)接觸:指1與指2～5中的1根或幾根手指靠在一起，其中分別包括2種情況:指1呈半彎曲狀態(tài)與指2～5中的1根或幾根手指相接觸的情況;指1掌側(cè)外展與指2～5中的1根或幾根手指相接觸的情況.

這里需要注意的是，可以有半彎曲狀態(tài)的指1和握拳狀態(tài)的指2～5相接觸的情況存在，也可以有掌側(cè)外展狀態(tài)的指1和半彎曲狀態(tài)的指2～5相接觸的情況存在.此外，指1和指5做交叉動作，分離時CM關(guān)節(jié)和MP關(guān)節(jié)的彎曲程度很大，該手指動作比較接近握拳動作，因而該動作不歸類于交叉動作，僅歸類于握拳動作.

4 手指動作的標記符號體系

根據(jù)以上手指動作的分類規(guī)則，本文提出了新的手指動作標記體系.本文用每個動作的英文首字母或縮寫來標記該手指動作，一些特別的動作本文使用習慣性的特征字母來表示;指動作完整地完成，本文用相應的大寫字母進行標記，指動作處于半完成狀態(tài)，本文用相應的小寫字母進行標記.手指動作的標記及其實例總結(jié)在表1中.

表1 手指基本動作的標記分類及實例Table 1 Classification of finger basic actions，and examples of their notation description

本文將上述指動作的記號，按照手指序號的順序進行組合來形成新的標記體系規(guī)則，具體標記的規(guī)則如下:

1)手指的序號是由小到大，從左到右進行標記的，每個指動作的記號均在相應手指序號之后.

2)改變手指關(guān)系的指動作記號標記在改變指形的動作記號之后.

3)伸展動作(E)不做標記.

4)對于“鉤狀”、“半角”、“角形”、“半握拳”的動作中，有2根及以上的手指動作是相同的，本文將這些具有相同動作的手指用左括號“(”標記這些手指序號.

5)單一手指的彎曲本文做為不規(guī)范的動作，不進行標記.只有全部手指彎曲本文用“C”記號進行標記，手指記號左側(cè)用左括號“(”進行標記，手指記號右側(cè)用“C”記號標記.

6)指1的交叉動作用“1X”記號標記，其余交叉指用“1X”記號和右括號“)”括起來表示.

7)接觸動作用“T”進行標記.指2345與指1相互接觸時，指1呈現(xiàn)“半角”動作狀態(tài)時用“c”記號進行標記;指1呈現(xiàn)“半握拳”動作狀態(tài)時用“B”記號進行標記.其余接觸指用“T”記號和“)”記號括起來表示.

圖2 手指2～5主要運動的排列組合Fig.2 Movement of the joints of the fingers 2～5

本文根據(jù)上述規(guī)則，將手指2～5主要運動的排列組合總結(jié)在圖2中.

5 手指動作分類的有效性分析與仿真實驗

根據(jù)前述的不依賴于語言的手指動作標記原則，本文對不同國家的手語語言標記進行了計算機仿真實驗和有效性分析.本文從目前一些具有代表性的手語語言標記做為實驗對象，其中包括美國手語的 Stokoe［2］標記19種，F(xiàn)riedman［3］標記41種，Liddel等［4］標記22種，Sutton［5］標記40種，David M P［6］標記40種，瑞典手語Bergman［7］標記33種，日本手語神田［8］標記54種和本名［9］標記37種，中國手語倪［10］基于手語中國手語字典總結(jié)的手形標記78種.

5.1 手語手形動作的標記實驗和有效性分析

圖3 手形圖形標記一覽表Fig.3 Chart of hand shape iconic description

由于不同的手語有重復和相似的手形，其中美國手語的5個標記體系有16種重復和相似的手形動作，瑞典手語的標記體系有3種，日本的標記體系有17種，約有42種手形動作在2種標記體系內(nèi)重復，中國手語中有4種手形動作較為相似.本文將上述手形的計算機仿真標記列在了圖3中.

上述表中共包含73種手形動作，這些手形動作類別均是按照人手解剖結(jié)構(gòu)模型和手指動作的生物力學模型的特性總結(jié)出來的.

5.2 可能殘留的手形動作

圖3中包含手形動作占不同的手語標記體系所能發(fā)現(xiàn)手形動作的5%，在剩余的95%的手形動作中應包括除美、瑞、日、中其他國家手語的手形動作，由于目前其他國家手語數(shù)據(jù)和標記體系難于獲得，因而僅做了美、瑞、日、中4國手語標記進行了抽象的仿真實驗.由于手語表達信息的靈活性，有很大可能地殘留有更多的手形動作.

手指3和4做獨立運動時，會產(chǎn)生出很多復雜的手形.這是由手部神經(jīng)復雜的控制結(jié)構(gòu)所造成的.本文以指4為例，將仿真實驗結(jié)果列在了圖4中.由于人手指運動的復雜性所致，產(chǎn)生了很多的殘留手形，因而今后更為細致地總結(jié)整理殘留手形指運動的研究是必要的.

圖4 手指4和5的主要動作的排列組合Fig.4 Hand shapes involved in the matrix of fingers 4 and 5 in primary action

6 結(jié)束語

本文依據(jù)手和腕的解剖構(gòu)造模型和生物力學模型所提出的標記體系，可以將不同國家的手語標記體系統(tǒng)一在同一標記體系的框架之下.為今后將全部手語進行同一標記提供了一種良好的基礎(chǔ)性研究的借鑒，同時為手語詞典的檢索以及計算機手語合成等領(lǐng)域提供了支持性的基礎(chǔ)研究.

［1］倪訓博，趙德斌，姜峰，等.中國手語音韻標記的建立、實現(xiàn)及其有效性驗證［J］.計算機學報，2009，32(12): 438-2453.

NI Xunbo，ZHAO Debin，JIANG Feng，et al.Establishment，realization and effectiveness verification for phonological representation of Chinese sign language［J］.Chinese Journal of Computers，2009，32(12):438-2453.

［2］STOKOE W C.Sign language structure［M］.Silver Spring: Linstok Press Inc，1979:1-365.

［3］FRIEDMAN L A.Formational properties of American sign language［M］.New York:New Perspectives on American，1977:11-87.

［4］LIDDEL S K，JOHNSON R E.American sign language:the phonological base［C］//Silver:Linstok Press Inc Spring，1989:195-277.

［5］SUTTON V.Sign writing for everyday use［M］.Boston: Spiral Bind，1981:1-405.

［6］DAVID M.P.Sonority and syllable structure in American sign language［J］.Linguistic Inquiry，1992，23(3): 407-442.

［7］BERGMAN B.Studies in Swedish sign language［Z］.Stockholm:University of Stockholm，1982:169-195.

［8］KANDA.Sign language abbreviation notations of Japanese sign language and handshapes system using phonology notations［C］//Summaries of East Sea Industry Academy.Tokyo，Japan，1986，7:55-70.

［9］HONNNA H S K，KANDA T Y，ODA K H，et al.Notations of sign language［C］//Proceedings of Japanese Sign Language Academic Research Association.Tokyo，Japan，1985，7:2-11.

［10］倪訓博，趙德斌，高文，等.非特定人手語數(shù)據(jù)生成及其有效性檢測［J］.軟件學報，2010，21(5):1153-1170.

NI Xunbo，ZHAO Debin，GAO Wen，et al.Data generation and its validity inspection of signer-independent sign language［J］.Journal of Software，2010，21(5):1153-1170.