由于在移動(dòng)數(shù)碼設(shè)備（例如智能手機(jī)、掌上電腦、學(xué)習(xí)機(jī)等）以及平板電腦（Tablet PC）上的巨大應(yīng)用價(jià)值，聯(lián)機(jī)手寫漢字識(shí)別技術(shù)在近20多年來一直是模式識(shí)別領(lǐng)域中的一個(gè)重要研究課題， 經(jīng)過多年的研究工作，目前國內(nèi)外許多研究機(jī)構(gòu)（例如漢王、清華大學(xué)、Microsoft等）所研制的系統(tǒng)已經(jīng)能較好地識(shí)別與筆順無關(guān)、常規(guī)連筆書寫的手寫體漢字，不少系統(tǒng)已經(jīng)可以達(dá)到98%以上的識(shí)別率。但高自由度的草書識(shí)別及無約束的手寫詞組的識(shí)別仍然是未解決的問題，而這兩個(gè)難題恰好是構(gòu)造更自然、更快捷、更流暢的手寫輸入方式的核心技術(shù)，是使手寫輸入法變得更實(shí)用、更具競爭力的關(guān)鍵所在，因而具有較大的研究價(jià)值。本文介紹了我們在微軟亞洲研究院高校合作研究項(xiàng)目資助下所開展的相關(guān)研究工作及取得的一些研究結(jié)果。

一、聯(lián)機(jī)手寫漢字識(shí)別的預(yù)處理技術(shù)

預(yù)處理的目的是減少數(shù)據(jù)采集過程中的噪聲、規(guī)范書寫形狀、減少不同書寫風(fēng)格的差異性，以便提高識(shí)別性能。對聯(lián)機(jī)手寫漢字識(shí)別而言，我們采用的預(yù)處理技術(shù)主要包括：

·線性規(guī)一化：給定一個(gè)實(shí)時(shí)書寫的手寫漢字樣本，可以用比值線性方法將它被規(guī)一化到一個(gè)固定的N×N范圍內(nèi)（一般N取值64）。

·重采樣：重采樣的目的是減少在聯(lián)機(jī)數(shù)據(jù)中兩個(gè)連續(xù)點(diǎn)的距離的變化和一個(gè)筆劃的采樣點(diǎn)的數(shù)目變化，具體做法是每一筆劃的數(shù)據(jù)點(diǎn)序列被等距離（2～5個(gè)像素）重新采樣。

·增加虛擬筆劃：虛構(gòu)的筆劃是指書寫過程中，在起筆狀態(tài)下，那些筆尖的運(yùn)動(dòng)的軌跡，這些信息沒有被原始的字符樣本所記錄。一個(gè)虛構(gòu)筆劃即是從一個(gè)落筆狀態(tài)結(jié)束點(diǎn)到下一個(gè)落筆狀態(tài)下的開始點(diǎn)的一條直線。

·非線性規(guī)范化：首先將聯(lián)機(jī)字符樣本映射到一幅位圖，然后由點(diǎn)密度或線密度非線性均衡方法推導(dǎo)得出的變換函數(shù)，在利用該變換函數(shù)將聯(lián)機(jī)字符序列轉(zhuǎn)化為新的規(guī)范化樣本序列。

上述預(yù)處理技術(shù)中，虛擬筆劃可以訓(xùn)練識(shí)別器更好地識(shí)別草書連筆的手寫文字；重采樣技術(shù)能有效去除書寫過程中的抖動(dòng)噪聲，可以使手寫漢字變得平滑。非線性規(guī)范化技術(shù)可以減少不同書寫風(fēng)格之間的變形，是漢字識(shí)別中的一個(gè)十分重要的預(yù)處理技術(shù)，當(dāng)然，我們的研究還發(fā)現(xiàn)，如果不用非線性規(guī)范化技術(shù)而采用彈性網(wǎng)格技術(shù)，一樣可以達(dá)到對不同書寫風(fēng)格的手寫漢字進(jìn)行規(guī)范化處理的效果，有時(shí)能比非線性規(guī)范化效果更好。

二、四種用于聯(lián)機(jī)識(shí)別的特征提取方法

特征提取是手寫文字識(shí)別的關(guān)鍵環(huán)節(jié)之一，經(jīng)過多年的研究，目前方向特征已經(jīng)成為手寫文字識(shí)別的常用特征及主流特征之一，其中典型的代表有方向線素特征、Gabor特征、梯度（Gradient）特征、方向變化特征等。我們對比研究了目前在手寫漢字識(shí)別中比較先進(jìn)的四種方向特征提取方法，分別是梯度特征、4方向Gabor特征、8方向特征、方向變化特征。上述四種特征之中，8方向特征及方向變化特征可直接在聯(lián)機(jī)樣本上提取。梯度特征及Gabor特征原本是用來進(jìn)行脫機(jī)手寫文字識(shí)別，并已證實(shí)能獲得很高的識(shí)別性能（通常使用Gabor+ MQDF+MCE或Gradient + MQDF+MCE對863的規(guī)范脫機(jī)手寫漢字庫HCL2000的識(shí)別率已能達(dá)到98％以上），但它們同時(shí)也可用來對聯(lián)機(jī)手寫數(shù)據(jù)提取特征，以解決筆順無關(guān)的聯(lián)機(jī)手寫識(shí)別問題，但特征提取前需要先將聯(lián)機(jī)數(shù)據(jù)映射為二維位圖。

我們使用與香港大學(xué)聯(lián)合采集的聯(lián)機(jī)手寫漢字?jǐn)?shù)據(jù)進(jìn)行測試（該數(shù)據(jù)庫版權(quán)屬香港大學(xué)所有），總共含300個(gè)不同書寫者在掌上電腦上無限制自由書寫的手寫體漢字（其中一部分樣本具有草寫風(fēng)格），每套樣本含3755類漢字。使用其中200套進(jìn)行訓(xùn)練，其余100套用作測試，對四種特征分別用 LDA（Linear Discriminant Analysis）降維，采用MQDF作為分類器，識(shí)別結(jié)果如表1所示。

表1 四種特征提取方法在聯(lián)機(jī)識(shí)別中的性能對比

特征 8方向特征 8方向變化特征 Gabor特征 梯度特征

識(shí)別率 96.05% 95.53％ 88.29% 93.73%

表1顯示8方向特征取得了最好的識(shí)別性能，盡管Gabor特征及梯度特征性能沒有8方向特征優(yōu)良，但它們具有對筆順不敏感的優(yōu)點(diǎn)，因此可以結(jié)合8方向特征構(gòu)造綜合集成系統(tǒng)，各種特征可以結(jié)合不同的分類器設(shè)計(jì)方法（例如聯(lián)機(jī)特征可使用HMM、DTW等分類器，脫機(jī)特征可使用LDA+MQDF+MCE或LDA+LVQ分類器方法），然后進(jìn)行多分類器的集成，相信集成后的分類系統(tǒng)識(shí)別性能還能得到較大的提高。

三、基于改進(jìn)的LDA及核LDA的手寫文字識(shí)別方法

線性判決分析（LDA，Linear Discriminant Analysis）是模式識(shí)別中一種優(yōu)良的特征壓縮及特性選擇方法，已經(jīng)成功地應(yīng)用到手寫文字識(shí)別之中，成為大多數(shù)漢字識(shí)別系統(tǒng)中的一個(gè)重要模塊。LDA的目的是尋找在最小均方誤差意義下最能夠區(qū)分各類數(shù)據(jù)的投影方法，從而達(dá)到最小化類內(nèi)距離及最大化類間距離。在LDA中，類內(nèi)散度矩陣Sw和類間散度矩陣Sb的定義如（1）：

解決兩類及多類問題的KLDA算法可以參閱文獻(xiàn)（Zhen-Long BAI and Qiang HUO， A Study On the Use of 8-Directional Features For Online Handwritten Chinese Character Recognition， Proc. ICDAR2005， 2005.）及文獻(xiàn)（S. Mika， G. Ra¨tsch， J. Weston， B. Scho¨lkopf， and K.-R.Mu¨ ller， “Fisher Discriminant Analysis with Kernels，” Proc. IEEE Int’l Workshop Neural Networks for Signal Processing IX， pp. 41-48， Aug. 1999.）以往的KLDA算法大多僅僅用來解小類別小規(guī)模問題，原因是對大類別模式識(shí)別問題，KLDA很難進(jìn)行訓(xùn)練，例如若訓(xùn)練1034類漢字，每類漢字含50個(gè)樣本，此時(shí)KLDA中的Gram矩陣大小將為51700×50，由于存儲(chǔ)量及計(jì)算量巨大，此時(shí)KLDA幾乎無法工作而難以實(shí)際應(yīng)用。為解決此問題，我們提出了結(jié)合MLDA及KLDA的兩級(jí)分類方法，其示意圖如圖1所示。該方法的基本思想是使用MLDA及最小歐式距離分類器（MEDC）作為第一級(jí)預(yù)分類器，分別選擇一小部分樣本來訓(xùn)練一組KLDA子投影矩陣，這樣KLDA涉及到的Gram矩陣維數(shù)將大大減少。然后我們設(shè)計(jì)了一系列判決策略來對各個(gè)子投影矩陣的輸出進(jìn)行智能評判后，給出最終的識(shí)別結(jié)果。

圖1 基于MLDA+KLDA的兩級(jí)手寫體漢字識(shí)別方法

初步的實(shí)驗(yàn)數(shù)據(jù)使用1034類×120套樣本，其中100套用于訓(xùn)練，20套用于測試，在KLDA中使用了多項(xiàng)式核函數(shù)(r取值為2)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 使用MLAD、MLDA+KLDA方法對手寫漢字的識(shí)別結(jié)果

識(shí)別方法 MEDC LDA+MEDC MLDA+MEDC MLDA+KLDA

識(shí)別率 92.77% 94.26% 94.81% 96.14%

從表2可以看到，我們提出的MLDA通過補(bǔ)償LDA估計(jì)誤差而提高了LDA的性能，而基于KLDA的兩級(jí)分類方法比傳統(tǒng)的LDA方法提高了大約2個(gè)百分點(diǎn)，表明這種基于兩級(jí)架構(gòu)的KLDA方法是可以成功應(yīng)用到大類別手寫漢字的識(shí)別中，并能取得較佳的識(shí)別性能。

此外，我們也將漢字識(shí)別中使用得最好的MQDF分類器方法推廣到了基于核方法的高維空間（我們稱之為KMQDF），詳細(xì)推導(dǎo)出了KMQDF的構(gòu)造過程，并初步成功應(yīng)用于解決小類別模式識(shí)別問題，也獲得了不錯(cuò)的識(shí)別效果。但對于大類別問題，KMQDF在實(shí)際應(yīng)用時(shí)仍然會(huì)面臨巨大訓(xùn)練樣本帶來的訓(xùn)練難題，限于篇幅，本文將不作詳細(xì)介紹。

四、手寫中文詞組識(shí)別

手寫文字識(shí)別技術(shù)在單字識(shí)別方面已經(jīng)取得了極大的發(fā)展，但至今也還有很多問題尚待解決，無約束手寫詞組的識(shí)別問題就是其中之一。無約束手寫詞組識(shí)別是指在一個(gè)沒有框格規(guī)定的區(qū)域無約束地隨意書寫詞組。從現(xiàn)在已經(jīng)開始應(yīng)用的手寫識(shí)別產(chǎn)品來看，手寫識(shí)別市場尤其是中文手寫識(shí)別市場現(xiàn)在還處在手寫字符識(shí)別階段，暫時(shí)還沒有比較成熟的無約束手寫詞組識(shí)別產(chǎn)品出現(xiàn)。而無約束手寫詞組識(shí)別與手寫字符識(shí)別相比，有著如下明顯的優(yōu)勢：

·更自然的手寫輸入方式。人類手寫字符的自然習(xí)慣是想到哪兒寫到哪兒，而每個(gè)詞組中的每個(gè)字符通常都是同時(shí)從腦海中浮現(xiàn)出來，因此無約束地一次寫完整個(gè)詞組相比在框格內(nèi)逐一書寫單個(gè)字符更加自然。

·更快捷的手寫輸入方式。由于用戶在無約束手寫詞組時(shí)，中間可以連筆不用停頓，因此比單字符手寫輸入更快捷。另外，由于有了詞組的字符之間的相關(guān)信息，人類在識(shí)別省略了筆劃的草書詞組時(shí)比分開來識(shí)別單個(gè)字符更容易，這也讓我們有信心使計(jì)算機(jī)能夠更容易地識(shí)別人類快速書寫出來的草書詞組，從而達(dá)到更高的手寫輸入效率。

·更流暢的手寫輸入方式。人們在手寫輸入時(shí)，不喜歡被打斷，由于有了前兩點(diǎn)的優(yōu)勢，無約束手寫詞組輸入必將比單字符輸入更加流暢自然。

在手寫單字符識(shí)別技術(shù)已經(jīng)較為成熟之后，手寫漢字詞組識(shí)別成為現(xiàn)在亟待研究解決的熱點(diǎn)問題（例如清華大學(xué)近期已經(jīng)開始開展了這方面的工作），但國內(nèi)外這方面的研究報(bào)道還不多。我們在微軟亞洲研究院高校合作研究基金的資助下，也開始了這方面的工作，由于國內(nèi)外還沒有公開的標(biāo)準(zhǔn)手寫漢字詞組庫可供研究，因此我們收集整理了15套共260，000個(gè)手寫詞組樣本，這些樣本由30個(gè)不同的書寫者分別在WinCE掌上電腦（7套）及使用書寫屏的Windows XPPC機(jī)（8套）上實(shí)時(shí)采集，每套樣本含常用二字詞組14822個(gè)、三字詞組1195個(gè)、四字詞組1349個(gè)(如果時(shí)間及條件許可，我們還將繼續(xù)采集更多的手寫詞組樣本)。詞組識(shí)別的難點(diǎn)在于如何進(jìn)行有效的文字切分，我們計(jì)劃使用的詞組識(shí)別解決辦法是一種基于可信度驗(yàn)證模型的遞進(jìn)式切分搜索自動(dòng)識(shí)別方法，其基本思想來自于文獻(xiàn)（Zhi-Dan Feng， Qiang Huo， Confidence guided progressive search and fast match techniques for high performance Chinese/English OCR， ICPR 2002， 3: 89- 92， 2002.）中處理中英文混排OCR的一種嶄新方法。如圖2所示，當(dāng)輸入一個(gè)未知詞組時(shí)，首先對該詞組進(jìn)行垂直投影直方圖做預(yù)切分，得到切分圖（Segmentation Graph），然后通過對搜索圖中的每條弧所包含的字符塊進(jìn)行識(shí)別驗(yàn)證并得到相應(yīng)的可信度，每當(dāng)有一條弧的可信度低于一個(gè)預(yù)先定義的閾值時(shí)，就對這條弧內(nèi)的字符塊再次進(jìn)行分割或合并處理，同時(shí)整個(gè)切分圖就會(huì)動(dòng)態(tài)重建一次，然后不斷地通過這種方式進(jìn)行最優(yōu)路徑搜索，最后同時(shí)得到切分及識(shí)別結(jié)果，再經(jīng)過語言模型處理（例如使用詞匯庫或N-Gram統(tǒng)計(jì)語言模型），可以得到最終的詞組識(shí)別結(jié)果，相關(guān)的實(shí)驗(yàn)工作還在開展，我們將另文介紹取得的研究結(jié)果。

圖2 一種基于可信度驗(yàn)證模型的遞進(jìn)式切分搜索詞組識(shí)別方法

五、應(yīng)用討論

聯(lián)機(jī)手寫漢字識(shí)別的一個(gè)直接及傳統(tǒng)的應(yīng)用就是構(gòu)造手寫輸入法，例如手寫輸入已經(jīng)是目前許多智能手機(jī)的重要功能之一，也是Windows Mobile平臺(tái)及Tablet PC的一個(gè)標(biāo)準(zhǔn)配置組件。我們也基于梯度特征及LDA算法構(gòu)造了一個(gè)初步的聯(lián)機(jī)手寫漢字識(shí)別演示系統(tǒng)（該系統(tǒng)用Java跨平臺(tái)語言實(shí)現(xiàn)，詳見網(wǎng)頁http://218.192.168.156:8080/ohccr/ charrec.html，運(yùn)行時(shí)需要Java Runtime Environment 1.5以上版本的支持），已經(jīng)能較好地識(shí)別筆順無關(guān)的手寫體漢字。目前該系統(tǒng)還沒有加上虛擬筆劃等一些草書識(shí)別技術(shù)及先進(jìn)的結(jié)合聯(lián)機(jī)及脫機(jī)識(shí)別引擎的多分類器集成技術(shù)，我們將來在適當(dāng)時(shí)候會(huì)利用Java平臺(tái)實(shí)現(xiàn)這些技術(shù)并在該頁面上公布。

我們還構(gòu)想了一個(gè)聯(lián)機(jī)手寫識(shí)別技術(shù)在計(jì)算機(jī)輔助漢字書寫學(xué)習(xí)中的嶄新應(yīng)用——漢字聽寫學(xué)習(xí)，初步的原型網(wǎng)頁見http://218.192.168.156:8080/ call/dictation.asp，（該頁面同樣用Java平臺(tái)實(shí)現(xiàn)，運(yùn)行時(shí)需要JRE支持）。 使用者可以進(jìn)行在線漢字聽寫，然后系統(tǒng)利用聯(lián)機(jī)識(shí)別技術(shù)自動(dòng)評判使用者書寫的字符是否正確，并給出反饋。該技術(shù)已經(jīng)集成到我們正在設(shè)計(jì)的一個(gè)對外漢語書寫教學(xué)網(wǎng)站之中。近年來，隨著中國社會(huì)經(jīng)濟(jì)建設(shè)的飛速發(fā)展，漢語教學(xué)在世界各地受到越來越多的重視，國外的漢語學(xué)習(xí)者日益增多，盡管目前國內(nèi)外有不少漢語教學(xué)網(wǎng)站或軟件，但我們的學(xué)習(xí)系統(tǒng)利用低存儲(chǔ)量的活動(dòng)漢字編碼技術(shù)及動(dòng)態(tài)反走樣還原顯示技術(shù)、基于聯(lián)機(jī)識(shí)別的漢字聽寫技術(shù)以及漢字書寫質(zhì)量評價(jià)技術(shù)，具有特色和創(chuàng)新。

六、結(jié)束語

我們認(rèn)為，高自由度的草書識(shí)別及無約束的手寫詞組的識(shí)別是構(gòu)造更自然、更快捷、更流暢的手寫輸入方式的核心技術(shù)，相信通過國內(nèi)外同行的努力，在不遠(yuǎn)的將來，手寫輸入法會(huì)變得更實(shí)用、更高效、更具競爭力；此外，手寫漢字/詞組識(shí)別技術(shù)在計(jì)算機(jī)教育、智能機(jī)器人等領(lǐng)域中還可帶來更多的創(chuàng)新應(yīng)用。