彭喻杰　戴　永　謝建斌　李文濤

(湘潭大學(xué)信息工程學(xué)院　湖南 湘潭 411105)

?

基于文字書寫教學(xué)的字母連寫筆畫分析方法

彭喻杰戴永謝建斌李文濤

(湘潭大學(xué)信息工程學(xué)院湖南 湘潭 411105)

摘要字母連寫智能指導(dǎo)是文字書寫教學(xué)系統(tǒng)重要研究內(nèi)容。針對字母連寫筆畫結(jié)構(gòu)復(fù)雜多變，單體字母書寫筆跡分析方法無法直接套用于字母連寫筆畫分析的現(xiàn)狀，提出基于圖域時域關(guān)鍵點(diǎn)分割筆畫的字母連寫筆畫分析方法。分別從圖域、時域提取關(guān)鍵點(diǎn)；融合兩域關(guān)鍵點(diǎn)；按二次曲線等三類標(biāo)準(zhǔn)曲線筆段，在兩域關(guān)鍵點(diǎn)向量中進(jìn)行筆段分割；通過與三類標(biāo)準(zhǔn)曲線的擬合建立筆段系數(shù)向量模板；依據(jù)實(shí)寫筆畫的各類關(guān)鍵點(diǎn)與系數(shù)向量重構(gòu)的擬合曲線的貼近度實(shí)現(xiàn)連寫筆畫分析。實(shí)驗(yàn)表明，該方法關(guān)鍵點(diǎn)誤提率、筆段誤提率、實(shí)時跟蹤時間及貼近度等重要指標(biāo)均滿足實(shí)用要求。

關(guān)鍵詞聯(lián)機(jī)書寫指導(dǎo)字母連寫筆畫分析圖域時域關(guān)鍵點(diǎn)融合筆段分割與擬合

AN ANALYSIS METHOD OF LETTER LIGATURE STROKES BASED ON CHARACTERS HANDWRITING TEACHING

Peng YujieDai YongXie JianbinLi Wentao

(School of Information Engineering,Xiangtan University,Xiangtan 411105,Hunan,China)

AbstractIntelligent guidance of letter ligatures is an important research content of characters handwriting tutoring system. The stroke structures of letter ligatures are complicated and changeable,the analysis method of single letter handwriting chirography can’t be directly set for letter ligatures strokes analysis. Aiming at this status quo,in this paper we propose a method of letter ligature strokes analysis,which is based on stroke-segmentation of key points in diagram-temporal domain. It is consisted of the following techniques: to extract key points from diagram and temporal domains respectively; to integrate the key points in two domains,according to three kinds of standard curved stroke segments such as quadratic curve etc. to divide the stroke segments in vectors of key points in two domains; to set up stroke segments coefficient vector template by fitting with three kinds of standard curves; to realise the ligature strokes analysis according to the closeness of the fitting curves reconstructed by the various key points of actual handwritten strokes and the coefficient vectors. Experiment demonstrates that the important indexes of the proposed method,including key points error pen-lifting rate,stroke segments error pen-lifting rate,real-time tracking time and closeness,etc.,all satisfy the practical requirement.

KeywordsOnline handwriting guidanceLetter ligature strokes analysisDiagram-temporal domainsIntegration of key pointsStroke segments dividing and fitting

0引言

學(xué)習(xí)單詞為字母串結(jié)構(gòu)的文種，字母連寫學(xué)習(xí)是必修內(nèi)容，也是當(dāng)前文字書寫自動教學(xué)系統(tǒng)的研究熱點(diǎn)和難點(diǎn)。現(xiàn)有文字書寫自動教學(xué)系統(tǒng)的教學(xué)內(nèi)容主要是單體文字或字母的書寫方法。筆畫分析方法大致分兩類：一類是整字法，即先記錄下文字的全體筆畫，后對記錄筆畫逐一分析[1-3]；另一類是筆畫法，即每一筆畫寫完便對該筆畫書寫效果進(jìn)行分析[4-6]。前者有益于從文字的整體效果角度來評判筆畫書寫質(zhì)量，后者指導(dǎo)更為精細(xì)，可避免一錯再錯情況。但總體而言，單體文字與字母筆畫結(jié)構(gòu)的復(fù)雜度遠(yuǎn)不及字母連寫筆畫，因此不能直接將單體文字和字母的筆畫分析方法套用字母連寫筆畫分析。字母連寫筆畫盡管復(fù)雜多變，但構(gòu)成單詞的字母串結(jié)構(gòu)具有相對穩(wěn)定性，加上人們在長期書寫過程中形成的連筆共識，使得連寫筆跡仍是有規(guī)可循。有鑒于此，本文以英文字母連寫為例，依據(jù)文獻(xiàn)[7]提供的英文書寫字帖，面向聯(lián)機(jī)文字書寫自動教學(xué)提出圖域時域關(guān)鍵點(diǎn)分割的字母連寫筆畫分析方法。在圖域中獲得筆段起止點(diǎn)、交點(diǎn)鏈向量，通過時域得到x、y方向極點(diǎn)、正弦π點(diǎn)向量，構(gòu)建兩域關(guān)鍵點(diǎn)融合向量，通過融合向量將連寫筆畫分割形成有序筆段模板。筆段模板設(shè)定為二次曲線、正弦曲線、直線三大類。模板筆段經(jīng)最小二乘法獲取最佳擬合曲線的系數(shù)向量，依據(jù)實(shí)寫筆段關(guān)鍵點(diǎn)與系數(shù)向量重構(gòu)的擬合曲線的貼近度進(jìn)行連寫筆畫分析。實(shí)驗(yàn)表明，關(guān)鍵點(diǎn)、筆段等誤提率達(dá)到實(shí)用要求。文獻(xiàn)[8，9]提出線元分割法及其應(yīng)用，對比分析，本文方法的筆段分割與擬合效果更好，更適用于字母連寫筆畫的書寫教學(xué)。文獻(xiàn)[10]為了回避筆段分割利用隱馬爾可夫模型研究無約束英文書寫模式的識別。文獻(xiàn)[11]通過建立書寫筆跡與速度模型識別手寫數(shù)字，兩種方法雖不針對字母書寫學(xué)習(xí)，但為筆畫信息處理提供了可借鑒的新思路。

1連寫結(jié)構(gòu)與筆段分類

按字母排序及筆畫連接方式，文獻(xiàn)[7]中字母二連結(jié)構(gòu)大致分為三大類。第一大類為斜連類，包括a/c/d/e/h/i/k/l/m/n/u等收筆上挑的字母與e的起筆相連，a/c/d/e/h/i/k/l/m/n/u等收筆上挑的字母，正好與i/j/m/n/p/r/s/t/u/v/w/x/y的起筆相連兩個子類；第二大類為橫連類，包括o/v/w與i/j/m/n/p/r/s/t/u/v/w/x/y橫連，以f/t為先或后字母的橫連兩個子類；第三大類為靠而不連，如“fa、kd、oc、ia、vg、xo”等本質(zhì)上互無連筆結(jié)構(gòu)，但熟練者常常進(jìn)行無規(guī)則連寫，“bi、cb、oh、ja、yh”等則完全不可進(jìn)行連寫。本文僅研究第一、二大類，多于兩字母的字母串均可分解為兩字母連寫結(jié)構(gòu)分析。

圖1(a)所示為按文獻(xiàn)[12]方法進(jìn)行前置處理后并疊加了標(biāo)注信息的“de”連寫筆跡圖，A為起點(diǎn)，沿箭頭方向行筆，以E為終點(diǎn)結(jié)束書寫；圖1(b)、(c)分別表示筆跡x、y方向的時域走向圖。筆畫完整結(jié)構(gòu)為非標(biāo)準(zhǔn)曲線，無法直接進(jìn)行完整的筆跡分析。比照范類曲線，該連寫筆畫可有序分割成五段范類曲線筆段，分別近似為橢圓筆段(A→B段)、直線筆段(B→Bx段)、拋物線筆段(Bx→C段)、橢圓筆段(C→D段)及拋物線筆段(D→E段)。在B點(diǎn)以上的上下筆跡存在重疊。

圖1　兩域筆跡與關(guān)鍵點(diǎn)圖

根據(jù)圖1分析，各類連寫筆畫的筆段擬似形狀及其數(shù)學(xué)模型結(jié)構(gòu)歸納為三大類：(1)二次曲線(包括橢圓類、橢圓弧類、拋物線等)，如圖2(a)所示a，o，d，k，e中的橢圓類筆段連寫示例；(2)正弦曲線類，如圖2(b)中x的連寫示例；(3)直線類。類別模糊的筆段提供多種擬合模板。

圖2　筆段結(jié)構(gòu)示例

2分析模板構(gòu)建

分析模板為連寫筆畫的標(biāo)準(zhǔn)書寫結(jié)構(gòu)經(jīng)關(guān)鍵點(diǎn)分割所產(chǎn)生筆段的擬合范類曲線，用系數(shù)向量表達(dá)。

2.1關(guān)鍵點(diǎn)向量

遵循任意連寫字母串有且僅有一條連寫筆畫的基本事實(shí)，討論對象限于連寫筆畫。圖域二維筆跡產(chǎn)生的關(guān)鍵點(diǎn)向量記為ΦG，時域單維筆跡產(chǎn)生的關(guān)鍵點(diǎn)點(diǎn)集記為ΦT。由ΦG、ΦT綜合生成的關(guān)鍵點(diǎn)向量記為ΦK。

極點(diǎn)運(yùn)用單調(diào)法生成。正弦π點(diǎn)生成方法：采用單調(diào)法獲得筆畫單調(diào)標(biāo)注向量，若存在某筆段的單調(diào)標(biāo)注向量滿足x、y方向單調(diào)性均保持不變，則過該筆段的兩端點(diǎn)求一條直線；若該直線與該筆段有且只有一個交點(diǎn)，則視該交點(diǎn)為筆畫x方向的正弦π點(diǎn)，存入φxsz。

為方便后續(xù)處理使Φt與ΦG同維，將Φt中每個關(guān)鍵點(diǎn)子向量各自增加在時域中缺省的坐標(biāo)元，相應(yīng)的向量記為ΦT。ΦT=[φxb,φxp,φxz,φyb,φyp,φyz]，φxb,φxp,φxz,φyb,φyp,φyz依次對應(yīng)φxbt,φxpp,φxsz,φybt,φypp,φysz。

按時序碼τ由小到大融合ΦG、ΦT得到融合的關(guān)鍵點(diǎn)向量ΦK=[φk(xi,yi,τi,θi),(i=0,1,…,m)]。

2.2筆段分割

筆段分割是指在ΦK中確定可提取筆段的起點(diǎn)與終點(diǎn)，一條被提取的筆段包含σ(σ≥2)個關(guān)鍵點(diǎn)。為了將無規(guī)則的連寫筆畫切分成易擬合的規(guī)范結(jié)構(gòu)曲線筆段，按“橢圓→正弦→橢圓弧→拋物線→直線”順序?qū)Ζ礙所包含的曲線筆段進(jìn)行擬合分割。

算法1筆段分割

輸入：ΦK

輸出：筆段關(guān)鍵點(diǎn)子向量Vcut

注釋：ΦK對應(yīng)的變量為Pk。code(m)表示筆段擬合類型碼，Vcutcode[]儲存被提取筆段擬合類型碼；Vcut[]存儲提取筆段子向量。函數(shù)進(jìn)行關(guān)鍵點(diǎn)重組PkRedistribution()，二次曲線、正弦曲線及直線的筆段分割分別由ConicPutIn()、SinusoidalPutIn()、LinePutIn()實(shí)現(xiàn)。

步驟

Step1i←0，t[]←0，k←0；

Step2pd.size()-t[k]≠0 ?是則順序執(zhí)行；否則轉(zhuǎn)Step6；

Step3j←0，Vcutcode[i]←code(1)，Vcut[i][j]←

ConicPutIn(pd[t[k]],pk[])，t[k]++；

Step4Pk[]←PkRedistribution(Pk[])；

Step5i++，轉(zhuǎn)Step2；

Step6k++，pxz.size()-t[k]≠0 ?是則順序執(zhí)行；否則轉(zhuǎn)Step8；

Step7j←0，Vcutcode[i]←code(2)，Vcut[i][j]←

SinusoidalPutIn(pxz[t],pk[]),t[k]++,轉(zhuǎn)Step4；

Step8Pk.size≥4?是則順序執(zhí)行；否則轉(zhuǎn)Step11；

Step9求取Pk中x、y方向單調(diào)標(biāo)注向量，存在連續(xù)4個關(guān)鍵點(diǎn)滿足(Dx[]∈ηx)and(Dy[]∈ηy)?是則順序執(zhí)行；否則轉(zhuǎn)Step11；

Step10j←0，Vcutcode[i]←code(3)，Vcut[i][j]←

ConicPutIn(pk[])；轉(zhuǎn)Step4；

Step11Pk.size≥3?是則順序執(zhí)行；否則轉(zhuǎn)Step14；

Step12求取Pk中x、y方向單調(diào)標(biāo)注向量，存在連續(xù)3個關(guān)鍵點(diǎn)滿足(Dx[]∈ηx)and(Dy[]∈ηy)?是則順序執(zhí)行；否則轉(zhuǎn)Step14；

Step13j←0，Vcutcode[i]←code(4)，Vcut[i][j]←

ConicPutIn(pk[])；轉(zhuǎn)Step4；

Step14j←0，Vcutcode[i]←code(5)，Vcut[i][j]←

Step15結(jié)束

2.3系數(shù)向量

3分析實(shí)現(xiàn)

實(shí)寫筆畫分析過程：求取實(shí)寫筆畫關(guān)鍵點(diǎn)并提取筆段關(guān)鍵點(diǎn)子向量，在提取筆段類型與模板筆段類型一致的條件下，將筆段關(guān)鍵點(diǎn)與對應(yīng)最佳擬合系數(shù)向量還原的規(guī)范曲線進(jìn)行貼近度分析。

實(shí)寫決定系數(shù)R:

(1)

表1　擬合貼近度的評價(jià)標(biāo)準(zhǔn)

4實(shí)驗(yàn)與分析

開發(fā)系統(tǒng)硬件主要配置：7英寸觸摸屏及S3C2440A，32bit ARM920T內(nèi)核及其控制器，64 MB NAND_FLASH,64 MB SDRAM等。軟件開發(fā)環(huán)境為VS2005，操作系統(tǒng)為Wince 5.0，開發(fā)語言為C++，輔助開發(fā)語言為MATLAB。四線格書寫，圖域?yàn)?0×80點(diǎn)陣，前置處理采用文獻(xiàn)[12]方法。以文獻(xiàn)[7] 中“he”連寫為例，其模板的各筆段擬合系數(shù)向量分別為：

圖3　實(shí)驗(yàn)結(jié)果分析

采用MATELAB求取書寫例字中模板筆畫筆段的曲線擬合系數(shù)向量，并采用計(jì)算決定系數(shù)R的方式判斷擬合貼近度的優(yōu)劣。“he”連寫筆點(diǎn)被順序分割為橢圓、正弦曲線、拋物線和直線筆段。

表3　實(shí)驗(yàn)效果參數(shù)

圖4為用戶在本指導(dǎo)系統(tǒng)實(shí)際書寫時系統(tǒng)教學(xué)效果截圖，(a)為連寫筆畫無結(jié)構(gòu)錯誤，系統(tǒng)給出綜合得分72。(b)為連寫筆畫有結(jié)構(gòu)錯誤，系統(tǒng)彈出指導(dǎo)意見“連寫字母O弧未封口或者出頭了，請按照標(biāo)準(zhǔn)書寫”，并同步語音播放該指導(dǎo)意見。

圖4　系統(tǒng)教學(xué)效果截圖

圖5為本文方法與文獻(xiàn)[8]方法的筆段擬合效果對比。文獻(xiàn)[7]利用線元進(jìn)行手繪圖形筆畫分割，圖示結(jié)果表明相對于聯(lián)機(jī)字母連寫筆畫的書寫指導(dǎo)，本文方法更合理，有明顯優(yōu)勢。

圖5　二種擬合方法擬合效果對比

5結(jié)語

本文方法已在文獻(xiàn)[13]系統(tǒng)中得到實(shí)用。字母連寫學(xué)習(xí)的難點(diǎn)為連寫筆畫，字母連寫自動教學(xué)的關(guān)鍵在于連寫筆畫自動教學(xué)的實(shí)現(xiàn)。本文主要工作與成果：(1)給出英文字母連寫結(jié)構(gòu)分類方法；(2)提出并實(shí)現(xiàn)圖域時域關(guān)鍵點(diǎn)分割字母連寫筆畫的策略；(3)應(yīng)用最小二乘法擬合筆段形成系數(shù)向量分析模板，通過模板重構(gòu)曲線與實(shí)寫筆跡的貼近度計(jì)算進(jìn)行筆畫分析。該方法為采用筆畫法進(jìn)行英文書寫自動教學(xué)提供了實(shí)用方法，也可借鑒于其他文種研究字母連寫自動教學(xué)。本文方法的改進(jìn)可借鑒文獻(xiàn)[10，11]。

參考文獻(xiàn)

[1] ZhiHui,Yun Xu,LiuShen Huang,et al.A Chinese Handwriting System with Automatic Error Detection[J].Journal of Software,2009,4(2):101-107.

[2] Yamaguchi T,Muranaka N,Tokumaru M.Evaluation of Online Handwritten Characters for Penmanship Learning Support System[C] // Proceedings of the 14th International Conference,HCI International 2011. Orlando,FL,USA: Human-Computer Interaction,2011: 121-130.

[3] Hammadi M,Bezine H,Njah S,et al.Towards an educational tool for Arabic handwriting learning[C]// Education and e-Learning Innovations (ICEELI),Sousse :2012 International Conference on,1-3 July 2012,IEEE,1(6): 1-6.

[4] 戴永,王心覺，張維靜，等.面向指導(dǎo)的自由式英文字母書寫跟蹤[J].湘潭大學(xué)自然科學(xué)學(xué)報(bào),2012,34(2):85-89.

[5] 陳定.點(diǎn)導(dǎo)法習(xí)字用具及其制造方法: 中國專利，CN20061015 7297.8[P].2008-06-11.

[6] 李東青.一種書寫式電子裝置進(jìn)行文字筆畫的校正方法：CN200710125 374. 6[P].2008-05-21.

[7] 龍恒充.英語手寫體鋼筆字帖·連寫訓(xùn)練[M].四川:四川出版集團(tuán)·天地出版社,2009.

[8] 王淑俠,高滿屯,齊樂華.基于二次曲線的在線手繪圖識別[J].西北工業(yè)大學(xué)學(xué)報(bào),2007,25(1):37-41.

[9] 王淑俠,王關(guān)峰,高滿屯,等.基于時空關(guān)系的在線多筆畫手繪二次曲線識別[J].模式識別與人工智能，2011，24(1)：82-89.

[10] Graves A， Liwicki M， Fernandez S，et al. A Novel Connectionist System for Unconstrained Handwriting Recognition[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2009,31(5):855-868.

[11] Kherallah M,Haddad L,Alimi A,et al. On-line handwritten digit recognition based on trajectory and velocity modeling[J].Pattern Recogniting Letters， 2008,29:580-594.

[12] 戴永，張維靜，孫廣武.基于文字書寫教學(xué)的筆跡噪聲處理[J].計(jì)算機(jī)工程與應(yīng)用，2014，50(14)：164-167.

[13] 戴永，劉任任，王求真，等.可聯(lián)網(wǎng)交互的多功能規(guī)定格式習(xí)字系統(tǒng)及方法：ZL201010149767.2[P].2010-09-01.

中圖分類號TP391

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.060

收稿日期：2014-09-01。湖南教育廳項(xiàng)目(13C914)；湖南省“十二五”重點(diǎn)學(xué)科建設(shè)項(xiàng)目。彭喻杰，實(shí)驗(yàn)師，主研領(lǐng)域：模式識別。戴永，教授。謝建斌，碩士生。李文濤，碩士生。