李若月 錢(qián)強(qiáng) 張瀚文

摘 要：為了對(duì)非固定樣式的手寫(xiě)表格文檔進(jìn)行批量識(shí)別處理，實(shí)現(xiàn)自動(dòng)錄入功能，首先通過(guò)空表識(shí)別生成單元格信息，分析版面結(jié)構(gòu)；其次對(duì)圖片進(jìn)行去噪、傾斜校正、二值化等處理，對(duì)手寫(xiě)內(nèi)容進(jìn)行分割；最后搭建識(shí)別手寫(xiě)字符的卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，最終實(shí)現(xiàn)的識(shí)別系統(tǒng)能對(duì)不同格式的手寫(xiě)表格進(jìn)行識(shí)別并生成數(shù)據(jù)格式文件?；诳毡碜R(shí)別得到單元格信息的手寫(xiě)表格識(shí)別系統(tǒng)能對(duì)不同樣式的表格進(jìn)行批量識(shí)別處理，且通過(guò)CNN搭建識(shí)別模型，手寫(xiě)漢字也能被識(shí)別，使系統(tǒng)通用性更好，便于應(yīng)用擴(kuò)展。

關(guān)鍵詞：手寫(xiě)漢字識(shí)別；表格識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；識(shí)別系統(tǒng)

DOI：10. 11907/rjdk. 191307

中圖分類(lèi)號(hào)：TP303 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）005-0017-04

Abstract： In order to carry on the batch recognition processing to the non-fixed style handwritten documents and realize the function of automatic input， at first， the cell structure is generated by identifying the empty table， and the layout structure is analyzed. Then， the image is processed by denoising， skew correction， binarization， and the handwritten content is segmented. Finally， a convolutional neural network for handwritten character recognition is built. The experimental results show that the recognition system can recognize different handwritten forms and generate data format files. The handwritten form recognition system based on recognizing blank table and getting cell information can recognize different forms in batches， and the recognition model is set up by CNN， so handwritten Chinese characters can be recognized， which increases the generality of the system and easiness for application.

Key Words： handwritten Chinese character recognition； form recognition； convolutional neural network； recognition system

0 引言

紙質(zhì)表格是日常生活工作中應(yīng)用非常廣泛的文檔類(lèi)型，其功能多樣、形式各異。為實(shí)現(xiàn)管理信息化，將紙質(zhì)表格上的信息轉(zhuǎn)換為電子數(shù)據(jù)是企業(yè)、單位的必要選擇。傳統(tǒng)人工數(shù)據(jù)錄入方法整理紙質(zhì)表格耗費(fèi)大量人力，且效率低下、成本高昂。尤其是手寫(xiě)表格，由于每個(gè)人字跡不一，加大了人工錄入工作量，并且錄入錯(cuò)誤率也較高。雖然已有自動(dòng)表格錄入系統(tǒng)，但這些系統(tǒng)多用于如發(fā)票等具有固定形式的表格，且識(shí)別對(duì)象多為手寫(xiě)數(shù)字，難以對(duì)其進(jìn)行推廣應(yīng)用。

虞飛等[1]設(shè)計(jì)了一種通用機(jī)打發(fā)票識(shí)別系統(tǒng)，使用傾斜檢測(cè)的方法對(duì)表格進(jìn)行處理，采用統(tǒng)計(jì)數(shù)字投影的方法識(shí)別數(shù)字；李彬等[2]提出一種特征目標(biāo)自動(dòng)識(shí)別表格，通過(guò)對(duì)感興趣的區(qū)域進(jìn)行檢測(cè)，以此識(shí)別一張完整的考核測(cè)評(píng)表。但是上述系統(tǒng)只能針對(duì)具有特定或相似格式的表格進(jìn)行識(shí)別處理，是一種通過(guò)提取表格線(xiàn)完成模板匹配[3]的簡(jiǎn)單的表格識(shí)別方法。文獻(xiàn)[4]提出了表格數(shù)據(jù)識(shí)別處理輸出規(guī)則概念，成功研發(fā)出一種手寫(xiě)表格數(shù)字識(shí)別系統(tǒng)；Coüasnon等[5]提出一種根據(jù)預(yù)定義模型對(duì)表格進(jìn)行分類(lèi)識(shí)別處理的方法；Watanabe等[6]提出通過(guò)引入分類(lèi)樹(shù)獲取版面結(jié)構(gòu)并識(shí)別多種表格文檔圖像布局結(jié)構(gòu)的方法；Kieninger[7]提出輸入單詞邊界框信息，再輸出文本塊邏輯單元，用于標(biāo)識(shí)表格環(huán)境和單元格；Zanibbi等[8]通過(guò)建立能定義表格的物理和邏輯結(jié)構(gòu)檢測(cè)表格；文獻(xiàn)[9]提出通過(guò)交點(diǎn)特征和交點(diǎn)軌跡法對(duì)表格單元進(jìn)行提取的方法。

除金融等行業(yè)具有固定格式的手寫(xiě)表格外，在人事登記、醫(yī)療、教育等領(lǐng)域還有其它手寫(xiě)表格。這些表格文檔數(shù)量大、形式不固定，而且待識(shí)別內(nèi)容不僅有手寫(xiě)數(shù)字，還有識(shí)別難度更大的手寫(xiě)漢字。為擴(kuò)大應(yīng)用范圍，手寫(xiě)表格的錄入、管理以及數(shù)據(jù)存儲(chǔ)有重大研究意義。

表格自動(dòng)錄入系統(tǒng)通常由4部分組成：表格分析、單元格提取、單元格內(nèi)容識(shí)別、數(shù)據(jù)錄入。由于本文研究對(duì)象不只局限于具有固定格式的表格，因此分析表格版面結(jié)構(gòu)成為系統(tǒng)工作基礎(chǔ)。一個(gè)表格文檔由不同大小、位置的單元格組成，通過(guò)分析表格版面結(jié)構(gòu)，可以得到需要識(shí)別的單元格位置。在單元格提取階段使用位置信息提取其內(nèi)容，采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）進(jìn)行識(shí)別，最終將得到的結(jié)果生成數(shù)據(jù)格式文件，以便后期數(shù)據(jù)管理及系統(tǒng)推廣應(yīng)用。本文系統(tǒng)流程如圖1所示。

1 表格信息生成

現(xiàn)有表格識(shí)別軟件通常先進(jìn)行圖像處理，再進(jìn)行表格版面結(jié)構(gòu)分析，從而完成表格類(lèi)型判斷[10]。由于現(xiàn)實(shí)中的手寫(xiě)表格類(lèi)型多樣、應(yīng)用廣泛，若采用該方法，僅能識(shí)別、處理少數(shù)固定形式的表格文檔，難以擴(kuò)大應(yīng)用范圍。本文采取生成表格信息的方法完成表格類(lèi)型判斷，并得到其位置信息，該過(guò)程可通過(guò)空白表格識(shí)別完成。

空白表格一般含有兩種類(lèi)型的單元格：有印刷文字的標(biāo)題單元格與待人工填寫(xiě)的單元格。在獲取含需要識(shí)別手寫(xiě)內(nèi)容的單元格過(guò)程中，主要難點(diǎn)在于手寫(xiě)漢字或數(shù)字提取。因此本文首先依次判斷每個(gè)單元格內(nèi)是否含有文字，從而確定其屬性，即單元格類(lèi)型，并將其記錄。

根據(jù)上述判斷，識(shí)別并記錄每個(gè)標(biāo)題單元格的印刷內(nèi)容，從而生成數(shù)據(jù)文件各標(biāo)題欄。與此同時(shí)，記錄每個(gè)標(biāo)題單元格對(duì)應(yīng)的待提取內(nèi)容單元格位置。內(nèi)容單元格的位置用二元組表示，用于描述其所在行及在該行的位置。定義代碼如下所示：

//記錄標(biāo)題格的屬性

int type_num；//表格的標(biāo)題數(shù)目

//記錄內(nèi)容單元格對(duì)應(yīng)的標(biāo)題和位置

int type；//內(nèi)容單元格對(duì)應(yīng)標(biāo)題

int x，y；//內(nèi)容單元格位置信息

2 表格處理

2.1 圖片預(yù)處理

一般情況下，表格圖片可通過(guò)拍照、掃描等方式得到，而設(shè)備、環(huán)境光線(xiàn)等諸多因素會(huì)影響最終成像圖片質(zhì)量，使圖片留存噪點(diǎn)。噪點(diǎn)是由圖像中亮度或顏色隨機(jī)變化引起的，會(huì)給圖像帶來(lái)錯(cuò)誤或多余信息，造成圖像識(shí)別困難。

為了去除圖像中的噪點(diǎn)，本文采用中值濾波法對(duì)表格圖像進(jìn)行處理。中值濾波是一種非線(xiàn)性平滑濾波，用待處理的像素及其鄰近的若干像素組成一個(gè)領(lǐng)域，將領(lǐng)域中的像素按照灰度等級(jí)進(jìn)行排序，選擇序列中值作為輸出像素值以代替原像素值。其抑制效果佳，可以基本保持畫(huà)面清晰度[11]。

在進(jìn)行光學(xué)掃描時(shí)，由于環(huán)境、光線(xiàn)等客觀原因，可能導(dǎo)致掃描的圖像位置不正，同樣會(huì)影響后期圖像識(shí)別效果。尤其對(duì)于表格文檔來(lái)說(shuō)，如果表格框線(xiàn)傾斜會(huì)對(duì)框線(xiàn)檢測(cè)和單元格提取造成極大影響， 因此需進(jìn)行圖像校正。

本文采用透視變換（Perspective Transformation）的方法對(duì)表格圖像進(jìn)行角度校正[12]。透視變換可以將原始圖像投影到一個(gè)新的視平面，通過(guò)變換矩陣可以將任意一個(gè)四邊形變換為長(zhǎng)方形。經(jīng)去噪和角度校正后的圖像與原始圖像對(duì)比如圖2所示。

通過(guò)攝像頭得到的圖片一般為彩色圖像，需要對(duì)其進(jìn)行灰度化處理。在RGB型彩色圖像中，若每一個(gè)像素點(diǎn)的3種顏色成分值相等，則為灰度圖像，其值也稱(chēng)為灰度值?；叶葓D像和彩色圖像一樣，可以描述圖像整體、局部亮度與色度等級(jí)分布及特征。對(duì)獲得的灰度圖像進(jìn)行二值化處理，以便后期檢測(cè)與框線(xiàn)提取。圖像二值化指將圖像上各像素點(diǎn)灰度值設(shè)置為0或255，使整個(gè)圖像呈現(xiàn)黑白分明的效果。二值化算法即取一個(gè)閾值，圖像任一像素點(diǎn)陰影值高于閾值，則為黑色；陰影值低于閾值，則為白色。

常用全局二值化法極易受光線(xiàn)影響，因?yàn)殚撝倒潭?，如圖像有陰影，該區(qū)域則會(huì)出現(xiàn)全黑。因此本文采用自適應(yīng)二值化法處理圖像，其每一個(gè)像素點(diǎn)比對(duì)的閾值根據(jù)其鄰域其余各像素點(diǎn)灰度值獲得，因此處理后的圖片受環(huán)境光線(xiàn)影響更小[13]。二值化后的圖像如圖3所示。

2.2 單元格檢測(cè)及提取

表格圖片經(jīng)過(guò)上述預(yù)處理后，即可得到含有待識(shí)別單元格的表格圖像，在單元格提取過(guò)程中，將檢測(cè)并提取表格框架及單元格框線(xiàn)。本文采用數(shù)學(xué)形態(tài)學(xué)中腐蝕運(yùn)算和膨脹運(yùn)算進(jìn)行表格框線(xiàn)檢測(cè)[14]。

腐蝕運(yùn)算的目的是求圖像交集，即實(shí)現(xiàn)圖像白色部分“領(lǐng)域縮小”，使圖像光亮部分縮小，黑暗部分放大。膨脹運(yùn)算為求圖像并集，即實(shí)現(xiàn)圖像白色部分“領(lǐng)域擴(kuò)大”，使效果圖擁有比原圖更大的白色區(qū)域。通過(guò)先腐蝕后膨脹的方法，去掉表格中除了框線(xiàn)以外的其它部分，即可留下各單元格及其框線(xiàn)，提取表格框架。處理后的圖像如圖4所示。

3 內(nèi)容識(shí)別

3.1 分割

提取完單元格后可對(duì)單元格內(nèi)容進(jìn)行識(shí)別。字符識(shí)別的關(guān)鍵在于分割，分割準(zhǔn)確度在一定程度上決定識(shí)別成功率。投影法是進(jìn)行字符分割最簡(jiǎn)單的方法，其原理是將二值化后的圖像在垂直方向進(jìn)行投影，根據(jù)投影后得到的極值判斷邊界以進(jìn)行分割[15]。本文使用水平投影和垂直投影實(shí)現(xiàn)字符分割。首先對(duì)圖像進(jìn)行橫向掃描，分割出每一行的內(nèi)容；再對(duì)每一行進(jìn)行縱向掃描，即可得到每一個(gè)字符。

由于投影法效果不是特別理想，可能會(huì)出現(xiàn)多個(gè)字符粘連的情況，因此本文還采用連通域分割法對(duì)字符進(jìn)行分割優(yōu)化。連通域分割法針對(duì)無(wú)粘連字符有很好的分割效果[16]。由于字符間沒(méi)有粘連，每個(gè)字符都是一個(gè)單獨(dú)的連通域。首先在二值化圖像中找到一個(gè)黑色像素，并將所有與之相連的黑色像素遍歷標(biāo)記，即可判斷出每個(gè)字符的分割位置。分割后的字符如圖5所示。

3.2 識(shí)別

在手寫(xiě)數(shù)字識(shí)別方面已積累諸多研究成果，例如模糊邏輯方法[17]、粗糙集方法[18]、統(tǒng)計(jì)方法[19]、梯度與曲率方法[20]等。由于手寫(xiě)表格文檔存在手寫(xiě)漢字，且手寫(xiě)漢字識(shí)別難度較大，因此本文采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)分割后的字符進(jìn)行識(shí)別。識(shí)別手寫(xiě)漢字的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。12層網(wǎng)絡(luò)從上往下進(jìn)行，每一層的輸入為上一層的輸出。輸入層大小為96×96×1，使用32個(gè)3×3的卷積核對(duì)輸入圖像卷積，然后進(jìn)行大小為2×2的池化。手寫(xiě)數(shù)字識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)與漢字識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)相比較為簡(jiǎn)單，設(shè)置輸入層大小為28×28×1，使用32個(gè)4×4的卷積核對(duì)輸入進(jìn)行5層網(wǎng)絡(luò)的卷積即可。本系統(tǒng)使用的訓(xùn)練數(shù)據(jù)為mnist數(shù)據(jù)集和HWDB1.1數(shù)據(jù)集。

4 實(shí)驗(yàn)與應(yīng)用

在實(shí)際問(wèn)題中的手寫(xiě)表格文檔樣式各異，應(yīng)用場(chǎng)景也不同，沒(méi)有如發(fā)票等固定格式表格的普適性。但若能實(shí)現(xiàn)手寫(xiě)表格自動(dòng)識(shí)別與錄入，將會(huì)大幅提高工作效率。因此本文通過(guò)實(shí)驗(yàn)，驗(yàn)證系統(tǒng)對(duì)不同類(lèi)型表格識(shí)別的有效性。對(duì)某簽到表進(jìn)行識(shí)別處理，最終得到的數(shù)據(jù)格式文件如圖7所示。

為了驗(yàn)證系統(tǒng)對(duì)各種類(lèi)型表格的處理效果，本文選取圖書(shū)借閱登記表進(jìn)行實(shí)驗(yàn)。首先識(shí)別空表，得到單元格描述信息。待批量處理的手寫(xiě)表格圖像如圖8所示。

將上述圖像輸入本文系統(tǒng)中，通過(guò)圖片預(yù)處理、表格框線(xiàn)檢測(cè)與提取、字符分割、手寫(xiě)字符識(shí)別等過(guò)程，最終得到數(shù)據(jù)格式文件如圖9所示。

由實(shí)驗(yàn)結(jié)果可以看出，本系統(tǒng)對(duì)不同格式的表格圖像均能進(jìn)行批量處理，并得到標(biāo)準(zhǔn)格式數(shù)據(jù)文件。本系統(tǒng)可生成為xlsx格式文件，根據(jù)不同的需求，還可對(duì)輸出文件格式進(jìn)行修改。

5 結(jié)語(yǔ)

本文設(shè)計(jì)了一個(gè)手寫(xiě)表格文檔識(shí)別系統(tǒng)。通過(guò)識(shí)別空表得到單元格信息，因此可以對(duì)同類(lèi)型表格進(jìn)行批量識(shí)別。從實(shí)驗(yàn)結(jié)果可以看到，本文系統(tǒng)可對(duì)不同類(lèi)型的表格進(jìn)行批量處理和識(shí)別，并得到相應(yīng)數(shù)據(jù)格式文件。針對(duì)沒(méi)有粘連的字符，系統(tǒng)識(shí)別率達(dá)95%以上，能夠滿(mǎn)足一般實(shí)際應(yīng)用的需要。下一步研究?jī)?nèi)容是如何提高分割算法準(zhǔn)確率和識(shí)別模型可靠性。

參考文獻(xiàn)：

[1] 虞飛，皮佑國(guó). 通用機(jī)打商業(yè)發(fā)票識(shí)別系統(tǒng)研究與實(shí)現(xiàn)[J]. 信息技術(shù)，2013（6）：36-40.

[2] 李彬，趙連軍， 劉帥. 表格圖像特征目標(biāo)識(shí)別技術(shù)的研究[J]. 科技視界，2016（23）：105-106.

[3] 蔣東玉，田英鑫. 圖像中表格轉(zhuǎn)換成HTML表格的研究與實(shí)現(xiàn)[J]. 科學(xué)技術(shù)創(chuàng)新，2014（24）：172-172.

[4] 王行榮，應(yīng)俊. 手寫(xiě)表格識(shí)別系統(tǒng)研究和實(shí)現(xiàn)[J]. 計(jì)算機(jī)科學(xué)， 2008，35（6）：268-271.

[5] COüASNON B，LEMAITRE A. Handbook of document image processing & recognition[M]. Berlin：Springer，2014.

[6] WATANABE T，LUO Q，SUGIE N. Layout recognition of multi-kinds of table-form documents[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17（4）：432-445.

[7] KIENINGER T. Table structure recognition based on robust block segmentation[C]. Proceedings of the International Society for Optical Engineering， 1998：22-32.

[8] ZANIBBI R， BLOSTEIN D， CORDY J R. A survey of table recognition[J]. International Journal on Document Analysis and Recognition， 2004， 7（1）：1-16.

[9] 劉昱. 印刷體表格識(shí)別的研究[D]. 哈爾濱：哈爾濱工程大學(xué)， 2013.

[10] 張慧. 基于模型驅(qū)動(dòng)的表格識(shí)別的研究[D]. 濟(jì)南：山東大學(xué)， 2011.

[11] 高浩軍，杜宇人.中值濾波在圖像處理中的應(yīng)用[J].電子工程師，2004（8）：35-36.

[12] LO R C，TSAI W H. Perspective-transformation-invariant generalized Hough transform for perspective planar shape detection and matching[J]. Pattern Recognition，1997，30（3）：383-396.

[13] 江明，劉輝，黃歡.圖像二值化技術(shù)的研究[J].軟件導(dǎo)刊，2009，8（4）：175-177.

[14] 戴青云，余英林.數(shù)學(xué)形態(tài)學(xué)在圖象處理中的應(yīng)用進(jìn)展[J].控制理論與應(yīng)用，2001（4）：478-482.

[15] 楊曉娟，宋凱.基于投影法的文檔圖像分割算法[J].成都大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，28（2）：139-141.

[16] 郭麗， 孫興華. 一種基于連通域的版面分割方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2003（5）：105-107.

[17] HOUGH P V C. Method and means for recognizing complex patterns[P] .US Patent 3069654， 1962-12-16.

[18] GONZALEZ R C， WOODS R E. Digital image processing[M]. Second Edition. Beijing：Publishing House of Electronics Industry， 2006.

[19] WONG K Y，CASEY R G，WAHL F M. Document analysis system[J]. IBM Journal of Research and Development， 1982， 26（6）：647-656.

[20] SHI M，F(xiàn)UJISAWA Y，WAKABAYASHI T，et al. Handwritten numeral recognition using gradient and curvature of gray scale image[J]. Pattern Recognition， 2002， 35（10）：2051-2059.

（責(zé)任編輯：江 艷）