王景中， 孫　婷， 童立靖

(北方工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，北京 100144)

中英文混排扭曲文本圖像快速校正方法

王景中， 孫婷， 童立靖

(北方工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，北京 100144)

針對(duì)OCR在識(shí)別文本圖像時(shí)，由于扭曲造成的中英文混排文本圖像識(shí)別率不理想的情況，提出一種快速扭曲校正方法。圖像經(jīng)過(guò)預(yù)處理后，首先利用形態(tài)學(xué)膨脹定位文本行，得到各文本行上下邊界；分別對(duì)每個(gè)文本行參考垂直投影信息進(jìn)行文字切分，獲得字符包圍盒；然后根據(jù)中英文的不同特點(diǎn)在每個(gè)文本行中逐個(gè)對(duì)字符位置進(jìn)行校正，最終實(shí)現(xiàn)圖像重構(gòu)。實(shí)驗(yàn)結(jié)果表明，該方法校正速度快、精度高，對(duì)于中英文混排扭曲文檔圖像有較好地校正效果，校正后圖像OCR識(shí)別率有明顯提高。

中英文混排；扭曲文檔圖像；文本行提取；字符切分

光學(xué)字符識(shí)別(optical character recognition，OCR)是通過(guò)數(shù)碼設(shè)備采集圖像，高效地提取圖像中的文本信息，但其對(duì)采集到的圖像質(zhì)量要求很高，對(duì)已裝訂成冊(cè)的文檔或較厚的書(shū)籍進(jìn)行掃描或拍攝時(shí)，容易發(fā)生幾何變形，使采集到的文檔圖像發(fā)生扭曲，這種變形對(duì)OCR識(shí)別的效果有嚴(yán)重影響，需要對(duì)該種圖像進(jìn)行校正。隨著國(guó)際技術(shù)以及文化交流的發(fā)展，多語(yǔ)言文檔越來(lái)越普遍，高技術(shù)領(lǐng)域通常含有大量外文術(shù)語(yǔ)，多語(yǔ)言對(duì)照的文學(xué)著作與新聞也十分常見(jiàn)。在我國(guó)，尤其以中英文混排文檔最為常見(jiàn)。

近年來(lái)，國(guó)內(nèi)外對(duì)于扭曲文檔圖像的校正技術(shù)研究日趨增加。從校正方法上來(lái)講，主要分為基于3D模型的校正技術(shù)和基于2D圖像的校正技術(shù)。3D模型的獲取主要有兩種途徑：直接使用特殊設(shè)備進(jìn)行數(shù)據(jù)采集[1-2]和通過(guò)圖像扭曲特征進(jìn)行3D模型重建[3-6]。通過(guò)3D模型進(jìn)行校正能夠獲得理想的校正效果，但需要特殊設(shè)備或進(jìn)行復(fù)雜的數(shù)學(xué)建模計(jì)算，因此，基于3D模型的扭曲校正多作為研究，不易推廣應(yīng)用于實(shí)際設(shè)備?；?D圖像校正，可以分為：①基于文本線(xiàn)的處理[7-10]，這類(lèi)方法以文本行為最小單位，對(duì)其進(jìn)行擬合和拉伸，校正速度快，但對(duì)文字來(lái)說(shuō)，校正精度不高。②基于連通域的處理[11-13]，以字為校正最小單位，處理過(guò)程精細(xì)，相對(duì)基于文本線(xiàn)的校正方法而言較為耗時(shí)，但校正效果較好。

經(jīng)過(guò)分析知，基于2D的圖像校正技術(shù)具有較高的實(shí)際應(yīng)用性。其中，以字符為單位的校正方法能夠獲得更精準(zhǔn)的校正效果。國(guó)外對(duì)扭曲的英文文檔圖像校正研究日趨成熟，國(guó)內(nèi)對(duì)扭曲的中文文檔圖像的校正研究也在逐步增多。但是，應(yīng)用到中英文混排文檔圖像上不易獲得理想效果，其主要原因在于文字結(jié)構(gòu)特征不同。針對(duì)英文的校正方法，通過(guò)迭代地橫向合并相鄰連通域，依據(jù)不同單詞間較大的間隔切分出單詞，若圖像中有漢字，字與字之間發(fā)生粘連，校正的有效性大大降低。針對(duì)中文的矯正方法，利用漢字大小一致，尤其是寬度基本相同的特性，逐個(gè)對(duì)文字進(jìn)行切分，文本中含有英文時(shí)，易切分失敗導(dǎo)致校正失敗。因此，如何在中英文混排的情況下實(shí)現(xiàn)有效地校正成為一種需要。

本文針對(duì)中英文混排的扭曲圖像提出一種基于連通域的扭曲校正方法，實(shí)現(xiàn)了快速準(zhǔn)確的文本行定位及文字切分，對(duì)文字逐行進(jìn)行校正，最后獲得校正后圖像。該方法兼顧了中英文的結(jié)構(gòu)特點(diǎn)，實(shí)現(xiàn)對(duì)中英文混排文本圖像的有效校正，耗時(shí)短。目前市場(chǎng)上已出現(xiàn)許多實(shí)時(shí)的圖像識(shí)別工具，在準(zhǔn)確識(shí)別圖像內(nèi)容的同時(shí)要求有更快的速度，因此，本文方法可推廣到一些文字圖像識(shí)別設(shè)備中進(jìn)行應(yīng)用。

1　中英文混排扭曲圖像特征及校正分析

在圖像獲取過(guò)程中，書(shū)籍的擺放尤其是較厚的書(shū)籍，會(huì)使獲得的圖像發(fā)生扭曲，進(jìn)而導(dǎo)致OCR識(shí)別率大大降低(如圖1所示)。

圖1　中英文混排扭曲文檔示意圖

文字切分的經(jīng)典思路為先獲得行再獲得字。平整的掃描圖像可以通過(guò)對(duì)水平投影直方圖的分析提取出各文本行，但對(duì)扭曲圖像進(jìn)行水平投影時(shí)行與行之間會(huì)產(chǎn)生交疊，無(wú)法正確獲得每行的信息，因而對(duì)文本行的提取需要研究其他適應(yīng)性更強(qiáng)的方法。對(duì)于獲取的文本行，垂直投影的特征還在，可參考該信息對(duì)其進(jìn)行初步切分。漢字的寬度一致，英文字符較窄，可以利用其不同的特點(diǎn)進(jìn)行進(jìn)一步地切分，并對(duì)扭曲進(jìn)行校正。

2　中英文混排扭曲文本圖像校正算法

對(duì)于中英文混排的扭曲文檔圖像，如何定位出各行文字，并對(duì)中英文字符分別實(shí)現(xiàn)精確的切分是研究的重點(diǎn)。本文就此提出一種基于連通域的中英文混排扭曲文本圖像快速校正方法，如圖2所示。2.1圖像預(yù)處理

圖2　本文解決方案示意圖

圖像的預(yù)處理包括灰度化和二值化，經(jīng)過(guò)預(yù)處理的二值圖像，清晰地區(qū)分出前景和背景，才能有效地對(duì)圖片進(jìn)行校正處理。

灰度化即通過(guò)式(1)將具有R、G、B分量的真彩色圖像轉(zhuǎn)換為灰度圖像。

文字切分對(duì)圖像的二值化要求較高，需要較好的二值效果。傳統(tǒng)的二值化方法很多，如雙峰法、大津法、Niblack法等。對(duì)比各種方法及其效果，在光照均勻的情況下大津法可以很好地處理本文研究的圖像，得到較好處理效果，因此本文選用大津法對(duì)圖像進(jìn)行二值化處理。

2.2提取文本行

提取文本行即確定每行文字的上下邊界，以便下一步在該范圍內(nèi)對(duì)該行文字進(jìn)行切分。二值圖像經(jīng)過(guò)膨脹，每行文字成為一個(gè)連通域，之后對(duì)膨脹圖像進(jìn)行從下到上的掃描，獲得每行文字大概的上下邊界。具體步驟如下：

步驟1. 二值圖像的膨脹處理。選擇合適的膨脹模板，使每行文字成為一個(gè)連通域，且行與行之間沒(méi)有相交的部分。膨脹效果如圖3所示。

圖3　膨脹效果(局部)

步驟2. 提取膨脹后圖像各文本行的上下邊緣。該步驟的整體思路為：對(duì)整幅圖像進(jìn)行從下向上的像素掃描，所遇到的第一排黑點(diǎn)即為最下方文本行的下邊界，從該排像素開(kāi)始，向上尋找白點(diǎn)，最先找到的一排白點(diǎn)即為該文本行的上邊界；以此排白點(diǎn)為起始，繼續(xù)向上尋找，最先遇到的一排黑點(diǎn)即為倒數(shù)第二行文字的下邊界，以此類(lèi)推，即可獲得各文本行的上下邊界。當(dāng)找不到黑點(diǎn)時(shí)，說(shuō)明已搜索完整幅圖像，此時(shí)，所有文本行的上下邊界均已獲得。具體規(guī)則如下：

(1) 創(chuàng)建兩個(gè)二位數(shù)組line_botton和line_top來(lái)存儲(chǔ)各文本行的上下邊界，設(shè)line_index為行序。

(2) 選取圖像中間一列進(jìn)行縱向掃描，獲得平均行高STD_HEIGHT作為是否跨行的依據(jù)。

(3) 在掃描過(guò)程中若已獲得文本行下邊界，則向上必能找到上邊界。但前一行較短時(shí)，本行的下邊界尋找沒(méi)有上一行的上邊界作為參考，因此需設(shè)置掃描范圍。第一次掃描即獲取最下方一行的下邊界時(shí)，掃描高度為圖像高度，其余行設(shè)start和end分別為每次掃描的起點(diǎn)和終點(diǎn)。其規(guī)則如下：

其中，x為當(dāng)前掃位置的橫坐標(biāo)，firstPix為上一行的第一個(gè)非零投影點(diǎn)的索引，lastPix為上一行最后一個(gè)非零投影點(diǎn)的索引。

(4) 文本行終點(diǎn)的確定。尋找第i行(i >0)下邊界時(shí)，如果當(dāng)前下邊界與之前所找到的下邊界距離偏大，滿(mǎn)足line_bottom[i][x]?lastBottom ＞STD_HEIGHT時(shí)，視為出現(xiàn)階躍，line_bottom[i][x]置為零，階躍次數(shù)增一。當(dāng)階躍次數(shù)達(dá)到10次時(shí)，視為本行搜索結(jié)束，已獲得該行下邊界。其中，lastBottom為line_bottom[i]已找到的最后一個(gè)非零下邊界。

(5) 在膨脹過(guò)程中，在段首可能出現(xiàn)鋸齒的情況，導(dǎo)致上邊界尋找失敗，需要加以調(diào)整。因此需要增加判斷條件，以第 i行(i >0)為例，當(dāng)不滿(mǎn)足line_top[i][x]?line_bottom[i][x]≥STD_HEIGHT時(shí)，繼續(xù)向上尋找，直至滿(mǎn)足上述條件。

步驟3. 圖片恢復(fù)至膨脹前。膨脹過(guò)程是為了定位文本行，獲取在文字切分時(shí)需要的垂直投影范圍。校正的對(duì)象是含有文本信息的二值圖像，因此在文本行提取后，需要將圖像恢復(fù)至膨脹前。

通過(guò)本階段的文本行提取，獲得了各文本行的上下邊界。效果如圖 4所示。其中，淺色為文本行下邊界，深色為文本行上邊界。

圖4　文本行提取效果(局部)

經(jīng)過(guò)此步驟后，可以對(duì)每行文字單獨(dú)提取和進(jìn)行處理，為下一步的文字切分提供條件。

2.3文字切分

文本行提取完成后，已經(jīng)獲得了每行文字的上下邊界line_top和line_bottom，因此可以依次提取出各行文字并進(jìn)行切分。對(duì)圖像內(nèi)的一行文字進(jìn)行垂直投影，利用字符之間的間隙，可以初步將文字切分。完成后，每一個(gè)字符視為一個(gè)連通域，得到每個(gè)連通域的左右邊界。

創(chuàng)建連通域邊框數(shù)組 rcChars來(lái)儲(chǔ)存其各邊界，左右初始值設(shè)為0，上下初始值分別設(shè)為Height和 0，其中 Height為圖片高度。創(chuàng)建二維數(shù)組rc_num來(lái)存儲(chǔ)每個(gè)文本行內(nèi)連通域的編號(hào)。文字切分具體步驟如下：

步驟1. 獲取字符的左右邊界，初步確定上下邊界。逐行對(duì)文字進(jìn)行垂直投影。以第 i行(i >0)為例，投影范圍為上一階段獲取的 line_bottom[i]和line_top[i]之間的部分。根據(jù)投影結(jié)果對(duì)文字進(jìn)行切分，可獲取字符的左右邊界 rcChars.left和rcChars.right，由于計(jì)算邊框時(shí)是根據(jù)視圖的窗口坐標(biāo)，原點(diǎn)在左上角，因此上邊界 rcChars.top暫時(shí)取為：

其中，rcChars.left≤x≤rcChars.right 。同理，下邊界暫為Height?line_bottom[i][x]在該范圍內(nèi)的最大值。

步驟2. 獲取字符的上下邊界。上一步中初步確定的字符上下邊界與實(shí)際邊界存在一定誤差。為了校正的精度，需要更準(zhǔn)確地獲得字符的上下邊界。對(duì)每個(gè)字符，在其連通域邊框范圍內(nèi)，rcChars.left≤x≤rcChars.right ，rcChars.top≤y≤rcChars.bottom，以上邊界rcChars.top為起始，自上向下逐行尋找黑色像素點(diǎn)，遇到的首個(gè)黑點(diǎn)所在縱坐標(biāo)即為該字符的上邊界，修改 rcChars.top的值。同理，在該范圍內(nèi)，自下向上逐行尋找黑色像素點(diǎn)，可重新獲得字符的下邊界rcChars.bottom。

此時(shí)，字符切分基本完成，各字符上下左右邊界均已確定。統(tǒng)計(jì)各連通域高度，找出最大高度設(shè)為標(biāo)準(zhǔn)高度H，利用印刷體漢字寬高標(biāo)準(zhǔn)比例計(jì)算出標(biāo)準(zhǔn)寬度 W，標(biāo)準(zhǔn)寬度約等于漢字寬度。在漢字當(dāng)中，還存在著一些左右結(jié)構(gòu)的字，在此過(guò)程中可能會(huì)被切分為兩部分。但相對(duì)于漢字的整體數(shù)量而言，該類(lèi)字只占小部分，且矯正的最終目的是將屬于同一行的文字水平對(duì)齊。因此對(duì)該部分文字的誤切分不影響校正和識(shí)別效果。具體切分效果如圖5所示。

圖5　字符切分效果圖

2.4扭曲校正

扭曲校正的最終目的，是將文本行從彎曲狀態(tài)變?yōu)橹本€(xiàn)。在獲得每個(gè)文字的位置時(shí)，按行對(duì)文字進(jìn)行垂直方向上的平移，即可實(shí)現(xiàn)目的。

針對(duì)扭曲圖像，從上到下逐行進(jìn)行校正，校正時(shí)以每行最高位置的字符為標(biāo)準(zhǔn)，對(duì)該行內(nèi)的連通域進(jìn)行對(duì)齊。在印刷過(guò)程中，漢字中心對(duì)齊橫向排列，英文大小寫(xiě)共52個(gè)字母中，除占中下兩格的字母外，有47個(gè)為底線(xiàn)對(duì)齊。因此對(duì)符合標(biāo)準(zhǔn)寬度W的漢字按照連通域中心對(duì)齊，對(duì)小于標(biāo)準(zhǔn)寬度的英文和標(biāo)點(diǎn)符號(hào)按照連通域下邊界進(jìn)行對(duì)齊。

以第i行為例(i >0)，首先要找到該行最高位置字符，即找到最高位置連通域的編號(hào)。視圖窗口原點(diǎn)在左上角，因此最高的連通域下邊界 bottom最小，記為 minBottom。遍歷屬于第 i行編號(hào)為rc_num[i][j](j >0)的連通域，尋找最小bottom值，并記下其對(duì)應(yīng)連通域的編號(hào) topest。編號(hào)為rc_num[i][j]的連通域，其對(duì)應(yīng)的rcChars邊框坐標(biāo)分別為(left，top，right，bottom)。計(jì)算各連通域的中心坐標(biāo)和校正位移d。

計(jì)算完成后，對(duì)該行的連通域逐個(gè)按照各自的校正位移d進(jìn)行平移。對(duì)于第[i]行，屬于本行的連通域在一條水平線(xiàn)上，完成了校正。依此方法，逐行對(duì)文字進(jìn)行處理，最終實(shí)現(xiàn)對(duì)整幅扭曲文檔圖像的校正。校正效果如圖6所示。

3　方法測(cè)試及實(shí)驗(yàn)結(jié)果分析

3.1測(cè)試環(huán)境

本實(shí)驗(yàn)在VS2005環(huán)境下開(kāi)發(fā)，使用的語(yǔ)言為C++。實(shí)驗(yàn)所用樣張取自16開(kāi)中英文混排書(shū)籍。拍攝攝像頭為500 W像素。測(cè)試環(huán)境為：Inter(R) Core(TM) 2 Duo CPU E7400 @2.80 GHz，內(nèi)存2 GB，操作系統(tǒng)為Windows 7。使用漢王OCR文字識(shí)別軟件對(duì)文字進(jìn)行識(shí)別。

圖6　扭曲校正效果對(duì)比圖

3.2校正效果對(duì)比

測(cè)試過(guò)程中，同時(shí)選取了近年來(lái)的一些有關(guān)扭曲文檔圖像的校正方法進(jìn)行比較。文獻(xiàn)[10]是針對(duì)中文扭曲文檔圖像的矯正方法，文獻(xiàn)[12]是針對(duì)英文的校正方法。

本文選取了150個(gè)樣本，分為3組，每組50張。其中，樣本組1中的樣張英文占比小于25%，樣本組2中的樣張英文占比為25%～75%，樣本組3中的樣張英文占比大于75%，統(tǒng)計(jì)結(jié)果如表1。

表1　各算法實(shí)驗(yàn)結(jié)果比較分析

比較3種方法在中英文所占比例不同時(shí)，校正的用時(shí)和處理前后識(shí)別率?？梢钥闯觯墨I(xiàn)[10]在處理中文時(shí)有較好的效果，文獻(xiàn)[12]在處理英文偏多的文檔圖像時(shí)，效果明顯。但二者在處理另一種文字圖像的時(shí)候，識(shí)別率均有所下降。本文方法雖然在單種文字處理時(shí)識(shí)別率低于文獻(xiàn)方法，但不受識(shí)別內(nèi)容影響，在 3種情況下，有穩(wěn)定的校正效果。從校正所用時(shí)間上看，傳統(tǒng)方法通過(guò)連通域搜索與合并進(jìn)行文本行提取，需要對(duì)圖像進(jìn)行多次遍歷，增加了算法的處理時(shí)間，大多需要3～4 s，本文方法對(duì)膨脹圖像自下而上一次遍歷即可得到各文本行位置，大大縮短了耗時(shí)，整個(gè)校正過(guò)程在1 s以?xún)?nèi)。

通過(guò)以上分析可以看出，本文方法在處理中英文扭曲文檔圖像時(shí)，不受中英文所占篇幅影響，能夠獲得較好地校正效果，具有很好的穩(wěn)定性。以連通域?yàn)閱挝贿M(jìn)行校正，校準(zhǔn)精細(xì)，不會(huì)破壞文字內(nèi)部結(jié)構(gòu)，且整個(gè)矯正過(guò)程在1 s以?xún)?nèi)完成，可在實(shí)時(shí)的文字識(shí)別設(shè)備中進(jìn)行推廣應(yīng)用。

4　結(jié) 束 語(yǔ)

本文針對(duì)扭曲的中英文混排文檔圖像，提出了一種快速扭曲校正方法。采用由行到字的思想，利用膨脹信息定位文本行后進(jìn)行字符切分，根據(jù)中英文的不同特點(diǎn)逐行進(jìn)行扭曲校正，最終實(shí)現(xiàn)圖像重構(gòu)。本文的扭曲校正方法對(duì)于中英文混排的文檔圖像，不受中英文所占比例的影響，有較好且穩(wěn)定的校正效果，校正速度快，效率高，可推廣到一些文字圖像識(shí)別設(shè)備中進(jìn)行應(yīng)用。

本文方法適用于書(shū)本平攤時(shí)因厚度所產(chǎn)生的文本行扭曲，且假定書(shū)本水平放置。由于外力造成書(shū)本變形從而導(dǎo)致的文本圖像嚴(yán)重扭曲，采用本文算法處理起來(lái)有一定難度。對(duì)于這類(lèi)情況，算法有待改進(jìn)。

[1] Ghods A R, Mozaffari S, Ahmadpanahi F. Document image dewarping using kinect depth sensor [C]//Iranian Conference on Electrical Engineering (ICEE), 2013: 1-6.

[2] Tong L J, Zhan G L, Peng Q Y, et al. Warped document image mosaicing method based on inflection point detection and registration [C]//International Conference on Multimedia Information Networking and Security (ICMINES), 2012: 306-310.

[3] Meng G F, Pan C H, Xiang S M, et al. Metric rectification of curved document images [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 707-722.

[4] Brown M S, Brent S W. Image restoration of arbitrarily warped documents [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(10): 1295-1306.

[5] Tang C Q, Dai X J. A rectification algorithm for distorted images from cone surface [C]//International Conference on Wireless Communications, Networking and Mobile Computing (WiCOM), 2010: 1-4.

[6] 楊玲，成運(yùn). 應(yīng)用經(jīng)緯映射的魚(yú)眼圖像校正設(shè)計(jì)方法[J]. 工程圖學(xué)學(xué)報(bào), 2010, 31(6): 19-22.

[7] 張偉業(yè), 趙群飛. 讀書(shū)機(jī)器人的版面分析及文字圖像預(yù)處理算法[J]. 微型電腦應(yīng)用, 2011, 27(1): 58-61.

[8] Liu H, Ding R W. Restoring chinese document images based on text boundary lines [C]//International Conference on Systems, Man and Cybernetics (ICSMC), 2009: 571-576.

[9] Bukhari S S, Shafait F, Breuel T M. Coupled snakelets for curled text-line segmentation from warped document images [C]//International Journal on Document Analysis and Recognition(ICDAR), 2013: 748-752.

[10] 曾凡鋒, 王曉, 吳飛飛. 基于文本行重構(gòu)的扭曲文檔快速校正方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2014, 35(2): 573-577.

[11] Liu H, Lu Y. A Method to restore chinese warped document images based on binding characters and building curved lines [C]//International Conference on Systems, Man and Cybernetics (ICSMC), 2009: 984-990.

[12] Gatos B, Pratikakis I, Ntirogiannis K. Segmentation based recovery of arbitrarily warped document images [C]// International Conference on Document Analysis and Recognition (ICDAR), 2007: 989-993.

[13] 宋麗麗, 吳亞?wèn)|, 孫波. 改進(jìn)的文檔圖像扭曲校正方法[J]. 計(jì)算機(jī)工程, 2011, 37(1): 204-206.

A Fast Correcting Method for Warped Chinese and English Mixed Document Images

Wang Jingzhong,Sun Ting,Tong Lijing
(College of Computer, North China University of Technology, Beijing 100144, China)

Character recognition rate of OCR processing is not well for warped Chinese and English document image. To resolve this problem, a fast distortion correcting method is proposed in this paper. After the process of image preprocessing, the upper and lower boundary of each text line could be obtained by morphological dilation method. Then, the characters in each line are segmented one by one based on the vertical projection information. Every character can be described in a minimum bounding box. After that, the positions of the segmented characters are corrected according to the different structure characteristics between Chinese and English in each line. Finally, the image could be reconstructed. Experiments showed that this correction method could rectify the warped Chinese and English document image quickly and effectively. The OCR rate of the corrected images could be significantly improved.

mixture of chinese and english; warped document images; text line extraction; character segmentation

TP 391

A

2095-302X(2015)06-0920-06

2015-05-19；定稿日期：2015-09-08

國(guó)家自然科學(xué)基金資助項(xiàng)目(61371142)

王景中(1962–)，男，內(nèi)蒙古通遼人，教授，碩士。主要研究方向?yàn)閿?shù)字圖像處理與識(shí)別、計(jì)算機(jī)安全技術(shù)。E-mail：jingzhongwang@163.com