蘇江，房濤，王曉明，仵媛媛，高博

（國(guó)網(wǎng)陜西省電力公司信息通信公司 陜西 西安710004）

基于組件樹(shù)和霍夫森林的場(chǎng)景文字檢測(cè)識(shí)別

蘇江，房濤，王曉明，仵媛媛，高博

（國(guó)網(wǎng)陜西省電力公司信息通信公司 陜西 西安710004）

自然場(chǎng)景中的文字檢測(cè)與識(shí)別是圖像理解中的重要部分，在大部分的系統(tǒng)設(shè)計(jì)中，檢測(cè)和識(shí)別被看成是孤立的兩部分進(jìn)行處理，本文提出使用多類霍夫森林建立一個(gè)統(tǒng)一的檢測(cè)識(shí)別框架。同時(shí)為了解決霍夫森林在類別增多時(shí)識(shí)別率下降，以及在尺度多變的情況下定位偏移的問(wèn)題，文中提出利用組件樹(shù)提取出具有層級(jí)的連通域，同時(shí)針對(duì)文字本身的特征建立分類器。通過(guò)級(jí)聯(lián)該分類器，提取出文本的候選位置并確定目標(biāo)的尺度大小，為后級(jí)精細(xì)的定位和識(shí)別奠定基礎(chǔ)。實(shí)驗(yàn)結(jié)果顯示該方案在檢測(cè)和識(shí)別方面均與目前最優(yōu)的方案具有競(jìng)爭(zhēng)性。

組件樹(shù)；霍夫森林；圖像理解；文字檢測(cè)；文字識(shí)別

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)帶寬的不斷提高，圖像、視頻由于易于理解，符合現(xiàn)代人快速的生活節(jié)奏，逐漸取代文本成為主要的信息傳播載體。由于微博類網(wǎng)站對(duì)文本長(zhǎng)度的限制，要發(fā)表較豐富的內(nèi)容通常需要圖文結(jié)合的方式，同時(shí)，圖片分享類網(wǎng)站的蓬勃發(fā)展，給圖像理解領(lǐng)域帶來(lái)新的機(jī)遇和挑戰(zhàn)。自然場(chǎng)景的文字檢測(cè)和識(shí)別作為圖像理解的重要一環(huán)，一直受到研究者的關(guān)注。一般來(lái)說(shuō)，光學(xué)字符識(shí)別（OCR）系統(tǒng)只能處理背景簡(jiǎn)單且文本相對(duì)密集的圖像，對(duì)于包含復(fù)雜背景的自然圖像，必須先通過(guò)文字定位取出包含文本的圖像塊，才能實(shí)現(xiàn)準(zhǔn)確的識(shí)別。對(duì)于文本背景較為復(fù)雜的圖像，還必須經(jīng)過(guò)文本背景分離才能得到理想的識(shí)別結(jié)果。

在目前大部分的解決方案中，文字檢測(cè)和識(shí)別作為孤立的兩部分的工作分別進(jìn)行處理，本文提出使用多類霍夫森林，建立統(tǒng)一的文字檢測(cè)和識(shí)別框架。同時(shí)針對(duì)霍夫森林在檢測(cè)中尺度不準(zhǔn)確以及定位漂移的問(wèn)題，提出通過(guò)組件樹(shù)級(jí)聯(lián)分類器的方式提取文字候選區(qū)域。

1 相關(guān)工作

霍夫變換是用于檢測(cè)具有解析表達(dá)式的幾何形狀的常用目標(biāo)檢測(cè)方法，如直線、圓檢測(cè)等［1］?；舴蜃儞Q的核心思想是把原圖像中的像素點(diǎn)或特征（如邊緣）變換到霍夫空間（即參數(shù)空間）進(jìn)行投票，而投票的峰值即為檢測(cè)的目標(biāo)。廣義霍夫變換在霍夫變換的基礎(chǔ)上進(jìn)行擴(kuò)展，可對(duì)一般形狀的目標(biāo)進(jìn)行檢測(cè)［2］。廣義霍夫變換的基本思想是通過(guò)圖像中每一個(gè)分塊的邊緣切向量估算目標(biāo)的中心點(diǎn)位置，本質(zhì)上利用邊緣切向量，為不存在解析表達(dá)的形狀建立參數(shù)空間，從而應(yīng)用霍夫變換。

廣義霍夫變換假設(shè)的前提是，圖像中每個(gè)像素都是獨(dú)立的，在投票過(guò)程中對(duì)每一個(gè)分塊賦予相同的權(quán)重，使得該方法在復(fù)雜場(chǎng)景下容易失效。Gall等人基于霍夫變換的思想，在2009年提出建立霍夫森林進(jìn)行目標(biāo)檢測(cè)［3］?；舴蛏謱?duì)圖像中每一個(gè)分塊通過(guò)一組決策樹(shù)進(jìn)行分類（前景和背景），并估算目標(biāo)的中心位置，使用決策樹(shù)輸出的概率作為投票權(quán)重。

文中提出把每一種字符作為單獨(dú)一類，建立多類霍夫森林進(jìn)行字符檢測(cè)，同時(shí)完成檢測(cè)和識(shí)別任務(wù)，避免檢測(cè)和識(shí)別問(wèn)題的孤立，計(jì)算效率更高。但針對(duì)具體的文字檢測(cè)和識(shí)別問(wèn)題，霍夫森林在應(yīng)用中存在一定問(wèn)題。

首先是對(duì)不同大小的文字進(jìn)行檢測(cè)，常用的方法有兩種：第一種是沿用廣義霍夫變換中的方案，在參數(shù)空間內(nèi)加入尺度的維度，然后在該維度上進(jìn)行搜索；第二種方法是使用圖像金字塔，對(duì)輸入圖像的多個(gè)尺度進(jìn)行檢測(cè)，然后進(jìn)行合成。兩種方法原理上是相似的，但隨著搜索的尺度范圍增大，計(jì)算量也會(huì)成倍增加。同時(shí)由于不同尺度下獨(dú)立進(jìn)行檢測(cè)，使用不適合的尺度將會(huì)出現(xiàn)定位漂移的問(wèn)題，如圖1所示。

圖1 霍夫森林對(duì)字符“A”檢測(cè)結(jié)果

此外，文字中存在有大量的部分相似現(xiàn)象，如B的上半部和R的上半部，甚至在同一個(gè)字符中也會(huì)出現(xiàn)自相似的情況，如B上半部和下半部。在無(wú)法確定尺度的情況下檢測(cè)，很有可能出現(xiàn)一個(gè)字符被判定為多個(gè)目標(biāo)的情況，如圖2所示。

圖2 霍夫森林對(duì)字符“B”檢測(cè)結(jié)果（左：原圖；右：檢測(cè)結(jié)果）

除此以外，實(shí)驗(yàn)結(jié)果表明，霍夫森林雖然能夠適應(yīng)多類識(shí)別的問(wèn)題，但隨著類別的增多，準(zhǔn)確率會(huì)有一定程度的下降［4］。而對(duì)于典型的文字識(shí)別問(wèn)題，類別為27類（26個(gè)大寫字母和背景類），僅僅依賴于霍夫森林進(jìn)行檢測(cè)顯然是不夠的。

2 基于組件樹(shù)和霍夫森林的文字檢測(cè)與識(shí)別

該方案主要分為兩部分，分別是基于組件樹(shù)的文字候選區(qū)域提取，以及使用霍夫森林進(jìn)行的文字檢測(cè)和識(shí)別。首先，通過(guò)建立組件樹(shù)從圖像中提取出具有層級(jí)的連通域，然后對(duì)每一個(gè)區(qū)域分別提取出一組表征文字的特征并輸入至分類器，根據(jù)分類器的判決結(jié)果提取文字的候選區(qū)域。然后把每一個(gè)文字候選區(qū)域放縮至同一尺度，并作為獨(dú)立的樣本輸入至霍夫森林，進(jìn)行精細(xì)的檢測(cè)及識(shí)別。

2.1 訓(xùn)練樣本生成

對(duì)于自然場(chǎng)景的文本檢測(cè)和識(shí)別問(wèn)題，標(biāo)記樣本十分稀少，文中通過(guò)樣本生成的方式建立訓(xùn)練集。考慮到日常中的文本大都是水平分布，在文中通過(guò)隨機(jī)選取字體，根據(jù)二元語(yǔ)法（2-gram）模型隨機(jī)生成多個(gè)字符，并在水平居中的前提下進(jìn)行隨機(jī)旋轉(zhuǎn)和平移，作為基礎(chǔ)的文本單元。同時(shí)從隨機(jī)選取的背景圖中采樣相同大小的塊，然后把文本疊加于背景之上。為使樣本更具挑戰(zhàn)性，在融合過(guò)程中，文本圖像需乘以0.5～0.8的隨機(jī)系數(shù)，以降低文本與背景的對(duì)比度。

2.2 基于組件樹(shù)的文字候選區(qū)域提取

文字候選區(qū)域提取的目的有兩個(gè)，一是盡量去除背景圖像塊，提高后級(jí)的計(jì)算效率；二是確定目標(biāo)文字的尺度大小，以提高霍夫森林的檢測(cè)的準(zhǔn)確率。同時(shí)，文字候選區(qū)域提取還必須保證簡(jiǎn)單快速，避免降低整個(gè)系統(tǒng)的性能。

文字本身邊緣特征豐富而紋理簡(jiǎn)單，使用連通域提取文字候選區(qū)域是一個(gè)快速而有效的方法［5］。但由于場(chǎng)景的復(fù)雜性，提取出的連通域數(shù)量會(huì)相當(dāng)多，并且使用單一分割閾值提取的連通域往往不能提取出完整的文字。

最大穩(wěn)定極值區(qū)域（MSER）［6］有效解決了以上兩個(gè)問(wèn)題，并被廣泛應(yīng)用于文字檢測(cè)方案中［7-8］。首先，最大穩(wěn)定極值區(qū)域針對(duì)不同的閾值提取連通域，其次，以相對(duì)面積隨閾值變化較小作為條件，提取出穩(wěn)定的連通域。組件樹(shù)是提取最大穩(wěn)定極值區(qū)域的常用線性時(shí)間算法［9］。

圖3 MSER提取結(jié)果

圖3所示是使用組件樹(shù)提取最大穩(wěn)定極值區(qū)域的結(jié)果?？梢钥闯?，在復(fù)雜的場(chǎng)景下，文字區(qū)域并不一定能滿足“穩(wěn)定”的要求。因此，文中在應(yīng)用中去除該約束，通過(guò)對(duì)組件樹(shù)中的每一個(gè)區(qū)域進(jìn)行特征提取，確定文字的候選區(qū)域。

對(duì)每一個(gè)連通域提取以上特征，然后輸入至分類器進(jìn)行獨(dú)立識(shí)別。分類器輸出的所有正樣本分別重采樣至同一尺度大小，作為文字的候選區(qū)域。

文中使用的分類器是AdaBoost分類器［10］，同時(shí)為了保證盡量多的文字被檢測(cè)到，即較高的召回率，在此前提下?tīng)奚鼨z測(cè)的準(zhǔn)確率，當(dāng)后驗(yàn)概率大于0.4時(shí)即判定為正樣本。準(zhǔn)確率由后級(jí)的霍夫森林檢測(cè)進(jìn)一步提高。

2.3 基于霍夫森林的檢測(cè)與識(shí)別

霍夫森林由一組獨(dú)立的霍夫樹(shù)組成，霍夫樹(shù)是分類樹(shù)和回歸樹(shù)的結(jié)合，每一個(gè)節(jié)點(diǎn)可能是分類節(jié)點(diǎn)或者回歸節(jié)點(diǎn)?；舴蛏直举|(zhì)上是基于概率投票的廣義霍夫變換，投票的權(quán)值以及目標(biāo)位置的估計(jì)值由葉子節(jié)點(diǎn)保存的碼本決定。

針對(duì)文字檢測(cè)和識(shí)別問(wèn)題，以每個(gè)字符作為獨(dú)立的檢測(cè)目標(biāo)，應(yīng)用多類霍夫森林，可在檢測(cè)的同時(shí)完成識(shí)別，避免檢測(cè)和識(shí)別問(wèn)題的孤立，并保持降低的計(jì)算復(fù)雜度。而霍夫森林在在多類檢測(cè)情況下雖然能保持較高的召回率，但準(zhǔn)確率會(huì)有一定程度下降［4］。針對(duì)這一情況，文中除了通過(guò)前級(jí)文字候選區(qū)域提取去除大量背景外，還在決策樹(shù)的節(jié)點(diǎn)分割函數(shù)對(duì)背景類進(jìn)行獨(dú)立計(jì)算，保證在分類過(guò)程中優(yōu)先進(jìn)行背景和文字的分離。除此之外，文中通過(guò)使用區(qū)域特征取代點(diǎn)特征提高算法的魯棒性，降低算法對(duì)目標(biāo)尺度的敏感性。最后，針對(duì)多類字符的目標(biāo)搜索，文中提出使用貪婪迭代搜索的方式進(jìn)行定位。

文中，使用的是文獻(xiàn)［3］提出的二類霍夫森林框架，并在此之上針對(duì)文字檢測(cè)識(shí)別應(yīng)用進(jìn)行了以下改進(jìn)。

首先是把二類分類問(wèn)題推廣到多類。在二類分類的問(wèn)題中霍夫樹(shù)每一個(gè)節(jié)點(diǎn)的目標(biāo)是最小化不確定性，包括類別的熵

以及中心位置的聚類

針對(duì)多類物體檢測(cè)的問(wèn)題，中心位置的不確定性可由每一個(gè)類別的確定性相加獲得

其次，如圖2所示，霍夫森林在對(duì)于不確定的尺度無(wú)法進(jìn)行精確定位，必須通過(guò)對(duì)原圖進(jìn)行不同尺度的采樣分別進(jìn)行檢測(cè)，時(shí)間復(fù)雜度較高。除了利用候選區(qū)域提取確定尺度大小外，文中還通過(guò)修改霍夫森林的分類特征，進(jìn)一步提高霍夫森林對(duì)尺度變化的適應(yīng)性。

霍夫森林使用的特征是二進(jìn)制特征，典型的形式如下：

其中τ是閾值，Pl（x）是像素在特征空間的l取值。文中，將其推廣為區(qū)域特征。

該形式可看作是點(diǎn)特征的超集。以區(qū)域的均值作為判決準(zhǔn)則，可提高算法抗干擾能力，并減少對(duì)尺度的敏感性。

除此以外，對(duì)于單類目標(biāo)檢測(cè)的問(wèn)題，通常在霍夫投票圖像，即后驗(yàn)概率P（xi=l|fi），使用非極大值抑制（Non-Maximal Suppression）［12］，搜索極大值作為目標(biāo)，但該方法并不能推廣到多類情況。文中，提出圖4所示的貪婪迭代搜索算法確定目標(biāo)位置。首先初始化所有候選目標(biāo)均為背景，然后進(jìn)入迭代。每一次迭代中，求出每個(gè)候選目標(biāo)的最優(yōu)所屬類別，并選出優(yōu)化效果最顯著的候選目標(biāo)賦予新的標(biāo)簽值，然后再更新該候選目標(biāo)的鄰域標(biāo)簽值。當(dāng)無(wú)法通過(guò)改變標(biāo)簽值來(lái)提高后驗(yàn)概率時(shí)，退出迭代。

圖4 霍夫空間貪婪搜索算法

3 實(shí)驗(yàn)結(jié)果

文中生成的訓(xùn)練樣本大小為32×32，字符使用26個(gè)字母（區(qū)分大小寫）和10個(gè)阿拉伯?dāng)?shù)字，共62類。背景圖像從VOC2009數(shù)據(jù)集［13］中隨機(jī)抽樣獲得，圖5所示為部分合成的樣本。每類字符樣本各生成1 000張。

在組件樹(shù)提取時(shí)，把彩色圖像轉(zhuǎn)換為灰度圖以及HSV顏色空間，每個(gè)顏色通道獨(dú)立進(jìn)行提取后進(jìn)行融合?？紤]到日常生活中存在黑底白字和白底黑字兩種情況，對(duì)每個(gè)通道的每像素的二進(jìn)制反值也做同樣的處理［14］。區(qū)域分類使用的AdaBoost分類器，以單層決策樹(shù)作為弱分類器，弱分類器數(shù)量為100。

霍夫森林使用的特征空間是原始的灰度圖，以及X方向和Y方向的Sobel邊緣特征，提取的塊大小為16×16，決策樹(shù)的數(shù)量為10，樹(shù)的最大深度為20，節(jié)點(diǎn)的最少樣本數(shù)量為20。每個(gè)節(jié)點(diǎn)從參數(shù)空間采樣1 000個(gè)樣本，取最優(yōu)值作為判決特征。

文中使用的測(cè)試集是ICDAR 2013［15］，其中組件樹(shù)的定位準(zhǔn)確率是52.8%，召回率是87.1%。由于組件樹(shù)只作為文字候選區(qū)域的提取，較低的準(zhǔn)確率是可以接受的。

圖5 部分訓(xùn)練樣本

圖5所示是部分檢測(cè)成功的樣本，圖6是部分檢測(cè)失敗的樣本。表1是文中檢測(cè)結(jié)果與ICDAR 2013前3名的對(duì)比，其中召回率與ICDAR 2013的第1名接近，而準(zhǔn)確率高于第一名的成績(jī)，這得益于檢測(cè)與識(shí)別的結(jié)合。

表2是文中識(shí)別結(jié)果與ICDAR 2013文字識(shí)別前3名的比較，使用的是大寫字母子集。文中使用的是隨機(jī)自動(dòng)生成的訓(xùn)練樣本，以檢測(cè)和識(shí)別為目標(biāo)，而其他算法使用的訓(xùn)練和測(cè)試樣本均是人工切割好的字符區(qū)域，且僅以識(shí)別為目的，兩者的測(cè)試樣本并不相同，結(jié)果只作為參考對(duì)比。

圖6 檢測(cè)成功的樣本

表1 ICDAR 2013文字檢測(cè)結(jié)果

表2 ICDAR 2013文字識(shí)別結(jié)果

圖7 檢測(cè)失敗的樣本

在時(shí)間復(fù)雜度方面，文中提出的算法在時(shí)間上的消耗主要為兩部分，分別是組件樹(shù)提取和霍夫森林檢測(cè)。由于不同顏色通道的組件樹(shù)提取以及各個(gè)霍夫樹(shù)的計(jì)算是相互獨(dú)立的，本文使用并行計(jì)算來(lái)提高效率。在一臺(tái)配置為Intel Core i5 1.8 GHz的電腦上，對(duì)一張大小為的圖像提取組件樹(shù)大約需時(shí)100毫秒，霍夫森林對(duì)整幅圖像進(jìn)行檢測(cè)大約需時(shí)250毫秒。由于實(shí)際應(yīng)用時(shí)霍夫森林僅對(duì)候選文字區(qū)域進(jìn)行檢測(cè)，因此真實(shí)需時(shí)會(huì)更少。

4 結(jié)束語(yǔ)

文中針對(duì)自然場(chǎng)景中的文本檢測(cè)識(shí)別問(wèn)題，提出使用組件樹(shù)結(jié)合混合特征分類形成候選區(qū)域，再用霍夫森林進(jìn)行檢測(cè)識(shí)別的整體解決方案，與目前提出的最優(yōu)方案具有競(jìng)爭(zhēng)性。該方案利用霍夫森林統(tǒng)一了文字檢測(cè)和識(shí)別兩部分工作，并應(yīng)用組件樹(shù)提高了算法對(duì)不同尺度文字的適應(yīng)性，同時(shí)以合成圖像作為訓(xùn)練樣本，提高了方案的適用性。雖然本文提出的方案與目前提出的最優(yōu)方案效果接近，但從實(shí)驗(yàn)結(jié)果來(lái)看，自然場(chǎng)景中文字檢測(cè)和識(shí)別問(wèn)題仍未被完全解決，自然場(chǎng)景的復(fù)雜性和文字本身的多樣性是該問(wèn)題的最大難點(diǎn)。

［1］Duda R O，Hart P E.Use of the Hough transformation to detect lines and curves in pictures［J］.Communications of the ACM，1972，15（1）:11-15.

［2］Ballard D H.Generalizing the Hough transform to detect arbitrary shapes［J］.Pattern recognition，1981，13（2）:111-122.

［3］Gall J，Lempitsky V.Class-specific hough forests for object detection ［M］//Computer Vision and Pattern Recognition（CVPR），2009:1022-1029.

［4］Gall J，Yao A，Razavi N，et al.Hough forests for object detection，tracking，and action recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（11）:2188-2202.

［5］Koo H I，Kim D H.Scene text detection via connected component clustering and nontextfiltering［J］.IEEE Transactions on Image Processing，2013，22（6）:2296-2305.

［6］Matas J，Chum O，Urban M，et al.Robust wide-baseline stereo from maximally stable extremal regions［J］.Image and vision computing，2004，22（10）:761-767.

［7］Chen H，Tsai S S，Schrith G，et al.Robust text detection in natural images with edge-enhanced maximally stable extremal regions［C］//Image Processing （ICIP），2011:2609-2612.

［8］Neumann L，Matsa J.A method for text localization and recognition in real-world images［C］//Asian Conference of Computer Vision（ACCV），2010:770-783.

［9］Nistér D，Stewénius H.Linear time maximally stable ex-tremal regions［C］//Computer Vision-ECCV，2008:183-196.

［10］Freund Y，Schapire R E.A desicion-theoretic generalization of on-line learning and an application to boosting［C］//Computational learning theory，1995:23-37.

［11］Razavi N，Gall J，Van Gool L.Scalable multi-class object detection ［C］//Computer Vision and Pattern Recognition（CVPR），2011:1505-1512.

［12］Blaschko M B.Branch and bound strategies for non-maximal suppression in object detection ［C］//Energy Minimization Methods in Computer Vision and Pattern Recognition，2011: 385-398.

［13］Everingham M，Van Gool L，Williams C K I，et al.The pascal visual object classes（voc）challenge［J］.International journal of computer vision，2010，88（2）:303-338.

［14］Epshtein B，Ofek E，Wexler Y.Detecting text in natural sceneswith stroke width transform［C］//Computer Vision and Pattern Recognition（CVPR），2010:2963-2970.

［15］Karatzas D，Shafait F，UCHIDA S，et al.ICDAR 2013 robust reading competition［C］//Document Analysis and Recognition（ICDAR），2013:1484-1493.

Text detection and recognition in natural scenes based on component tree and Hough forest

SU Jiang，F(xiàn)ANG Tao，WANG Xiao-ming，WU Yuan-yuan，GAO Bo
（Shaanxi Electric Power Company Information Communication Co.，Ltd.，Xi'an 710004，China）

Text detection and recognition in natural scenes play an important role in image understanding.Inmost of current system design，detection and recognition are isolated and processed separately.A unified framework for detection and recognition based onmulti-class Hough forest is proposed.In order to improve the performance when the quantity of classes increases，aswellas improve accuracy with uncertain scale，component tree is used for extracting connected componentwith hierarchy，while a set of features based on text characteristics is extracted and feed to a classifier.With the help of the classifier，the scale of the target is determined and all candidate texts are located，which build the foundation of subsequent stage for fine positioning and recognition.Experiments show that the scheme is competitive with current optimal solutions in both detection and recognition.

component tree；Hough forest；image understanding；text detection；text recognition

TN99

A

1674－6236（2016）20-0178-04

2015-10-28 稿件編號(hào)：201510202

蘇 江（1984—），男，陜西蒲城人，碩士，工程師。研究方向：信息系統(tǒng)開(kāi)發(fā)維護(hù)、模式識(shí)別。