肖進(jìn)勝 趙 陶 熊聞心 楊 天 姚渭箐

①(武漢大學(xué)電子信息學(xué)院 武漢 430072)

②(國(guó)網(wǎng)湖北省電力有限公司信息通信公司 武漢 430077)

1 引言

在當(dāng)代社會(huì)，各級(jí)國(guó)家機(jī)關(guān)、社會(huì)團(tuán)體、企事業(yè)單位都使用印章作為一種重要的標(biāo)記信物。隨著圖像處理技術(shù)發(fā)展，光學(xué)字符識(shí)別 (Optical Character Recognition, OCR) 等技術(shù)也取得了巨大的發(fā)展，同時(shí)隨著電子化與無(wú)紙化辦公的進(jìn)一步普及，印章電子化也成為一種趨勢(shì)。如果能夠使用圖像處理與光學(xué)字符識(shí)別的相關(guān)技術(shù)對(duì)中文印章內(nèi)的文字進(jìn)行檢測(cè)與識(shí)別，使用機(jī)器快速地對(duì)印章的內(nèi)容進(jìn)行檢測(cè)與分類，可以有效地提高文檔分類的效率與準(zhǔn)確率，節(jié)省人力，具有巨大的應(yīng)用價(jià)值。

印章內(nèi)容檢測(cè)與識(shí)別借鑒自然場(chǎng)景文字識(shí)別的相關(guān)方法，一般分為文字區(qū)域檢測(cè)與文字內(nèi)容識(shí)別。Lin等人[1]對(duì)近幾年場(chǎng)景文字檢測(cè)與識(shí)別的各類方法進(jìn)行了分析。聯(lián)結(jié)文本提議網(wǎng)絡(luò)(Connectionist Text Proposal Network, CTPN)[2]是文本檢測(cè)的常用網(wǎng)絡(luò)，奠定文本檢測(cè)算法的基礎(chǔ)，但只能檢測(cè)水平文本行。SegLink算法[3]將每個(gè)字符切割為更易檢測(cè)的細(xì)粒度文字塊，然后將各個(gè)小文字塊連接成單詞，便于識(shí)別長(zhǎng)度變化范圍很大、帶方向的單詞和文本行。Zhou等人[4]提出一種高效和高精度的場(chǎng)景文本檢算法(an Efficient and Accurate Scene-Text detector, EAST)，該模型使用全卷積網(wǎng)絡(luò)(Fully Convolutional Networks, FCN)[5]生成多尺度融合的特征圖，然后在此基礎(chǔ)上進(jìn)行像素級(jí)的文本塊預(yù)測(cè)，可以實(shí)現(xiàn)多尺度的自然文本文字框檢測(cè)。目前時(shí)序分類機(jī)制(Connectionist Temporal Classification, CTC)[6]和注意力機(jī)制(Seq2Seq)[7]廣泛應(yīng)用于文字識(shí)別領(lǐng)域。CTC算法用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory, BLSTM)[8]對(duì)字符圖像進(jìn)行特征提取，用CTC損失函數(shù)對(duì)特征圖進(jìn)行編碼與去冗?；谧⒁饬C(jī)制的文字識(shí)別方法利用中間向量完成文字的編碼與解碼輸出，能夠提高檢測(cè)效率和效果[9]。

方形印章中的文字呈水平分布，這類文本檢測(cè)已經(jīng)十分成熟，而中文常見印章內(nèi)容都呈圓環(huán)排列，其識(shí)別工作仍具有很大的挑戰(zhàn)。本文深入研究國(guó)內(nèi)外印章內(nèi)容識(shí)別技術(shù)的發(fā)展?fàn)顩r，提出了角度優(yōu)化網(wǎng)絡(luò)的印章內(nèi)容識(shí)別算法。利用極坐標(biāo)對(duì)印章文字進(jìn)行展開，克服圓形印章文字方向不統(tǒng)一的問(wèn)題，同時(shí)為了防止展開過(guò)程中印章文字發(fā)生形變，在展開的同時(shí)進(jìn)行雙線性插值。針對(duì)印章文字展開后依舊上下起伏和傾斜等情況，將旋轉(zhuǎn)區(qū)域提議網(wǎng)絡(luò)(Rotation Region Proposal Networks,RRPN)[10]運(yùn)用至文本檢測(cè)之中，使得文本提議框融入角度信息，并利用貝塞爾曲線對(duì)文本進(jìn)行擬合。印章識(shí)別部分將卷積循環(huán)神經(jīng)網(wǎng)絡(luò)(Convolutional Recurrent Neural Network, CRNN)文字識(shí)別網(wǎng)絡(luò)中的C T C 轉(zhuǎn)錄層替換為注意力機(jī)制Seq2Seq，并利用文本匹配算法對(duì)識(shí)別結(jié)果進(jìn)行修正。本文算法在印章預(yù)處理、文字區(qū)域提取和文字內(nèi)容識(shí)別等各個(gè)方面有一定的優(yōu)勢(shì)，具有一定的參考價(jià)值和實(shí)用性。

2 印章文字檢測(cè)與識(shí)別

算法的預(yù)處理部分的主要任務(wù)是對(duì)印章進(jìn)行提取與展開，對(duì)于呈環(huán)形排列的中文印章，利用極坐標(biāo)展開將環(huán)形文字展開為矩形文字，在轉(zhuǎn)換的同時(shí)也融合了雙線性插值，克服了環(huán)形文字轉(zhuǎn)換之后產(chǎn)生的形變問(wèn)題。文字檢測(cè)與識(shí)別部分提取印章文字區(qū)域和識(shí)別具體內(nèi)容。將展開的印章圖像使用包含RRPN的CTPN對(duì)文字區(qū)域進(jìn)行提取，然后利用貝塞爾曲線對(duì)文本框進(jìn)行擬合，最后將提取的文字區(qū)域輸入至使用注意力轉(zhuǎn)移機(jī)制的CRNN網(wǎng)絡(luò)進(jìn)行文字識(shí)別，并進(jìn)行文本匹配輸出印章內(nèi)部的文字。整個(gè)架構(gòu)如圖1所示。

圖1 印章識(shí)別架構(gòu)圖

2.1 印章預(yù)處理

預(yù)處理的主要任務(wù)是對(duì)合同內(nèi)的印章進(jìn)行提取與展開，將印章圖像由RGB顏色空間轉(zhuǎn)換為CELAB顏色空間，由A, B通道確定印章所在位置，調(diào)節(jié)L通道閾值克服印章顏色亮度帶來(lái)的影響。在CIELAB顏色空間中對(duì)印章區(qū)域進(jìn)行提取，可以有效地將印章文字與背景文字分離。同時(shí)利用極坐標(biāo)轉(zhuǎn)換，可以將需要檢測(cè)的印章環(huán)形文字展開為橫向排列的文字，克服了印章內(nèi)部文字方向不統(tǒng)一的問(wèn)題。在進(jìn)行極坐標(biāo)轉(zhuǎn)換的過(guò)程中同時(shí)結(jié)合雙線性插值，使得展開后每個(gè)像素點(diǎn)的值不只是簡(jiǎn)單地取決于原圖中的單一像素點(diǎn)，而是由原圖中的多個(gè)像素點(diǎn)共同來(lái)決定。印章提取和極坐標(biāo)轉(zhuǎn)換的示意分別如圖2、圖3所示。

圖2 印章提取效果

如圖3所示，圓圖中點(diǎn)p(i,j)在方圖中對(duì)應(yīng)的坐標(biāo)為q(x,y)，方圖中的每一列對(duì)應(yīng)圓圖中的一個(gè)圓環(huán)，圓圖的半徑為R，方圖的長(zhǎng)寬為N×M, M,N與實(shí)際的印章大小有關(guān)，一般展開后方圖的每一行對(duì)應(yīng)于印章的圓周，每一列對(duì)應(yīng)于圓周上的每一條半徑。定義縮放因子λt=N/R，角度因子為λt=2π/M，圓圖上圖像坐標(biāo)系(i,j)和矩形坐標(biāo)系(x,y)的變換關(guān)系為

圖3 極坐標(biāo)轉(zhuǎn)換示意圖

極坐標(biāo)轉(zhuǎn)換為直角坐標(biāo)圖像的過(guò)程中，采用了雙線性插值，對(duì)圖像進(jìn)行拉伸。極坐標(biāo)展開的效果如圖4所示。

圖4 印章展開效果圖

2.2 包含角度信息的CTPN印章文字檢測(cè)

文本提議框分類標(biāo)簽值l=1,0分別代表該提議框?yàn)檎龢颖?、?fù)樣本，p是通過(guò)Softmax函數(shù)計(jì)算的文本概率值。i為細(xì)粒度文本提議框的索引值。v?為 真值中標(biāo)注的文本框位置標(biāo)簽值。Lcls采用對(duì)數(shù)似然概率損失函數(shù)，Lreg采用L1損失函數(shù)?；貧w與分類損失函數(shù)具有不同的變化范圍。為克服不同尺寸文本提議框?qū)p失函數(shù)的影響，需對(duì)這些坐標(biāo)信息進(jìn)行歸一化

圖5 RRPN網(wǎng)絡(luò)

2.3 文本合并

改進(jìn)后的CTPN網(wǎng)絡(luò)的文本提議框帶有一定的角度，其文本覆蓋范圍也包含水平方向上的變化，為了克服角度帶來(lái)的影響，在合并的過(guò)程中考慮交并比的同時(shí)也應(yīng)該保證角度信息。帶角度信息的文本合并過(guò)程包含兩類：(1)對(duì)于存在交并比(Intersection Over Union, IOU)大于0.7的文本提議框，選擇最大IOU的文本提議框進(jìn)行合并；(2)若文本提議框的IOU都在[0.3, 0.7]范圍內(nèi)，選擇角度差值最小的文本提議框，并且該角度值必須小于π /12。文本框合并過(guò)程如圖6所示。

圖6 貝塞爾曲線擬合文本線

為了驗(yàn)證RRPN和貝塞爾曲線在印章文字檢測(cè)中的有效性，設(shè)計(jì)了關(guān)于RRPN和貝塞爾曲線的消融實(shí)驗(yàn)，圖7是實(shí)驗(yàn)效果對(duì)比圖。

由圖7對(duì)比可以發(fā)現(xiàn)，加入貝塞爾曲線相對(duì)于加入RRPN能夠使得文本檢測(cè)更精準(zhǔn)，而通過(guò)對(duì)比圖7(c)和圖7(d)，可以發(fā)現(xiàn)RRPN的加入為之后貝塞爾曲線擬合文本區(qū)域提供了更貼合文本的文本提議框。

圖7 RRPN與貝塞爾曲線消融實(shí)驗(yàn)

2.4 采用注意力機(jī)制的文本識(shí)別算法

本文采用CRNN網(wǎng)絡(luò)對(duì)印章區(qū)域進(jìn)行特征的提取，然后利用Seq2Seq對(duì)提取的特征進(jìn)行解碼，檢測(cè)輸出印章的文字內(nèi)容。文本識(shí)別網(wǎng)絡(luò)如圖8所示。

圖8 文本識(shí)別網(wǎng)絡(luò)

將提取的印章圖片輸入網(wǎng)絡(luò)，得到尺寸為{1×25×512}的特征圖xt,t ∈[1,n] 。 特征圖x作為Seq2Seq語(yǔ)義轉(zhuǎn)錄層的輸入，通過(guò)編碼器(Enc)把輸出的特征圖轉(zhuǎn)換為一個(gè)語(yǔ)義特征向量C，然后通過(guò)解碼器(Dec)將語(yǔ)義特征向量轉(zhuǎn)換為輸出字符。加入Seq2Seq轉(zhuǎn)錄層之后的網(wǎng)絡(luò)計(jì)算過(guò)程如下：

編碼器輸入由當(dāng)前時(shí)刻的特征向量xt與上一時(shí)刻編碼器輸出ht?1共同決定，當(dāng)前時(shí)刻編碼器的輸出為ht，計(jì)算公式為

其中，f(·)為特征圖提取器，然后通過(guò)編碼器將特征圖中所有的向量進(jìn)行匯集，融合為一個(gè)語(yǔ)義特征向量C，融合的過(guò)程表示為e nc，計(jì)算公式為

然后利用解碼器對(duì)該語(yǔ)義特征向量C進(jìn)行解碼，當(dāng)前時(shí)刻的輸出結(jié)果yt由 該語(yǔ)義特征向量C和之前時(shí)刻的所有輸出共同表示，解碼的過(guò)程為

在上述的Seq2Seq模型中所有的輸入都先轉(zhuǎn)化為中間語(yǔ)義向量C，然后再進(jìn)行解碼，在進(jìn)行編碼的過(guò)程中其實(shí)每個(gè)字符的權(quán)重都是不相同的。模型能夠選擇性的關(guān)注輸入序列有用的部分，即注意力機(jī)制。在Seq2Seq中注意力機(jī)制表現(xiàn)為給每個(gè)特征圖中的序列學(xué)習(xí)一個(gè)獨(dú)立的權(quán)重aij。即

2.5 文本匹配

實(shí)際的印章內(nèi)容檢測(cè)應(yīng)用過(guò)程中，我們可以獲得目標(biāo)印章的先驗(yàn)信息，只需保證被檢測(cè)印章內(nèi)容能夠與預(yù)設(shè)的印章內(nèi)容相近即可。加入文本匹配，文本自動(dòng)調(diào)整成與其相近的先驗(yàn)印章內(nèi)容，能使整個(gè)文本識(shí)別的結(jié)果更準(zhǔn)確。文本相似度算法基于字面含義匹配算法，常見的方法是將兩個(gè)字符串通過(guò)哈希映射后，再比較每個(gè)字符串哈希值的差異。在印章的文字信息識(shí)別過(guò)程中必須嚴(yán)格按照字符的字面信息進(jìn)行匹配，所以本文采用基于字面匹配的文本相似度計(jì)算方法-Simhash算法[12]。其處理步驟如下：

(1)分詞：計(jì)算每個(gè)字符在文本內(nèi)容中的權(quán)重分量，構(gòu)造字符權(quán)重?cái)?shù)組；

(2)計(jì)算字符哈希值：利用哈希函數(shù)計(jì)算每一個(gè)字符權(quán)重?cái)?shù)組元素的哈希值，該哈希值由二進(jìn)制表示；

(3)加權(quán)：根據(jù)權(quán)重?cái)?shù)組中每一個(gè)元素對(duì)應(yīng)的權(quán)重計(jì)算其加權(quán)值；

(4)縱向相加：將第3步得到的加權(quán)值縱向相加以得到加權(quán)和；

(5)降維：將縱向相加后的加權(quán)和歸一化，大于0取1，反之則取為0。得到最終字符串的指紋簽名；

(6)相似度比較：將上述生成的字符串指紋簽名與預(yù)存字符串指紋簽名進(jìn)行比較，依據(jù)距離值選出最接近的印章內(nèi)容。

3 實(shí)驗(yàn)結(jié)果與分析

目前國(guó)內(nèi)并沒(méi)有公開的中文印章數(shù)據(jù)集，因此，本文采集了大量的紙質(zhì)合同建立了一個(gè)中文印章數(shù)據(jù)集，其中該數(shù)據(jù)集是本文作者建立的，還未公開。該數(shù)據(jù)包含真實(shí)的印章360張，電子印章340張。數(shù)據(jù)集中的每一份樣本都統(tǒng)一縮放至360×360，并以24位深度bmp格式存儲(chǔ)。實(shí)驗(yàn)階段中，把該數(shù)據(jù)集分成兩組，第1組300張用于訓(xùn)練，第2組60張用于測(cè)試。

3.1 評(píng)價(jià)指標(biāo)

文字檢測(cè)常使用DetEval[13]評(píng)價(jià)方式計(jì)算精確率P、召回率R與F值。DetEval評(píng)價(jià)方法基于真實(shí)框G的面積與實(shí)際檢測(cè)框D的面積關(guān)系。計(jì)算方法為

3.2 印章內(nèi)容檢測(cè)效果分析

針對(duì)印章文字的檢測(cè)，我們使用相同的訓(xùn)練集和測(cè)試集在多種文字檢測(cè)算法進(jìn)行了比較，由于本文的文字檢測(cè)算法是針對(duì)印章文字的特點(diǎn)提出的，所以在文字檢測(cè)效果上有較大的進(jìn)步，對(duì)于印章文字區(qū)域的擬合效果最佳，詳細(xì)的實(shí)驗(yàn)結(jié)果如表1所示。

表1 印章文字檢測(cè)效果對(duì)比(%)

各類對(duì)比方法的實(shí)際效果對(duì)比如圖9所示。

圖9 文字提取效果對(duì)比

基于圖像灰度分布的MSER算法進(jìn)行文字提取時(shí)會(huì)包含大量的背景信息。而Faster-RCNN[14]算法的anchor并不適合文字細(xì)長(zhǎng)的特點(diǎn)，容易使得各個(gè)文字區(qū)域割裂，并且MSER與Faster-RCNN并不包含角度信息，所以對(duì)于印章內(nèi)的倒立文字無(wú)法去除。將Faster-RCNN中的文本提議框改進(jìn)后產(chǎn)生的CTPN網(wǎng)絡(luò)，將文字檢測(cè)分割為對(duì)細(xì)粒度的文本提議框的檢測(cè)，同樣不包含角度信息，造成文字檢測(cè)的召回率較低。EAST方法包含角度信息，能夠檢測(cè)傾斜的文字，但是該方法對(duì)文字角度沒(méi)有限制，容易產(chǎn)生一對(duì)多的情況，也容易將背景信息容納入檢測(cè)結(jié)果中。PSENET利用寬度優(yōu)先搜索算法對(duì)文字區(qū)域進(jìn)行擴(kuò)展，可以檢測(cè)任意形狀的文字，因而具有很高的檢測(cè)精度，然而具有較低的召回率。本文方法采用RRPN網(wǎng)絡(luò)，對(duì)每個(gè)文本提議框融入了角度信息，并且限定了角度的范圍，使得該算法能夠適合印章文字呈波浪形排列的特點(diǎn)。同時(shí)通過(guò)貝塞爾擬合對(duì)印章的文本框線進(jìn)行擬合，能夠有效去除背景信息，減少印章文字檢測(cè)中的干擾信息。

3.3 印章內(nèi)容識(shí)別效果分析

本文所有對(duì)比方法均在本文自制的印章數(shù)據(jù)集上進(jìn)行訓(xùn)練測(cè)試，數(shù)據(jù)集中的文字圖片都經(jīng)過(guò)了文字檢測(cè)算法的正確檢測(cè)，去除了非識(shí)別步驟帶來(lái)的影響。

將CRNN中的CTC轉(zhuǎn)錄層替換為Seq2Seq注意力機(jī)制后，文字識(shí)別的召回率和效率都有一定的提升。使用CTC轉(zhuǎn)錄層的CRNN文字識(shí)別網(wǎng)絡(luò)的召回率為71.3%，而使用Seq2Seq轉(zhuǎn)錄模塊的文本識(shí)別網(wǎng)絡(luò)的召回率為74.8%，并且平均識(shí)別時(shí)間幾乎相同。使用Seq2Seq轉(zhuǎn)錄模塊的文本識(shí)別網(wǎng)絡(luò)在采用文本匹配模塊后召回率由74.8%提升為84.4%，相比較CRNN識(shí)別效果提升13.1%。而本文采用Seq2Seq轉(zhuǎn)錄模塊和Simhash文本匹配后的文字識(shí)別準(zhǔn)確度和效率都有較大的提升。詳細(xì)的實(shí)驗(yàn)數(shù)據(jù)對(duì)比如表2所示。

表2 印章文字識(shí)別效果對(duì)比

針對(duì)文本文匹配模塊可能會(huì)造成的文字識(shí)別缺失或者識(shí)別錯(cuò)誤的問(wèn)題，本文通過(guò)預(yù)設(shè)的字符對(duì)識(shí)別結(jié)果進(jìn)行校正可以輸出正確的結(jié)果。同時(shí)也對(duì)Simhash, BM25[15]和TF-IDF等多種文本匹配方法在相同測(cè)試集上做了比較，文本匹配算法嚴(yán)格依照文字的字面含義進(jìn)行匹配，并且通過(guò)調(diào)整各類算法在進(jìn)行文本匹配時(shí)的閾值，當(dāng)采用Simhash文本匹配閾值為20時(shí)，其文字識(shí)別的召回率84.4%為最高。文本匹配對(duì)比數(shù)據(jù)如圖10所示。

從表2和圖10中可以看出本文方法的優(yōu)勢(shì)，而印章檢測(cè)中所出現(xiàn)的錯(cuò)誤樣例大部分是由于印章在合同上的印跡顏色較淺，字跡模糊；印章識(shí)別中所出現(xiàn)的錯(cuò)誤樣例大部分是由于背景文字對(duì)印章的內(nèi)容造成了遮蓋。

圖10 文本匹配對(duì)比

4 結(jié)論

根據(jù)合同內(nèi)部中文印章的文字分布特點(diǎn)，對(duì)印章的提取、預(yù)處理、檢測(cè)與識(shí)別各部分的關(guān)鍵技術(shù)進(jìn)行了研究，結(jié)合印章文字的特點(diǎn)對(duì)各個(gè)部分做出了針對(duì)性的改進(jìn)，本文方法的印章文字召回率為82.17%，檢測(cè)準(zhǔn)確率為87.47%，F(xiàn)值為84.73%，印章文字識(shí)別的召回率為84.4%。在實(shí)驗(yàn)平臺(tái)上的平均檢測(cè)耗時(shí)為640 ms。說(shuō)明了本文方法在具有較好檢測(cè)效果的同時(shí)也具有較快的檢測(cè)速度。