顧天君，孫陽(yáng)光，林虎

（中南民族大學(xué) a.計(jì)算機(jī)科學(xué)學(xué)院；b.湖北省制造企業(yè)智能管理工程技術(shù)研究中心， 武漢 430074）

文字作為人與人基礎(chǔ)的交流手段，是信息重要的載體.隨著信息產(chǎn)業(yè)的迅速發(fā)展，文字迫切需要信息化，進(jìn)而適應(yīng)日益繁多的需求.現(xiàn)階段關(guān)于光學(xué)字符識(shí)別（Optical Character Recognition， OCR）的研究和應(yīng)用已經(jīng)成熟，其利用光學(xué)技術(shù)和計(jì)算機(jī)技術(shù)進(jìn)行字符識(shí)別，改變了我們的生活.例如在學(xué)習(xí)和工作中，只需要通過(guò)軟件掃描紙質(zhì)文檔就可以生成其電子檔版本，且正確率很高，豐富了交流手段并且降低了溝通成本.而現(xiàn)有的OCR 技術(shù)對(duì)于復(fù)雜背景下的字符識(shí)別具有應(yīng)用局限性.出于提高復(fù)雜背景下文字識(shí)別準(zhǔn)確率的考慮，研究出一種適用于復(fù)雜背景的字符分割算法符合現(xiàn)階段的需要.

2014年全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）實(shí)現(xiàn)對(duì)圖像端到端的分割，語(yǔ)義分割技術(shù)快速發(fā)展并被廣泛應(yīng)用于各個(gè)領(lǐng)域，如：醫(yī)學(xué)圖像［1-3］等，并在其快速發(fā)展過(guò)程中產(chǎn)生了許多新的語(yǔ)義分割網(wǎng)絡(luò)，然而現(xiàn)有的語(yǔ)義分割網(wǎng)絡(luò)大多伴隨著計(jì)算效率或分割精度的問(wèn)題［4-6］，為語(yǔ)義分割技術(shù)在字符采集行業(yè)中的應(yīng)用造成了困難.

為了解決以上問(wèn)題，本文提出了基于輕量級(jí)UNet的復(fù)雜背景字符語(yǔ)義分割網(wǎng)絡(luò).該網(wǎng)絡(luò)的主要?jiǎng)?chuàng)新如下：首先，在特征提取模塊中拋棄了傳統(tǒng)卷積，應(yīng)用深度可分離卷積［7-10］，減少了網(wǎng)絡(luò)的參數(shù)量以及計(jì)算量，并使用殘差學(xué)習(xí)模塊解決網(wǎng)絡(luò)退化問(wèn)題［11-13］.其次，對(duì)低層特征與高層特征的上采樣結(jié)果進(jìn)行特征融合，有效的結(jié)合了高層特征與低層特征的優(yōu)勢(shì)，具有較高的網(wǎng)絡(luò)分割精度.后續(xù)的實(shí)驗(yàn)證明了本文網(wǎng)絡(luò)在復(fù)雜背景字符分割上的有效性.

1 技術(shù)原理

1.1 UNet

UNet 是一種基于編碼-解碼結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，其具有兩個(gè)特點(diǎn)［14］：（1）多尺度的圖像信息，在網(wǎng)絡(luò)的編碼過(guò)程中不斷降低特征的分辨率以獲取不同尺度的特征，其中高層特征具有高語(yǔ)義，而低層特征具有高分辨率，使得UNet獲取到的圖像信息更加全面.（2）跳躍連接結(jié)構(gòu)，為解決特征上采樣產(chǎn)生的失真問(wèn)題，在解碼過(guò)程中對(duì)低層特征以及高層特征的上采樣結(jié)果進(jìn)行融合，特征融合結(jié)果結(jié)合高層特征的高語(yǔ)義以及低層特征的高分辨率，滿足了分割對(duì)這兩方面信息的需求.

1.2 特征提取模塊

特征提取模塊是語(yǔ)義分割任務(wù)的核心元素［15-17］，也是網(wǎng)絡(luò)的重要組成，因此很大程度上決定了網(wǎng)絡(luò)的規(guī)模大小.為了減少網(wǎng)絡(luò)的參數(shù)量以及計(jì)算量，本文網(wǎng)絡(luò)在特征提取模塊中將傳統(tǒng)卷積變?yōu)樯疃瓤煞蛛x卷積（Depthwise Separable Convolution， DSConv）.

深度可分離卷積過(guò)程可分為兩部分（如圖1 所示），首先考慮特征的區(qū)域，然后結(jié)合不同通道，實(shí)現(xiàn)了對(duì)輸入特征區(qū)域和通道的分離［18］.其中C、H、W 分別代表特征的通道數(shù)、高、寬，第一部分為逐通道卷積，逐通道卷積分開(kāi)使用，卷積核數(shù)量與輸入通道數(shù)相同，實(shí)現(xiàn)了對(duì)輸入特征所有通道的逐一過(guò)濾，參數(shù)量以及計(jì)算量比傳統(tǒng)卷積更少；第二部分為逐點(diǎn)卷積，每個(gè)卷積核對(duì)輸入特征的每個(gè)通道都進(jìn)行卷積計(jì)算，其計(jì)算結(jié)果是各個(gè)通道卷積結(jié)果的和，卷積核數(shù)量為輸入通道數(shù)與輸出通道數(shù)的乘積，實(shí)現(xiàn)了對(duì)過(guò)濾后所有通道的逐點(diǎn)卷積，用來(lái)獲取通道之間的信息，這種分解結(jié)構(gòu)相較傳統(tǒng)卷積減少了參數(shù)量和計(jì)算量.

圖1 DSConv基本結(jié)構(gòu)Fig.1 Basic structure of DSConv

UNet 的特征提取模塊含有兩層卷積，輸出通道數(shù)都與特征提取模塊輸出結(jié)果的通道數(shù)相同.本文為了進(jìn)一步減少網(wǎng)絡(luò)的參數(shù)以及計(jì)算量，將第一層卷積的輸出通道數(shù)設(shè)置為特征提取模塊輸出結(jié)果通道數(shù)的一半，進(jìn)一步減少了網(wǎng)絡(luò)特征提取模塊中的參數(shù)量以及計(jì)算量.

在神經(jīng)網(wǎng)絡(luò)中，后一層神經(jīng)元的輸入是前一層神經(jīng)元輸出的加權(quán)和，也就是說(shuō)前一層的特征在后一層被抽象出來(lái)了，網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程也就是調(diào)節(jié)和優(yōu)化各連接權(quán)重和閾值并不斷抽象的過(guò)程［19］.本文網(wǎng)絡(luò)在特征提取模塊中使用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積，減少了網(wǎng)絡(luò)卷積操作的參數(shù)量和計(jì)算量，使網(wǎng)絡(luò)更加輕量.但是深度可分離卷積是雙層結(jié)構(gòu)，與使用傳統(tǒng)卷積相比，特征提取模塊的卷積層數(shù)也增大了一倍，增大了網(wǎng)絡(luò)性能退化的風(fēng)險(xiǎn).為了穩(wěn)定網(wǎng)絡(luò)反向傳播時(shí)各層的權(quán)重，解決網(wǎng)絡(luò)退化問(wèn)題，本文在特征提取模塊中加入了殘差學(xué)習(xí)模塊.

綜上所述，本文特征提取模塊如圖2所示，其中X代表輸入的特征，模塊由直接映射路徑以及殘差路徑組成，其中殘差路徑由兩個(gè)DSConv 構(gòu)成，直接映射路徑由1 × 1 Conv 構(gòu)成，兩條路徑進(jìn)行相加并通過(guò)ReLU激活函數(shù)即為特征提取模塊的輸出.

圖2 特征提?。‵E）模塊Fig.2 Feature extraction module

1.3 雙線性插值

雙線性插值（Bilinear Interpolation）是一種提高圖像分辨率的方法，其利用原圖像中目標(biāo)點(diǎn)四周的四個(gè)真實(shí)存在的像素值來(lái)共同決定目標(biāo)圖中的一個(gè)像素值，核心思想是在兩個(gè)方向分別進(jìn)行一次線性插值［20］.傳統(tǒng)UNet采用反卷積方式進(jìn)行上采樣，需要耗費(fèi)大量的參數(shù)以及計(jì)算量.反卷積方式是通過(guò)卷積操作對(duì)圖像進(jìn)行尺寸放大，而雙線性插值方法不需要參數(shù)且計(jì)算量與反卷積相比可以忽略不記，出于提升計(jì)算效率的考慮，本文使用雙線性插值進(jìn)行上采樣.

由于雙線性插值是在圖像的原有基礎(chǔ)上對(duì)其像素進(jìn)行擴(kuò)充，因此不能改變圖像的通道數(shù).為了保證網(wǎng)絡(luò)跳躍連接結(jié)構(gòu)中低層特征與高層特征上采樣結(jié)果在通道數(shù)上的一致性，本文在上采樣前的特征提取階段中，通過(guò)卷積操作調(diào)整高層特征的通道數(shù)，使得上采樣結(jié)果的通道數(shù)與后面進(jìn)行融合的特征相同.

1.4 特征融合模塊

特征在下采樣以及上采樣的過(guò)程中都會(huì)產(chǎn)生一定程度上的失真.與特征上采樣相比，下采樣的失真相對(duì)可以忽略，也保留了更多的細(xì)節(jié)信息，因此對(duì)特征上采樣中信息失真問(wèn)題的處理是提升網(wǎng)絡(luò)性能的重要影響因素.UNet 在跳躍連接結(jié)構(gòu)中通過(guò)拼接的方式融合低層特征與高層特征的上采樣結(jié)果，以此減少特征上采樣的失真.但是這種方式不僅使得特征融合后輸出特征的通道數(shù)較大，增加了網(wǎng)絡(luò)的參數(shù)量以及計(jì)算量.而且這種簡(jiǎn)單的特征融合方式不能充分體現(xiàn)網(wǎng)絡(luò)中高、低層特征的關(guān)系.綜上所述，本文將高層特征上采樣結(jié)果以及低層特征通過(guò)加權(quán)求和的方式進(jìn)行融合.較拼接方式，特征融合結(jié)果減少了一半的通道數(shù)，間接減少了網(wǎng)絡(luò)的參數(shù)量以及計(jì)算量.

1.5 網(wǎng)絡(luò)模型結(jié)構(gòu)

本文網(wǎng)絡(luò)原理框架如圖3所示，網(wǎng)絡(luò)可分為四個(gè)階段：初始化（Initialize）、編碼（Encoding）、解碼（Decode）、輸出（Output）.在初始化階段，輸入尺寸為128 × 128的三通道待分割圖像，通過(guò)特征提取模塊提取語(yǔ)義信息，初始化階段共進(jìn)行一次特征提取，最終輸出64 × 128 × 128的特征圖.在編碼階段，每次編碼首先使用最大池化方式（MaxPool）對(duì)特征進(jìn)行下采樣，再使下采樣結(jié)果通過(guò)特征提取模塊，提取特征的語(yǔ)義信息，編碼階段共進(jìn)行四次編碼，最終輸出512 × 8 × 8的特征圖.在解碼階段，每次解碼都首先通過(guò)雙線性插值的方式對(duì)特征進(jìn)行上采樣，再通過(guò)特征融合模塊，將上采樣結(jié)果與編碼階段中相同尺寸的編碼輸出特征進(jìn)行融合，最后使特征融合結(jié)果通過(guò)特征提取模塊，提取特征的語(yǔ)義信息，解碼階段共進(jìn)行四次解碼，最終輸出3 × 128 ×128 的特征圖.在輸出階段，通過(guò)1 × 1 Conv 整合解碼階段的最后特征的各通道并輸出結(jié)果.

圖3 網(wǎng)絡(luò)原理框架Fig.3 The framework of network

與UNet相比，本文網(wǎng)絡(luò)在特征提取模塊中使用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積，使得網(wǎng)絡(luò)輕量化.應(yīng)用殘差學(xué)習(xí)模塊解決網(wǎng)絡(luò)退化問(wèn)題.并采用雙線性插值方法進(jìn)行上采樣，提高了計(jì)算效率.最終得到本文網(wǎng)絡(luò).具體結(jié)構(gòu)如表1 所示.相較UNet，改進(jìn)減少了網(wǎng)絡(luò)的參數(shù)量以及計(jì)算量.

表1 網(wǎng)絡(luò)整體結(jié)構(gòu)Tab.1 The whole structure of network

1.6 損失函數(shù)

神經(jīng)網(wǎng)絡(luò)的性能不僅取決于網(wǎng)絡(luò)的結(jié)構(gòu)，還取決于損失函數(shù)的選取.損失函數(shù)的作用在于度量模型的預(yù)測(cè)結(jié)果與真實(shí)值之間的差異，損失函數(shù)的值越小，代表模型的效果越好.交叉熵?fù)p失函數(shù)具有求導(dǎo)簡(jiǎn)單、收斂速度快的優(yōu)點(diǎn)，因此主流的語(yǔ)義分割網(wǎng)絡(luò)都將其作為損失函數(shù)使用，在對(duì)圖像進(jìn)行二分類任務(wù)時(shí)，本文使用二元交叉熵（Binary Cross Entropy， BCE）損失函數(shù)，具體函數(shù)公式如（1）式：

其中N 代表訓(xùn)練集的大小，g（i）代表第i張圖片的真實(shí)值，p（i）代表第i張圖片的預(yù)測(cè)值.

2 實(shí)驗(yàn)

2.1 樣本數(shù)據(jù)增強(qiáng)

為了驗(yàn)證本文網(wǎng)絡(luò)的性能，選取77張不同字樣的字符圖像作為實(shí)驗(yàn)數(shù)據(jù)集的原始字符圖像，每張圖像的尺寸為128 × 128.由于字符圖像的數(shù)量較少且實(shí)際應(yīng)用中出現(xiàn)的字符會(huì)不完整，為了貼合實(shí)際，按1∶20 的比例對(duì)字符進(jìn)行隨機(jī)殘缺，生成1540 張不同的字符圖像，并將其與不同背景圖片進(jìn)行圖像融合，最終得到本文的實(shí)驗(yàn)數(shù)據(jù)集.從全部樣本隨機(jī)抽取10%作為實(shí)驗(yàn)的測(cè)試集，剩下的作為訓(xùn)練集.

2.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)使用的深度學(xué)習(xí)框架為PaddlePaddle 2.0.2，環(huán)境為Python 3.7，批處理大小為10，在Nvidia Tesla V100 32GB GPU 上使用隨機(jī)梯度下降的方式訓(xùn)練模型200 個(gè)epoch.在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，本文采用RMSProp 優(yōu)化器，并使用ReduceOnPlateau 學(xué)習(xí)率調(diào)度器，設(shè)置訓(xùn)練的初始學(xué)習(xí)率η為0.01、patience 為5、factor為0.1.

2.3 評(píng)價(jià)指標(biāo)

本文采用交并比、精確率、召回率以及F分?jǐn)?shù)衡量模型的分割精度.其中交并比（Intersection Over Union， IoU）是指模型的預(yù)測(cè)結(jié)果與標(biāo)注圖之間的交并比，用來(lái)衡量模型預(yù)測(cè)結(jié)果與標(biāo)注圖之間的相似度.精確率（Precision）是指模型所有預(yù)測(cè)出的目標(biāo)中預(yù)測(cè)正確的概率，用來(lái)度量正例中真正的正例樣本的比.召回率（Recall）是指所有的正樣本中正確識(shí)別的概率，用來(lái)度量被正確判定的正例占總的正例的比重.F 分?jǐn)?shù)（F）即精確率和召回率的調(diào)和平均數(shù)，它同時(shí)兼顧了模型的查準(zhǔn)率和查全率.樣本中的正例代表圖像中的字符部分，反例代表圖像中的背景部分，具體函數(shù)公式如（2）～（5）式：

其中，TP（True Positive）表示真正例，即模型預(yù)測(cè)為正例，實(shí)際也為正例，F(xiàn)P（False Positive）表示假正例，即模型預(yù)測(cè)為正例，實(shí)際為反例，F(xiàn)N（False Negative）表示假反例，即模型預(yù)測(cè)為反例，實(shí)際為正例，TN（True Negative）表示真反例，即模型預(yù)測(cè)為反例，實(shí)際也為反例.

3 實(shí)驗(yàn)結(jié)果及分析

3.1 與其他網(wǎng)絡(luò)比較

為了分析本文網(wǎng)絡(luò)的性能，分別與Paddle 框架自帶的經(jīng)典網(wǎng)絡(luò)FCN8s、AttaionUNet 和UNet 進(jìn)行對(duì)比.從測(cè)試集中抽取了4個(gè)樣本，并將各模型的預(yù)測(cè)結(jié)果與對(duì)應(yīng)樣本的標(biāo)注圖進(jìn)行比較（結(jié)果如圖4 所示），其中圖4（a）代表待預(yù)測(cè)的樣本，圖4（b）代表樣本對(duì)應(yīng)的標(biāo)注圖，圖4（c）-（f）為不同模型的預(yù)測(cè)結(jié)果.可以看到，在對(duì)字符與背景對(duì)比度強(qiáng)的部分進(jìn)行預(yù)測(cè)時(shí)，各模型都能夠把字符較為完整地分割出來(lái)，在對(duì)字符與背景對(duì)比度弱的部分進(jìn)行預(yù)測(cè)時(shí)，各模型漏分與誤分的現(xiàn)象開(kāi)始不同程度上的增多.

圖4 不同模型的分割結(jié)果對(duì)比Fig.4 Comparison of segmentation results of different models

為了更直觀地表示各模型的預(yù)測(cè)結(jié)果與標(biāo)注圖的具體差異，使用淺灰色、深灰色、黑色分別代表模型預(yù)測(cè)結(jié)果與標(biāo)注圖的重疊區(qū)域、漏分區(qū)域、誤分區(qū)域（結(jié)果如圖5 所示），其中圖5（a）代表樣本對(duì)應(yīng)的標(biāo)注圖，圖5（b）-（e）為不同模型的預(yù)測(cè)結(jié)果.從FCN8s 預(yù)測(cè)結(jié)果與標(biāo)注圖的對(duì)比可以看出，F(xiàn)CN8s無(wú)法分割出字符的局部具體細(xì)節(jié)，在對(duì)難度較大的樣本進(jìn)行預(yù)測(cè)時(shí)，誤分與漏分的次數(shù)過(guò)多，難以從FCN8s 的預(yù)測(cè)結(jié)果中辨認(rèn)出樣本具體是哪種字符，因此FCN8s 無(wú)法滿足實(shí)際應(yīng)用對(duì)網(wǎng)絡(luò)的分割精度要求.從AttaionUNet、UNet、本文網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與標(biāo)注圖的對(duì)比可以看出，這三種網(wǎng)絡(luò)都能夠從復(fù)雜背景下的字符樣本中較好的分割出字符的具體形狀，可以滿足實(shí)際應(yīng)用對(duì)網(wǎng)絡(luò)的分割精度要求.

圖5 不同模型差異化分割結(jié)果Fig.5 Different models differentiate segmentation results

為了進(jìn)一步分析各網(wǎng)絡(luò)的性能，在完整的測(cè)試集上進(jìn)行測(cè)試.由于測(cè)試集含有部分字符內(nèi)容殘缺的樣本，而殘缺字符與完整字符的樣本相比，降低了圖像中字符與背景的對(duì)比度，增大了模型進(jìn)行語(yǔ)義分割的難度，因此各模型的分割精度有不同程度上的下降.給出各模型的Params 和FLOPs，從計(jì)算效率以及分割精度兩個(gè)層面上分析各網(wǎng)絡(luò)的性能（如表2 所示）.在計(jì)算效率層次上比較各網(wǎng)絡(luò)的性能，本文網(wǎng)絡(luò)的Params為1.32M且FLOPs僅為0.70G，而較FCN8s、AttaionUNet 和UNet 網(wǎng)絡(luò)相比，本文網(wǎng)絡(luò)的Params 和FLOPs 均降低了一個(gè)數(shù)量級(jí).在分割精度層面上比較各網(wǎng)絡(luò)的性能，本文網(wǎng)絡(luò)在分割精度指標(biāo)IoU、Precision 以及F上均得分最高.綜上所述，本文網(wǎng)絡(luò)兼顧了計(jì)算效率以及分割精度，在滿足實(shí)際應(yīng)用中實(shí)時(shí)性檢測(cè)要求的同時(shí)有著較高的分割精度.

表2 與其他網(wǎng)絡(luò)的性能對(duì)比Tab.2 Performance comparison with other models

3.2 H-DIBCO2018公開(kāi)數(shù)據(jù)集測(cè)試

為了驗(yàn)證對(duì)比網(wǎng)絡(luò)的魯棒性，本文在H-DIBCO2018公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).H-DIBCO2018 中的樣本來(lái)源于READ（Recognition and Enrichment of Archival Documents）項(xiàng)目，其中涵蓋了從十五到十九世紀(jì)的各種收藏，共10 張圖像.將其中9 張圖像用于訓(xùn)練，剩余的1 張圖像用于測(cè)試，并將尺寸為1013 × 511的測(cè)試圖像填充為1024 × 512，以便于網(wǎng)絡(luò)跳躍結(jié)構(gòu)中編碼階段和解碼階段的特征圖操作.由于訓(xùn)練集的數(shù)據(jù)量較小而圖像尺寸較大，使用隨機(jī)剪裁的方式對(duì)訓(xùn)練圖像進(jìn)行數(shù)據(jù)增廣，并統(tǒng)一裁剪結(jié)果為尺寸為128 × 128 像素的圖像，最終生成1123 張訓(xùn)練樣本.為了能更充分的考察各網(wǎng)絡(luò)的性能，在樣本上添加椒鹽噪聲（噪聲比例為0.15），降低了圖像中字符與背景的對(duì)比度，加大了分割的難度.在訓(xùn)練集上對(duì)本文網(wǎng)絡(luò)與FCN8s、AttationUNet和UNet進(jìn)行訓(xùn)練，將收斂的網(wǎng)絡(luò)模型在測(cè)試集上進(jìn)行測(cè)試（結(jié)果如圖6所示）.從圖中可以看出，本文網(wǎng)絡(luò)在公開(kāi)數(shù)據(jù)集上相較其他網(wǎng)絡(luò)也具有良好的表現(xiàn).通過(guò)對(duì)各模型的性能進(jìn)行評(píng)估（如表3 所示），與FCN8s、AttationUNet 和UNet 相比，本文網(wǎng)絡(luò)在計(jì)算效率以及分割精度上顯示了本文網(wǎng)絡(luò)具有較好的性能.

表3 與其他網(wǎng)絡(luò)的性能對(duì)比Tab.3 Performance comparison with other models

圖6 H-DIBCO2018數(shù)據(jù)集測(cè)試結(jié)果Fig.6 H-DIBCO2018 dataset test results

4 結(jié)論

針對(duì)目前語(yǔ)義分割網(wǎng)絡(luò)在復(fù)雜字符背景分割中應(yīng)用困難的問(wèn)題，本文提出了一種基于輕量級(jí)UNet的復(fù)雜背景字符語(yǔ)義分割網(wǎng)絡(luò).本文在UNet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上對(duì)其特征提取模塊和跳躍連接結(jié)構(gòu)中特征融合的方式進(jìn)行改進(jìn)，并使用雙線性插值方法進(jìn)行上采樣.與近年來(lái)的其他語(yǔ)義分割網(wǎng)絡(luò)相比較，測(cè)試結(jié)果顯示本文網(wǎng)絡(luò)較好的平衡了計(jì)算效率與分割精度，為復(fù)雜字符背景分割提供了一種集合速度與準(zhǔn)確于一體的算法.盡管本文網(wǎng)絡(luò)取得了較好的成績(jī)，但是改進(jìn)后的網(wǎng)絡(luò)仍然存在著細(xì)節(jié)部位不準(zhǔn)確的問(wèn)題，因此后續(xù)的研究會(huì)致力于提升網(wǎng)絡(luò)對(duì)字符局部細(xì)節(jié)分割的準(zhǔn)確率，使得網(wǎng)絡(luò)可以應(yīng)用在更多的實(shí)際場(chǎng)景中.