李鎮(zhèn)宇，戰(zhàn)國棟

(1.大連民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 大連 116650;2.大連市計(jì)算機(jī)字庫設(shè)計(jì)技術(shù)創(chuàng)新中心，遼寧 大連 116605)

漢字是中華民族的重要文化特征，也是文化傳播和交流的重要載體，將漢字以圖片的形式保存后，在面對成千上萬的漢字圖片想要對其按照結(jié)構(gòu)分類時(shí)，很多問題就出現(xiàn)了。如果使用人工對漢字圖片分類，首先要識別幾萬漢字，然后按照結(jié)構(gòu)對其分類，即分類的結(jié)構(gòu)分別是半包圍結(jié)構(gòu)、單一結(jié)構(gòu)、品字結(jié)構(gòu)、嵌套結(jié)構(gòu)、全包圍結(jié)構(gòu)、上下結(jié)構(gòu)、上中下結(jié)構(gòu)、左右結(jié)構(gòu)、左中右結(jié)構(gòu)9種結(jié)構(gòu)[1]，人工分類必然存在主觀分類誤差.有很多漢字看似是上下結(jié)構(gòu)，當(dāng)使用字典查詢時(shí)實(shí)則是嵌套結(jié)構(gòu)、還可能存在的問題是分類效率低和分類時(shí)間長等問題。而傳統(tǒng)的數(shù)字圖形圖像學(xué)知識處理面對漢字復(fù)雜的結(jié)構(gòu)，很難處理此類問題。近幾年隨著生產(chǎn)力的發(fā)展，計(jì)算機(jī)性能也在不斷提升，人工神經(jīng)網(wǎng)絡(luò)[2]在很多已經(jīng)領(lǐng)域得到了廣泛的應(yīng)用。目前處理圖像分類主要采用深度學(xué)習(xí)的方法，人工智能技術(shù)在圖像分類方面具有無法超越的效率和準(zhǔn)確率的優(yōu)勢。深度學(xué)習(xí)主要通過卷積神經(jīng)網(wǎng)絡(luò)利用濾波器矩陣對圖像進(jìn)行特征提取，需要大量已標(biāo)注數(shù)據(jù)集來理解數(shù)據(jù)中的潛在聯(lián)系。但是漢字的數(shù)量是有限的，常用的3 000個(gè)漢字[3]則已經(jīng)可以覆蓋99%的書面資料。因此面對數(shù)據(jù)量少的這個(gè)問題，遷移學(xué)習(xí)是圖片漢字結(jié)構(gòu)分類的一個(gè)重要的分類方法，同時(shí)本文也搭建了兩層卷積層的卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)模型，與遷移學(xué)習(xí)的模型進(jìn)行對比。

1 實(shí)驗(yàn)方法

1.1 數(shù)據(jù)來源及分析

本研究的數(shù)據(jù)集是font forge提取瑞意宋字庫圖片，共計(jì)19 798張漢字圖片作為訓(xùn)練集，見表1。漢字結(jié)構(gòu)和各個(gè)的漢字結(jié)構(gòu)的數(shù)量，包含9種漢字結(jié)構(gòu)(半包圍結(jié)構(gòu)、單一結(jié)構(gòu)、品字結(jié)構(gòu)、嵌套結(jié)構(gòu)、全包圍結(jié)構(gòu)、上下結(jié)構(gòu)、上中下結(jié)構(gòu)、左右結(jié)構(gòu)、左中右結(jié)構(gòu))。由表1可知，左右結(jié)構(gòu)和上下結(jié)構(gòu)的漢字占了絕大多數(shù)，而其他結(jié)構(gòu)的漢字卻十分稀少，最少的品字結(jié)構(gòu)的漢字只有15個(gè)，數(shù)據(jù)量的缺少是本研究的一個(gè)難點(diǎn)。

表1 漢字結(jié)構(gòu)和數(shù)量

1.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是指對已有訓(xùn)練數(shù)據(jù)一定變換以增強(qiáng)增加訓(xùn)練樣本數(shù)量，從而提高模型性能的方法。對于圖像數(shù)據(jù)，常用的數(shù)據(jù)增強(qiáng)方法有翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪、移位、高斯噪聲等[4]。圖像的翻轉(zhuǎn)不會(huì)產(chǎn)生信息的損失，而旋轉(zhuǎn)、縮放、裁剪、移位等變換都有可能造成原始圖像信息丟失，對于這個(gè)數(shù)據(jù)集的圖像小角度旋轉(zhuǎn)也是不會(huì)造成圖像邊緣信息的丟失 。但是，非常遺憾的是數(shù)據(jù)增強(qiáng)的方法并沒有在發(fā)揮出它的優(yōu)勢，相反數(shù)據(jù)增強(qiáng)反而讓測試集的準(zhǔn)確率低的離譜，這就說明數(shù)據(jù)增強(qiáng)在本次圖像分類的研究中是不可行的。

1.3 遷移學(xué)習(xí)

深度學(xué)習(xí)中的遷移學(xué)習(xí)[5]是為解決訓(xùn)練數(shù)據(jù)集中訓(xùn)練數(shù)量不足這個(gè)基本問題，通過利用公開數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，然后將參數(shù)和模型遷移到新的領(lǐng)域，完成新任務(wù)的機(jī)器學(xué)習(xí)方法[6]。根據(jù)域(domain)和任務(wù)(task)的不同，遷移學(xué)習(xí)劃分為特征遷移、樣本遷移和參數(shù)遷移等。本文處理目標(biāo)與原本的模型架構(gòu)都是圖像，任務(wù)都是對圖像進(jìn)行訓(xùn)練提取特征，實(shí)現(xiàn)對不同屬性圖片的分類，所以采用參數(shù)遷移方式[6]。

1.4 模型搭建

1.4.1 遷移學(xué)習(xí)模型搭建

遷移學(xué)習(xí)模型搭建主要使用的是python3.7庫和版本，分別是pytorch1.4和torchvision0.5作為本次學(xué)習(xí)基本框架，在框架中可直接加載ResNet18、ResNet50、ResNet152網(wǎng)絡(luò)模型[7]。然后更改全連接層， 最后一層使用到了LogSoftmax[8]。

(1)

式中，x表示輸入數(shù)據(jù)。全連接層損失函數(shù)只使用到了NLLLoss。

f(x,class)=-x[class]。

(2)

式中：x表示輸入數(shù)據(jù)；class表示類別，優(yōu)化器為Adam[9]。

mt=β1mt-1+(1-β1),

(3)

(4)

(5)

式中：m是梯度的一階動(dòng)量 ；β1和β2是兩個(gè)超參數(shù)，一般默認(rèn) 0.9 和 0.999；g是梯度；θ是參數(shù)；α是學(xué)習(xí)率；是個(gè)很小的數(shù)，作用是為了防止分母為零的情況出現(xiàn)；v是梯度的二階動(dòng)量。

最后的參數(shù)微調(diào)可解決預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型在目標(biāo)域中特征參數(shù)與任務(wù)的不匹配問題，參數(shù)微調(diào)是遷移學(xué)習(xí)的最重要步驟。遷移學(xué)習(xí)主要分為3個(gè)步驟[6]：(1)利用大量有標(biāo)識的數(shù)據(jù)集(源域)對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過模型前端的卷積層和池化層，對源域的圖像特征、參數(shù)，進(jìn)行提取；(2)預(yù)訓(xùn)練模型，將訓(xùn)練好的模型導(dǎo)入到目標(biāo)任務(wù)中，通過對全連接層自定義，重構(gòu)分類層；(3)微調(diào)，凍結(jié)前面多層的網(wǎng)絡(luò)參數(shù)，用目標(biāo)域圖像進(jìn)行訓(xùn)練，通過前向傳播，記錄前向傳播各參數(shù)，將訓(xùn)練好的模型應(yīng)用到目標(biāo)任務(wù)中，完成遷移學(xué)習(xí)。因?yàn)閷?shí)驗(yàn)數(shù)據(jù)集較小，且漢字圖像與源域的自然圖像差異性較大，所以本文主要采用凍結(jié)方式對模型進(jìn)行微調(diào)。遷移學(xué)習(xí)模型搭建過程如圖1。

1.4.2 卷積神經(jīng)網(wǎng)絡(luò)模型CNN_2的搭建

卷積神經(jīng)網(wǎng)絡(luò)模型CNN_2搭建使用的是python3.7版本和庫，框架使用的分別是pytorch1.4作為本次學(xué)習(xí)基本框架，在模型中構(gòu)建了兩個(gè)卷積層、兩個(gè)激活層，兩個(gè)池化層，最后使用一個(gè)全連接層輸出分類結(jié)果，激活函數(shù)為ReLU[10]，

ReLU(x)=max{0,x}，

(6)

式中，x表示輸入數(shù)據(jù)。ReLU激活函數(shù)可以快速的收斂，去除特征圖中不太重要的樣本，減少參數(shù)數(shù)量，實(shí)現(xiàn)數(shù)據(jù)的壓縮，防止過擬合。這里采用最大池化，就是取出卷積層中元素的最大值。損失函數(shù)為CrossEntropyLoss[11]。

(7)

其實(shí)loss(x,class)就是(1)式與(2)式的結(jié)合，優(yōu)化器為Adam，卷積神經(jīng)網(wǎng)絡(luò)模型如圖2。

圖1 漢字圖像遷移學(xué)習(xí)流程

圖2 CNN_2模型

2 實(shí)驗(yàn)結(jié)果與分析

2.1 遷移學(xué)習(xí)實(shí)驗(yàn)結(jié)果

使用ResNet18、ResNet50、ResNet152這三種模型進(jìn)行遷移學(xué)習(xí)的方法分別訓(xùn)練，評價(jià)方法為測試集準(zhǔn)確率，前20次直接使用遷移過來的網(wǎng)絡(luò)模型，后30次是微調(diào)模型的結(jié)果。三個(gè)模型的訓(xùn)練結(jié)果如圖3。觀察這三種卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)現(xiàn)雖然這三種模型的準(zhǔn)確率都不高，但是可以發(fā)現(xiàn)，隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，效果反而不好，如圖3所示，ResNet18的最高準(zhǔn)確率為72.03% ，ResNet50的最高準(zhǔn)確率為68.53%而ResNet152的最高準(zhǔn)確率為64.34%。這里大膽的猜測一下，可能是隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，漢字的特征沒有很好的保留，所以下一步搭建了一個(gè)類似于LeNet-5[10]一樣簡單的網(wǎng)絡(luò)，觀察準(zhǔn)確率的情況。

a)ResNet18測試集準(zhǔn)確率 b)ResNet50測試集準(zhǔn)確率 c)ResNet152測試集準(zhǔn)確率圖3 三種網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

2.2 卷積神經(jīng)網(wǎng)絡(luò)CNN_2實(shí)驗(yàn)結(jié)果

針對上邊遷移學(xué)習(xí)準(zhǔn)確率比較低，和隨著網(wǎng)絡(luò)層數(shù)的減少準(zhǔn)確率卻在上升的原因，就有了本文構(gòu)建的更加簡單的網(wǎng)絡(luò)模型CNN_2，如圖4?？梢钥吹诫S著迭代次數(shù)的增加，CNN_2的準(zhǔn)確率遠(yuǎn)遠(yuǎn)的超過了ResNet18的準(zhǔn)確率。

a) CNN_2測試集準(zhǔn)確率

b) CNN_2和ResNet18的測試集準(zhǔn)確率圖4 CNN_2和ResNet18比較

3 結(jié) 語

針對漢字的結(jié)構(gòu)進(jìn)行分類的問題，提出了用基于遷移學(xué)習(xí)的分類方法和CNN_2分類的方法，經(jīng)過對比發(fā)現(xiàn)隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的減少準(zhǔn)確率卻在上升。這里猜測可能是卷積神經(jīng)網(wǎng)絡(luò)層數(shù)會(huì)影響提取的漢字圖片特征。實(shí)驗(yàn)結(jié)果證明了卷積神經(jīng)網(wǎng)絡(luò)對于漢字圖片結(jié)構(gòu)的分類的準(zhǔn)確率較另外三種網(wǎng)絡(luò)模型更高，見表2。

表2 漢字結(jié)構(gòu)和數(shù)量

準(zhǔn)確率可以達(dá)到96.50%。使用CNN_2的方法成功解決了減少人工分類耗時(shí)耗力的問題。但是不清楚使用在與本文字體有很大差距時(shí)，會(huì)不會(huì)依然有相同高的分類準(zhǔn)確率。然而這是一個(gè)很有潛力的模型，在今后的學(xué)習(xí)中將會(huì)對于漢字結(jié)構(gòu)分類問題研究的更加透徹。