陳盈祾 潘玉霞

摘要：古文字作為中國上下五千年以來的使用文字，記錄了我國從古至今的文化發(fā)展歷史，對(duì)于我國的歷史文化研究具有十分重要的作用。對(duì)古文字的識(shí)別能夠?qū)⒛切┱滟F的文獻(xiàn)材料轉(zhuǎn)換為電子文檔，便于這些珍貴文獻(xiàn)材料的保存和傳播。該文將深度學(xué)習(xí)中經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用到古文字識(shí)別中，剖析了運(yùn)用的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的原理結(jié)構(gòu)，并闡述了系統(tǒng)在識(shí)別方面所運(yùn)用的技術(shù)。

關(guān)鍵詞：古文字識(shí)別;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP393? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）10-0207-02

1前言

古文字學(xué)——這一門古老但是卻極其富有生命力的學(xué)科，在我們研究中國的古代歷史以及文化中具有的十分重要的作用，它是打開古代歷史文化寶庫的一把鑰匙。我國歷經(jīng)上下五千年，文化厚重繁多，經(jīng)過歷史變遷，無數(shù)的朝代都擁有獨(dú)屬于自己的文化，尤其是文字。文字最初的誕生傳說是由于倉頡造字，后來隨著歷史演變，朝代更迭，文字慢慢進(jìn)化。在殷商時(shí)期有了我們熟悉的甲骨文，這是我們目前見到的最早的，較系統(tǒng)的成熟的文字。再往后又進(jìn)化出了金文，石鼓文，大小篆等。

目前，市面上現(xiàn)有的古文字識(shí)別系統(tǒng)可以根據(jù)用戶所輸入的簡(jiǎn)體漢字來查詢出各個(gè)歷史朝代對(duì)應(yīng)的古文字。但是，這些古文字識(shí)別系統(tǒng)卻僅僅能夠根據(jù)簡(jiǎn)體漢字來查詢古文字，而不能通過古文字來查詢簡(jiǎn)體字或者形近字。而在考古方面出土文獻(xiàn)的處理應(yīng)用上，我們需要根據(jù)未知的古文字的字型來檢視我們?cè)撐淖忠阎男谓旨跋嚓P(guān)資料信息來輔助推斷未知古文字的含義，例如：如果我們?cè)谀澄奈锷习l(fā)現(xiàn)刻有古文字，那我們?nèi)绾慰焖俚拇_定其是否為已知的古文字，抑或者我們又該如何快速地獲取其已知形似字及該形近字的相關(guān)資料信息以便于我們推測(cè)其含義呢？如果沒有一種技術(shù)或者產(chǎn)品能夠輔助解決這個(gè)難題，無疑會(huì)給古文字工作者的工作帶來極大的不便，影響古文字研究工作的迅速開展。

除此之外，在我們?nèi)粘９盼淖值膶W(xué)習(xí)上由于我們對(duì)于古文字的不了解，以至于我們甚至都不能識(shí)別部分簡(jiǎn)單的古文字，若我們對(duì)學(xué)習(xí)古文字有興趣，我們甚至都不知道如何去查詢，因?yàn)槲覀冃枰谋嬲J(rèn)我們不認(rèn)識(shí)的古文字，而目前的系統(tǒng)還未有這種功能，這將會(huì)對(duì)我們的興趣產(chǎn)生極大的打擊。所以我們打算設(shè)計(jì)一款古文字識(shí)別系統(tǒng)幫助人們更好的認(rèn)識(shí)和識(shí)別古文字。

2 系統(tǒng)簡(jiǎn)介

目前市面上的文字識(shí)別系統(tǒng)花樣繁多，但是古文字識(shí)別系統(tǒng)就較為稀少，而且?guī)缀醮蟛糠值墓盼淖肿R(shí)別系統(tǒng)都是基于簡(jiǎn)體漢字上的識(shí)別翻譯從而找出與該簡(jiǎn)體漢字相對(duì)應(yīng)的各個(gè)朝代的古文字。但是，不論是從科研，也就是考古方面出土文獻(xiàn)的處理應(yīng)用上還是日常生活的漢語文學(xué)的學(xué)習(xí)上來說，更多的都是從未知的古文字入手去查詢其簡(jiǎn)體漢字或形近字及其意思，而目前幾乎沒有基于此的應(yīng)用。我們的古文字識(shí)別系統(tǒng)是基于手寫古文字識(shí)別的識(shí)別系統(tǒng)，不同于別的古文字識(shí)別系統(tǒng)僅僅只能通過簡(jiǎn)體漢字來實(shí)現(xiàn)其古文字及其形近字的查找。我們的古文字識(shí)別系統(tǒng)是建立在用戶日常學(xué)習(xí)和研究需求上的，從用戶需求出發(fā)，與用戶形成良好的人機(jī)交互感受，并且能夠具有較高的識(shí)別查找正確率。

不同于較為簡(jiǎn)單的數(shù)字識(shí)別和常見的簡(jiǎn)體漢字識(shí)別，對(duì)于古文字識(shí)別來說，古文字的書寫較簡(jiǎn)體漢字和數(shù)字來說更加的復(fù)雜，筆畫也更加冗長，且某些象形文字會(huì)更趨近于圖形而非漢字。由于沒有統(tǒng)一的規(guī)范，古文字識(shí)別的復(fù)雜性也隨之而增加。雖然目前的文字識(shí)別技術(shù)獲得了較大的發(fā)展，但是由于歷史和區(qū)域發(fā)展的不平衡以及古文字的不常用使得古文字識(shí)別當(dāng)前的研究甚少。而且日常的古文字學(xué)習(xí)基本都為手寫，手寫的多樣性毫無疑問會(huì)增加識(shí)別的難度。因此，古文字識(shí)別的困難主要表現(xiàn)在：

（1）缺乏成熟的手寫樣本庫。手寫樣本庫對(duì)于古文字識(shí)別有很重要的作用，這決定著古文字識(shí)別的效果。而目前古文字的研究方面幾乎沒有一個(gè)系統(tǒng)的已知古文字的整理庫，很難找到可用的古文字手寫樣本庫。

（2）古文字字體字形變化較多，且沒有統(tǒng)一的標(biāo)準(zhǔn)，不同的朝代書寫的規(guī)則不同，體例和格式變化較多，增加了識(shí)別的難度。

3系統(tǒng)介紹

本系統(tǒng)可實(shí)現(xiàn)功能有識(shí)別大部分手寫的古文字包括但不限于甲骨文，金文，小篆等，以及搜索與該古文字相近或者形似的古文字，同時(shí)還可以識(shí)別部分簡(jiǎn)體字，用戶可通過主界面的搜索欄來上傳需識(shí)別的圖，同時(shí)系統(tǒng)會(huì)輸出識(shí)別結(jié)果及其相似字與形近字。

本系統(tǒng)的核心技術(shù)為卷積神經(jīng)網(wǎng)絡(luò)。最初的卷積神經(jīng)網(wǎng)絡(luò)是1987年由Alexander Waibel等提出的時(shí)間延遲網(wǎng)絡(luò)[1]，其為一個(gè)隱含層是由兩個(gè)一維的卷積核組成的用于語音識(shí)別方面的卷積神經(jīng)網(wǎng)絡(luò)。第一個(gè)二維卷積神經(jīng)網(wǎng)絡(luò)——平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)是由Wei Zhang提出，并且最終被其應(yīng)用到醫(yī)學(xué)影像的檢測(cè)方面[2]。LeNet最初的版本[3]同樣于1988年被Yann LeCun構(gòu)建并應(yīng)用與計(jì)算機(jī)視覺方面，其包含有兩個(gè)卷積層和兩個(gè)全連接層，共六萬個(gè)學(xué)習(xí)參數(shù)，同時(shí)還與現(xiàn)代的卷積神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上十分相近[4]。同年，YannLeCun在LeNet的基礎(chǔ)上，與其合作者一起構(gòu)建了更加完備的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5并且在手寫數(shù)字的識(shí)別方面中取得了成功。

卷積神經(jīng)網(wǎng)絡(luò)分別由數(shù)據(jù)輸入層、卷積層、激勵(lì)層、池化層、全連接層以及輸出層組成。

（1）數(shù)據(jù)輸入層

卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)輸入層主要是對(duì)原始圖像進(jìn)行預(yù)處理，其中包括去均值，歸一化和PAC/白化。并且還可以處理多維數(shù)據(jù)，由于卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用較廣，因此輸入數(shù)據(jù)一般為三維，即平面的二維像素點(diǎn)以及RGB通道。與此同時(shí)，由于卷積神經(jīng)網(wǎng)絡(luò)使用梯度下降法進(jìn)行學(xué)習(xí)，其輸入特征需要進(jìn)行標(biāo)準(zhǔn)化處理，這有利于提升卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率和表現(xiàn)。

（2）卷積層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)最重要的一個(gè)層次，功能是對(duì)輸入的數(shù)據(jù)進(jìn)行特征的提取，內(nèi)部包含有多個(gè)卷積核。在這個(gè)卷積層有兩個(gè)關(guān)鍵操作即局部關(guān)聯(lián)和窗口滑動(dòng)。神經(jīng)元是神經(jīng)網(wǎng)絡(luò)最基本的構(gòu)成單元，一個(gè)神經(jīng)元模型由輸入信號(hào)、權(quán)值、偏置、加法器和激活函數(shù)共同構(gòu)成的。

卷積層內(nèi)每個(gè)神經(jīng)元都會(huì)與前一層的局部感受野相連接，這并不意味著這部分局部連接的神經(jīng)元權(quán)值相同，而是意味著同一平面層的神經(jīng)元權(quán)值共享，擁有相同程度的位移、旋轉(zhuǎn)不變性。卷積層在對(duì)圖像進(jìn)行卷積操作時(shí)可以理解為有一個(gè)滑動(dòng)窗口把卷積和與對(duì)應(yīng)的圖像像素做乘積然后求和。感受野的掃描間隔為步長，當(dāng)步長較大時(shí)，掃描邊界特征可能會(huì)使得感受野“出界”，這時(shí)就需要對(duì)邊界進(jìn)行填充。而一個(gè)帶有卷積核的感受野掃描生成的神經(jīng)元矩陣就是特征圖。當(dāng)卷積核在工作時(shí)，會(huì)有規(guī)律地掃過輸入特征，在感受野內(nèi)對(duì)輸入特征做矩陣元素乘法求和并疊加偏差量。

（3）激勵(lì)層

激勵(lì)層就是把卷積層的輸出結(jié)果做非線性映射，而卷積神經(jīng)網(wǎng)絡(luò)常用的激勵(lì)函數(shù)一般為ReLU（修正線性單元），梯度簡(jiǎn)單而且收斂快。

ReLU函數(shù)具有單側(cè)抑制，即輸入是負(fù)值時(shí)都會(huì)變?yōu)?，而輸入為正值的時(shí)候就為原值。這意味著全部的神經(jīng)元不會(huì)在同一時(shí)間下被激活，這就使得網(wǎng)絡(luò)會(huì)變得比較稀疏，最終使得計(jì)算效率變得特別高。但是當(dāng)一個(gè)比較大的梯度流過ReLU函數(shù)的神經(jīng)元時(shí)就會(huì)導(dǎo)致這個(gè)神經(jīng)元永久性的失活，并且不可逆，此后，這個(gè)神經(jīng)元的梯度一直為0。

（4）池化層

池化層位于連續(xù)的卷積層中間，能夠壓縮數(shù)據(jù)和參數(shù)的量，在一定程度上可以防止過擬合，即若輸入的是圖像，那么池化層最主要的作用就是能夠壓縮圖像。池化層壓縮圖像時(shí)擁有特征不變性，即圖像壓縮時(shí)會(huì)過濾除去一些無關(guān)緊要的信息，從而留下一些具有尺度不變性特征的信息，這些特征時(shí)最能夠表達(dá)圖像的特征。池化層的池化操作還能夠進(jìn)行特征降維，即去除圖像中沒有太多用途或者有重復(fù)的冗余信息，而把最重要的特征給提取出來。池化層一般用Max pooling和average pooling來進(jìn)行池化操作，即選取局部區(qū)域的最大值或者平均值，其中用的比較頻繁的就是Max pooling，選取局部區(qū)域的最大值。

（5）全連接層

卷積神經(jīng)網(wǎng)絡(luò)中的全連接層就相當(dāng)于前饋神經(jīng)網(wǎng)絡(luò)中的隱含層，每一層都是由許多神經(jīng)元所組成的平鋪結(jié)構(gòu)，通常其位于卷積神經(jīng)網(wǎng)絡(luò)的尾部并且兩層之間的所有神經(jīng)元都是擁有權(quán)重連接的。

（6）輸出層

輸出層是卷積神經(jīng)網(wǎng)絡(luò)的最后一層，一般使用邏輯函數(shù)或歸一化指數(shù)函數(shù)即softmax function來對(duì)于圖像分類問題輸出分類標(biāo)簽。輸出層會(huì)將上層輸出的特征向量通過內(nèi)部的分類器進(jìn)行處理，最后輸出分類標(biāo)簽。常用的分類算法有樸素貝葉斯分類算法、支持向量機(jī)算法、K近鄰近算法等。其中使用比較頻繁的是softmax和支持向量機(jī)算法。

4總結(jié)

深度學(xué)習(xí)身為機(jī)器學(xué)習(xí)的一個(gè)新的研究方向，近幾年隨著機(jī)器學(xué)習(xí)的飛速發(fā)展，深度學(xué)習(xí)技術(shù)也越來越先進(jìn)和成熟，人們對(duì)于人工智能的熱情也日漸增強(qiáng)。而機(jī)器視覺是通過機(jī)器將攝取到的目標(biāo)轉(zhuǎn)化成圖像信號(hào)，可以說是相當(dāng)于是人工智能領(lǐng)域的眼睛，也是該領(lǐng)域的一個(gè)重要研究方向。本文通過對(duì)于機(jī)器學(xué)習(xí)中深度學(xué)習(xí)的橫向研究，選擇了在機(jī)器視覺領(lǐng)域具有十分優(yōu)秀效果的卷積神經(jīng)網(wǎng)絡(luò)來對(duì)我們的項(xiàng)目“古文字識(shí)別系統(tǒng)”展開縱向的研究。本文主要就我們課題所使用的卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與結(jié)構(gòu)進(jìn)行剖析，逐步展開卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的使用，最終成功地完成了課題的研究任務(wù)。

參考文獻(xiàn)：

[1] Waibel A. Phoneme recognition using time-delay neural networks[C].Meeting of the Institute of Electrical， Information and Communication Engineers （IEICE）. Tokyo， Japan， 1987.

[2] Zhang W. Shift-invariant pattern recognition neural network and its optical architecture[C]. Proceedings of annual conference of the Japan Society of Applied Physics， 1988.

[3] LeCun Y，Boser B，Denker J S，etal.Backpropagation applied to handwritten zip code recognition[J].Neural Computation，1989，1（4）：541-551.

[4] LeCun Y，Kavukcuoglu K，F(xiàn)arabet C.Convolutional networks and applications in vision[C]//Proceedingsof2010 IEEE International Symposium on Circuits and Systems.May 30 - June2，2010，Paris，F(xiàn)rance.IEEE，2010：253-256.

【通聯(lián)編輯：代影】