亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于卷積神經(jīng)網(wǎng)絡(luò)的漢字結(jié)構(gòu)多分類任務(wù)研究

        2021-11-15 01:55:50李鎮(zhèn)宇戰(zhàn)國棟
        關(guān)鍵詞:漢字結(jié)構(gòu)準(zhǔn)確率卷積

        李鎮(zhèn)宇,戰(zhàn)國棟

        (1.大連民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,遼寧 大連 116650;2.大連市計(jì)算機(jī)字庫設(shè)計(jì)技術(shù)創(chuàng)新中心,遼寧 大連 116605)

        漢字是中華民族的重要文化特征,也是文化傳播和交流的重要載體,將漢字以圖片的形式保存后,在面對成千上萬的漢字圖片想要對其按照結(jié)構(gòu)分類時(shí),很多問題就出現(xiàn)了。如果使用人工對漢字圖片分類,首先要識別幾萬漢字,然后按照結(jié)構(gòu)對其分類,即分類的結(jié)構(gòu)分別是半包圍結(jié)構(gòu)、單一結(jié)構(gòu)、品字結(jié)構(gòu)、嵌套結(jié)構(gòu)、全包圍結(jié)構(gòu)、上下結(jié)構(gòu)、上中下結(jié)構(gòu)、左右結(jié)構(gòu)、左中右結(jié)構(gòu)9種結(jié)構(gòu)[1],人工分類必然存在主觀分類誤差.有很多漢字看似是上下結(jié)構(gòu),當(dāng)使用字典查詢時(shí)實(shí)則是嵌套結(jié)構(gòu)、還可能存在的問題是分類效率低和分類時(shí)間長等問題。而傳統(tǒng)的數(shù)字圖形圖像學(xué)知識處理面對漢字復(fù)雜的結(jié)構(gòu),很難處理此類問題。近幾年隨著生產(chǎn)力的發(fā)展,計(jì)算機(jī)性能也在不斷提升,人工神經(jīng)網(wǎng)絡(luò)[2]在很多已經(jīng)領(lǐng)域得到了廣泛的應(yīng)用。目前處理圖像分類主要采用深度學(xué)習(xí)的方法,人工智能技術(shù)在圖像分類方面具有無法超越的效率和準(zhǔn)確率的優(yōu)勢。深度學(xué)習(xí)主要通過卷積神經(jīng)網(wǎng)絡(luò)利用濾波器矩陣對圖像進(jìn)行特征提取,需要大量已標(biāo)注數(shù)據(jù)集來理解數(shù)據(jù)中的潛在聯(lián)系。但是漢字的數(shù)量是有限的,常用的3 000個(gè)漢字[3]則已經(jīng)可以覆蓋99%的書面資料。因此面對數(shù)據(jù)量少的這個(gè)問題,遷移學(xué)習(xí)是圖片漢字結(jié)構(gòu)分類的一個(gè)重要的分類方法,同時(shí)本文也搭建了兩層卷積層的卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)模型,與遷移學(xué)習(xí)的模型進(jìn)行對比。

        1 實(shí)驗(yàn)方法

        1.1 數(shù)據(jù)來源及分析

        本研究的數(shù)據(jù)集是font forge提取瑞意宋字庫圖片,共計(jì)19 798張漢字圖片作為訓(xùn)練集,見表1。漢字結(jié)構(gòu)和各個(gè)的漢字結(jié)構(gòu)的數(shù)量,包含9種漢字結(jié)構(gòu)(半包圍結(jié)構(gòu)、單一結(jié)構(gòu)、品字結(jié)構(gòu)、嵌套結(jié)構(gòu)、全包圍結(jié)構(gòu)、上下結(jié)構(gòu)、上中下結(jié)構(gòu)、左右結(jié)構(gòu)、左中右結(jié)構(gòu))。由表1可知,左右結(jié)構(gòu)和上下結(jié)構(gòu)的漢字占了絕大多數(shù),而其他結(jié)構(gòu)的漢字卻十分稀少,最少的品字結(jié)構(gòu)的漢字只有15個(gè),數(shù)據(jù)量的缺少是本研究的一個(gè)難點(diǎn)。

        表1 漢字結(jié)構(gòu)和數(shù)量

        1.2 數(shù)據(jù)增強(qiáng)

        數(shù)據(jù)增強(qiáng)是指對已有訓(xùn)練數(shù)據(jù)一定變換以增強(qiáng)增加訓(xùn)練樣本數(shù)量,從而提高模型性能的方法。對于圖像數(shù)據(jù),常用的數(shù)據(jù)增強(qiáng)方法有翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪、移位、高斯噪聲等[4]。圖像的翻轉(zhuǎn)不會(huì)產(chǎn)生信息的損失,而旋轉(zhuǎn)、縮放、裁剪、移位等變換都有可能造成原始圖像信息丟失,對于這個(gè)數(shù)據(jù)集的圖像小角度旋轉(zhuǎn)也是不會(huì)造成圖像邊緣信息的丟失 。但是,非常遺憾的是數(shù)據(jù)增強(qiáng)的方法并沒有在發(fā)揮出它的優(yōu)勢,相反數(shù)據(jù)增強(qiáng)反而讓測試集的準(zhǔn)確率低的離譜,這就說明數(shù)據(jù)增強(qiáng)在本次圖像分類的研究中是不可行的。

        1.3 遷移學(xué)習(xí)

        深度學(xué)習(xí)中的遷移學(xué)習(xí)[5]是為解決訓(xùn)練數(shù)據(jù)集中訓(xùn)練數(shù)量不足這個(gè)基本問題,通過利用公開數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型,然后將參數(shù)和模型遷移到新的領(lǐng)域,完成新任務(wù)的機(jī)器學(xué)習(xí)方法[6]。根據(jù)域(domain)和任務(wù)(task)的不同,遷移學(xué)習(xí)劃分為特征遷移、樣本遷移和參數(shù)遷移等。本文處理目標(biāo)與原本的模型架構(gòu)都是圖像,任務(wù)都是對圖像進(jìn)行訓(xùn)練提取特征,實(shí)現(xiàn)對不同屬性圖片的分類,所以采用參數(shù)遷移方式[6]。

        1.4 模型搭建

        1.4.1 遷移學(xué)習(xí)模型搭建

        遷移學(xué)習(xí)模型搭建主要使用的是python3.7庫和版本,分別是pytorch1.4和torchvision0.5作為本次學(xué)習(xí)基本框架,在框架中可直接加載ResNet18、ResNet50、ResNet152網(wǎng)絡(luò)模型[7]。然后更改全連接層, 最后一層使用到了LogSoftmax[8]。

        (1)

        式中,x表示輸入數(shù)據(jù)。全連接層損失函數(shù)只使用到了NLLLoss。

        f(x,class)=-x[class]。

        (2)

        式中:x表示輸入數(shù)據(jù);class表示類別,優(yōu)化器為Adam[9]。

        mt=β1mt-1+(1-β1),

        (3)

        (4)

        (5)

        式中:m是梯度的一階動(dòng)量 ;β1和β2是兩個(gè)超參數(shù),一般默認(rèn) 0.9 和 0.999;g是梯度;θ是參數(shù);α是學(xué)習(xí)率;是個(gè)很小的數(shù),作用是為了防止分母為零的情況出現(xiàn);v是梯度的二階動(dòng)量。

        最后的參數(shù)微調(diào)可解決預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型在目標(biāo)域中特征參數(shù)與任務(wù)的不匹配問題,參數(shù)微調(diào)是遷移學(xué)習(xí)的最重要步驟。遷移學(xué)習(xí)主要分為3個(gè)步驟[6]:(1)利用大量有標(biāo)識的數(shù)據(jù)集(源域)對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,通過模型前端的卷積層和池化層,對源域的圖像特征、參數(shù),進(jìn)行提取;(2)預(yù)訓(xùn)練模型,將訓(xùn)練好的模型導(dǎo)入到目標(biāo)任務(wù)中,通過對全連接層自定義,重構(gòu)分類層;(3)微調(diào),凍結(jié)前面多層的網(wǎng)絡(luò)參數(shù),用目標(biāo)域圖像進(jìn)行訓(xùn)練,通過前向傳播,記錄前向傳播各參數(shù),將訓(xùn)練好的模型應(yīng)用到目標(biāo)任務(wù)中,完成遷移學(xué)習(xí)。因?yàn)閷?shí)驗(yàn)數(shù)據(jù)集較小,且漢字圖像與源域的自然圖像差異性較大,所以本文主要采用凍結(jié)方式對模型進(jìn)行微調(diào)。遷移學(xué)習(xí)模型搭建過程如圖1。

        1.4.2 卷積神經(jīng)網(wǎng)絡(luò)模型CNN_2的搭建

        卷積神經(jīng)網(wǎng)絡(luò)模型CNN_2搭建使用的是python3.7版本和庫,框架使用的分別是pytorch1.4作為本次學(xué)習(xí)基本框架,在模型中構(gòu)建了兩個(gè)卷積層、兩個(gè)激活層,兩個(gè)池化層,最后使用一個(gè)全連接層輸出分類結(jié)果,激活函數(shù)為ReLU[10],

        ReLU(x)=max{0,x},

        (6)

        式中,x表示輸入數(shù)據(jù)。ReLU激活函數(shù)可以快速的收斂,去除特征圖中不太重要的樣本,減少參數(shù)數(shù)量,實(shí)現(xiàn)數(shù)據(jù)的壓縮,防止過擬合。這里采用最大池化,就是取出卷積層中元素的最大值。損失函數(shù)為CrossEntropyLoss[11]。

        (7)

        其實(shí)loss(x,class)就是(1)式與(2)式的結(jié)合,優(yōu)化器為Adam,卷積神經(jīng)網(wǎng)絡(luò)模型如圖2。

        圖1 漢字圖像遷移學(xué)習(xí)流程

        圖2 CNN_2模型

        2 實(shí)驗(yàn)結(jié)果與分析

        2.1 遷移學(xué)習(xí)實(shí)驗(yàn)結(jié)果

        使用ResNet18、ResNet50、ResNet152這三種模型進(jìn)行遷移學(xué)習(xí)的方法分別訓(xùn)練,評價(jià)方法為測試集準(zhǔn)確率,前20次直接使用遷移過來的網(wǎng)絡(luò)模型,后30次是微調(diào)模型的結(jié)果。三個(gè)模型的訓(xùn)練結(jié)果如圖3。觀察這三種卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)現(xiàn)雖然這三種模型的準(zhǔn)確率都不高,但是可以發(fā)現(xiàn),隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加,效果反而不好,如圖3所示,ResNet18的最高準(zhǔn)確率為72.03% ,ResNet50的最高準(zhǔn)確率為68.53%而ResNet152的最高準(zhǔn)確率為64.34%。這里大膽的猜測一下,可能是隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加,漢字的特征沒有很好的保留,所以下一步搭建了一個(gè)類似于LeNet-5[10]一樣簡單的網(wǎng)絡(luò),觀察準(zhǔn)確率的情況。

        a)ResNet18測試集準(zhǔn)確率 b)ResNet50測試集準(zhǔn)確率 c)ResNet152測試集準(zhǔn)確率圖3 三種網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

        2.2 卷積神經(jīng)網(wǎng)絡(luò)CNN_2實(shí)驗(yàn)結(jié)果

        針對上邊遷移學(xué)習(xí)準(zhǔn)確率比較低,和隨著網(wǎng)絡(luò)層數(shù)的減少準(zhǔn)確率卻在上升的原因,就有了本文構(gòu)建的更加簡單的網(wǎng)絡(luò)模型CNN_2,如圖4??梢钥吹诫S著迭代次數(shù)的增加,CNN_2的準(zhǔn)確率遠(yuǎn)遠(yuǎn)的超過了ResNet18的準(zhǔn)確率。

        a) CNN_2測試集準(zhǔn)確率

        b) CNN_2和ResNet18的測試集準(zhǔn)確率圖4 CNN_2和ResNet18比較

        3 結(jié) 語

        針對漢字的結(jié)構(gòu)進(jìn)行分類的問題,提出了用基于遷移學(xué)習(xí)的分類方法和CNN_2分類的方法,經(jīng)過對比發(fā)現(xiàn)隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的減少準(zhǔn)確率卻在上升。這里猜測可能是卷積神經(jīng)網(wǎng)絡(luò)層數(shù)會(huì)影響提取的漢字圖片特征。實(shí)驗(yàn)結(jié)果證明了卷積神經(jīng)網(wǎng)絡(luò)對于漢字圖片結(jié)構(gòu)的分類的準(zhǔn)確率較另外三種網(wǎng)絡(luò)模型更高,見表2。

        表2 漢字結(jié)構(gòu)和數(shù)量

        準(zhǔn)確率可以達(dá)到96.50%。使用CNN_2的方法成功解決了減少人工分類耗時(shí)耗力的問題。但是不清楚使用在與本文字體有很大差距時(shí),會(huì)不會(huì)依然有相同高的分類準(zhǔn)確率。然而這是一個(gè)很有潛力的模型,在今后的學(xué)習(xí)中將會(huì)對于漢字結(jié)構(gòu)分類問題研究的更加透徹。

        猜你喜歡
        漢字結(jié)構(gòu)準(zhǔn)確率卷積
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
        2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
        學(xué)寫?yīng)汅w字
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        高速公路車牌識別標(biāo)識站準(zhǔn)確率驗(yàn)證法
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        小學(xué)語文識字教學(xué)探究
        學(xué)周刊(2017年8期)2017-03-29 18:25:58
        小學(xué)語文識字教學(xué)探究
        亚洲欧美精品伊人久久| 中文字幕欧美人妻精品一区| 国产男小鲜肉同志免费| 亚洲av无码国产精品色午夜洪| 免费xxx在线观看| 东京热久久综合久久88| 免费人成视频x8x8入口| 亚洲处破女av日韩精品| 精品午夜福利1000在线观看| 久久久久欧洲AV成人无码国产| 亚洲AV激情一区二区二三区| 亚洲一区二区三区美女av| 免费人妻精品一区二区三区| 国产精品美女久久久网站三级| 欧美精品欧美人与动人物牲交| 国语对白做受xxxxx在| 九月婷婷人人澡人人添人人爽| 亚洲人在线观看| 国产精品日本天堂| av福利资源在线观看| 日本免费大片一区二区三区| 日本中国内射bbxx| 人人摸人人操| 国产亚洲美女精品久久久| 综合无码综合网站| 国产精品狼人久久久影院| 情头一男一女高冷男女| 亚洲av免费不卡在线观看| 亚洲av中文无码乱人伦在线播放| 欧美日韩亚洲国内综合网| 国内少妇人妻丰满av| 日韩亚洲国产av自拍| 国产精品人成在线765| 日本在线观看一区二区三| 国产精品久久久久9999吃药| 成人一区二区免费视频| 国产精品亚洲一区二区杨幂| 蜜桃视频一区二区三区| 中文字幕一区二区三区的| 熟女少妇精品一区二区| 吸咬奶头狂揉60分钟视频|