亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于卷積神經(jīng)網(wǎng)絡(luò)的漢字結(jié)構(gòu)多分類任務(wù)研究

        2021-11-15 01:55:50李鎮(zhèn)宇戰(zhàn)國棟
        大連民族大學學報 2021年5期
        關(guān)鍵詞:漢字結(jié)構(gòu)準確率卷積

        李鎮(zhèn)宇,戰(zhàn)國棟

        (1.大連民族大學 計算機科學與工程學院,遼寧 大連 116650;2.大連市計算機字庫設(shè)計技術(shù)創(chuàng)新中心,遼寧 大連 116605)

        漢字是中華民族的重要文化特征,也是文化傳播和交流的重要載體,將漢字以圖片的形式保存后,在面對成千上萬的漢字圖片想要對其按照結(jié)構(gòu)分類時,很多問題就出現(xiàn)了。如果使用人工對漢字圖片分類,首先要識別幾萬漢字,然后按照結(jié)構(gòu)對其分類,即分類的結(jié)構(gòu)分別是半包圍結(jié)構(gòu)、單一結(jié)構(gòu)、品字結(jié)構(gòu)、嵌套結(jié)構(gòu)、全包圍結(jié)構(gòu)、上下結(jié)構(gòu)、上中下結(jié)構(gòu)、左右結(jié)構(gòu)、左中右結(jié)構(gòu)9種結(jié)構(gòu)[1],人工分類必然存在主觀分類誤差.有很多漢字看似是上下結(jié)構(gòu),當使用字典查詢時實則是嵌套結(jié)構(gòu)、還可能存在的問題是分類效率低和分類時間長等問題。而傳統(tǒng)的數(shù)字圖形圖像學知識處理面對漢字復雜的結(jié)構(gòu),很難處理此類問題。近幾年隨著生產(chǎn)力的發(fā)展,計算機性能也在不斷提升,人工神經(jīng)網(wǎng)絡(luò)[2]在很多已經(jīng)領(lǐng)域得到了廣泛的應用。目前處理圖像分類主要采用深度學習的方法,人工智能技術(shù)在圖像分類方面具有無法超越的效率和準確率的優(yōu)勢。深度學習主要通過卷積神經(jīng)網(wǎng)絡(luò)利用濾波器矩陣對圖像進行特征提取,需要大量已標注數(shù)據(jù)集來理解數(shù)據(jù)中的潛在聯(lián)系。但是漢字的數(shù)量是有限的,常用的3 000個漢字[3]則已經(jīng)可以覆蓋99%的書面資料。因此面對數(shù)據(jù)量少的這個問題,遷移學習是圖片漢字結(jié)構(gòu)分類的一個重要的分類方法,同時本文也搭建了兩層卷積層的卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)模型,與遷移學習的模型進行對比。

        1 實驗方法

        1.1 數(shù)據(jù)來源及分析

        本研究的數(shù)據(jù)集是font forge提取瑞意宋字庫圖片,共計19 798張漢字圖片作為訓練集,見表1。漢字結(jié)構(gòu)和各個的漢字結(jié)構(gòu)的數(shù)量,包含9種漢字結(jié)構(gòu)(半包圍結(jié)構(gòu)、單一結(jié)構(gòu)、品字結(jié)構(gòu)、嵌套結(jié)構(gòu)、全包圍結(jié)構(gòu)、上下結(jié)構(gòu)、上中下結(jié)構(gòu)、左右結(jié)構(gòu)、左中右結(jié)構(gòu))。由表1可知,左右結(jié)構(gòu)和上下結(jié)構(gòu)的漢字占了絕大多數(shù),而其他結(jié)構(gòu)的漢字卻十分稀少,最少的品字結(jié)構(gòu)的漢字只有15個,數(shù)據(jù)量的缺少是本研究的一個難點。

        表1 漢字結(jié)構(gòu)和數(shù)量

        1.2 數(shù)據(jù)增強

        數(shù)據(jù)增強是指對已有訓練數(shù)據(jù)一定變換以增強增加訓練樣本數(shù)量,從而提高模型性能的方法。對于圖像數(shù)據(jù),常用的數(shù)據(jù)增強方法有翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪、移位、高斯噪聲等[4]。圖像的翻轉(zhuǎn)不會產(chǎn)生信息的損失,而旋轉(zhuǎn)、縮放、裁剪、移位等變換都有可能造成原始圖像信息丟失,對于這個數(shù)據(jù)集的圖像小角度旋轉(zhuǎn)也是不會造成圖像邊緣信息的丟失 。但是,非常遺憾的是數(shù)據(jù)增強的方法并沒有在發(fā)揮出它的優(yōu)勢,相反數(shù)據(jù)增強反而讓測試集的準確率低的離譜,這就說明數(shù)據(jù)增強在本次圖像分類的研究中是不可行的。

        1.3 遷移學習

        深度學習中的遷移學習[5]是為解決訓練數(shù)據(jù)集中訓練數(shù)量不足這個基本問題,通過利用公開數(shù)據(jù)集訓練網(wǎng)絡(luò)模型,然后將參數(shù)和模型遷移到新的領(lǐng)域,完成新任務(wù)的機器學習方法[6]。根據(jù)域(domain)和任務(wù)(task)的不同,遷移學習劃分為特征遷移、樣本遷移和參數(shù)遷移等。本文處理目標與原本的模型架構(gòu)都是圖像,任務(wù)都是對圖像進行訓練提取特征,實現(xiàn)對不同屬性圖片的分類,所以采用參數(shù)遷移方式[6]。

        1.4 模型搭建

        1.4.1 遷移學習模型搭建

        遷移學習模型搭建主要使用的是python3.7庫和版本,分別是pytorch1.4和torchvision0.5作為本次學習基本框架,在框架中可直接加載ResNet18、ResNet50、ResNet152網(wǎng)絡(luò)模型[7]。然后更改全連接層, 最后一層使用到了LogSoftmax[8]。

        (1)

        式中,x表示輸入數(shù)據(jù)。全連接層損失函數(shù)只使用到了NLLLoss。

        f(x,class)=-x[class]。

        (2)

        式中:x表示輸入數(shù)據(jù);class表示類別,優(yōu)化器為Adam[9]。

        mt=β1mt-1+(1-β1),

        (3)

        (4)

        (5)

        式中:m是梯度的一階動量 ;β1和β2是兩個超參數(shù),一般默認 0.9 和 0.999;g是梯度;θ是參數(shù);α是學習率;是個很小的數(shù),作用是為了防止分母為零的情況出現(xiàn);v是梯度的二階動量。

        最后的參數(shù)微調(diào)可解決預訓練神經(jīng)網(wǎng)絡(luò)模型在目標域中特征參數(shù)與任務(wù)的不匹配問題,參數(shù)微調(diào)是遷移學習的最重要步驟。遷移學習主要分為3個步驟[6]:(1)利用大量有標識的數(shù)據(jù)集(源域)對神經(jīng)網(wǎng)絡(luò)進行訓練,通過模型前端的卷積層和池化層,對源域的圖像特征、參數(shù),進行提?。?2)預訓練模型,將訓練好的模型導入到目標任務(wù)中,通過對全連接層自定義,重構(gòu)分類層;(3)微調(diào),凍結(jié)前面多層的網(wǎng)絡(luò)參數(shù),用目標域圖像進行訓練,通過前向傳播,記錄前向傳播各參數(shù),將訓練好的模型應用到目標任務(wù)中,完成遷移學習。因為實驗數(shù)據(jù)集較小,且漢字圖像與源域的自然圖像差異性較大,所以本文主要采用凍結(jié)方式對模型進行微調(diào)。遷移學習模型搭建過程如圖1。

        1.4.2 卷積神經(jīng)網(wǎng)絡(luò)模型CNN_2的搭建

        卷積神經(jīng)網(wǎng)絡(luò)模型CNN_2搭建使用的是python3.7版本和庫,框架使用的分別是pytorch1.4作為本次學習基本框架,在模型中構(gòu)建了兩個卷積層、兩個激活層,兩個池化層,最后使用一個全連接層輸出分類結(jié)果,激活函數(shù)為ReLU[10],

        ReLU(x)=max{0,x},

        (6)

        式中,x表示輸入數(shù)據(jù)。ReLU激活函數(shù)可以快速的收斂,去除特征圖中不太重要的樣本,減少參數(shù)數(shù)量,實現(xiàn)數(shù)據(jù)的壓縮,防止過擬合。這里采用最大池化,就是取出卷積層中元素的最大值。損失函數(shù)為CrossEntropyLoss[11]。

        (7)

        其實loss(x,class)就是(1)式與(2)式的結(jié)合,優(yōu)化器為Adam,卷積神經(jīng)網(wǎng)絡(luò)模型如圖2。

        圖1 漢字圖像遷移學習流程

        圖2 CNN_2模型

        2 實驗結(jié)果與分析

        2.1 遷移學習實驗結(jié)果

        使用ResNet18、ResNet50、ResNet152這三種模型進行遷移學習的方法分別訓練,評價方法為測試集準確率,前20次直接使用遷移過來的網(wǎng)絡(luò)模型,后30次是微調(diào)模型的結(jié)果。三個模型的訓練結(jié)果如圖3。觀察這三種卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)現(xiàn)雖然這三種模型的準確率都不高,但是可以發(fā)現(xiàn),隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加,效果反而不好,如圖3所示,ResNet18的最高準確率為72.03% ,ResNet50的最高準確率為68.53%而ResNet152的最高準確率為64.34%。這里大膽的猜測一下,可能是隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加,漢字的特征沒有很好的保留,所以下一步搭建了一個類似于LeNet-5[10]一樣簡單的網(wǎng)絡(luò),觀察準確率的情況。

        a)ResNet18測試集準確率 b)ResNet50測試集準確率 c)ResNet152測試集準確率圖3 三種網(wǎng)絡(luò)實驗結(jié)果

        2.2 卷積神經(jīng)網(wǎng)絡(luò)CNN_2實驗結(jié)果

        針對上邊遷移學習準確率比較低,和隨著網(wǎng)絡(luò)層數(shù)的減少準確率卻在上升的原因,就有了本文構(gòu)建的更加簡單的網(wǎng)絡(luò)模型CNN_2,如圖4。可以看到隨著迭代次數(shù)的增加,CNN_2的準確率遠遠的超過了ResNet18的準確率。

        a) CNN_2測試集準確率

        b) CNN_2和ResNet18的測試集準確率圖4 CNN_2和ResNet18比較

        3 結(jié) 語

        針對漢字的結(jié)構(gòu)進行分類的問題,提出了用基于遷移學習的分類方法和CNN_2分類的方法,經(jīng)過對比發(fā)現(xiàn)隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的減少準確率卻在上升。這里猜測可能是卷積神經(jīng)網(wǎng)絡(luò)層數(shù)會影響提取的漢字圖片特征。實驗結(jié)果證明了卷積神經(jīng)網(wǎng)絡(luò)對于漢字圖片結(jié)構(gòu)的分類的準確率較另外三種網(wǎng)絡(luò)模型更高,見表2。

        表2 漢字結(jié)構(gòu)和數(shù)量

        準確率可以達到96.50%。使用CNN_2的方法成功解決了減少人工分類耗時耗力的問題。但是不清楚使用在與本文字體有很大差距時,會不會依然有相同高的分類準確率。然而這是一個很有潛力的模型,在今后的學習中將會對于漢字結(jié)構(gòu)分類問題研究的更加透徹。

        猜你喜歡
        漢字結(jié)構(gòu)準確率卷積
        基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準確率比較探討
        2015—2017 年寧夏各天氣預報參考產(chǎn)品質(zhì)量檢驗分析
        學寫獨體字
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        高速公路車牌識別標識站準確率驗證法
        基于傅里葉域卷積表示的目標跟蹤算法
        小學語文識字教學探究
        學周刊(2017年8期)2017-03-29 18:25:58
        小學語文識字教學探究
        欧美精品videosex极品| 亚洲天堂av中文字幕| 高清少妇二区三区视频在线观看 | 国产亚洲精品久久午夜玫瑰园 | 国产极品美女高潮无套| 黑人巨大无码中文字幕无码| 福利一区二区三区视频午夜观看 | 国产精品午夜福利天堂| 我和丰满妇女激情视频| 天天综合网天天综合色| 男人的天堂在线无码视频 | 亚洲网站一区在线播放| 成人午夜视频精品一区| 在线视频99| 成年人男女啪啪网站视频| 亚洲成人av在线第一页| 东北妇女xx做爰视频| 日韩欧美国产自由二区| 久久精品国产亚洲av试看| 国产成人精品免费视频大全软件| 无码人妻丰满熟妇区五十路百度 | 多毛小伙内射老太婆| 玩弄少妇高潮ⅹxxxyw| 日本精品免费一区二区三区| 一区二区三区中文字幕在线观看 | 国产真实一区二区三区| 成人免费xxxxx在线观看| 99热在线精品播放| 久久五月精品中文字幕| 亚洲成av人综合在线观看| 使劲快高潮了国语对白在线| 久久精品国产乱子伦多人| 午夜免费观看国产视频| 国产精品户外野外| 精品人妻VA出轨中文字幕| 亚洲一区二区三区精品久久| 亚洲精品欧美精品日韩精品| 亚洲欧美国产双大乳头| 黄色网页在线观看一区二区三区| 白白在线视频免费观看嘛| 夜夜未满十八勿进的爽爽影院|