魏 赟，李凌鶴

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

1 引 言

生活中，圖像分類對(duì)象往往來自某一類別下的不同子類別.這些圖像存在子類差異較小，同時(shí)類別內(nèi)部細(xì)節(jié)特征差異較大的特點(diǎn).子類別特征差異細(xì)微，加大了噪聲干擾，導(dǎo)致圖像分類難度增大.這使得細(xì)粒度圖像分類成為一項(xiàng)極具挑戰(zhàn)性的研究任務(wù).細(xì)粒度圖像分類作為圖像分類領(lǐng)域發(fā)展的延伸，很難通過人工大量標(biāo)注圖像細(xì)粒度細(xì)節(jié)進(jìn)行強(qiáng)監(jiān)督分類.當(dāng)前比較熱門的研究方向中，一種方式是通過分類子網(wǎng)定位識(shí)別物體細(xì)節(jié)特征，比如生物的頭、汽車的標(biāo)識(shí)等.目前的子網(wǎng)定位主要包括3種方法，利用圖像檢測(cè)分割[1-3]，通過深度網(wǎng)絡(luò)分割圖像細(xì)節(jié)特征，然后利用分割的特征進(jìn)行分類；著眼圖像濾波[4-6]，設(shè)計(jì)深層濾波網(wǎng)絡(luò)過濾圖像，消除無用噪聲，保留圖像細(xì)節(jié)特征來分類；利用注意力原理[7-9]，通過構(gòu)造注意力模塊增強(qiáng)圖像特征對(duì)比，進(jìn)而增強(qiáng)細(xì)粒度特征的可識(shí)別特性，達(dá)到分類的標(biāo)準(zhǔn).除此以外，還有一種方式采用端到端網(wǎng)絡(luò)，利用細(xì)粒度特征的特征編碼進(jìn)行細(xì)粒度識(shí)別.主要有兩種思路：一種思路充分發(fā)揮深度網(wǎng)絡(luò)的優(yōu)良特性來獲取特征識(shí)別碼：基于多路網(wǎng)絡(luò)[10，11]，提出不同的多路融合方案合并網(wǎng)絡(luò)實(shí)現(xiàn)快速端到端訓(xùn)練分類；對(duì)已有的深度網(wǎng)絡(luò)微調(diào)[12，13]，通過新建自定義的模型損失函數(shù)，確保深度網(wǎng)絡(luò)學(xué)習(xí)過程中的分類、重建等損失降到最低，從而達(dá)到最佳的分類效果.

作為細(xì)粒度圖像分類未來發(fā)展的趨勢(shì)之一，無監(jiān)督分類主要研究使用無標(biāo)記的圖像訓(xùn)練出能夠用于整體學(xué)習(xí)任務(wù)的模型.目前，作為傳統(tǒng)無監(jiān)督聚類的改進(jìn)，采用高維聚類實(shí)現(xiàn)高維數(shù)據(jù)無監(jiān)督分類的相關(guān)研究正在發(fā)展中.目前的深度聚類研究大致有幾個(gè)方向：采用多路網(wǎng)絡(luò)模型[14，15]，構(gòu)造復(fù)雜特征，實(shí)現(xiàn)高度融合后聚類；結(jié)合其他的技術(shù)[16-18]，比如GAN、自編碼器等加強(qiáng)特征的劃分和識(shí)別，從而達(dá)到深度聚類的標(biāo)準(zhǔn)；利用聚類本身的特性[19，20]，通過挖掘其內(nèi)部結(jié)構(gòu)、索引關(guān)聯(lián)等特性，設(shè)計(jì)聚類模型，增強(qiáng)對(duì)象本身的關(guān)聯(lián)度，實(shí)現(xiàn)高度聚類.

本文主要針對(duì)DCC[21]深度聚類改進(jìn).DCC能在分類對(duì)象具體類別數(shù)目未知的前提下，實(shí)現(xiàn)高效聚類.但是，目前的DCC聚類算法只能夠?qū)崿F(xiàn)簡(jiǎn)單圖像的高效聚類；面對(duì)現(xiàn)實(shí)生活中的復(fù)雜圖像，算法無法根據(jù)圖像深度細(xì)節(jié)特征完成分類，基于這個(gè)問題，本文經(jīng)過研究，提出了一個(gè)新的模型，做出如下幾個(gè)貢獻(xiàn)：

1)提出一個(gè)新的深度聚類模型，由卷積自編碼器結(jié)合經(jīng)典CNN網(wǎng)絡(luò)構(gòu)成；

2)在自編碼器部分，設(shè)計(jì)一個(gè)循環(huán)卷積自編碼器結(jié)構(gòu)，加強(qiáng)對(duì)象細(xì)節(jié)特征學(xué)習(xí)能力；

3)循環(huán)結(jié)構(gòu)中添加注意力，加強(qiáng)對(duì)象特征的區(qū)分度；

4)引入閾值超參數(shù)，避免圖像聚類過程中出現(xiàn)聚類過度/不足；

5)采用聚類的方式，實(shí)現(xiàn)了圖片批量分類，提升了分類效率.

實(shí)驗(yàn)采用聚類評(píng)估標(biāo)準(zhǔn)，結(jié)合其它聚類算法進(jìn)行對(duì)比試驗(yàn)，確保網(wǎng)絡(luò)在聚類、分類過程中具備較優(yōu)良的性能.

2 深度連續(xù)聚類DCC

DCC(Deep Continuous Clustering)算法的目標(biāo)函數(shù)如公式(1)：

(1)

目標(biāo)函數(shù)包括重構(gòu)損失和聚類損失兩部分.重構(gòu)損失表示中，D表示降維前的數(shù)據(jù)維度，X是原始數(shù)據(jù)集，Y是降維后的數(shù)據(jù)集，Ω是X→Y的映射空間；d表示降維后的數(shù)據(jù)維度，Z={z1，…，zi}∈Rd×N表示數(shù)據(jù)集在對(duì)Y數(shù)據(jù)集聚類操作后生成的若干聚簇的集合，M表示Y→Z的映射空間.重構(gòu)損失具體表示為：

(2)

Gω表示X→Y的反向映射空間，X到Y(jié)的損失函數(shù)采用Frobenius范式計(jì)算，通過尋找函數(shù)的最小值，得到降維映射后的最優(yōu)解.聚類損失具體表現(xiàn)為：

(3)

ρ1和ρ2分別是差值降序排序得到的M估計(jì)量，將相關(guān)性較高的樣本匯聚到一起，同時(shí)擴(kuò)大相關(guān)性較低的樣本間距，非凸性確保數(shù)據(jù)的低離散程度，增強(qiáng)聚類算法的魯棒性.wi，j為自定義的權(quán)重超參數(shù)，代表每兩個(gè)點(diǎn)聚類產(chǎn)生損失影響總體樣本的程度；λ用于平衡參數(shù)和估計(jì)量.μ1、μ2用于控制所在凸函數(shù)ρ1、ρ2的計(jì)算域.函數(shù)后半部分懲罰表示連通圖ε中各點(diǎn)迭代生成聚簇過程的損失值.

算法首先采用堆疊降噪自編碼器對(duì)進(jìn)行逐層預(yù)訓(xùn)練，然后使用重構(gòu)損失進(jìn)行端到端參數(shù)微調(diào)，得到調(diào)整后的網(wǎng)絡(luò)參數(shù)的同時(shí)利用整體目標(biāo)函數(shù)進(jìn)行聚類，模型優(yōu)化完成的同時(shí)實(shí)現(xiàn)聚類.

3 本文模型

3.1 整體框架

根據(jù)DCC的算法原理，本文設(shè)計(jì)了如圖1的聚類模型，首先針對(duì)輸入圖片預(yù)訓(xùn)練自編碼器，計(jì)算圖片重構(gòu)損失；然后連接編碼層和經(jīng)典CNN網(wǎng)絡(luò)(本文主要使用VGG和ResNet)，利用CNN學(xué)習(xí)圖片編碼完成的深層特征進(jìn)行聚類，計(jì)算圖片聚類損失，最終得到聚類結(jié)果.

圖1 模型整體框架圖Fig.1 Overall framework of the model

為了更好的利用DCC算法的聚類特性，研究設(shè)計(jì)了一種循環(huán)卷積自編碼器R-CAE.自編碼器部分設(shè)計(jì)參考Caffee深度學(xué)習(xí)框架[22]改造，使用小卷積提取特征，并且在編碼層添加循環(huán)網(wǎng)絡(luò)和注意力模塊，加強(qiáng)特征識(shí)別能力.編碼層整體結(jié)構(gòu)如圖2所示.

圖2 編碼層整體結(jié)構(gòu)圖Fig.2 Structure diagram of Encoding layer

3.2 編碼層

圖3 RG-CNN結(jié)構(gòu)圖Fig.3 RG-CNN structure diagram

RG-CNN的卷積層采用3×3卷積核進(jìn)行特征提取，小卷積能夠有效獲取圖片特征，在特征學(xué)習(xí)階段效果明顯；同時(shí)減少參數(shù)計(jì)算量，提升學(xué)習(xí)速率.模型設(shè)計(jì)前2層RG-CNN使用26通道卷積，后兩層使用36通道卷積，實(shí)現(xiàn)逐級(jí)遞增的效果.每一層卷積后添加一個(gè)BN層，實(shí)現(xiàn)對(duì)卷積后的特征值的批量正則化處理，控制了特征的變化域，可以有效控制梯度爆炸，防止梯度消失.BN正則后的特征使用tanh激活非線性映射.

RG-CNN的循環(huán)層使用門控網(wǎng)絡(luò)GRU構(gòu)造循環(huán)網(wǎng)絡(luò)結(jié)構(gòu).GRU采用R門控重置前序特征，單記憶力門控Z實(shí)現(xiàn)特征記憶更新，具備低復(fù)雜度的計(jì)算優(yōu)勢(shì).GRU的輸入特征X、Y存在如公式(4)、公式(5)的關(guān)系：

(4)

(5)

其中，k∈[1，…，N]，d是特征維度，N代表特征通道數(shù).輸入特征xk+1，級(jí)聯(lián)前序特征yk得到qk+1=(xk+1，yk)，使用q初始化門控參數(shù)R和Z.GRU的R門控和Z門控基于注意力模塊SE實(shí)現(xiàn)初始化，此處采用通道壓縮-空間激勵(lì)塊sSE[23](Channel Squeeze and Spatial Excitation Block)初始化特征權(quán)重，以此加強(qiáng)區(qū)分細(xì)粒度特征.針對(duì)輸入的特征X，使用1×1卷積進(jìn)行線性壓縮，得到單通道的特征值Q={q1，…，qd}.使用tanh非線性激活，得到區(qū)間為(-1，1)的權(quán)值矩陣.其中權(quán)值為正的集合中，權(quán)值越大，特征對(duì)圖片積極的影響越大.將權(quán)值與對(duì)應(yīng)特征相乘，得到最終加權(quán)特征QsSE={tanh(q1)·X1，…，tanh(qN)·XN}.為了減少網(wǎng)絡(luò)參數(shù)，設(shè)計(jì)網(wǎng)絡(luò)采用多通道共享注意力權(quán)值更新門控的方式進(jìn)行.

門控更新完成后，使用R門控重置前序特征yk，將重置后的特征yk*與xk+1級(jí)聯(lián)作為新的前序輸入P.此時(shí)，前一個(gè)網(wǎng)絡(luò)狀態(tài)與當(dāng)前網(wǎng)絡(luò)便建立了關(guān)聯(lián).更新P，使用tanh激活，得到關(guān)聯(lián)前序輸入yk′.相關(guān)公式見公式(6)：

yk*=WR·yk，P=(xk+1，yk*)，yk′=tanh(W·P)

(6)

更新權(quán)值W使用kaiming初始化完成權(quán)值初始化.為了確保前序特征能夠更好的被使用，除了建立前序特征與輸入特征之間的關(guān)聯(lián)，還需要對(duì)其本身進(jìn)行記憶.使用記憶門控Z對(duì)yk遺忘更新，同時(shí)，使用Z記憶yk′前序輸入關(guān)聯(lián)；將兩類記憶相加，即可得到最終的特征輸出yk+1：

fZ(yk)=(1-WZ)·yk，gZ=WZ·yk′
yk+1=fZ+gZ

(7)

RNN循環(huán)結(jié)構(gòu)如圖4所示.

圖4 RNN循環(huán)結(jié)構(gòu)圖Fig.4 RNN Cycle structure diagram

RNN采用n通道GRU循環(huán)，分別學(xué)習(xí)圖片每個(gè)通道的特征.學(xué)習(xí)以后將特征融合作為當(dāng)前RG-CNN的輸出.

1.3.3 觀察兩組患者術(shù)后出現(xiàn)腹痛、腹瀉(排便次數(shù)明顯超過平日習(xí)慣的頻率，糞質(zhì)稀薄，每日排糞量超過200 g或含未消化食物或膿血)和腹脹情況。

每2層RG-CNN卷積完成后，使用1個(gè)2×2池化層下采樣.完成所有特征選擇學(xué)習(xí)操作后，使用大小為(1，3072)的全連接層展開特征，然后使用線性變換輸出大小為192的局部特征描述符，完成編碼操作.

3.3 解碼層

解碼層全連接部分采用對(duì)稱方式恢復(fù)(1，3072)大小的特征，使用1×1卷積恢復(fù)通道；卷積層對(duì)應(yīng)編碼層采用非對(duì)稱結(jié)構(gòu)構(gòu)造解碼架構(gòu).反卷積操作使用大核卷積操作，這樣可以快速重構(gòu)較大領(lǐng)域內(nèi)的圖像特征值，在卷積層數(shù)較少的情況下效果較為理想.首先使用4×4反卷積，然后使用5×5反卷積；每次反卷積完成后使用BN批處理正則化，tanh非線性激活，每一次激活完成后添加2×2池化層反池化，兩次池化后輸出最終的重構(gòu)特征圖.

4 算法流程

算法.Deep Continuous Clustering

輸入：原始數(shù)據(jù){oi}i

輸出：聚類{ci}i

1.正則化{oi}i，添加高斯噪聲

2.插值法下采樣；降維，生成樣本數(shù)據(jù){xi}i

3.利用m-knn初始化連通ε圖

4.初始化Ω、M空間，計(jì)算超參數(shù)λ、ωi，j

5.δ1取Y中每一個(gè)yi到其它點(diǎn)的平均距離之和的平均值，δ2取ε圖中位于圖的邊緣域1%的點(diǎn)集距離的平均值

6.初始化μ1、μ2

7.逐層預(yù)訓(xùn)練自編碼器，下采樣過程添加Dropout噪聲

生成重構(gòu)特征圖，保存預(yù)訓(xùn)練模型參數(shù)

9.去除解碼層，聯(lián)合訓(xùn)練RG-CNN和經(jīng)典網(wǎng)絡(luò)VGG/ResNet

10.Adam優(yōu)化，微調(diào)參數(shù)

11.while 聚類變化率 >= 0.1% do

12. 每次迭代，構(gòu)造一個(gè)由ε圖邊組成的最小批量樣本集合β

13. 更新{zi}i∈β和Ω

end while

end while

16.取{ci}i={zi}i

17.輸出聚類{ci}i

5 實(shí) 驗(yàn)

5.1 數(shù)據(jù)集

驗(yàn)證模型的聚類效果，本文采用MNIST數(shù)據(jù)集進(jìn)行試驗(yàn).MINIST數(shù)據(jù)集包含70000個(gè)大小為28×28的手寫字體，字體數(shù)據(jù)已經(jīng)完成中心化、歸一化處理.為了驗(yàn)證本文設(shè)計(jì)模型的細(xì)粒度分類有效性，實(shí)驗(yàn)又選擇Kaggle中的dog數(shù)據(jù)集和Stanford的dog數(shù)據(jù)集作為源數(shù)據(jù)預(yù)處理，得到處理后的數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試.Kaggle的dog數(shù)據(jù)集是dog and cat數(shù)據(jù)集的子集，包含不同種類的狗的圖片共12500張，其中圖片包含RGB、RGBA、灰度圖等多種圖片類型；Standford的dog數(shù)據(jù)集是Imagenet數(shù)據(jù)集的子集，包含120種世界各地的犬共20580張，每一類犬的圖片都放在同一類文件夾下，不同犬類圖片已經(jīng)完成類型標(biāo)記.實(shí)驗(yàn)采取以Stanford的dog數(shù)據(jù)集為主，訓(xùn)練數(shù)據(jù)源不足時(shí)通過Kaggle的dog數(shù)據(jù)集補(bǔ)充的方式進(jìn)行.

5.2 實(shí)驗(yàn)配置

CPU：Intel Core i7；內(nèi)存：24G；GPU：NVIDIA GTX 1050Ti 4G；語言環(huán)境：Python 3.7；機(jī)器學(xué)習(xí)環(huán)境：PyTorch 1.3；Cuda版本：V10.

5.3 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采用聚類評(píng)估指標(biāo)ACC、NMI以及AMI進(jìn)行模型性能評(píng)估.

ACC(Unsupervised Clustering Accuracy，測(cè)準(zhǔn)率)用于比較獲取的標(biāo)簽和真實(shí)標(biāo)簽的匹配程度：

(8)

yi代表第i個(gè)真實(shí)標(biāo)簽，ci是由算法分配的標(biāo)簽集合，m映射了所有分類和標(biāo)簽之間的一對(duì)一關(guān)系.該度量指標(biāo)從聚類方法出發(fā)，結(jié)合真實(shí)情況，給出了二者之間的最佳匹配關(guān)系.NMI(Normalized Mutual Information，標(biāo)準(zhǔn)化交互信息)用于衡量兩個(gè)數(shù)據(jù)之間的吻合程度.假設(shè)N個(gè)樣本標(biāo)簽的不同分布分別為U和V，則兩種分布熵為H(U)、H(V)，分布熵定義為：

(9)

則U和V之間的互信息(MI)為：

(10)

定義標(biāo)準(zhǔn)化的互信息為：

(11)

AMI(Adjusted mutual information，調(diào)整互信息)用于在分類較少、數(shù)據(jù)集較完整條件下評(píng)估模型性能：

(12)

5.4 實(shí)驗(yàn)細(xì)則

訓(xùn)練驗(yàn)證采用Kaggle和Standford混合數(shù)據(jù)集進(jìn)行，Standford數(shù)據(jù)集只取數(shù)據(jù)源圖片，不取標(biāo)簽.其中，Standford每一類別取約3/4張圖片進(jìn)行訓(xùn)練.測(cè)試采用Standford每一類別中的1/4作為測(cè)試數(shù)據(jù)集實(shí)現(xiàn)，使用對(duì)應(yīng)標(biāo)簽比對(duì)，計(jì)算相關(guān)評(píng)估指標(biāo).實(shí)驗(yàn)采取對(duì)比試驗(yàn)，采用控制變量法進(jìn)行試驗(yàn).神經(jīng)網(wǎng)絡(luò)驗(yàn)證過程使用交叉驗(yàn)證法.

5.5 實(shí)驗(yàn)分析

實(shí)驗(yàn)設(shè)計(jì)模型的輸入大小為64×64，通過卷積池化獲得16×16的整體特征，經(jīng)過全連接層學(xué)習(xí)得到最終的圖片對(duì)象的192個(gè)核心特征；設(shè)計(jì)初始學(xué)習(xí)率為0.006，學(xué)習(xí)率衰減系數(shù)為0.15；設(shè)定dropout比例為0.72.預(yù)訓(xùn)練過程設(shè)計(jì)迭代6000次，批處理大小為128；網(wǎng)絡(luò)微調(diào)學(xué)習(xí)過程設(shè)計(jì)最大樣本學(xué)習(xí)次數(shù)為40次，批處理大小24.

5.5.1 不同聚類對(duì)比

為了驗(yàn)證實(shí)驗(yàn)的聚類效果，實(shí)驗(yàn)首先使用MNIST數(shù)據(jù)集進(jìn)行試驗(yàn)，將結(jié)果與其它聚類方法進(jìn)行對(duì)比.表1給出了不同聚類方法之間的比較結(jié)果.

表1 不同聚類方法準(zhǔn)確率
Table 1 Accuracy of different clustering methods

ACC(%)K-means53.94LDMGI84.09DEC84.30DCEC[24]88.97JULE90.02DCC91.30DEPICT[25]91.90本文方法(凍結(jié)非線性映射)76.84本文方法(DCC+RNN+attention+VGG)94.78本文方法(DCC+RNN+attention+Res-NET)96.27

通過表1可以得出，在設(shè)計(jì)的實(shí)驗(yàn)環(huán)境下，本文所給出的方法相較于傳統(tǒng)的聚類方法，聚類準(zhǔn)確率超出40%；和其他的深度聚類算法相比，本文所給出的算法也有相當(dāng)大的性能提升.與本文所參考的深度聚類算法DCC相比，修改后的模型也能夠更有效地實(shí)現(xiàn)字符圖片聚類效果.需要注意的是，本文實(shí)驗(yàn)過程中也采用凍結(jié)非線性映射的方式進(jìn)行了測(cè)試.可以看到，凍結(jié)后的效果與本文設(shè)計(jì)方法具有較大差距，證明了設(shè)計(jì)端到端訓(xùn)練的有效性.

在聚類實(shí)驗(yàn)中，本文還針對(duì)聚類設(shè)計(jì)的閾值進(jìn)行了修改，得到了如圖5的折線圖.

圖5 不同閾值下同一個(gè)樣本的聚類準(zhǔn)確率Fig.5 Clustering accuracy of the same sample under different thresholds

圖5中保存10個(gè)不同的閾值，閾值采樣采用等比大小，圖中最高點(diǎn)為設(shè)計(jì)閾值.實(shí)驗(yàn)證明，設(shè)計(jì)閾值如果過小，會(huì)增大聚類集合間距判斷困難程度，降低聚類的準(zhǔn)確程度；閾值如果過大，模型將有可能無法達(dá)到最佳的聚類效果，進(jìn)而降低聚類的準(zhǔn)確率.

5.5.2 細(xì)粒度分類對(duì)比

細(xì)粒度分類及后續(xù)實(shí)驗(yàn)在dogs數(shù)據(jù)集上進(jìn)行，用于評(píng)估模型將真實(shí)圖像聚類成細(xì)粒度的對(duì)象分類的能力.實(shí)驗(yàn)首先與效果較好的深度聚類方法JULE、DEPICT進(jìn)行對(duì)比；在其基礎(chǔ)上，分別創(chuàng)建了帶有ResNet-50深度網(wǎng)絡(luò)的變體進(jìn)行試驗(yàn)比較.除此以外，實(shí)驗(yàn)挑選了相對(duì)較新的幾個(gè)聚類算法，包括兩個(gè)基于GAN生成對(duì)象的聚類方法對(duì)比，確保設(shè)計(jì)方案在最新的聚類方案中依舊能夠達(dá)到理想的效果.

表2 不同深度聚類方案的準(zhǔn)確率和歸一化互信息
Table 2 ACC and NMI of different depth clustering schemes

ACCNMIJULE0.0430.142JULE-ResNet-500.0440.148DEPICT0.0520.182DEPICT-Large0.0540.183IIC-cluste0.0600.200StackGANv2[26]0.0400.139FineGAN[27]0.0590.194OneGAN0.0730.211本文方法(DCC+RNN+atten-tion)0.0680.208

通過實(shí)驗(yàn)可以看到，聚類模型的分類效果(ACC)，與模型判斷數(shù)據(jù)之間的吻合程度(NMI)呈現(xiàn)正相關(guān).在這兩個(gè)部分，本文的方法優(yōu)于以往的大部分方案，與最新的GAN分類方案接近.這表明編碼器的循環(huán)編碼部分能夠更好的捕獲細(xì)粒度對(duì)象聚類所必須的細(xì)粒度對(duì)象細(xì)節(jié).相較之下，過去的深度聚類方案諸如JULE和DEPICT無法詳盡地捕捉分類對(duì)象細(xì)節(jié)信息，這些聚類算法更多關(guān)注整張圖片的高級(jí)細(xì)節(jié)，例如背景和粗糙的形狀.

比如，JULE和DEPICT聚類將會(huì)將背景相似度高的圖片聚集成一類，而聚成類的圖片并沒有完全按照狗的種類細(xì)分，這種聚類明顯與所希望得到的細(xì)粒度分類不相符.相比之下，采用本文設(shè)計(jì)的自編碼器，能夠在一定程度上降低背景帶來的干擾，得到更好的分類結(jié)果.

5.5.3 不同細(xì)粒度類別數(shù)分類效果對(duì)比

受到網(wǎng)絡(luò)模型聚類能力的限制，對(duì)于不同種群數(shù)，模型表現(xiàn)出的準(zhǔn)確率也不同.實(shí)驗(yàn)基于JULE、DEPICT和本文的方法，分別抽取不同數(shù)量種類的狗圖片進(jìn)行測(cè)試，得到圖6的結(jié)果.

圖6 JULE、DEPICT、RG-CNN不同種類數(shù)聚類統(tǒng)計(jì)Fig.6 Cluster statistics of JULE，DEPICT and RG-CNN

從圖6中可以看到，伴隨著物種類別數(shù)的增加，盡管聚類算法的有效性沒有太大的下降趨勢(shì)，由于數(shù)據(jù)量大量增加，聚類之后類別的準(zhǔn)確性存在比較明顯的衰減.因此，本模型在極大細(xì)粒度分類工作中存在較大改進(jìn)空間.未來改進(jìn)過程中可以考慮引入多路網(wǎng)絡(luò)，分別針對(duì)整張圖片和部分特征(如頭、腳等)進(jìn)行學(xué)習(xí)，然后利用融合的特征達(dá)到更好的效果，本文不再贅述.

5.5.4 不同細(xì)粒度組合分類效果對(duì)比

細(xì)粒度分類的關(guān)鍵在于深度網(wǎng)絡(luò)對(duì)于物種對(duì)象特征的學(xué)習(xí)識(shí)別能力.實(shí)驗(yàn)基于本文方法，采取分組對(duì)照試驗(yàn)，每一組定向選取特定種類的狗，將其打亂后輸入網(wǎng)絡(luò)測(cè)試.為了簡(jiǎn)化測(cè)試流程，每一組實(shí)驗(yàn)均采用二分類聚類比較；由于每一組實(shí)驗(yàn)數(shù)據(jù)量較小，故在測(cè)試結(jié)果中使用AMI聚類評(píng)估標(biāo)準(zhǔn).

表3 個(gè)體差異較大對(duì)象二分類
Table 3 Two categories of objects with large individual differences

AMI阿拉斯加0.93吉娃娃 0.92

阿拉斯加和吉娃娃無論從形態(tài)還是和顏色方面存在較大差距.設(shè)計(jì)方法能夠?qū)@兩類犬種有效分類.

表4 毛色差異較大對(duì)象二分類
Table 4 Two categories of objects with large differences in coat color

AMI拳師犬0.62斗牛獒0.68

拳師犬和斗牛獒主要的差別在于成年犬只的顏色，屬于種內(nèi)變化相對(duì)溫和的比較.設(shè)計(jì)方法識(shí)別此類變化的能力相對(duì)降低.

表5 體型差異大，個(gè)體差異較小對(duì)象二分類
Table 5 Two categories of objects with large differences in body size，small individual differences

AMI小獵犬 0.38休伯特獵犬0.29

小獵犬和休伯特獵犬除了體型的大小，唯一的差別是地域不同.本文的方法不包括通過背景等區(qū)分地域的綜合學(xué)習(xí)能力，因此聚類效果較差，聚類質(zhì)量完全取決于測(cè)試圖片的質(zhì)量，將個(gè)體大小相似的圖片對(duì)象聚成一類.

表6 相似度極高對(duì)象二分類
Table 6 Two categories of highly similar objects

AMI哈士奇(西伯利亞雪橇犬)0.12阿拉斯加0.18

哈士奇和阿拉斯加無論從體型，毛發(fā)，長相上都很相似，屬于種內(nèi)類別相似度最高的類型.在分類過程中，出現(xiàn)了兩個(gè)分類數(shù)量兩極分化的現(xiàn)象.由于很難辨別物種的不同，大量的圖片對(duì)象被分到了同一類，對(duì)于此類品種出現(xiàn)了過擬合的現(xiàn)象，直接影響了最終的聚類準(zhǔn)確率，使得準(zhǔn)確率較高，分類效果卻不理想.相對(duì)的，從AMI指數(shù)可以看到，實(shí)際分類效果與期望分類存在較大差距，說明方法在相似度極高的不同種屬之間幾乎失效.針對(duì)此類特殊聚類，可以利用背景特征作為附加因素交叉學(xué)習(xí)識(shí)別.

6 結(jié) 論

本文結(jié)合深度聚類、CNN、RNN和attention設(shè)計(jì)了一個(gè)循環(huán)卷積注意力網(wǎng)絡(luò)RG-CNN，用于解決同類圖像對(duì)象內(nèi)部的子類別分類問題.MNIST數(shù)據(jù)集的聚類實(shí)驗(yàn)證明了該方法在聚類方面的卓越特性，避免了現(xiàn)有方案出現(xiàn)的部分問題.dogs分類實(shí)驗(yàn)說明實(shí)驗(yàn)在中等數(shù)量的子類別分類問題上具備相當(dāng)強(qiáng)的可行性；在部分相似度較高的子類別分類，或者子類別類型較多時(shí)，需要依靠構(gòu)造子網(wǎng)，識(shí)別背景特征或者構(gòu)造細(xì)節(jié)特征識(shí)別網(wǎng)絡(luò)輔助實(shí)現(xiàn)，以求達(dá)到較好的分類效果.如何設(shè)計(jì)輔助特征網(wǎng)絡(luò)，這將是本實(shí)驗(yàn)后續(xù)研究工作的重點(diǎn).