張立國， 劉 博， 金 梅， 孫勝春， 張 勇

(1.燕山大學(xué) 河北省測試計(jì)量技術(shù)與儀器重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004；2.燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004)

1 引 言

花卉的識別無論在觀賞還是育種上都有重要的商業(yè)價值和研究價值，尤其是針對同一類花卉不同子類的識別在花卉的培育及基因改善上有重要的應(yīng)用。針對該問題，國內(nèi)外科研人員一直在進(jìn)行積極探索，花卉的子類識別也已成為相關(guān)領(lǐng)域重要的課題之一。

在基于特征的花卉分類模型中，面對像牡丹這樣子類數(shù)量龐大，且存在部分子類相似度較高的情況，傳統(tǒng)的手工特征法[1,2]和基于常規(guī)圖像分類網(wǎng)絡(luò)的微調(diào)方法[3,4]在花卉識別和區(qū)分方面能力較弱。相對而言，現(xiàn)有的細(xì)粒度圖像識別(fine-grained visual classfication，F(xiàn)GVC)方法，往往能根據(jù)圖像上局部特征找到可區(qū)分相似類別的特征進(jìn)而實(shí)現(xiàn)分類。細(xì)粒度分類方法可按特征提取方式被劃分為兩類：一類是根據(jù)部分區(qū)域的可區(qū)分特征定位識別的強(qiáng)監(jiān)督方法，但需要大量精細(xì)的標(biāo)注如文獻(xiàn)[5～7]。另一類則是通過注意力機(jī)制自動定位能夠?qū)⒉煌悇e區(qū)分開的局部特征，然后進(jìn)行細(xì)粒度分類的方法，但是頭部網(wǎng)絡(luò)結(jié)構(gòu)相對復(fù)雜如文獻(xiàn)[8～11]。

在分類損失上，文獻(xiàn)[12]提出了focal loss通過控制交叉熵的系數(shù)，有效地區(qū)分難易樣本對損失的貢獻(xiàn)，同時解決了訓(xùn)練樣本不均衡的問題。文獻(xiàn)[13，14]則采用半監(jiān)督的方式結(jié)合contrastive loss實(shí)現(xiàn)了快速的圖像檢索。文獻(xiàn)[15]提出的triplet loss則在個體級別的細(xì)粒度識別上使用取得了不錯的效果。

本文詳細(xì)地對既有的308類牡丹花的樣本特征進(jìn)行了分析說明，并根據(jù)牡丹花的多子類識別展開研究，提出了基于改進(jìn)細(xì)粒度識別(fine-grained image recognition)模型破壞和構(gòu)建學(xué)習(xí)(destruction and construction learning,DCL)的分類算法，該方法屬于弱監(jiān)督識別模型，不需要大量對細(xì)節(jié)信息的標(biāo)注，同時在訓(xùn)練過程中，使用focal loss解決既有牡丹樣本的不平衡問題，參照文獻(xiàn)[13]使用contrastive loss結(jié)合網(wǎng)絡(luò)本身的注意力機(jī)制擴(kuò)大相似樣本間的類間距，在推理過程中僅提取表示類別的高維特征向量，并將該向量映射到KNN[17]分類器，實(shí)現(xiàn)無訓(xùn)練樣本數(shù)據(jù)在分類器中特征向量的自動聚合，達(dá)到對無訓(xùn)練樣本牡丹進(jìn)行分類的目的，同時也有效避免了過于復(fù)雜的頭部網(wǎng)絡(luò)結(jié)構(gòu)。

2 牡丹子類樣本數(shù)據(jù)分布及劃分

現(xiàn)有牡丹花的總體樣本數(shù)如圖1，橫坐標(biāo)表示樣本數(shù)量的區(qū)間范圍，縱坐標(biāo)表示該區(qū)間范圍內(nèi)的類別數(shù)，參照細(xì)粒度識別數(shù)據(jù)集[18]的劃分方法，樣本量少于80的不參與訓(xùn)練，從圖中可以看出，樣本量少于80的子類數(shù)僅有9類，這也符合實(shí)際中的花卉品種分布情況。所以在數(shù)據(jù)集劃分時，少于80個樣本的9個子類僅能用于構(gòu)成無訓(xùn)練樣本的子類的測試集。從數(shù)據(jù)的整體分布來看，可用于訓(xùn)練的子類類別數(shù)量分布極其不均衡，樣本量在200～400間的居多，少于200的較少，因此除在損失中使用特定的損失函數(shù)，按照以下區(qū)間劃分設(shè)置實(shí)驗(yàn)確定樣本劃分使分類器達(dá)到最佳效果也是必要的。

圖1 牡丹子類樣本數(shù)據(jù)分布Fig.1 The training samples size diagram

3 DCL細(xì)粒度識別算法

3.1 RCM機(jī)制

(1)

(2)

圖2 RCM前后的八千代椿圖Fig.2 The diagram of ba-qian-dai-chun peony before and after RCM

3.2 DCL網(wǎng)絡(luò)

DCL具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。首先將原始圖像送入骨干網(wǎng)絡(luò)(classification network藍(lán)色部分)，之后用全連接層實(shí)現(xiàn)分類。對于RCM之后的圖像，同樣使用骨干網(wǎng)絡(luò)提取特征再按照原始圖像的標(biāo)簽分類，但由于經(jīng)過RCM之后直接分類會有部分注意力集中在像素塊的邊緣，這樣會帶來噪聲，所以引入對抗網(wǎng)絡(luò)(adversarial learning network)來減小因像素塊邊界信息帶來的噪聲。在實(shí)際訓(xùn)練過程中，可以將原始輸入圖片和經(jīng)RCM解構(gòu)后的圖片同時送入該網(wǎng)絡(luò)結(jié)構(gòu)模型，在頭部網(wǎng)絡(luò)的分類分支，即classification network，損失為

Lcls=-∑I∈Il·log[C(l)C(?(l)]

(3)

式中:Lcls為分類損失；l為類別標(biāo)簽；I表示原始輸入圖像； ?(I)表示經(jīng)RCM解構(gòu)之后的圖像；C表示經(jīng)過骨干網(wǎng)絡(luò)和分類網(wǎng)絡(luò)生成的類別預(yù)測。而對于對抗網(wǎng)絡(luò)分支最后得到的分類結(jié)果預(yù)測可以寫成：

D(I,θadv)=soft max(θadvC(I,θcls))

(4)

式中:C(I,θcls)是從骨干網(wǎng)絡(luò)中提取的特征樣圖；θcls是骨干網(wǎng)絡(luò)學(xué)習(xí)的參數(shù)；θadv是頭部網(wǎng)絡(luò)中對抗網(wǎng)絡(luò)分支，即adversarial learning network的學(xué)習(xí)參數(shù)，D(I,θadv)是對抗網(wǎng)絡(luò)分支生成的類別預(yù)測，可以得到對抗網(wǎng)絡(luò)的損失如下：

Ladv=-∑I∈Idlog(D[I])+

(1-d)log[D(?(I))]

(5)

式中：d表示圖片是否進(jìn)行了解構(gòu)，d為0表示圖像被解構(gòu)，d為1表示沒被解構(gòu)；所以當(dāng)d為1時，Ladv表示對原圖進(jìn)行對抗分支的損失計(jì)算，而當(dāng)被解構(gòu)時，則只有被解構(gòu)圖的對抗分支損失。

圖3 原DCL網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 The structure of origin DCL diagram

考慮到相關(guān)區(qū)域之間的聯(lián)系，使用另一個分支去學(xué)習(xí)區(qū)域之間的相關(guān)性，即使用區(qū)域還原網(wǎng)絡(luò)(region alignment network)對解構(gòu)的圖片進(jìn)行重構(gòu)；給定圖片和其相關(guān)的解構(gòu)圖片?(I)，同時位于原圖(i,j)處的區(qū)域R(i,j)應(yīng)該和位于解構(gòu)圖中相同位置的Rσ(i,j)一致，區(qū)域還原網(wǎng)絡(luò)分支同樣和前面提及的分類頭部分支和對抗網(wǎng)絡(luò)頭部分支共享骨干網(wǎng)絡(luò)特征提取參數(shù)，之后使用一個1×1卷積層將特征圖降為兩通道，然后將兩通道的特征圖通過一個relu函數(shù)和平均池化得到新的大小2×N×N的特征圖，可得到表達(dá)式：

M(I)=h(C(I,θcls),θloc)

(6)

式中：M(I)為該位置在原圖中行和列的坐標(biāo)；h為區(qū)域還原網(wǎng)絡(luò)；θloc是區(qū)域還原網(wǎng)絡(luò)分支的參數(shù)。

現(xiàn)在定義解構(gòu)圖中位置Rσ(i,j)在原圖I中的位置索引為Mσ(i,j)(?(I)),而R(i,j)在I中的原始位置索引為Mi,j(I,i,j)，區(qū)域還原損失定為

(7)

式中：Lloc為預(yù)測位置坐標(biāo)和原位置坐標(biāo)L1距離，該損失能有助于骨干網(wǎng)絡(luò)學(xué)到有效局部信息。

最后通過線性加權(quán)系數(shù)平衡上述介紹的損失函數(shù)，在訓(xùn)練過程中公式通過端到端的訓(xùn)練，最小化以下?lián)p失函數(shù)即可得到細(xì)粒度分類結(jié)果。

Lmin=αLcls+βLadv+γLloc

(8)

式中：α為類別損失平衡系數(shù);β為對抗損失平衡系數(shù);γ為區(qū)域還原損失平衡系數(shù)。

4 網(wǎng)絡(luò)改進(jìn)

在第2節(jié)中提到牡丹數(shù)據(jù)特征和樣本量特征有諸多不適用于DCL網(wǎng)絡(luò)之處。

首先,因訓(xùn)練樣本是不均衡的，將會嚴(yán)重影響分類效果，故引入Focal Loss來代替分類網(wǎng)絡(luò)和對抗網(wǎng)絡(luò)中的交叉熵分類損失；再通過平衡系數(shù)平衡因樣本量不同帶來的損失，使難以區(qū)分的樣本加大損失，容易區(qū)分的樣本降低損失：

(9)

式中l(wèi)one為該類標(biāo)簽的one-hot形式。

其次，由于部分牡丹子類沒有樣本參與訓(xùn)練，且數(shù)據(jù)隨著牡丹新品種的培育會有新的類別產(chǎn)生，如果按照原DCL網(wǎng)絡(luò)的形式，不僅無法預(yù)測沒有訓(xùn)練樣本的子類，且在隨著新牡丹子類的產(chǎn)生更新預(yù)測類別時會過于繁瑣不夠靈活，即如果新培育出一個子類，那么就要重新訓(xùn)練網(wǎng)絡(luò)將最后分類層新加1個神經(jīng)元，以適應(yīng)新的分類網(wǎng)絡(luò)。所以本文對此提出如下改進(jìn)，首先在訓(xùn)練時，將骨干網(wǎng)絡(luò)生成的特征圖自適應(yīng)全局池化后的特征向量級連全連接層實(shí)現(xiàn)特征向量的降維，并將這個固定的向量作為分類的依據(jù)。其次為了加大不同子類別提取的特征距離，讓同一類別內(nèi)特征距離足夠較小，訓(xùn)練時在頭部網(wǎng)絡(luò)的分類分支和對抗網(wǎng)絡(luò)分支同時加入contrastive loss:

(10)

式中：θcon是從分類特征圖到向量的參數(shù)；N是訓(xùn)練過程中送入網(wǎng)絡(luò)Batch的大??；b表示一個Batch內(nèi)樣本之間是否一致標(biāo)簽；m為常數(shù)大于最遠(yuǎn)距離。

經(jīng)過以上改進(jìn)，牡丹花的分類網(wǎng)絡(luò)既能夠依靠原有的DCL網(wǎng)絡(luò)的主體部分提取細(xì)粒度特征，同時依靠類間距增大損失使較為相似的子類能夠取得較好的分類結(jié)果，也能將未經(jīng)訓(xùn)練的牡丹子類和新培育的牡丹子類進(jìn)行準(zhǔn)確分類。訓(xùn)練時頭部網(wǎng)絡(luò)的分類分支、對抗網(wǎng)絡(luò)分支和區(qū)域還原網(wǎng)絡(luò)分支都要進(jìn)行計(jì)算，不同的是在原始的DCL網(wǎng)絡(luò)頭部，網(wǎng)絡(luò)的分類分支和對抗網(wǎng)絡(luò)分支僅需計(jì)算交叉熵?fù)p失進(jìn)行分類即可，而改進(jìn)之后的DCL網(wǎng)絡(luò)轉(zhuǎn)而使用focal loss來平衡不同類間樣本數(shù)量和contrastive loss增加類間距，縮小類內(nèi)距。

訓(xùn)練完成后將所有類別的訓(xùn)練集進(jìn)行前向推理，保存經(jīng)過骨干網(wǎng)絡(luò)和全連接層得到的固定維度的特征向量。

圖4 改進(jìn)DCL的推理模型結(jié)構(gòu)Fig.4 The inference model structure of DCL is improved

5 實(shí)驗(yàn)及結(jié)果分析

對樣本的牡丹子類進(jìn)行了一系列的評估，環(huán)境的配置：i5-9400F CPU和 GeForce GTX1080Ti；ubuntu16.04，PyTorch1.0和Python3.8；網(wǎng)絡(luò)輸入圖片大小為488×488，其中具體的實(shí)驗(yàn)包括：

(1) 在保證不過擬合的情況下，樣本數(shù)能夠滿足訓(xùn)練要求的類別數(shù)；

(2) 改進(jìn)網(wǎng)絡(luò)最后的向量提取維度實(shí)驗(yàn)，即向量維度為多少時可以保證較高的準(zhǔn)確度；

(3) KNN的設(shè)置kn為多大能保證較優(yōu)的準(zhǔn)確度。kn表示最近鄰居的數(shù)量，如果為3則其歸類為距離最近的3個向量的投票結(jié)果類別；

(4) 改進(jìn)前后的模型精度及與其他模型的對比試驗(yàn)。

對模型進(jìn)行驗(yàn)證時，參考文獻(xiàn)[19，20]的訓(xùn)練識別流程和多目標(biāo)識別判別基準(zhǔn)，主要選取以下指標(biāo)作為分類好壞的判別基準(zhǔn)：

?Acc:準(zhǔn)確率，被分類正確的樣本數(shù)除以所有的樣本數(shù)，通常來說，正確率越高，分類器越好。

?F1：F1分?jǐn)?shù)同時考慮精確率和召回率，讓兩者同時達(dá)到最高。

對訓(xùn)練樣本數(shù)量的類進(jìn)行評估，從圖1中選擇不同的閾值作為實(shí)驗(yàn)的依據(jù)，基于經(jīng)驗(yàn)的考量，本文不考慮80個樣本以下的用作訓(xùn)練，實(shí)驗(yàn)結(jié)果見表1。當(dāng)以80張作為子類參與訓(xùn)練和不參與訓(xùn)練的臨界點(diǎn)時，會出現(xiàn)某些類別訓(xùn)練子本較少導(dǎo)致被其他訓(xùn)練數(shù)據(jù)“淹沒”的情況，所提及的網(wǎng)絡(luò)不能從這些樣本量較少的訓(xùn)練集中學(xué)習(xí)這類公共特征信息，所以Acc和F1值較低。當(dāng)選取大于300的樣本數(shù)量時，可用于訓(xùn)練的子類會急劇減少，這會導(dǎo)致KNN分類器生成的樣本空間較為稀疏，且子類間距分布不夠均勻，導(dǎo)致分類效果不佳。

表1 訓(xùn)練樣本數(shù)據(jù)量閾值設(shè)置對比Tab.1 Setting and comparing the threshold value of training sample data

在評估向量提取維度數(shù)量時，可以滿足在不降低準(zhǔn)確度的情況下取得最佳效果，本文采用3種維度進(jìn)行評估，因?yàn)榧扔蓄悇e樣本的不均衡性，以及Acc不能較好的反應(yīng)方法的有效性，所以僅用F1作為評價指標(biāo)，其結(jié)果如表2所示。

表2 向量的維度對F1值的影響Tab.2 The effect of vector dimensions on F1 values

由表2可知，當(dāng)維度降到64維時F1值下降較嚴(yán)重，雖然一個64維的向量可以表示種類別，但由于現(xiàn)有的向量距離度量方式在相近子類中不能取得好的效果，所以低維度的向量不能很好的完成細(xì)粒度分類任務(wù)。如果選用256維的向量作為KNN分類器的分類依據(jù)，由于維數(shù)較高，往往需要大量的樣本來構(gòu)成KNN分類器，否則會出現(xiàn)欠擬合導(dǎo)致分類F1分?jǐn)?shù)降低，最終選取128維向量作為特征提取的維度。

需要對KNN分類中最近鄰?fù)镀毕蛄總€數(shù)kn進(jìn)行設(shè)置，圖5給出了kn從3至10所有子類分類F1分?jǐn)?shù)的統(tǒng)計(jì)結(jié)果。從圖5中可見kn對精度幾乎無影響，最終選擇kn是為了減小計(jì)算量。

圖5 F1隨kn變化曲線圖Fig.5 Curve of F1 with kn

為了評估最終的改進(jìn)效果，對改進(jìn)前后的DCL算法模型進(jìn)行了評估，并以RA-CNN[9]和B-CNN[21]模型作為參照基準(zhǔn)評估F1分?jǐn)?shù)，實(shí)驗(yàn)中設(shè)置200個樣本數(shù)量作為參與和不參與訓(xùn)練子類的臨界值，同時設(shè)置提取的特征維度64，對kn=3幾種不同的模型進(jìn)行對比，其中改進(jìn)后的DCL網(wǎng)絡(luò)的F1分?jǐn)?shù)評估是所有樣本的分類得分最高的，評估對比結(jié)果見表3。

表3 改進(jìn)后的模型與其他模型的對比結(jié)果Tab.3 Comparison of the improved model with other models

6 結(jié) 論

本文在細(xì)粒度識別網(wǎng)絡(luò)DCL的基礎(chǔ)上，結(jié)合KNN分類算法實(shí)現(xiàn)了對308種牡丹花的子類進(jìn)行分類，解決了部分子類因缺少訓(xùn)練樣本無法進(jìn)行識別的問題，同時通過contrastive loss和focal loss解決了訓(xùn)練過程中某些子類較為相似導(dǎo)致分類精度下降和類別不均衡帶來的過擬合問題。

實(shí)驗(yàn)結(jié)果表明：改進(jìn)算法后有訓(xùn)練樣本不僅能夠?qū)崿F(xiàn)無訓(xùn)練樣本的子類的分類，而且有較高準(zhǔn)確度和F1值，為新培育牡丹子類的識別奠定了良好的基礎(chǔ)。后續(xù)工作將以從元學(xué)習(xí)出發(fā)，探索如何依據(jù)現(xiàn)有的牡丹花樣本構(gòu)建支撐集和詢問集，使訓(xùn)練模型能夠?qū)τ邢薜男聵颖咀詣訉W(xué)習(xí)完成牡丹花子類分類任務(wù)。