劉建明， 劉 煌

(桂林電子科技大學 計算機與信息安全學院,廣西 桂林 541004)

利用人工智能對魚類識別可以替代利用聲吶的方法，減少對魚類的傷害，然后通過直接分析觀測代替出海調(diào)研，不僅保持獲得數(shù)據(jù)的實時性，還加速了科研的進展。同時，精準有效的魚類識別能夠幫助相關科研人員了解其分布情況，節(jié)省大量人力物力，對漁業(yè)資源開發(fā)利用具有重大的學術價值和經(jīng)濟價值。

以往傳統(tǒng)的方法是從魚類圖像中提取人工設置的特征，再將提取到的特征向量輸入分類器進行訓練和識別。然而，傳統(tǒng)方法的性能取決于手工特征的選擇、制作是否合理，不僅耗時耗力，而且泛化能力較弱，分類精度不高。近年來，隨著深度學習的快速發(fā)展，Ding等[1]通過改變網(wǎng)絡結構的深度，設計了3種簡單的卷積神經(jīng)網(wǎng)絡(CNN)結構對魚類進行識別；Qin等[2]提出了一個5層的深度魚類識別網(wǎng)絡，前幾層由卷積層、非線性層、特征池化層、空間金字塔池化層構成，最后采用支持向量機(SVM)進行分類。但此類網(wǎng)絡結構相對簡單，不能很好地提取魚類圖像細節(jié)特征，仍需進一步改善。

鑒于生成對抗網(wǎng)絡能夠通過原始數(shù)據(jù)生成偽魚類樣本，大大增加了魚類樣本，從而有效地提升了模型的泛化性；雙線性網(wǎng)絡通過點積融合2個卷積神經(jīng)網(wǎng)絡的特征圖，使網(wǎng)絡對魚類的細節(jié)部位掌握得更精準(如魚身或魚尾)。因此，基于對對抗雙線性的細粒度魚類圖像網(wǎng)絡(generative adversarial bilinear fish net，簡稱 GBN)對細粒度魚類圖像進行分類。

1 基于對抗雙線性網(wǎng)絡的魚類圖像分類

GBN模型框架如圖1所示，主要由2大模塊組成：

1)生成對抗網(wǎng)絡。該模塊主要用來生成偽魚類數(shù)據(jù)。

2)雙線性網(wǎng)絡。通過融合2個CNN網(wǎng)絡的特征圖作為最終的雙線性特征，融合后的特征圖對圖像特定部位有較強的響應，因此能夠高效準確地識別魚類物種。

圖1 GBN模型框架

1.1 SAGAN模型

自注意力生成對抗網(wǎng)絡[3](self-attention generative adversarial network，簡稱SAGAN)是在傳統(tǒng)的GAN[4]上引入自注意力機制，通過自注意力機制驅(qū)動的遠程依賴來建模，獲取所有的要素點，生成高分辨率的細節(jié)，同時加入光譜歸一化來提升訓練強度。自注意力模塊以卷積神經(jīng)網(wǎng)絡創(chuàng)建的特征圖作為輸入，并將它們轉(zhuǎn)化為3個特征空間，分別是key:f(x)、value:h(x)、 query:g(x)；用3個1×1的卷積進行線性變換和通道壓縮，將f(x)和g(x)重設為矩陣形式，再轉(zhuǎn)置相乘，對得到的結果采用Softmax轉(zhuǎn)化，生成圖像中被關注區(qū)域的注意力圖，

(1)

注意力圖與h(x)相乘得到注意力特征圖，

(2)

將原始輸入特征圖和縮放的自注意力圖相加來計算輸出。注意力模塊如圖2所示，其計算公式為

yi=γoi+xi，

(3)

其中縮放參數(shù)γ在開始時被初始化為0，讓網(wǎng)絡在開始時首先關注局部信息。當參數(shù)γ在訓練過程中進行更新時，網(wǎng)絡就會逐漸學習注意一幅圖像的非局部區(qū)域。

圖2 SAGAN的注意力機制

SAGAN還對生成器和判別器采用譜一化來穩(wěn)定訓練及提升生成的圖片質(zhì)量。在用SAGAN對魚類圖像訓練時，由于單類圖像樣本較少，且一些類圖像之間具有較大相似性，全部一起訓練的效果會產(chǎn)生較大誤差，采用對每類別單獨訓練。在訓練過程中，每隔50個epoch輸出生成的偽魚類圖像，觀察其圖像質(zhì)量，判斷是否達到收斂。經(jīng)實驗驗證，一般訓練范圍為500～800輪效果最佳。

1.2 雙線性網(wǎng)絡

雙線性網(wǎng)絡(BCNN)應用VGG-16[5]網(wǎng)絡作為基準網(wǎng)絡，本研究用2個VGG-16網(wǎng)絡對魚類圖像進行特征提取，將提取到的特征圖轉(zhuǎn)置后與原特征圖做點積運算，得到雙線性特征，最后將其輸送到分類器進行分類。

BCNN網(wǎng)絡結構如圖3所示。雙線性模型M可表示為M=(fA;fB;P;C)。其中：fA、fB分別為卷積網(wǎng)絡A和卷積網(wǎng)絡B的特征提取函數(shù)；P為池化函數(shù)；C為分類函數(shù)。

圖3 BCNN的網(wǎng)絡結構

特征提取函數(shù)f(·)由卷積層、池化層和激活函數(shù)相互作用構成，可看作一個函數(shù)映射f:L×I→RK×D，將輸入圖像i∈I與位置區(qū)域l∈L映射為單維特征，K為特征圖的通道數(shù)，D為每個通道的特征圖展開的一維特征向量的大小。通過雙線性操作對2個特征提取函數(shù)輸出的特征圖進行聚合, 得到一個雙線性特征：

B(l,i,fA,fB)=fA(l,i)TfB(l,i)。

(4)

池化函數(shù)P將所有位置的雙線性特征進行累加操作，則圖像的全局特征可表示為

(5)

雙線性網(wǎng)絡模型對于細粒度圖像分類效果是顯著的。一方面，CNN網(wǎng)絡經(jīng)過不斷迭代訓練，去除圖像中的復雜背景，獲得高層語義特征；另一方面，更為關鍵的是，卷積網(wǎng)絡A和卷積網(wǎng)絡B可起到相互協(xié)調(diào)的作用，卷積網(wǎng)絡A檢測到圖像中物體的位置，而卷積網(wǎng)絡B對卷積網(wǎng)絡A檢測到的物體提取特征。通過這種方式，2個網(wǎng)絡的相互配合能夠更好地對魚類的特征點(如魚身與魚尾)進行響應，以達到更好的識別效果。BCNN的特征圖可視化如圖4所示。從圖4可看出，BCNN能夠一步步找到其關注特征點。

圖4 BCNN的特征圖可視化

1.3 離群值標簽平滑正則化

離群值標簽平滑正則化(label smoothing regularization for outliers，簡稱LSRO)方法[6]為無標簽的圖片分配了一個均勻分布的標簽，在形式上對應于生成的圖像，其類標簽分布定義為

(6)

將其應用到損失計算中，交叉熵損失為

(7)

對于真實的訓練圖像，Z=0，對于生成的訓練圖像，Z=1，則有真實的圖像、生成的圖像共2種類型的損失。

利用LSRO，可以處理樣本空間中位于真實訓練圖像附近的更多訓練圖像(離群值)，并引入更多的顏色、光照和姿態(tài)方差來調(diào)整模型。若在訓練集中只有一類綠色的魚類樣本，則網(wǎng)絡可能會被誤導，認為綠色是一個鑒別特征，這限制了模型的鑒別能力。通過添加生成的訓練樣本，如一個未標記的綠色魚類，若分類器對該標記的綠色魚類做出了錯誤預測，則會受到懲罰。通過這種方式，鼓勵網(wǎng)絡尋找更多的潛在原因，減少過度擬合的傾向。

1.4 分類

2 實驗結果及分析

2.1 數(shù)據(jù)集

采用公開Fish100數(shù)據(jù)集評估GBN模型，該數(shù)據(jù)集中包含100種類別的魚類，共有6 358張魚類圖像，每張圖像分辨率不一樣。數(shù)據(jù)分割方式按照文獻[7]的方式進行劃分，4/5作為訓練集，1/5作為測試集。

2.2 實驗流程

1)SAGAN訓練和測試。本階段使用原始訓練集中提供的數(shù)據(jù)進行訓練，未進行預處理。在訓練時，所有的圖像大小都調(diào)整為64×64，生成器和判別器采用Adam優(yōu)化器，其參數(shù)設置為betas=(0.0,0.9)，生成器的學習率為0.000 1，判別器的學習率為0.000 4，800個epochs之后停止訓練；在測試時，輸入一個100維的隨機向量，每個條目的取值范圍為[-1,1]，模型輸出大小為64×64的偽魚類圖像，用于BCNN訓練。SAGAN生成的部分魚類圖像如圖5所示。

圖5 SAGAN生成的部分魚類圖像

2)GBN訓練和測試。將偽魚類圖像與原始魚類圖像的大小調(diào)整為224×224，batch_size設置為16。訓練分為2個步驟：a)應用ImageNet訓練好的參數(shù)初始化VGG-16網(wǎng)絡，只微調(diào)最后一層，設置其學習率為0.9，動量為0.9，當損失達到收斂極限時，保存模型參數(shù)。b)將學習率重新設置為0.001，繼續(xù)微調(diào)整個網(wǎng)絡，當損失收斂后，保存模型參數(shù)。用測試集進行精度驗證。

3)不同數(shù)量的生成圖像訓練及測試。為了比較加入不同數(shù)量的生成圖像對魚類測試集準確度的影響，本實驗設置了5組不同生成圖像數(shù)量來訓練模型，分別為20 000、15 000、10 000、5 000、2 000張，對應的每個類別分別為200、150、100、50、20張。

2.3 實驗結果及分析

表1為GBN模型與其他模型在Fish100數(shù)據(jù)集上的準確率。從表1可看出，GBN模型在細粒度魚類圖像分類上的準確率優(yōu)于其他模型，比當前最好的STB fish-net方法高2.59%，而比BCNN、VGG-16高3.57%和12.2%。從表1還可看出，BCNN方法優(yōu)于VGG-16，表明相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡，BCNN方法對于細粒度圖像識別有更佳的表現(xiàn)，其提取到的雙線性特征具有更強的區(qū)分性。STB fish-net是在BCNN方法基礎上增加了空間變換，空間變換可幫助網(wǎng)絡更準確地關注到對圖像分類有明顯區(qū)分特征的特定區(qū)域，同時還可去除一些復雜背景的干擾，因此其結果優(yōu)于BCNN。GBN方法是先用SAGAN方法對數(shù)據(jù)進行擴增，再與原數(shù)據(jù)一起進行訓練。由于魚類品種多，樣本總量又少，平均每個類別只有60多張圖片，這對于深度學習來說遠不夠。因此，增加偽魚類圖像可以增強模型的泛化性，減少過擬合，也能令模型學到更多的圖像細節(jié)，進一步提升魚類識別精度。

表1 各個算法準確率比較 %

不同數(shù)量的生成圖像比較結果如表2所示。從表2可看出，當每類增加100張圖像時，精度達到了峰值，而當增加偽魚類樣本過少時，精度較低。這是因為當樣本數(shù)過少時，LSRO的正則化能力不足。相反，當偽魚類圖像過多時，模型傾向于向所有的訓練樣本分配均勻的預測概率，這是不可取的。因此，為了避免過度的正則化和對標簽均勻分布的過度擬合，每種類別增加100張是最好的。

表2 不同數(shù)量的生成圖像比較結果

3 結束語

提出了一個基于對抗雙線性神經(jīng)網(wǎng)絡的細粒度魚類識別模型。本方法利用生成對抗網(wǎng)絡生成偽魚類樣本，與原始魚類樣本一同輸入雙線性網(wǎng)絡中，增強了網(wǎng)絡的泛化能力，減少了過擬合，使得提取到的雙線性特征更加精準有效，最后將其送進分類器分類。通過在深海魚類圖像數(shù)據(jù)集上的實驗表明，本方法對細粒度魚類識別精度有一定的提高。在未來的工作中，將繼續(xù)研究視覺質(zhì)量更好的GAN圖像集成到監(jiān)督學習中是否會產(chǎn)生更好的效果。