鄧 玲，張 軍，周 寬

（天津職業(yè)技術(shù)師范大學(xué)電子工程學(xué)院，天津 300222）

紅外目標(biāo)分類是紅外圖像處理研究的一個(gè)重要分支，但是紅外圖像相對(duì)于可見光圖像存在成像質(zhì)量差、分辨率低、信息單一等問題，導(dǎo)致紅外目標(biāo)分類識(shí)別出現(xiàn)許多難點(diǎn)問題。目前，對(duì)紅外目標(biāo)進(jìn)行有效分類的文章較少，為了實(shí)現(xiàn)對(duì)紅外圖像目標(biāo)的識(shí)別分類，首先需要對(duì)紅外目標(biāo)進(jìn)行特征提取[1]，特征提取可以定義為從特征選擇階段生成的特征中提取一組新特征的過程[2]，常用的特征提取方法有梯度直方圖（HOG）[3-5]、局部二進(jìn)制模型（LBP）[6-8]、基于局部強(qiáng)度差異直方圖（HLID）[9]、梯度位置-方向直方圖（GLOH）[10-11]等，這些方法能對(duì)紅外目標(biāo)的紋理、亮度以及外形輪廓等特征進(jìn)行提取，但這些研究都只能對(duì)紅外目標(biāo)的某單一特征進(jìn)行表示，雖然能取得一定效果，但是提取的特征信息不全面，且不能多角度、全方位對(duì)紅外目標(biāo)進(jìn)行不同類型的特征提取。

傳統(tǒng)的圖像分類需要經(jīng)過一系列步驟，其中核心步驟是數(shù)據(jù)預(yù)處理、特征提取、降維并分類。通常圖像預(yù)處理過程復(fù)雜，處理效果也不盡理想，直接導(dǎo)致后續(xù)算法難以有效提取到目標(biāo)的特征屬性，其最后的特征表達(dá)與分類效果都不盡樂觀。在可見光領(lǐng)域，由于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）[12-13]具有強(qiáng)大的特征提取能力，在目標(biāo)識(shí)別、檢測(cè)和分類任務(wù)上表現(xiàn)良好，它不僅能逐層抽取圖像特征，獲得圖像的深層次語(yǔ)義特征和結(jié)構(gòu)特征，還能通過并行學(xué)習(xí)的方式提高網(wǎng)絡(luò)效率。在簡(jiǎn)化模型方面，通過獲取局部感受野、權(quán)重調(diào)參、降維等策略，有效減少了訓(xùn)練參量，訓(xùn)練效率明顯提升。在抑制過擬合方面，卷積神經(jīng)網(wǎng)絡(luò)效果亦佳。而對(duì)目標(biāo)識(shí)別和分類時(shí)，模型可以直接讀取圖像數(shù)據(jù)，避免了復(fù)雜的前期處理，端到端的操作使得卷積神經(jīng)網(wǎng)絡(luò)效率極高。卷積神經(jīng)網(wǎng)絡(luò)作為圖像分類領(lǐng)域一種快速且高效的方法，在圖像分類問題上得到了廣泛的應(yīng)用[14]，也迅速成為研究熱點(diǎn)。

受到遷移學(xué)習(xí)（transferring learning）[15]的啟發(fā)，本研究提出用于紅外圖像分類的遷移改進(jìn)模型（transferring improvement model，TIM）。先用可見光數(shù)據(jù)集作為源域數(shù)據(jù)集，對(duì)模型進(jìn)行預(yù)訓(xùn)練，再對(duì)模型進(jìn)行知識(shí)遷移、訓(xùn)練、迭代改進(jìn)，訓(xùn)練后的模型能準(zhǔn)確提取紅外目標(biāo)特征，實(shí)現(xiàn)紅外目標(biāo)分類。

1 遷移學(xué)習(xí)基本原理

1.1 遷移學(xué)習(xí)基本介紹

所謂遷移學(xué)習(xí)，就是把一個(gè)領(lǐng)域的模型在源域?qū)W習(xí)到的知識(shí)，應(yīng)用于新的相關(guān)領(lǐng)域進(jìn)行求解，并在新的領(lǐng)域得到良好的表現(xiàn)和應(yīng)用。具體過程為：先訓(xùn)練好一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型，接著通過對(duì)已訓(xùn)練好的模型進(jìn)行知識(shí)遷移，遷移模型時(shí)保持原卷積層的整體結(jié)構(gòu)不變，只對(duì)權(quán)重、偏置值、學(xué)習(xí)率等參數(shù)進(jìn)行微調(diào)；根據(jù)目標(biāo)域圖像的特征，設(shè)計(jì)一個(gè)新的全連接層，與進(jìn)行過微調(diào)的卷積神經(jīng)網(wǎng)絡(luò)共同組成新的模型，用目標(biāo)域的紅外數(shù)據(jù)集對(duì)新模型進(jìn)行再次訓(xùn)練、修改，模型穩(wěn)定后進(jìn)行測(cè)試、驗(yàn)證，以完成紅外目標(biāo)的特征提取、檢測(cè)、識(shí)別、分類等任務(wù)。遷移學(xué)習(xí)必須找到源域和目標(biāo)域的特征關(guān)系，用共同特征將源域和目標(biāo)域聯(lián)系起來，實(shí)現(xiàn)知識(shí)遷移，并且將在源域?qū)W習(xí)到的知識(shí)應(yīng)用于目標(biāo)域；還必須利用源域和目標(biāo)域的不同特征修改全連接層，完成目標(biāo)域的新任務(wù)，實(shí)現(xiàn)知識(shí)遷移。

1.2 基本模型

遷移學(xué)習(xí)能很好地解決如何從可見光源域?qū)⒅R(shí)遷移到紅外目標(biāo)域并應(yīng)用的問題，解決了這2 種異類數(shù)據(jù)之間的知識(shí)遷移問題[16]?？梢姽鈭D像的特征和紅外圖像特征相同點(diǎn)為：目標(biāo)的邊緣輪廓大體一致，故可將適用于可見光圖像分類的模型遷移用于紅外圖像的分類。不同點(diǎn)為：2 類圖像的紋理特征、色彩特征、特征復(fù)雜度不一致，分類任務(wù)也不同，因此需要新的全連接層實(shí)現(xiàn)分類，其具體實(shí)現(xiàn)過程如下：

（1）給定一個(gè)可見光圖像數(shù)據(jù)集，作為源域數(shù)據(jù)集，預(yù)訓(xùn)練一個(gè)分類模型為A，并把預(yù)訓(xùn)練模型中的卷積網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)作為紅外目標(biāo)域訓(xùn)練模型的初始參數(shù)[17-19]。

（2）給出目標(biāo)域紅外圖像對(duì)應(yīng)的分類任務(wù)，遷移可見光圖像分類模型，結(jié)合紅外圖像的特征，設(shè)計(jì)一個(gè)新的全連接層，與預(yù)訓(xùn)練模型A 中的卷積層一起構(gòu)成紅外圖像分類的模型B，幫助提高紅外圖像在目標(biāo)域的分類效果。紅外圖像分類遷移學(xué)習(xí)模型如圖1所示。

圖1 紅外圖像分類遷移學(xué)習(xí)模型

2 遷移模型重構(gòu)與改進(jìn)

2.1 基于Inception-v3模型的遷移學(xué)習(xí)

在人工智能迅速崛起的時(shí)代，深度學(xué)習(xí)是目前解決圖像分類最主流也最高效的方法。2014 年，VGG-Net和Inception-Net 首次應(yīng)用于ILSVRC 分類挑戰(zhàn)賽[20]，并取得巨大成功。此后，眾多研究者開始對(duì)這2 種網(wǎng)絡(luò)進(jìn)行深入研究，并將其應(yīng)用至各個(gè)領(lǐng)域，盡管VGG-Net 結(jié)構(gòu)簡(jiǎn)單，但其參數(shù)量高達(dá)140 M，網(wǎng)絡(luò)計(jì)算量大，運(yùn)行成本高。相較于Alex-Net、VGG-Net，Inception-v3 模型的參量大大減少，僅有500 萬(wàn)參數(shù)。該模型共有11 個(gè)Inception 模塊，共計(jì)46 層，在增加了網(wǎng)絡(luò)寬度的同時(shí)，可有效降低網(wǎng)絡(luò)維度，并對(duì)特征提取功能進(jìn)行了強(qiáng)化[21]。Inception-v3 具有良好的性能，完全可以遷移應(yīng)用至紅外圖像處理領(lǐng)域。

Inception-v3 網(wǎng)絡(luò)在Image Net 源域數(shù)據(jù)集上能夠?qū)W習(xí)到一張圖像的基本信息，如基本結(jié)構(gòu)和邊緣輪廓等，因此可以將Inception-v3 模型預(yù)訓(xùn)練得到的提取圖像邊緣等通用特征的權(quán)重參數(shù)作為分類網(wǎng)絡(luò)的初始權(quán)重。本實(shí)驗(yàn)先將訓(xùn)練好的Inception-v3 模型進(jìn)行遷移，再將模型學(xué)習(xí)到的權(quán)重作為紅外目標(biāo)分類模型的初始權(quán)重，利用模型中間的隱含層對(duì)紅外圖像特征分層學(xué)習(xí)，使模型更好地對(duì)紅外目標(biāo)進(jìn)行特征提取。在瓶頸層后訓(xùn)練新的全連接層及Softmax 層，使全連接層準(zhǔn)確提取訓(xùn)練集的目標(biāo)特征，構(gòu)建出一個(gè)能對(duì)不同格式的紅外目標(biāo)圖像進(jìn)行高精度分類的卷積神經(jīng)網(wǎng)絡(luò)。

2.2 遷移模型重構(gòu)過程

現(xiàn)有紅外數(shù)據(jù)集有限，難以訓(xùn)練出較好的分類模型，因此考慮遷移模型，遷移過來的模型可以共享原卷積層的參數(shù)，只需對(duì)頂層結(jié)構(gòu)進(jìn)行重新設(shè)計(jì)，故可以大量節(jié)省模型搭建和訓(xùn)練的時(shí)間，而把重點(diǎn)放在模型重構(gòu)、改進(jìn)上，這樣不僅能實(shí)現(xiàn)特定的分類任務(wù)，還能使模型得到更廣泛的應(yīng)用?；谶w移學(xué)習(xí)的紅外圖像分類模型重構(gòu)過程如下：

（1）選定紅外圖像訓(xùn)練的樣本集合{x（1），x（2）…，x（n）}。

（2）初始化權(quán)重、偏置值等網(wǎng)絡(luò)參數(shù)，正向讀取樣本數(shù)據(jù)。正向傳播的計(jì)算式為

式中：z 為輸出；i 為神經(jīng)元的值；xi為輸入；wi為權(quán)重；b 為偏置值。

（3）計(jì)算其損失函數(shù)，并將損失函數(shù)最小化。

（4）計(jì)算輸出結(jié)果和真實(shí)值之間的誤差，進(jìn)行反向傳播，重新調(diào)整算法參數(shù)。反向傳播公式為

式中：θ 代表參數(shù)（權(quán)重或偏置）；α 為學(xué)習(xí)率，初始學(xué)習(xí)率設(shè)為0.001。

（5）迭代完成，結(jié)束模型重構(gòu)；若迭代未完成，返回（3）繼續(xù)調(diào)優(yōu)。

由于缺少全連接層對(duì)圖片的全局信息分析，圖片的局部特征也沒有經(jīng)過整合，因此需要在模型最后使用全連接層整合圖像局部特征，然而使用過多的全連接層難以避免過擬合問題，故本實(shí)驗(yàn)只使用一層全連接層，并使用dropout 方法降低過擬合。

2.3 遷移模型改進(jìn)

除了對(duì)模型進(jìn)行遷移，修改參數(shù)使其適用于紅外圖像的處理，本文還對(duì)遷移后的模型進(jìn)行了改進(jìn)。

在Inception-v3 模型中，將7×7 的卷積核分解為2 個(gè) 1×7 和 7×1 的一維卷積核，將 3× 3 的卷積核分解為1×3 和3×1 的卷積核，這類變換削減了大量深層參數(shù)并拓寬了網(wǎng)絡(luò)寬度，非對(duì)稱的拆分結(jié)構(gòu)使得模型能處理更豐富的圖片特征。但由于本實(shí)驗(yàn)使用的是紅外圖像，圖像的信息量比較單一，圖片位深度僅為8，溫度越高的地方其亮度特征越明顯，并且紅外圖像沒有可見光那么多的紋理特征，顏色信息也較單一，當(dāng)特征不夠豐富時(shí)，Inception-v3 模型中一些濾波器的卷積核實(shí)際上是冗余的；還有一部分神經(jīng)元未發(fā)揮作用，處于未激活狀態(tài)，故改進(jìn)的模型將冗余卷積核和未激活神經(jīng)元?jiǎng)h除，這樣做的目的是為了給模型瘦身，進(jìn)而提高模型訓(xùn)練效率和訓(xùn)練速度。實(shí)驗(yàn)用迭代的方式對(duì)網(wǎng)絡(luò)進(jìn)行了刪減，改進(jìn)的模型迭代過程如圖2 所示，先固定遷移后的網(wǎng)絡(luò)結(jié)構(gòu)，再確定冗余部分和未激活部分，最后重新訓(xùn)練修改后的網(wǎng)絡(luò)，并驗(yàn)證網(wǎng)絡(luò)分類的準(zhǔn)確度。假設(shè)實(shí)驗(yàn)輸出的準(zhǔn)確率為Acc，需要達(dá)到的準(zhǔn)確率閾值為T，若Acc ＜T，則繼續(xù)迭代，修改網(wǎng)絡(luò)參數(shù)并訓(xùn)練；若Acc ＞T，則說明修改有效，停止迭代。實(shí)驗(yàn)結(jié)果表明，刪除冗余卷積核和未激活神經(jīng)元對(duì)提升網(wǎng)絡(luò)運(yùn)行速度有一定幫助。

大多數(shù)基于Inception-v3 的遷移學(xué)習(xí)模型的算法都只能識(shí)別.jpg 格式的圖片。本實(shí)驗(yàn)為了提高模型的適用性，增加了.png 格式的數(shù)據(jù)類型，故需要對(duì)訓(xùn)練程序進(jìn)行修改，使修改后的模型能同時(shí)對(duì)2種格式的圖片做標(biāo)簽，并能同時(shí)對(duì)2 種格式的圖片進(jìn)行分類。

圖2 改進(jìn)的模型迭代過程

3 數(shù)據(jù)集準(zhǔn)備及預(yù)處理

3.1 數(shù)據(jù)集準(zhǔn)備

本實(shí)驗(yàn)采用的數(shù)據(jù)集為俄亥俄州立團(tuán)隊(duì)的紅外圖像數(shù)據(jù)庫(kù)（OTCBVS benchmark dataset）[22-23]，該數(shù)據(jù)庫(kù)包含了多種紅外圖像，含有12 個(gè)子數(shù)據(jù)集，一些科研人員和學(xué)生以該紅外圖像數(shù)據(jù)集為基準(zhǔn)，作為相關(guān)算法的測(cè)試對(duì)象，如對(duì)紅外目標(biāo)進(jìn)行檢測(cè)和識(shí)別，進(jìn)而驗(yàn)證所提算法的可行性與準(zhǔn)確性。本實(shí)驗(yàn)選取的部分?jǐn)?shù)據(jù)集為數(shù)據(jù)庫(kù)中的第12 個(gè)子數(shù)據(jù)集，以戶外運(yùn)動(dòng)場(chǎng)景為主，涵蓋了各種形式的紅外目標(biāo)，如：馬、車、無人機(jī)、犀牛、持槍械的軍人、交錯(cuò)目標(biāo)、足球場(chǎng)目標(biāo)等，用于測(cè)試和評(píng)估基于遷移學(xué)習(xí)的紅外圖像分類算法。部分紅外圖像數(shù)據(jù)集如圖3 所示。

圖3 部分紅外圖像數(shù)據(jù)集

3.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理的過程即tfrecord 文件的生成，具體過程為：先將訓(xùn)練集保存在不同目錄下，分為7 組，每組圖片500 張，將訓(xùn)練數(shù)據(jù)隨機(jī)打亂，增強(qiáng)網(wǎng)絡(luò)的泛化能力，并給打亂后的紅外圖像打標(biāo)簽。再將不同大小、不同格式的紅外目標(biāo)圖像分別轉(zhuǎn)化為模型需要的格式，存放在tfrecord 文件里，此文件用于訓(xùn)練時(shí)對(duì)圖片自動(dòng)調(diào)用。最后保存每個(gè)圖片的絕對(duì)路徑，輸出各圖片的分類labels，將分類名稱保存為字典格式。

4 實(shí)驗(yàn)環(huán)境及結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)設(shè)備為Intel（R）-Core（TM）i3-6100 CPU@3.70 GHz，操作系統(tǒng)為ubuntu 16.04，操作環(huán)境為Tensorflow+python3.5+jupyter。

4.2 模型訓(xùn)練

訓(xùn)練過程中選擇俄亥俄州立團(tuán)隊(duì)的紅外圖像數(shù)據(jù)集，訓(xùn)練集與測(cè)試集的比例為4 ∶1，初始learning rate 設(shè)為 0.001，batch 設(shè)為 100，epoch 為 150。loss 值使用交叉熵?fù)p失函數(shù)，先將函數(shù)求導(dǎo)，再利用式（3）得到交叉熵?fù)p失函數(shù)的計(jì)算值。

式中：q（k）為期望類別概率；p（k）為模型預(yù)測(cè)類別概率；L 為損失值。

在使用Softmax 層對(duì)紅外目標(biāo)進(jìn)行分類時(shí)，Softmax層要先讀取來自全連接層的數(shù)據(jù)，其具體的分類網(wǎng)絡(luò)如圖4 所示。

圖4 分類網(wǎng)絡(luò)

式中：W 為權(quán)重，所有W 構(gòu)成一個(gè)權(quán)重矩陣；bias 為偏置值；x 為全連接層的輸入；Z 為全連接層的輸出；wj為第j 類圖像的特征權(quán)重，包含圖像每維特征的重要信息。

式（5）的計(jì)算最終得到類別k 的概率，即準(zhǔn)確率p。簡(jiǎn)單來說，模型的分類結(jié)果經(jīng)過Softmax 層直接映射為概率，正如分類模型圖右邊得到的即為各個(gè)類別的概率，概率最高的為當(dāng)前正確識(shí)別的概率，其他概率為誤分類概率，概率之和為1。

4.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)以紅外圖像作為數(shù)據(jù)集，以Inception-v3 模型作為基礎(chǔ)框架，取得了良好的分類效果。為了使模型更加適用于紅外圖像分類，提出對(duì)模型的卷積核進(jìn)行改進(jìn)，改進(jìn)前后的模型對(duì)比如表1 所示。

從表1 中可以看出，模型改進(jìn)后訓(xùn)練耗時(shí)明顯縮短，說明提出的迭代法刪除冗余卷積核和未激活神經(jīng)元使網(wǎng)絡(luò)的運(yùn)行速度得到提升。而分類精度和識(shí)別耗時(shí)基本不變，這是因?yàn)楦倪M(jìn)前后的模型都能學(xué)習(xí)到目標(biāo)所有特征，故在驗(yàn)證時(shí)分類精度和識(shí)別耗時(shí)基本不變。

表1 模型對(duì)比

本實(shí)驗(yàn)的遷移改進(jìn)模型（transferring improvement model）能實(shí)現(xiàn)對(duì)不同格式的紅外圖像進(jìn)行分類，例如car 和weapon people 為.jpg 格式的圖像，其余圖像則為.png 格式，對(duì)于2 種不同的圖像數(shù)據(jù)，分類精度均高達(dá)98%以上。在改進(jìn)的遷移學(xué)習(xí)模型中，前端深度卷積層已取得良好預(yù)訓(xùn)練效果，改進(jìn)后的模型收斂速度較快，耗時(shí)短，并能迅速尋找到全局最優(yōu)解，在相同的訓(xùn)練數(shù)據(jù)集和迭代次數(shù)下，網(wǎng)絡(luò)運(yùn)行效率得到提高。部分實(shí)驗(yàn)結(jié)果如圖5 所示。

圖5 部分實(shí)驗(yàn)結(jié)果

最終模型分類結(jié)果如表2 所示。第1 行和第1 列{0，1，2，3，4，5，6} 分別對(duì)應(yīng) {car，horse，quadrocopter，rhino，soccer people，walking people，weapon people }這7組紅外目標(biāo)，黑色表格表示對(duì)當(dāng)前目標(biāo)的分類精度，表示最優(yōu)結(jié)果，其余表格表示誤分類為其他目標(biāo)的概率。由表可知，就單一分類而言，模型能對(duì)不同的紅外目標(biāo)進(jìn)行準(zhǔn)確分類，誤分類為其他目標(biāo)的概率極低；且由于目標(biāo)特征明顯，數(shù)據(jù)樣本相對(duì)合理，整體平均分類精度達(dá)到99.4%，說明改進(jìn)的模型在紅外圖片分類上表現(xiàn)良好。

表2 最終模型分類結(jié)果 %

在訓(xùn)練過程中，模型的準(zhǔn)確率逐漸升高，損失值逐漸降低，這是卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力逐漸提高的結(jié)果。模型運(yùn)行變化如圖6 所示。

圖6 模型運(yùn)行變化

為了驗(yàn)證遷移學(xué)習(xí)算法的有效性，查閱了近年來有關(guān)紅外圖像分類的文獻(xiàn)，其中張秋實(shí)等[24]利用圖像融合的方法對(duì)紅外圖像的分類做了闡述，其在紅外+可見光融合的模型上最高分類精度為88.7%；邵保泰[25]的紅外超分辨率成像及小目標(biāo)分類研究，F(xiàn)LIR 數(shù)據(jù)集的分類精度為93%；國(guó)外的Gundogdu 等[26-27]利用神經(jīng)網(wǎng)絡(luò)（CNN）和前饋神經(jīng)網(wǎng)絡(luò)（FCFFNN）做了一系列紅外圖像分類研究，在FFCNN 模型上的分類精度為88.75%。各模型對(duì)比結(jié)果如表3 所示，其列出了各種紅外圖像分類模型的精度，經(jīng)過對(duì)比，本文的TIM 模型在紅外圖像上的分類效果更好，較之前的分類算法的精度有所提高，其平均分類精度達(dá)到99.4%，并能實(shí)現(xiàn)對(duì)不同格式的紅外圖像進(jìn)行高效分類。

表3 各模型對(duì)比結(jié)果

5 結(jié) 語(yǔ)

針對(duì)紅外圖像質(zhì)量差、分辨率低、信息單一、特征提取較難等問題，利用遷移學(xué)習(xí)的原理構(gòu)建紅外目標(biāo)分類識(shí)別算法，完成了對(duì)Inception-v3 模型的遷移，利用俄亥俄州立團(tuán)隊(duì)的紅外圖像數(shù)據(jù)庫(kù)對(duì)模型進(jìn)行訓(xùn)練、驗(yàn)證。實(shí)驗(yàn)結(jié)果驗(yàn)證了遷移模型的可行性，最后根據(jù)紅外目標(biāo)信息單一等特性，剔除卷積核中獲取顏色信息和復(fù)雜紋理特征的冗余核和模型的未激活神經(jīng)元，進(jìn)一步給模型瘦身，提高模型工作效率。改進(jìn)的模型可以對(duì)紅外目標(biāo)進(jìn)行準(zhǔn)確分類，工作效率也明顯提升，實(shí)現(xiàn)了紅外目標(biāo)的自動(dòng)分類。但由于模型未能應(yīng)用至具體硬件平臺(tái)，故其還未能實(shí)現(xiàn)實(shí)時(shí)拍攝紅外目標(biāo)并對(duì)其進(jìn)行分類，下一步將優(yōu)化模型，利用GPU 來加快訓(xùn)練速度，并研究其如何與硬件平臺(tái)相連接，實(shí)現(xiàn)實(shí)時(shí)紅外圖像的分類。