劉洪宇，楊 林，姜 蕾

(中國航天科工集團第二研究院 七〇六所，北京 100854)

0 引 言

在計算機視覺領域，隨著優(yōu)化方法[1,2]的進步和公開數(shù)據(jù)規(guī)模的提升，基于深度學習的目標識別[3,4]、目標檢測[5,6]、人臉識別[7,8]等算法效果已取得較大提升。這些算法受潮濕、震動、電磁干擾等外部惡劣環(huán)境的影響較小，只要保證輸入圖像質量，算法即可穩(wěn)定運行。但風沙、大霧等環(huán)境會為捕捉到的圖像帶來較大噪聲，本文實驗結果表明，若不進行處理，這些惡劣環(huán)境引入的噪聲將對模型效果產生較大影響。

傳統(tǒng)數(shù)據(jù)增強方法可解決大部分惡劣環(huán)境下出現(xiàn)概率較高的圖像問題，例如通過對亮度、對比度和飽和度的調整，模擬逆光、過度曝光、低亮度等情況；通過圖像掩碼模擬物體遮擋情況等，但傳統(tǒng)方法無法模擬大霧、風沙等惡劣環(huán)境，為解決這一問題，提出了一種基于圖像風格遷移的數(shù)據(jù)增強方法，主要工作有以下幾點：

(1)將圖像風格遷移技術用于數(shù)據(jù)增強，對訓練集中的圖片進行大霧、風沙環(huán)境下的數(shù)據(jù)增強，增加惡劣環(huán)境下的樣本數(shù)量。

(2)使用PeleeNet[9]作為分類網絡骨架，對激活函數(shù)、損失函數(shù)以及網絡訓練方法進行優(yōu)化調整，并使用改進后的網絡進行圖像分類任務，驗證提出的數(shù)據(jù)增強方對惡劣環(huán)境下圖像分類模型魯棒性的提升。

(3)建立了包含22 500圖片的數(shù)據(jù)集，包括完整的圖片爬取、圖片去重以及人工標注流程處理，用于模型的訓練和測試。

1 基于風格遷移的數(shù)據(jù)增強

由于惡劣環(huán)境下數(shù)據(jù)采集難度大、數(shù)據(jù)標注成本高等原因，數(shù)據(jù)集規(guī)模較小是一個較為嚴重的問題。這將導致模型擬合的數(shù)據(jù)分布嚴重偏離真實分布，影響模型的泛化能力。為解決這一問題，在進行模型訓練時，可用數(shù)據(jù)增強技術對已有數(shù)據(jù)進行擴充，在增加訓練樣本量的同時，模擬模型需要處理的各種場景，提升模型在這些場景下的魯棒性。傳統(tǒng)數(shù)據(jù)增強技術常采取如下幾種方法：像素級別的數(shù)據(jù)增強、像素塊級別的數(shù)據(jù)增強、多張圖片疊加進行數(shù)據(jù)增強。

像素級別的數(shù)據(jù)增強技術通過修改原始圖像中的某些像素值來增加樣本多樣性。如對圖像亮度、對比度、色調、飽和度的調整，在原始圖像上疊加隨機噪聲，或對圖像進行隨機縮放、裁剪、翻轉、旋轉等操作。像素塊級別的數(shù)據(jù)增強技術通過對原始圖像中某些區(qū)域的像素信息進行修改來達到樣本擴充的目的。如Zhun Zhong等[10]提出使用隨機擦除方法進行數(shù)據(jù)增強，該方法從原始圖像中隨機選取一塊矩形區(qū)域，對該區(qū)域使用隨機值或零進行填充，模擬物體被遮擋的場景。網格掩碼[11]方法則從原始圖像中隨機選取多個像素塊，將所有選取的像素塊進行零填充。此外，一些研究人員通過一次使用多張圖片疊加的方式進行數(shù)據(jù)增強。例如MixUp[12]方法中，將兩個隨機采樣的樣本進行疊加來構造新樣本。圖1中展示了傳統(tǒng)數(shù)據(jù)增強方法的效果，其中圖1(a)為原始圖片，其余為應用不同數(shù)據(jù)增強方法得到的圖片。

圖1 傳統(tǒng)數(shù)據(jù)增強方法效果

為緩解傳統(tǒng)方法無法模擬的大霧、風沙等惡劣環(huán)境對圖像算法產生的影響，可利用圖像風格遷移技術進行數(shù)據(jù)增強。圖像風格遷移分為真實圖像風格遷移[13]和藝術圖像風格遷移[14]兩類，真實圖像風格遷移算法根據(jù)參照圖片的風格來改變目標圖片風格，同時保證輸出圖片的真實性。這類算法可用于不同季節(jié)的圖像風格轉換、白天向夜間圖像轉換等。而藝術圖像風格遷移則主要用于將真實圖像轉換成繪畫風格的圖像。圖2展示了這兩類風格遷移算法的效果，通過圖2中上下兩行圖片轉換效果的對比可以看出，這兩類算法雖然都能起到風格轉換的作用，但轉換后圖像的真實性存在較大差異。

本文中使用真實圖像風格遷移算法為訓練樣本添加惡劣環(huán)境下圖像的風格，來增加惡劣環(huán)境下樣本數(shù)量。算法分為兩個步驟：風格轉換和圖像平滑，風格轉換將目標圖片向風格圖片進行變換，針對變換后的圖像語義相同的部分風格不連貫的問題，使用圖像平滑方法消除這種影響，使變換后的圖像風格更加接近真實圖像。

圖2中，圖2(a)列為風格圖片，圖2(b)列為目標圖片，圖2(c)列為風格遷移后的圖片。第一行為真實圖像風格遷移效果，第二行為藝術圖像風格遷移效果。

圖2 圖像風格遷移算法效果

1.1 風格轉換

本文中圖像的風格轉換借助卷積神經網絡來完成，在進行轉換之前，首先訓練出一個用于圖像重建的自編碼器。自編碼器中，使用VGG-19[15]作為編碼器ε，固定其參數(shù)，并訓練與之結構對稱的解碼器D進行輸入圖像重建。VGG-19 中使用最大池化進行下采樣，在解碼器中，為了保留特征圖的空間信息，利用編碼器中的池化掩碼進行反池化操作，達到上采樣的目的。自編碼器結構如圖3所示。

圖3 自編碼器結構

轉換過程可以分為3個步驟：

(1)使用編碼器對風格圖片IS和內容圖片IC進行特征提取，得到兩張圖片對應的特征向量HS=ε(IS)、HC=ε(IC)。

(2)使用如下公式對HC進行轉換，得到轉換后的特征向量HCS

HCS=PSPCHC

(1)

(3)使用解碼器對轉換后的特征向量HCS進行解碼，得到風格轉換后的圖片Y=D(HCS)。

1.2 圖像平滑

解碼器輸出的圖像存在過于風格化且風格不連貫的問題，需要使用圖像平滑方法消除這種影響，使其更加接近真實圖像。圖像平滑的優(yōu)化目的有兩點：①使圖像中相鄰區(qū)域內容相似的像素具有相似的風格；②使平滑處理前后圖像差異較小，保留風格變換后圖像的整體風格。

對于輸出圖像Y，像素之間的相似矩陣可表示為W={wij}∈RN×N，其中N為圖像Y中的像素數(shù)量。根據(jù)上述優(yōu)化方向，將目標函數(shù)定義為

(2)

2 惡劣環(huán)境下的圖像分類模型

本文通過圖像分類任務來驗證風格遷移方法對惡劣環(huán)境下模型效果的提升。由于惡劣環(huán)境下工作的模型通常部署在嵌入式設備中，因此本文選用PeleeNet這一輕量級網絡作為基本骨架，并根據(jù)近年來網絡訓練及加速方面的研究成果對其進行相應改進。

2.1 激活函數(shù)

Relu激活函數(shù)由于形式簡單、不易產生梯度消失與梯度爆炸的問題，在神經網絡中被普遍使用，原始的PeleeNet網絡結構也將其作為網絡的激活函數(shù)。

神經網絡訓練時，出于速度和精度上的綜合考量，Pytorch、Tensorflow等深度學習框架默認使用單精度浮點運算在GPU上進行模型訓練。模型訓練結束后，為了獲得更快的推理速度、更小的模型尺寸，通常會使用更低的精度將其部署到移動端設備上，如8 bit或16 bit。對于Relu激活函數(shù)來說，沒有對網絡激活值進行限制，激活值的輸出范圍是[0,+∞)，這將導致模型以低精度方式運行時，較大的激活值可能產生精度損失。因此，本文中將激活函數(shù)替換成Relu6[16]，降低量化過程帶來的模型精度損失，Relu6激活函數(shù)的數(shù)學定義如下

y=min(max(0,x),6)

(3)

式中：x和y分別為激活函數(shù)的輸入、輸出值。

2.2 改進的分類損失

原始PeleeNet中，在進行網絡訓練時，使用交叉熵作為網絡的損失函數(shù)

(4)

式中：p為one-hot編碼的樣本真實標簽，q為Softmax輸出的類別置信度。Softmax公式如下

(5)

式中：C為類別數(shù)，f=[f1,f2,…,fC]為神經網絡輸出的特征向量。

本文中，對分類損失函數(shù)進行了改進，保留交叉熵損失函數(shù)，同時在損失函數(shù)中對所有BatchNorm[17]層的縮放參數(shù)進行了L1正則化。L1正則化會使得縮放參數(shù)在訓練過程中呈現(xiàn)稀疏化的趨勢，這一技術由Zhuang Liu等[18]提出，并被應用于卷積神經網絡通道剪枝中。在進行剪枝通道選取時，對縮放參數(shù)進行全局排序，將排序后的縮放參數(shù)作為通道保留的概率，文中將這一技術稱為“稀疏性訓練”。在實驗中發(fā)現(xiàn)，這一技術不僅能起到剪枝通道選取的作用，其作為一種正則化手段，同樣能提高網絡性能，因此，本文中將其作為損失函數(shù)的一部分。加入上述正則化技術后，損失函數(shù)計算公式如下

(6)

式中：Lce為交叉熵損失，Γ為網絡中所有BatchNorm層縮放參數(shù)γ組成的集合，為了平衡兩項損失的權重，在L1正則化損失前加入平衡因子λ，λ取值通常為1e-4或1e-5。

2.3 標簽平滑

另一方面，設y為圖像的真實標簽，則使用獨熱編碼后的標簽可表示為

(7)

當使用交叉熵定義分類損失并對其進行優(yōu)化時，最優(yōu)解會出現(xiàn)在fy趨于無窮大而其它值盡可能小的情況下，這一優(yōu)化方向容易導致模型過擬合。為解決這一問題，本文中使用標簽平滑技術對模型訓練時使用的獨熱編碼進行處理。標簽平滑的思想在Inception-v2[19]訓練時被提出，此后研究人員對這一技術從理論[20]和實踐[21]層面進行了詳盡分析，目前大量實驗表明使用標簽平滑可以提升模型性能。標簽平滑技術對樣本的真實標簽進行如下編碼

(8)

式中：ε是一個較小的常量，通常取0.1。

3 實驗分析

3.1 實驗數(shù)據(jù)集

本文所用數(shù)據(jù)集為包含22 500張圖片的自然圖像數(shù)據(jù)集，共9個類別，每個類別2500張圖片。數(shù)據(jù)集中小部分樣本來源于ImageNet圖像分類數(shù)據(jù)集，ImageNet數(shù)據(jù)集中每個類別包含1000張圖片，圖片已完成標注，本文從中選出所需的9個類別，并對數(shù)據(jù)進行人工篩選。另一部分圖片使用類別關鍵字在搜索引擎中檢索，并爬取檢索結果。為了保證圖像質量，每次只爬取檢索到的前500張圖片，此外，使用多種語言的關鍵詞在搜索引擎中檢索。

從搜索引擎爬取的圖片存在部分重復，本文借助卷積神經網絡對所有爬取到的圖片進行去重。具體分為兩個步驟：①使用在ImageNet上預訓練的MobileNet模型對數(shù)據(jù)集中的每張圖片進行特征提??；②對提取到的特征采用1：N的方式逐一比較，刪除相似度較高的圖片。

在對圖片進行人工標注時，由于在數(shù)據(jù)爬取時圖片按照關鍵詞進行檢索，因此標注時只需要按照類別進行“是”或“不是”的判斷任務即可。

3.2 圖像風格遷移實驗

圖像風格遷移實驗使用FastPhotoStyle算法的開源實現(xiàn)進行，軟件環(huán)境為：Ubuntu 16.04、CUDA 9.1、Anaconda3、PyTorch0.4.0。硬件環(huán)境使用NVIDIA RTX 2080Ti GPU進行推理加速。

在PyTorch深度學習框架中，對神經網絡訓練數(shù)據(jù)進行數(shù)據(jù)增強時，由于數(shù)據(jù)變換速度較快，只需預定義好數(shù)據(jù)增強策略，對數(shù)據(jù)進行變換在加載數(shù)據(jù)時與網絡訓練同時進行即可。但圖像風格遷移耗時較多，無法做到實時處理，因此本文采用離線數(shù)據(jù)增強的方式對數(shù)據(jù)集中樣本進行處理。實驗中使用了沙塵、大霧、雨天、雪天4種風格的圖片對數(shù)據(jù)集中樣本進行風格遷移。

內容圖片在向沙塵、大霧風格進行遷移時可以輸出較好的結果，而向雨、雪風格遷移后的圖片質量較差。由于在向沙塵、大霧風格進行遷移時，內容圖像主要進行了色調上的修改，而向雨、雪風格進行遷移不僅需要色調變換，還需要向內容圖片中添加雨、雪元素，導致圖像過于風格化。

3.3 圖像分類網絡改進實驗

3.3.1 實驗配置

本文在進行網絡訓練時，使用的硬件環(huán)境為：NVIDIA RTX 2080Ti GPU，Intel?CoreTMi7-8700 CPU@3.20 GHz，RAM 32.0 GB。所有算法都是在Windows 10操作系統(tǒng)下編程實現(xiàn)，代碼使用PyTorch1.4深度學習框架進行編寫，并使用CUDA 10.1進行加速。本文中所有實驗均是在單卡上運行。

模型訓練時，批大小設置為128。實驗中使用Adam[22]優(yōu)化方法進行模型參數(shù)更新，學習率初始值設置為3e-3。每次實驗設置的迭代次數(shù)均為160輪次(epoch)，實驗中采用學習率按步長衰減的策略，每40輪迭代，將學習率調整為原來的1/10。

此外，由于數(shù)據(jù)量的限制，本文并未從頭開始訓練隨機初始化的模型，而是根據(jù)已發(fā)布的ImageNet預訓練模型進行微調訓練。模型微調訓練流程如圖4所示。

在圖4中，模型由特征提取器F和分類器CLS兩部分組成。模型微調訓練分為3個階段：模型初始化階段、第一微調階段、第二微調階段。在模型初始化階段，除網絡最后的全連接層外，其余層參數(shù)均使用預訓練模型參數(shù)進行初始化，全連接層使用Kaiming_normal[23]方法進行初始化。在模型初始化的同時，從預訓練模型中加載的參數(shù)被凍結，不參與第一階段的微調訓練。在第一微調階段，對全連接層的參數(shù)進行更新，當訓練結束后，將網絡中所有參數(shù)設置為可更新狀態(tài)。最后，在第二微調階段對模型所有參數(shù)進行更新，得到收斂后的模型。

圖4 微調訓練流程

3.3.2 消融實驗

本節(jié)實驗中研究了多種不同特征對分類網絡性能的影響，具體包括：Relu6激活函數(shù)，加入正則化項的損失函數(shù)，標簽平滑。實驗中所用數(shù)據(jù)集為包含22 500張圖片的數(shù)據(jù)集，其中每個類別2500張圖片，共9個類別，每個類別中150張圖片被劃分到測試集，剩余圖片用于網絡訓練。實驗結果見表1，實驗中基線模型使用Relu作為激活函數(shù)，使用交叉熵損失函數(shù)進行訓練，未使用標簽平滑技術。引入這3種特征后，可以得到分類效果最好的模型。

表1 不同特征對分類網絡準確率的影響

3.4 風格遷移用于圖像分類任務

風格遷移作為一種數(shù)據(jù)增強方法，為了驗證其在惡劣環(huán)境下對圖像算法魯棒性的影響，本節(jié)使用風格遷移后的圖像擴充訓練集，并重新進行網絡訓練。實驗中從每個類別隨機選取500張圖片進行風格遷移，對轉換后的圖片進行一輪人工篩選，共保留350張與自然圖像較為接近的樣本。

3.3.2節(jié)中實驗使用的測試集test1每個類別包含150張圖片，共1350張，其中只包含少量惡劣環(huán)境樣本。除此測試集外，本節(jié)實驗單獨準備了只包含惡劣環(huán)境樣本的測試集test2，這些樣本均為惡劣環(huán)境下采集的自然圖像，未經過任何處理。由于惡劣環(huán)境下的樣本采集難度較大，test2中只包含49張測試圖片。

表2中展示了使用風格遷移進行數(shù)據(jù)增強前后模型的分類效果。未使用風格遷移的訓練集樣本量為21 150張圖片，使用了風格遷移后，在訓練集中增加了數(shù)據(jù)增強樣本350張。在test1數(shù)據(jù)集上，數(shù)據(jù)增強前后模型的準確率相同，但是在test2數(shù)據(jù)集上，數(shù)據(jù)增強技術使得模型分類準確率提升了8.2%，說明風格遷移作為一種數(shù)據(jù)增強技術，可以顯著提升圖像算法在惡劣環(huán)境下的魯棒性。

表2 風格遷移對模型魯棒性的影響

上述實驗結果中，雖然風格遷移使模型在惡劣環(huán)境數(shù)據(jù)下的表現(xiàn)有了較大提升，但是與正常環(huán)境下的分類效果相比，準確率仍存在較大差距。為避免生成樣本對模型識別正常圖像的效果產生影響，本實驗中對于風格遷移算法生成的圖像，只將人工挑選出的與自然圖像差異較小的樣本用于訓練，相比于訓練集中所有樣本的數(shù)據(jù)規(guī)模，生成樣本的占比較小。增加惡劣環(huán)境的樣本數(shù)量后，模型在惡劣環(huán)境下的效果仍有較大提升空間。

4 結束語

本文使用圖像風格遷移進行數(shù)據(jù)增強，增加了難以采集的大霧、風沙條件下的樣本量，提升了模型在惡劣環(huán)境下的表現(xiàn)。在進行分類任務時，使用PeleeNet作為網絡骨架，并對網絡中用到的激活函數(shù)和損失函數(shù)進行了調整，采用了標簽平滑的訓練策略，提升了模型的分類效果。但是本文所用方法仍然存在風格遷移成功率較低、圖像分類模型受惡劣環(huán)境影響較大等問題，這些問題有待于在未來的研究中進一步解決。