吳珊

（西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院，成都611756）

0 引言

火災(zāi)是自然災(zāi)害和社會災(zāi)害中最具破壞性的災(zāi)害之一，它嚴(yán)重影響了人類日常的生產(chǎn)生活，一方面威脅著人類的生命安全，造成難以挽回的經(jīng)濟(jì)損失，另一方面，它造成環(huán)境污染、破壞動(dòng)植物生存環(huán)境。經(jīng)過長期觀察人們發(fā)現(xiàn)在火災(zāi)發(fā)生之前往往會產(chǎn)生一定的煙霧，因此煙霧識別在防火工程中引起了人們的更多關(guān)注，可以用來進(jìn)行早期的火災(zāi)預(yù)警。傳統(tǒng)的煙霧識別方法采用特征提取和分類器設(shè)計(jì)等模式識別技術(shù)，其主要重點(diǎn)是靜態(tài)和動(dòng)態(tài)特征相結(jié)合的煙霧識別。典型特征包括顏色和運(yùn)動(dòng)概率[1]、煙霧的LBP 直方圖序列[2]、使用小波變換和HMT 模型的動(dòng)態(tài)紋理[3]、煙霧時(shí)間軌跡[4]、局部極值區(qū)域分割[5]和運(yùn)動(dòng)方向模型[6]等。

由于近年來人工智能深度學(xué)習(xí)發(fā)展十分迅速，深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）在許多計(jì)算機(jī)視覺任務(wù)（例如目標(biāo)檢測、視頻跟蹤等）上均表現(xiàn)出出色的性能，與基于手動(dòng)設(shè)計(jì)的傳統(tǒng)特征提取器的這些方法相比，一些研究人員建議將深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）應(yīng)用于煙霧識別[7-8]，從而可以學(xué)習(xí)到更深的特征以獲取具有較高泛化能力的模型。但是深度學(xué)習(xí)有一個(gè)令人頭疼的缺點(diǎn)，那就是需要大量樣本來進(jìn)行訓(xùn)練才能達(dá)到較好的泛化，然而據(jù)我們所知，先前煙霧識別研究中使用的數(shù)據(jù)集仍然相對較小且單調(diào)，用于訓(xùn)練的可用煙霧圖像通常是從Internet 和視頻切割中獲得的，這顯然不利于深度學(xué)習(xí)。所以為了解決煙霧識別中訓(xùn)練數(shù)據(jù)集不足的問題，本文使用生成對抗網(wǎng)絡(luò)（GANs）[9]技術(shù)來實(shí)現(xiàn)煙霧圖片的生成，以達(dá)到擴(kuò)充煙霧數(shù)據(jù)集的作用。

生成對抗網(wǎng)絡(luò)（GANs）主要由生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)構(gòu)成，生成器（Generator）網(wǎng)絡(luò)主要通過機(jī)器生成數(shù)據(jù)（大部分情況下是圖像），目的是騙過判別器網(wǎng)絡(luò)，判別器（Discriminator）網(wǎng)絡(luò)判斷這張圖像是真實(shí)的還是機(jī)器生成的，目的是找出生成器網(wǎng)絡(luò)做的假數(shù)據(jù)。隨著訓(xùn)練的進(jìn)行，生成器網(wǎng)絡(luò)能夠逐漸生成越來越逼真的圖像，甚至達(dá)到以假亂真的程度，使判別器網(wǎng)絡(luò)也沒辦法馬上區(qū)分它們的真假。同時(shí)，判別器網(wǎng)絡(luò)也在不斷提高鑒別真假的能力，與生成器網(wǎng)絡(luò)相互對抗，共同提升性能。最終訓(xùn)練結(jié)束時(shí)可以得到一個(gè)效果非常好的生成器網(wǎng)絡(luò)模型，就可以用它來生成想要的圖片了。生成對抗網(wǎng)絡(luò)（GANs）在生活中已經(jīng)有了很多有趣的應(yīng)用，包括生成人臉照片、生成現(xiàn)實(shí)照片、生成動(dòng)畫角色、圖像到圖像的轉(zhuǎn)換（將白天景觀轉(zhuǎn)化成夜晚景觀、將素描轉(zhuǎn)化成彩色圖片等）、文字到圖像的轉(zhuǎn)換、語義圖像到逼真圖片轉(zhuǎn)化、生成人體模型新體態(tài)、照片編輯、預(yù)測不同年齡的長相、提高照片分辨率、照片修復(fù)、自動(dòng)生成3D 模型等。本文根據(jù)各種GANs衍生算法的特點(diǎn)結(jié)合煙霧圖片生成的實(shí)際需求，選擇了CycleGAN[10]進(jìn)行煙霧圖片的生成，并使用該擴(kuò)充煙霧數(shù)據(jù)集在VGG-16[11]、ResNet-50[12]、ResNet-101[12]等深度卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行煙霧識別對比實(shí)驗(yàn)，最終取得更好的效果。

1 算法原理

1.1 CycleGAN

CycleGAN[10]（使用一致循環(huán)生成網(wǎng)絡(luò)進(jìn)行非配對圖像轉(zhuǎn)換）的原理就是能夠?qū)⒁活悎D片轉(zhuǎn)換成另一類圖片。它利用非成對數(shù)據(jù)也能進(jìn)行訓(xùn)練，不必滿足對應(yīng)關(guān)系，所以用CycleGAN 可以做出很多有趣的應(yīng)用。它可以實(shí)現(xiàn)畫與照片，斑馬與馬，夏天與冬天，蘋果與橘子，男人與女人，貓與狗，衛(wèi)星地圖與行政地圖等圖片之間的轉(zhuǎn)換。CycleGAN 的原理圖解如圖1。

圖1 CycleGAN原理圖解

CycleGAN 的創(chuàng)新點(diǎn)在于能夠在源域和目標(biāo)域之間，不用建立訓(xùn)練數(shù)據(jù)間一對一的映射，就能夠?qū)崿F(xiàn)這種遷移。圖1（a）中X、Y 對應(yīng)兩個(gè)領(lǐng)域，現(xiàn)在想要將X領(lǐng)域中的圖片轉(zhuǎn)換成Y 領(lǐng)域中的圖片；G、F 分別對應(yīng)正向和逆向GAN 中的兩個(gè)生成器，即G 將X 領(lǐng)域中的圖片x 轉(zhuǎn)換成Y 領(lǐng)域中的圖片G（x），然后用判別器DY判別是否屬于Y 領(lǐng)域的圖片，由此構(gòu)成生成對抗網(wǎng)絡(luò)的基本結(jié)構(gòu)。圖1（b）和圖1（a）相比增加了一些結(jié)構(gòu)，即要求G（x）再經(jīng)過逆向GAN 中的生成器F 生成F（G（x）），使之與原輸入x 盡可能接近，即cycle-consistency loss 盡量小，這樣就能解決GAN 無法針對性地輸出對應(yīng)圖片的問題。圖1（b）過程x->G（x）->F（G（x））≈x，稱為forward cycle consistency。為了提高訓(xùn)練效果，類似地，又訓(xùn)練從Y 領(lǐng)域到X 領(lǐng)域的轉(zhuǎn)換，如圖1（c）過程y->F（y）->G（F（y））≈y，稱為backward cycle consistency。

1.2 VGGNet

VGGNet[11]通過重復(fù)堆疊若干個(gè)3×3 卷積內(nèi)核和2×2 的最大池化層，成功構(gòu)建出16~19 層的深度卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)證明了卷積神經(jīng)網(wǎng)絡(luò)的深度增加和小卷積核的使用能夠有效提升網(wǎng)絡(luò)的最終分類識別效果，錯(cuò)誤率大大降低，可擴(kuò)展性非常強(qiáng)，并且遷移到其他圖像樣本時(shí)也表現(xiàn)出良好的魯棒性。

VGG 網(wǎng)絡(luò)中使用多個(gè)3×3 的卷積核來模擬大卷積核對樣本的局部感知，該操作最突出的優(yōu)點(diǎn)在于可以大規(guī)模減少參數(shù)，例如9×9 的卷積核需要81 個(gè)權(quán)重參數(shù)，而3×3 的卷積核只需要9 個(gè)權(quán)重參數(shù)。參數(shù)減少，運(yùn)算時(shí)間也會成比例減少。圖2 為VGGNet 的網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 VGGNet的網(wǎng)絡(luò)結(jié)構(gòu)

1.3 ResNet

ResNet[12]分類網(wǎng)絡(luò)是當(dāng)前應(yīng)用最為廣泛的CNN 特征提取網(wǎng)絡(luò)，傳統(tǒng)的卷積網(wǎng)絡(luò)或者全連接網(wǎng)絡(luò)在信息傳遞的時(shí)候不可避免的會存在信息丟失、損耗，或者由于網(wǎng)絡(luò)結(jié)構(gòu)自身的問題如梯度消失、梯度爆炸或者其他因素造成性能下降，導(dǎo)致較深的網(wǎng)絡(luò)無法訓(xùn)練等問題。 而 深 度 殘 差 網(wǎng) 絡(luò)（Residual Neural Network，ResNet）通過直接將輸入信息傳遞給輸出來保護(hù)特征信息的完整性，這樣的設(shè)計(jì)既解決了梯度問題，也使得網(wǎng)絡(luò)的性能得到了提升，并且使用殘差網(wǎng)絡(luò)結(jié)構(gòu)還能夠加快網(wǎng)絡(luò)的訓(xùn)練速度，使網(wǎng)絡(luò)更快收斂。

在ResNet 網(wǎng)絡(luò)結(jié)構(gòu)中用到兩種殘差模塊，圖3 中展示了它們的詳細(xì)結(jié)構(gòu)設(shè)計(jì)。其中，圖3（a）是以兩個(gè)3×3 的卷積網(wǎng)絡(luò)串接在一起作為一個(gè)殘差模塊，圖3（b）使用串聯(lián)的1×1、3×3、1×1 的三個(gè)卷積網(wǎng)絡(luò)作為殘差模塊。

圖3 ResNet基本結(jié)構(gòu)

2 煙霧圖片生成實(shí)驗(yàn)

2.1 數(shù)據(jù)集

由于網(wǎng)絡(luò)下載的大部分煙火視頻煙霧片段都比較短，多數(shù)為火焰場景，所以視頻切幀濾除相似圖片以后數(shù)據(jù)量也比較小，加上直接在網(wǎng)絡(luò)上下載的其他可用煙霧圖片，經(jīng)過手動(dòng)裁剪調(diào)整圖像大小后標(biāo)記為煙霧或是非煙霧樣本，建立了煙霧圖像數(shù)據(jù)集SMOKEGENERATION，最終用于生成訓(xùn)練的煙霧數(shù)據(jù)smoke共1000 張圖片，對應(yīng)的無煙數(shù)據(jù)nosmoke 共1000 張圖片，模型訓(xùn)練完成后使用其他2000 張無煙數(shù)據(jù)進(jìn)行煙霧圖片的生成。表1 中羅列出了數(shù)據(jù)集的具體信息。

表1 SMOKE-GENERATION 數(shù)據(jù)集

2.2 CycleGAN生成煙霧圖片實(shí)驗(yàn)

使用CycleGAN 訓(xùn)練時(shí)將輸入網(wǎng)絡(luò)的煙霧圖片resize 為256×256 大小，使用腳本將圖片轉(zhuǎn)換為tfrecords格式，使用工具為PyCharm、Python3.6、TensorFlow，優(yōu)化器選擇Adam，學(xué)習(xí)率初始化為0.0002，對于前100個(gè)周期，保持相同的學(xué)習(xí)速率0.0002，然后在接下來的100 個(gè)周期內(nèi)線性衰減到0，batch_size 大小為1，設(shè)置迭代40000 次。最終使用TensorFlow 內(nèi)置的可視化工具TensorBoard 繪制loss 曲線如圖4 所示。

圖4 CycleGAN損失曲線

訓(xùn)練完成后使用模型文件來測試將無煙數(shù)據(jù)生成有煙數(shù)據(jù)，部分實(shí)驗(yàn)生成結(jié)果如圖5 所示。

圖5 CycleGAN生成結(jié)果圖

2.3 實(shí)驗(yàn)結(jié)果分析

從圖4 CycleGAN 的損失曲線可以看出，在訓(xùn)練開始時(shí)，判別器D_X 和D_Y 損失曲線逐步下降，與兩個(gè)生成器震蕩的方向相反，二者相互對抗，而隨著網(wǎng)絡(luò)迭代次數(shù)增加，生成器與判別器的“博弈”加劇，生成器生成的樣本越來越逼近真實(shí)樣本，最終生成器G、F 和判別器D_X、D_Y 的損失曲線逐漸趨于平和，兩個(gè)判別器損失總體呈現(xiàn)下降趨勢，直至模型收斂，在訓(xùn)練過程中實(shí)際出現(xiàn)了多次損失震蕩現(xiàn)象，也是二者“博弈”的體現(xiàn)。CycleGAN 網(wǎng)絡(luò)需要保證生成的圖像必須保留有原始圖像的特性，所以如果我們使用生成器G 生成一張假圖像，那么要能夠使用另外一個(gè)生成器F 來努力恢復(fù)成原始圖像，這個(gè)過程必須滿足循環(huán)一致性，Cycle Consistency loss 保證原始圖像和循環(huán)圖像之間的差異應(yīng)該盡可能小，保證生成器G 和F 不僅能滿足各自的判別器，還能應(yīng)用于其他圖片。從圖4 CycleGAN 的損失曲線可以看出Cycle Consistency loss 越來越小，最后趨于平穩(wěn)。

圖5 展示了CycleGAN 生成的部分結(jié)果圖，整體看來圖像的分辨率較高，多樣性很強(qiáng)。實(shí)驗(yàn)證明Cycle-GAN 能在無煙圖片上比較自然的添加煙霧生成煙霧數(shù)據(jù)，人眼難以分辨出其中的差別。

3 煙霧識別對比實(shí)驗(yàn)

3.1 數(shù)據(jù)集

第一次基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙霧識別對比實(shí)驗(yàn)通過調(diào)整SMOKE-GENERATION 數(shù)據(jù)集，建立了煙霧識別圖像數(shù)據(jù)集SMOKE-RECOGNITION，分為訓(xùn)練集train，驗(yàn)證集val，測試集test，其中訓(xùn)練集數(shù)據(jù)包含1200 張圖片，驗(yàn)證集數(shù)據(jù)包含400 張圖片，測試集數(shù)據(jù)包含400 張圖片。表2 中羅列出了詳細(xì)的數(shù)據(jù)分布。

表2 SMOKE-RECOGNITION 數(shù)據(jù)集

第二次基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙霧識別對比實(shí)驗(yàn)通過調(diào)整SMOKE-GENERATION 數(shù)據(jù)集，以及添加生成對抗網(wǎng)絡(luò)生成的煙霧數(shù)據(jù)，建立了擴(kuò)充煙霧識別圖像數(shù)據(jù)集AUG-SMOKE-RECOGNITION，詳細(xì)的數(shù)據(jù)分布參見表3，其中訓(xùn)練集樣本數(shù)量增加了4000 張，測試集和驗(yàn)證集中的數(shù)據(jù)分布不變。

表3 AUG-SMOKE-RECOGNITION 數(shù)據(jù)集

3.2 對比實(shí)驗(yàn)

進(jìn)行基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙霧識別對比實(shí)驗(yàn)，首先需要配置PyTorch 訓(xùn)練環(huán)境，包括Python3.6、PyTorch1.1、CUDA9.0 等，然后使用VGG-16、ResNet-50、ResNet-101 網(wǎng)絡(luò)，以及pytorch_classifier 代碼在自制煙霧數(shù)據(jù)集上進(jìn)行訓(xùn)練。訓(xùn)練具體參數(shù)設(shè)置見表4，部分參數(shù)不同是根據(jù)不同模型進(jìn)行了調(diào)整，以便使各個(gè)網(wǎng)絡(luò)均能充分收斂。

表4 煙霧識別對比實(shí)驗(yàn)參數(shù)設(shè)置

使用SMOKE-RECOGNITION 數(shù)據(jù)集分別在VGG-16、ResNet-50、ResNet-101 網(wǎng)絡(luò)上訓(xùn)練后在測試集上的精度如表5 所示。

表5 SMOKE-RECOGNITION 數(shù)據(jù)集煙霧識別對比實(shí)驗(yàn)結(jié)果

使用AUG-SMOKE-RECOGNITION 數(shù)據(jù)集分別在VGG-16、ResNet-50、ResNet-101 網(wǎng)絡(luò)上訓(xùn)練后在測試集上的精度如表6 所示。

表6 AUG-SMOKE-RECOGNITION 數(shù)據(jù)集煙霧識別對比實(shí)驗(yàn)結(jié)果

3.3 實(shí)驗(yàn)結(jié)果分析

對比分析表5 和表6 中的結(jié)果可以發(fā)現(xiàn)，在這幾個(gè)網(wǎng)絡(luò)模型上均是煙霧數(shù)據(jù)的識別準(zhǔn)確率要高于非煙霧數(shù)據(jù)，ResNet 網(wǎng)絡(luò)模型的識別準(zhǔn)確率要高于VGG 網(wǎng)絡(luò)模型，且卷積神經(jīng)網(wǎng)絡(luò)越深效果越好，VGG-16、ResNet-50、ResNet-101 網(wǎng)絡(luò)模型均在擴(kuò)充數(shù)據(jù)集AUG-SMOKE-RECOGNITION 上獲得了不同程度的提高，其中VGG-16 網(wǎng)絡(luò)模型總體準(zhǔn)確率提升了1.5%，在非煙霧數(shù)據(jù)的識別上提升了1%，在煙霧數(shù)據(jù)的識別上提升了2%，ResNet-50 網(wǎng)絡(luò)模型總體準(zhǔn)確率提升了2%，在非煙霧數(shù)據(jù)的識別上提升了3%，在煙霧數(shù)據(jù)的識別上提升了1%，ResNet-101 網(wǎng)絡(luò)模型總體準(zhǔn)確率提升了1.5%，在非煙霧數(shù)據(jù)的識別上提升了2%，在煙霧數(shù)據(jù)的識別上提升了1%，最后實(shí)驗(yàn)充分證明了Cycle-GAN 數(shù)據(jù)仿真的可行性，能夠在一定程度上解決實(shí)際應(yīng)用中煙霧訓(xùn)練數(shù)據(jù)集不足的問題。

4 結(jié)語

在深度學(xué)習(xí)人工智能如此火爆的如今，對數(shù)據(jù)集的要求也越來越大，本文通過使用循環(huán)生成對抗網(wǎng)絡(luò)CycleGAN 進(jìn)行煙霧圖片的生成，從一定程度上解決了實(shí)際訓(xùn)練中煙霧數(shù)據(jù)集不足的問題，并在VGG-16、ResNet-50、ResNet-101 網(wǎng)絡(luò)模型上進(jìn)行煙霧識別對比實(shí)驗(yàn)，最后充分證明了CycleGAN 數(shù)據(jù)仿真的可行性及擴(kuò)充數(shù)據(jù)集對煙霧識別效果提升的重要性。