孫雄風(fēng) 黃 珍▲ 陳志軍羅 鵬

（1.武漢理工大學(xué)自動(dòng)化學(xué)院 武漢430070；2.武漢理工大學(xué)智能交通系統(tǒng)研究中心 武漢430063）

0 引言

端到端自動(dòng)駕駛系統(tǒng)利用神經(jīng)網(wǎng)絡(luò)直接將傳感器獲取的環(huán)境信息映射為控制輸出[1]，具有提升系統(tǒng)感知與決策效率的潛力，受到了學(xué)者們的廣泛研究。通過(guò)構(gòu)建端到端系統(tǒng)，Wang等[2]實(shí)現(xiàn)城市仿真場(chǎng)景下的車輛自動(dòng)導(dǎo)航；Doorakia等[3]使得智能機(jī)器人能夠自動(dòng)探索未知區(qū)域；Shi等[4]實(shí)現(xiàn)了無(wú)地圖條件下的機(jī)器人自動(dòng)導(dǎo)航，證明了端到端系統(tǒng)的有效性。Lecun等[5]利用約10萬(wàn)張帶轉(zhuǎn)向標(biāo)記的圖像訓(xùn)練淺層卷積網(wǎng)絡(luò)，使越野車具備自動(dòng)避障能力。Chen等[6]利用12 h的模擬駕駛圖像和速度數(shù)據(jù)訓(xùn)練深層CNN，實(shí)現(xiàn)多車道高速公路的無(wú)人駕駛?？梢?jiàn)，端到端自動(dòng)駕駛系統(tǒng)存在巨大的訓(xùn)練圖像需求。針對(duì)此種需求產(chǎn)生的圖像生成模型主要包括變分自動(dòng)編碼器模型（variational autoencorder，VAE）[7]和生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）[8]。前者通過(guò)網(wǎng)絡(luò)訓(xùn)練輸出類似輸入訓(xùn)練數(shù)據(jù)的特征。后者包含1個(gè)判斷生成偽造圖像和真實(shí)圖像的判別器和另1個(gè)生成偽造圖像的生成器，在理想情況下能夠偽造真實(shí)圖像。相比于VAE，GAN網(wǎng)絡(luò)直接從真實(shí)樣本和生成樣本采樣，生成樣本分布在訓(xùn)練過(guò)程中不斷逼近真實(shí)樣本分布，而不是預(yù)先設(shè)定好隱空間數(shù)據(jù)分布，故GAN網(wǎng)絡(luò)生成的樣本更接近真實(shí)圖像。

隨著GAN模型飛速發(fā)展，其被廣泛應(yīng)用于圖像處理過(guò)程，如缺失圖像修復(fù)[9]與模糊圖像增強(qiáng)[10]等。在使用GAN進(jìn)行圖像生成發(fā)展進(jìn)程中，Radford等[11]提出深度卷積GAN模型（DCGAN），利用轉(zhuǎn)置卷積層生成圖像，并通過(guò)CNN作為判別器區(qū)分真實(shí)與生成圖像，為先進(jìn)GAN模型打下了結(jié)構(gòu)基礎(chǔ)。Mao等[12]提出最小二乘GAN模型（LSGAN），改進(jìn)損失函數(shù)為最小二乘損失，緩解了GAN模型訓(xùn)練不穩(wěn)定和生成圖像質(zhì)量差的問(wèn)題。Arjovsky等[13]提出WGAN模型（Wasserstein GAN）指出傳統(tǒng)GAN網(wǎng)絡(luò)中存在梯度消失問(wèn)題，使用Wasserstein方法衡量生成樣本分布和真實(shí)樣本分布之間的距離，并 在WGAN-GP網(wǎng) 絡(luò)[14]（wasserstein GAN with Gradient penalty）中使用梯度懲罰的方式改進(jìn)WGAN中依賴的1-Lipschitz連續(xù)性條件，使得GAN網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定有效。Mirza等[15]提出CGAN模型（conditional GAN），首次在GAN模型訓(xùn)練過(guò)程中引入了條件約束，指引圖像生成方向，打開(kāi)了定向生成圖像的思路。Chen等[16]提出InfoGAN模型（information maximizing GAN），利用信息論中的互信息作為訓(xùn)練損失正則化項(xiàng)，使得模型能夠?qū)W習(xí)到樣本中的特征表示，實(shí)現(xiàn)了按特征的圖像生成過(guò)程。Odena等[17]提出ACGAN模型（auxiliary classifier GAN），在生成器輸入中加入標(biāo)簽信息，并在判別器中進(jìn)行標(biāo)簽重構(gòu)，有效提升了圖像生成質(zhì)量。在交通領(lǐng)域應(yīng)用方面，王力等[18]提出1種路網(wǎng)交通數(shù)據(jù)補(bǔ)充方法，以基于時(shí)空信息補(bǔ)償?shù)穆肪W(wǎng)關(guān)聯(lián)數(shù)據(jù)作為GAN網(wǎng)絡(luò)輸入進(jìn)行訓(xùn)練，實(shí)現(xiàn)對(duì)路網(wǎng)中二維信息圖缺失數(shù)據(jù)的補(bǔ)償或重構(gòu)。王凱[19]提出1種駕駛感知圖像預(yù)測(cè)模型，在端到端系統(tǒng)中引入預(yù)測(cè)控制思想，以實(shí)時(shí)感知圖像為GAN網(wǎng)絡(luò)輸入，生成預(yù)測(cè)感知圖像，為端到端系統(tǒng)提供未來(lái)可能的感知圖像，提升系統(tǒng)容錯(cuò)率。Chen等[20]提出1種平行運(yùn)動(dòng)控制方法，以真實(shí)場(chǎng)景圖像為GAN網(wǎng)絡(luò)輸入，生成險(xiǎn)情場(chǎng)景圖像，運(yùn)動(dòng)控制器對(duì)真實(shí)場(chǎng)景和生成的險(xiǎn)情場(chǎng)景產(chǎn)生2套平行控制方案，為緊急情況時(shí)的控制決策提供了有效手段。

作為1種生成圖像的有效方法，傳統(tǒng)GAN模型具有擴(kuò)充圖像數(shù)據(jù)集的潛力，但其仍存在一些缺點(diǎn)與不足：①圖像生成過(guò)程不穩(wěn)定，由于GAN模型中判別器和生成器之間存在對(duì)抗博弈關(guān)系，二者相互制約，生成器容易出現(xiàn)梯度消失問(wèn)題，導(dǎo)致模型訓(xùn)練不收斂；②生成圖像特征缺乏多樣性,GAN模型在圖像生成過(guò)程中會(huì)衡量生成圖像像素與真實(shí)圖像像素間的相似度，當(dāng)生成圖像局部像素值接近真實(shí)圖像時(shí)，此部分圖像便不再優(yōu)化，導(dǎo)致生成圖像局部區(qū)域幾乎相同，缺乏多樣性；③生成圖像特征不清晰,GAN模型在生成器網(wǎng)絡(luò)中使用全連接層進(jìn)行圖像生成，不利于處理圖像特征。

為克服上述不足，將GAN模型更好的應(yīng)用于擴(kuò)充駕駛圖像數(shù)據(jù)集，筆者提出改進(jìn)網(wǎng)絡(luò)模型LS-InfoGAN。在優(yōu)化代價(jià)函數(shù)中引入最小二乘損失，并在生成器中使用互信息特征學(xué)習(xí)方法和轉(zhuǎn)置卷積層，提升駕駛圖像生成過(guò)程的穩(wěn)定性、改善生成圖像的特征多樣性，進(jìn)而提升數(shù)據(jù)集圖像擴(kuò)充質(zhì)量。針對(duì)端到端自動(dòng)駕駛系統(tǒng)存在的大量訓(xùn)練圖像需求，將提出的模型應(yīng)用于擴(kuò)充端到端駕駛決策網(wǎng)絡(luò)所需圖像數(shù)據(jù)集，通過(guò)網(wǎng)絡(luò)訓(xùn)練提升了決策網(wǎng)絡(luò)預(yù)測(cè)正確率。最后，對(duì)比不同數(shù)量生成圖像的擴(kuò)充數(shù)據(jù)集在決策網(wǎng)絡(luò)上的訓(xùn)練結(jié)果，給出了擴(kuò)充數(shù)據(jù)集時(shí)合理的圖像生成數(shù)量。

1 基于改進(jìn)GAN模型的端到端自動(dòng)駕駛圖像生成方法

1.1 端到端自動(dòng)駕駛系統(tǒng)

為了分析GAN模型生成的圖像對(duì)端到端自動(dòng)駕駛系統(tǒng)產(chǎn)生的影響，筆者構(gòu)建了典型的基于端到端學(xué)習(xí)的自動(dòng)駕駛控制系統(tǒng)，結(jié)構(gòu)見(jiàn)圖1，其包含訓(xùn)練和控制2個(gè)階段。

圖1 端到端自動(dòng)駕駛系統(tǒng)結(jié)構(gòu)圖Fig.1 End-to-end，self-driving system

在訓(xùn)練階段，人類駕駛員根據(jù)載具的位置狀態(tài)執(zhí)行適當(dāng)?shù)鸟{駛動(dòng)作，產(chǎn)生的控制行為作為載具和決策網(wǎng)絡(luò)的輸入。場(chǎng)景獲取系統(tǒng)也會(huì)將此時(shí)的場(chǎng)景信息輸入決策網(wǎng)絡(luò)。通過(guò)訓(xùn)練，決策網(wǎng)絡(luò)便可從類似的場(chǎng)景輸入還原控制行為。在控制階段，決策網(wǎng)絡(luò)通過(guò)訓(xùn)練擁有了映射能力，它將會(huì)替代駕駛引導(dǎo)者，自主通過(guò)場(chǎng)景信息判斷應(yīng)該執(zhí)行的駕駛行為。本文將端到端駕駛過(guò)程看作圖像分類任務(wù)，故決策網(wǎng)絡(luò)為分類網(wǎng)絡(luò)。

1.2 經(jīng)典GAN模型

GAN模型作為無(wú)監(jiān)督學(xué)習(xí)方法，其基本思想是在生成器G和判別器D間建立1種博弈模型。GAN訓(xùn)練過(guò)程分為2個(gè)步驟：步驟1是生成器G根據(jù)隨機(jī)噪聲z生成與真實(shí)圖像最小相似的圖像G(z)；步驟2是最大化判別器D辨別真實(shí)樣本的能力。在模型訓(xùn)練過(guò)程中，G與D交替運(yùn)行，二者相互博弈，不斷優(yōu)化，最終達(dá)到納什均衡，即G最終能夠生成與真實(shí)樣本分布一致的生成樣本，且D無(wú)法分辨輸入是真實(shí)圖像還是生成樣本。GAN模型中判別器和生成器的優(yōu)化目標(biāo)函數(shù)L可以定義為式（1）。

式中：x~pr為x從真實(shí)樣本分布采樣；x?~pg為x?從生成樣本分布G(z)采樣，x?=G(z)，且z~pz滿足標(biāo)準(zhǔn)正態(tài)分布；E(*)為期望值。

1.3 GAN模型缺陷分析

GAN模型的最終目標(biāo)是從真實(shí)圖像中學(xué)習(xí)其像素分布特性，并通過(guò)代價(jià)函數(shù)計(jì)算拉近生成樣本分布與真實(shí)樣本分布間的距離，在優(yōu)化代價(jià)函數(shù)的過(guò)程中提升生成圖像真實(shí)性。Goodfellow等[8]指出，在式（1）的優(yōu)化過(guò)程中，當(dāng)固定生成器G單獨(dú)訓(xùn)練判別器D時(shí)，判別器的最優(yōu)解D*(x)可表示為式（2）。當(dāng)判別器D取最優(yōu)解時(shí)，生成器G的目標(biāo)代價(jià)函數(shù)可表述為式（3）

式中：KL散度計(jì)算可表示為式（4），其用于表示p1和p2這2個(gè)樣本空間的距離，p1(x)和p2(x)分別為2個(gè)空間中各個(gè)分布點(diǎn)。式（3）中2個(gè)對(duì)稱的KL散度可記為1個(gè)JS散度。

當(dāng)pr和pg樣本空間不同時(shí)，討論式（2）中KL散度在2種情況下的計(jì)算結(jié)果可知：當(dāng)pr≠0且pg=0時(shí)，或當(dāng)pr=0且pg≠0時(shí)，生成器G的目標(biāo)代價(jià)函數(shù)中2個(gè)KL散度和為lg2，生成器損失恒為-lg2，此時(shí)生成器在優(yōu)化過(guò)程中會(huì)出現(xiàn)梯度不存在的問(wèn)題。這就導(dǎo)致傳統(tǒng)GAN模型在判別器訓(xùn)練的越好的情況下，生成器越容易出現(xiàn)梯度消失情況，使得訓(xùn)練過(guò)程不穩(wěn)定。由于GAN模型訓(xùn)練初期真實(shí)樣本分布和生成樣本分布差異較大，2個(gè)樣本分布不存在重合部分或存在極少重合部分，此時(shí)更易發(fā)生此種情況，使得梯度消失，導(dǎo)致訓(xùn)練不穩(wěn)定。

對(duì)于GAN模型生成圖像缺乏多樣性的問(wèn)題可作如下分析。對(duì)真實(shí)樣本和生成樣本間的KL散度計(jì)算公式進(jìn)行變形可得式（5）。

移項(xiàng)可得式（6）。

式（1）中生成器代價(jià)函數(shù)最小化過(guò)程可寫作式（7）。

式（7）的最小化過(guò)程與式（8）等價(jià)。

那么，式（6）等號(hào)右邊即為生成器的等價(jià)代價(jià)函數(shù)。生成器目標(biāo)函數(shù)最小化過(guò)程等價(jià)于對(duì)式（6）等號(hào)右邊進(jìn)行最小化。除去式（6）等號(hào)右邊的常數(shù)和與生成器無(wú)關(guān)項(xiàng)后，其優(yōu)化過(guò)程可表述為式（8）。

最小化過(guò)程中，等式右邊第一項(xiàng)需要最小化真實(shí)樣本分布與生成樣本分布間的KL散度，同時(shí)第二項(xiàng)需要最大化真實(shí)樣本分布與生成樣本分布間的JS散度，即前者最小化2個(gè)樣本分布間的距離，后者最大化2個(gè)樣本分布間的距離。二者的矛盾行為導(dǎo)致生成器在優(yōu)化過(guò)程中優(yōu)化方向不確定，優(yōu)化困難。在判別器訓(xùn)練的越好的情況下，生成器越傾向于保守地生成與已有真實(shí)分布相同的樣本分布，而不是繼續(xù)拉近其它真實(shí)樣本分布與生成樣本分布間的距離，導(dǎo)致生成圖像特征缺乏多樣性。

綜上分析可知，GAN模型訓(xùn)練過(guò)程中存在的訓(xùn)練不穩(wěn)定和生成圖像缺乏多樣性問(wèn)題本質(zhì)上與訓(xùn)練過(guò)程中的損失計(jì)算問(wèn)題息息相關(guān)。且與判別器訓(xùn)練過(guò)程中太過(guò)強(qiáng)勢(shì)導(dǎo)致判別器和生成器的博弈關(guān)系不平衡相關(guān)。

1.4 改進(jìn)的GAN模型

為改善GAN模型圖像生成能力，并滿足駕駛圖像特征分類需求，本文針對(duì)GAN模型缺陷和對(duì)GAN模型進(jìn)行3處改進(jìn)。

1）針對(duì)GAN模型訓(xùn)練過(guò)程不穩(wěn)定問(wèn)題，使用最小二乘損失函數(shù)替換原對(duì)抗損失函數(shù)。其損失定義見(jiàn)式（10）~（11）。

式中：a和b分別為生成樣本和真實(shí)樣本的標(biāo)簽，c為生成樣本期望判別器得出的標(biāo)簽，取a為-1，b為1，c為0[12]。當(dāng)固定生成器G單獨(dú)訓(xùn)練判別器D時(shí)，判別器的最優(yōu)解DLS*(x)可表示為式（12）[12]，此時(shí)生成器的損失函數(shù)可以表述為式（13）。

2）對(duì)于駕駛圖像生成需求和生成圖像特征缺乏多樣性問(wèn)題。Mirza等[15]率先發(fā)現(xiàn)，在訓(xùn)練過(guò)程中給定訓(xùn)練圖像類別標(biāo)簽時(shí)，GAN模型的生成圖像質(zhì)量得到提升。受此啟發(fā)，本文在將圖像輸入網(wǎng)絡(luò)前，先對(duì)訓(xùn)練圖像進(jìn)行分類，并將分類信息作為標(biāo)簽值輸入生成器網(wǎng)絡(luò)，使得生成器學(xué)習(xí)圖像特征與輸入標(biāo)簽間的聯(lián)系，讓圖像生成能按照給定標(biāo)簽的方向進(jìn)行，滿足生成圖像特征分類需求。此外，為了讓模型學(xué)習(xí)到更多的特征信息，使用Chen等[16]提出的最大互信息方法提升生成器的特征生成能力，通過(guò)最大化生成圖像特征與真實(shí)圖像特征間的信息熵提升生成器特征學(xué)習(xí)能力。為計(jì)算互信息熵，需要在原GAN模型基礎(chǔ)上添加1個(gè)分類網(wǎng)絡(luò)Q對(duì)生成圖像進(jìn)行特征分類?；バ畔㈧乜杀硎緸槭剑?4）。

式中：c′~pc為分類器Q得出的分類標(biāo)簽c′屬于分類標(biāo)簽集pc；x?~(pg，c)為x?采樣自生成器輸入標(biāo)簽為c時(shí)的生成圖像；Q(c′|x?)為在已知生成器輸入標(biāo)簽為c的情況下，分類網(wǎng)絡(luò)Q將生成圖像x?判定為c′的輸出概率；熵值LI(G，Q)為此時(shí)生成圖像x?與標(biāo)簽信息c′之間的關(guān)聯(lián)性大?。豢紤]到標(biāo)簽信息源自圖像特征分類結(jié)果，本文在優(yōu)化過(guò)程中使用生成器標(biāo)簽c和分類器標(biāo)簽c′計(jì)算得到的分類損失來(lái)衡量這一關(guān)聯(lián)性。分類損失計(jì)算采用交叉熵函數(shù)，計(jì)算方法見(jiàn)式（15）。

即計(jì)算生成器輸入標(biāo)簽為c的情況下，分類器Q輸出標(biāo)簽也為c的期望值負(fù)值。分類損失越小，關(guān)聯(lián)性越大，故可將互信息熵的最大化過(guò)程，轉(zhuǎn)化為分類損失的最小化過(guò)程。

3）針對(duì)GAN模型生成圖像特征不清晰問(wèn)題，使用DCGAN模型生成器中的使用轉(zhuǎn)置卷積層代替原模型中的全連接層，通過(guò)特征還原的方式進(jìn)行特征放大，將特征值恢復(fù)成圖像，提升生成圖像清晰度。轉(zhuǎn)置卷積是1種上采樣方法，操作步長(zhǎng)大于1，能夠從圖像特征值還原特征矩陣，并對(duì)特征矩陣進(jìn)行拼接，實(shí)現(xiàn)由特征值到特征矩陣的反向放大過(guò)程。另外，使用DCGAN中提出的3種訓(xùn)練技巧提升模型訓(xùn)練效果：①在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，使用批處理方式，使得判別器學(xué)習(xí)整體真實(shí)樣本的共性特征，平衡真實(shí)樣本空間；②在判別器和生成器的多數(shù)層中使用批次歸一化層，加快網(wǎng)絡(luò)的特征學(xué)習(xí)速度，但在生成器的最后一層和判別器的第一層不進(jìn)行批次歸一化，讓模型學(xué)習(xí)樣本分布正確的均值和范圍；③在判別器中使用LeakyReLU激活函數(shù)，防止梯度稀疏。

綜合上述改進(jìn)方法，筆者提出改進(jìn)的GAN模型LS-InfoGAN，并對(duì)模型有效性和圖像生成效果進(jìn)行研究。

2 LS-InfoGAN模型結(jié)構(gòu)

2.1 LS-InfoGAN流程框架

LS-InfoGAN圖像生成模型流程框架見(jiàn)圖2，包含判別器網(wǎng)絡(luò)D、生成器網(wǎng)絡(luò)G和分類器網(wǎng)絡(luò)Q這3個(gè)部分。模型的生成器中使用轉(zhuǎn)置卷積網(wǎng)絡(luò)結(jié)構(gòu)。使用最小二乘損失函數(shù)計(jì)算判別器D和生成器的G的對(duì)抗損失。分類器網(wǎng)絡(luò)Q的分類損失使用交叉熵?fù)p失函數(shù)計(jì)算。模型訓(xùn)練過(guò)程中，首先通過(guò)給定標(biāo)簽c在生成器G中以隨機(jī)噪聲z進(jìn)行圖像生成，然后在判別器D中對(duì)生成圖像G(z)和真實(shí)圖像x進(jìn)行真假判斷像素內(nèi)容差異，并使用最小二乘損失函數(shù)計(jì)算對(duì)抗損失，學(xué)習(xí)圖像像素內(nèi)容，最后在判別器Q中對(duì)生成圖像進(jìn)行分類，得出分類標(biāo)簽c′，計(jì)算類別特征損失，學(xué)習(xí)圖像特征表示信息。

圖2 LS-InfoGAN流程框架圖Fig.2 Process of the LS-InfoGAN model

優(yōu)化過(guò)程中，對(duì)抗損失大小為判別器D損失和生成器G損失之和，損失值大小表示生成樣本圖像與真實(shí)圖像的像素內(nèi)容差異。分類損失計(jì)算方式使用交叉熵計(jì)算方法，學(xué)習(xí)樣本分布中的特征表示信息。故LS-InfoGAN模型的優(yōu)化目標(biāo)可表示為式（16）。

即在圖像生成訓(xùn)練過(guò)程，最大化判別器判別能力的同時(shí)，最小化對(duì)抗損失和分類損失，使得生成圖像在像素內(nèi)容和特征信息上更接近真實(shí)圖像。

2.2 LS-InfoGAN網(wǎng)絡(luò)結(jié)構(gòu)

LS-InfoGAN模型生成器和判別器具體的網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖3，圖中矩形方塊代表了不同類型的網(wǎng)絡(luò)層，各層上方數(shù)字從左至右依次代表卷積核大小、輸出通道維數(shù)和卷積步長(zhǎng)。標(biāo)識(shí)Deconv，Conv，BN和FC的方塊分別代表轉(zhuǎn)置卷積層，卷積層，批次歸一化層和全連接層。生成器網(wǎng)絡(luò)中共包含4個(gè)轉(zhuǎn)置卷積層，卷積核大小均為4，通道數(shù)分別為8，16，32，64，步長(zhǎng)為2。判別器網(wǎng)絡(luò)中共包含4個(gè)卷積層，卷積核大小均為4，輸出通道維數(shù)分別為64，128，256，512，步長(zhǎng)為2，LRELU層的α=0.2。除最后部分的卷積或轉(zhuǎn)置卷積層外，每個(gè)卷積或轉(zhuǎn)置卷積層與LRELU/RELU之間使用了批次歸一化層。在生成器網(wǎng)絡(luò)末尾使用sigmoid激活函數(shù)生成長(zhǎng)寬為64×64像素的RGB圖像。判別器網(wǎng)絡(luò)最后使用1個(gè)全連接層（FC）給出對(duì)輸入圖像的真假判別結(jié)果。分類器網(wǎng)絡(luò)以判別器網(wǎng)絡(luò)輸出的特征向量為輸入，經(jīng)過(guò)2個(gè)全連接層輸出分類標(biāo)簽。2個(gè)全連接層通道數(shù)分別為128和3。

圖3 LS-InfoGAN網(wǎng)絡(luò)模型圖Fig.3 Structure of the LS-InfoGAN model

3 仿真實(shí)驗(yàn)與結(jié)果分析

3.1 仿真實(shí)驗(yàn)設(shè)計(jì)

仿真實(shí)驗(yàn)主要包括3個(gè)部分：①仿真環(huán)境搭建；②駕駛數(shù)據(jù)集獲??；③網(wǎng)絡(luò)訓(xùn)練和測(cè)試評(píng)估。模擬駕駛環(huán)境在Gazebo平臺(tái)中搭建，并人工完成數(shù)據(jù)采集工作以形成數(shù)據(jù)集。①和③的實(shí)驗(yàn)流程見(jiàn)圖4。先通過(guò)人工駕駛采集場(chǎng)景圖像。隨后進(jìn)行隨機(jī)劃分，將80%采集圖像用于GAN模型訓(xùn)練，形成混合數(shù)據(jù)集。接著以混合數(shù)據(jù)集作為決策網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，并以剩余的20%采集圖像用作決策網(wǎng)絡(luò)測(cè)試評(píng)估數(shù)據(jù)集擴(kuò)充效果。

圖4 實(shí)驗(yàn)流程圖Fig.4 Process of the experiment

3.1.1 仿真環(huán)境與駕駛數(shù)據(jù)集獲取

仿真實(shí)驗(yàn)場(chǎng)景為在Gazebo平臺(tái)上建立的模擬駕駛環(huán)境。實(shí)驗(yàn)中使用的模擬駕駛環(huán)境見(jiàn)圖5。圖中左側(cè)為駕駛場(chǎng)景，白色邊線為模擬車道。右側(cè)為機(jī)器人車輛對(duì)應(yīng)采集的圖像示例。2種場(chǎng)景均用于駕駛數(shù)據(jù)集獲取。

圖5 模擬駕駛場(chǎng)景圖Fig.5 Driving scenarios of the simulation

網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中使用的數(shù)據(jù)集為帶控制標(biāo)簽的場(chǎng)景圖像。訓(xùn)練圖像是在人類駕駛員通過(guò)鍵盤控制機(jī)器人小車的過(guò)程中完成的，采集圖像主要攜帶3種控制信息，包括left（左轉(zhuǎn)）、up（直行）和right（右轉(zhuǎn)），采集圖像為RGB模式。為避免過(guò)多冗余的圖像，采圖頻率設(shè)置為3張/s，大小為64×64。實(shí)驗(yàn)過(guò)程中按照上述方法在2種駕駛場(chǎng)景中共采集了10 457張帶標(biāo)簽的駕駛圖像，并形成駕駛數(shù)據(jù)集。實(shí)驗(yàn)過(guò)程中的數(shù)據(jù)集具體組成見(jiàn)表1。

表1 訓(xùn)練集和測(cè)試集組成Tab.1 Configuration of the training and testing dataset

3.1.2 網(wǎng)絡(luò)訓(xùn)練設(shè)置

使用獲取的駕駛數(shù)據(jù)集對(duì)本文提出的模型進(jìn)行了圖像生成訓(xùn)練。實(shí)驗(yàn)過(guò)程中使用的各類GAN模型的判別器和生成器結(jié)構(gòu)均與2.2中所述網(wǎng)絡(luò)結(jié)構(gòu)保持一致。網(wǎng)絡(luò)模型參數(shù)設(shè)置上，LeakyReLU斜率參數(shù)設(shè)置為0.2，網(wǎng)絡(luò)學(xué)習(xí)速率統(tǒng)一設(shè)置為0.000 2，批處理大小為128，優(yōu)化器均選用Adam，并設(shè)置1階矩估計(jì)的指數(shù)衰減率為0.5。判別器與生成器學(xué)習(xí)率同步。

考慮到自動(dòng)駕駛系統(tǒng)需要應(yīng)用到移動(dòng)平臺(tái)，在評(píng)估模型駕駛數(shù)據(jù)集擴(kuò)充應(yīng)用效果時(shí)加入了更適合移動(dòng)平臺(tái)的Mobilenet作為決策網(wǎng)絡(luò)，并選用體量較小的MobilenetV3-small模型[21]。其通過(guò)SE-net學(xué)習(xí)圖像不同通道特征的重要程度，并結(jié)合深度可分離卷積和具有線性瓶頸的逆殘差結(jié)構(gòu)進(jìn)一步提升網(wǎng)絡(luò)性能，減少計(jì)算消耗。參數(shù)設(shè)置上參考MobilenetV3-small原模型設(shè)置方法。

3.2 仿真實(shí)驗(yàn)結(jié)果與分析

仿真結(jié)果分2個(gè)方面來(lái)展示：①LS-InfoGAN模型在網(wǎng)絡(luò)訓(xùn)練和圖像生成上的表現(xiàn)；②LS-InfoGAN模型數(shù)據(jù)集擴(kuò)充應(yīng)用效果評(píng)估，即分析訓(xùn)練得到的MobilenetV3-small模型的預(yù)測(cè)性能指標(biāo)。

3.2.1 GAN模型訓(xùn)練與圖像生成結(jié)果

實(shí)驗(yàn)中使用的GAN模型均按照2.1.3所述配置訓(xùn)練了100個(gè)回合，各種GAN模型訓(xùn)練時(shí)的圖像生成結(jié)果見(jiàn)圖6。圖中從左至右依次代表標(biāo)簽為左轉(zhuǎn)、直行和右轉(zhuǎn)的圖像，圖6（a）~（e）依次為原始圖像、CGAN、ACGAN、InfoGAN以及LS-InfoGAN模型生成圖像。

圖6 生成圖像結(jié)果圖Fig.6 Generated results

對(duì)比生成結(jié)果，CGAN模型生成圖像存在少量噪點(diǎn)，部分區(qū)域像素缺乏紋理，且標(biāo)簽為左轉(zhuǎn)和右轉(zhuǎn)的圖像背景部分存在不合理像素區(qū)域，同時(shí)標(biāo)簽為右轉(zhuǎn)的圖像車道右側(cè)部分明顯缺失，圖像車道線特征不明顯。ACGAN模型生成圖像背景部分較為模糊，存在較多不合理像素區(qū)域，且標(biāo)簽為右轉(zhuǎn)和直行的圖像車道線生成較為模糊。InfoGAN模型生成圖像背景模糊，存在不合理像素區(qū)域，但車道線生成較為清晰。LS-InfoGAN模型生成圖像背景細(xì)節(jié)缺乏紋理，圖像存在少量噪點(diǎn)，但背景部分不合理像素較少，車道線生成較為清晰，方向特征明顯，圖像相對(duì)更合理。

由于GAN模型在訓(xùn)練過(guò)程容易出現(xiàn)生成圖像缺乏多樣性的出錯(cuò)情況，故需要對(duì)模型訓(xùn)練穩(wěn)定性進(jìn)行評(píng)估。以上4種GAN模型在保持之前的訓(xùn)練參數(shù)不變的條件下多次訓(xùn)練后的統(tǒng)計(jì)結(jié)果見(jiàn)表2。表2中可以觀測(cè)到，LS-InfoGAN模型成功率最高，達(dá)到86.67%；ACGAN模型次之，為63.33%；InfoGAN和CGAN模型表現(xiàn)較差。

表2 圖像生成訓(xùn)練結(jié)果Tab.2 Results of image-production training

此外，實(shí)驗(yàn)過(guò)程中監(jiān)測(cè)了圖6圖像生成過(guò)程中對(duì)應(yīng)的生成器與判別器損失變化，繪制曲線見(jiàn)圖7。由于GAN模型在網(wǎng)絡(luò)訓(xùn)練初期存在較大波動(dòng)，故此處僅展示其在中后期的損失變化。對(duì)比圖中結(jié)果，CGAN、ACGAN和InfoGAN模型的判別器損失趨于0達(dá)到收斂狀態(tài)，但存在較大振幅的波動(dòng)現(xiàn)象。3種模型的生成器損失均未趨于0達(dá)到收斂狀態(tài)，并且同樣存在較大振幅的波動(dòng)現(xiàn)象。相反，LS-InfoGAN模型的判別器和生成器損失波動(dòng)振幅較小，二者均趨于0達(dá)到收斂狀態(tài)，故LS-InfoGAN模型在圖像生成過(guò)程中較另外3種模型更穩(wěn)定。

圖7 多種GAN模型損失變化曲線圖Fig.7 Loss curves of GAN models

綜合上述實(shí)驗(yàn)結(jié)果，在相同的訓(xùn)練過(guò)程中，LS-InfoGAN模型圖像生成過(guò)程最穩(wěn)定，且在多次訓(xùn)練過(guò)程中成功率表現(xiàn)最優(yōu)，驗(yàn)證了改進(jìn)的有效性。

3.2.2 模型擴(kuò)充數(shù)據(jù)集結(jié)果

模型在數(shù)據(jù)集擴(kuò)充上的應(yīng)用效果以決策網(wǎng)絡(luò)模型在原始圖像測(cè)試集（即隨機(jī)劃分所得到的原始采集圖像的20%）上的查準(zhǔn)率以及召回率進(jìn)行評(píng)估。查準(zhǔn)率計(jì)算模型為某一類圖像預(yù)測(cè)正確結(jié)果數(shù)目與測(cè)試集總數(shù)的比值。召回率計(jì)算模型預(yù)測(cè)為某一類圖像中正確的數(shù)目與預(yù)測(cè)為這一類的總數(shù)的比值。某個(gè)類別的查準(zhǔn)率和召回率越大，表示模型對(duì)這一類圖像的預(yù)測(cè)正確率越高。

使用4種GAN模型擴(kuò)充得到的混合數(shù)據(jù)集以及原始人工駕駛數(shù)據(jù)集訓(xùn)練得到的網(wǎng)絡(luò)模型在測(cè)試集上的評(píng)估結(jié)果見(jiàn)表3，評(píng)估過(guò)程中3個(gè)方向駕駛圖像的生成數(shù)量均為2 900，生成圖像總數(shù)為8 700，與原始圖像訓(xùn)練集圖像數(shù)量相近，查準(zhǔn)率和召回率括號(hào)內(nèi)的標(biāo)準(zhǔn)差均為5次訓(xùn)練之后的結(jié)果。表3中加粗部分為圖像分類結(jié)果中各個(gè)類別上查準(zhǔn)率或召回率的最大值。

表3 分類評(píng)估結(jié)果Tab.3 Assessment results of classifications

相比原始數(shù)據(jù)集訓(xùn)練得到的分類決策網(wǎng)絡(luò)模型，使用CGAN模型擴(kuò)充后的數(shù)據(jù)集進(jìn)行訓(xùn)練減弱了決策網(wǎng)絡(luò)的預(yù)測(cè)性能，綜合查準(zhǔn)率衰減了0.5%，召回率衰減了0.4%。使用ACGAN模型擴(kuò)充后的數(shù)據(jù)集進(jìn)行訓(xùn)練對(duì)于決策網(wǎng)絡(luò)的預(yù)測(cè)性能有較少提升，且在直行方向上正確率提升最大，綜合查準(zhǔn)率提升0.2%，召回率提升0.5%。使用InfoGAN模型擴(kuò)充后的數(shù)據(jù)集進(jìn)行訓(xùn)練對(duì)于決策網(wǎng)絡(luò)的預(yù)測(cè)性能提升較明顯，綜合查準(zhǔn)率提升1.1%，召回率提升1.7%?；旌螸S-InfoGAN模型生成圖像的數(shù)據(jù)集對(duì)決策網(wǎng)絡(luò)的準(zhǔn)確率提升最明顯，其在除左轉(zhuǎn)和直行查準(zhǔn)率外的其他6個(gè)指標(biāo)上取得最佳結(jié)果，綜合查準(zhǔn)率提升1.5%，召回率提升1.9%。這表明LS-InfoGAN模型生成圖像更合理，對(duì)決策網(wǎng)絡(luò)預(yù)測(cè)性能提升最佳。

由于實(shí)際的圖像生成數(shù)量往往不是確定的，故需要評(píng)估生成圖像數(shù)量對(duì)上述結(jié)果產(chǎn)生的影響。使用LS-InfoGAN模型按比例生成不同數(shù)量圖像的分類評(píng)估結(jié)果見(jiàn)表4。對(duì)比結(jié)果表明，當(dāng)生成圖像數(shù)量是原始圖像訓(xùn)練集的2倍時(shí)，分類決策網(wǎng)絡(luò)模型取得了最好的性能提升效果，且使用LS-InfoGAN模型生成圖像的數(shù)量并不是越多越好，但從分類結(jié)果的方差變化可以看出，多生成圖像能增強(qiáng)測(cè)試結(jié)果的穩(wěn)定性，但過(guò)多的生成圖像可能適得其反。

表4 不同數(shù)量生成圖像對(duì)比評(píng)估結(jié)果Tab.4 Assessment results of classifications with different numbers of generating images

3.3 討論

基于改進(jìn)GAN模型的駕駛圖像生成方法為駕駛圖像數(shù)據(jù)集的擴(kuò)充提供了有效手段。傳統(tǒng)GAN模型能根據(jù)圖像數(shù)據(jù)集進(jìn)行無(wú)監(jiān)督學(xué)習(xí)自動(dòng)生成圖像，但其存在訓(xùn)練不穩(wěn)定，生成圖像缺乏多樣性的缺陷，且無(wú)法根據(jù)需求定向生成圖像。本文提出的改進(jìn)模型較好地克服了此種缺陷，并可根據(jù)期望方向生成不同類別的駕駛圖像，擴(kuò)充的駕駛圖像數(shù)據(jù)集質(zhì)量較高。

LS-InfoGAN模型在訓(xùn)練過(guò)程中具有較好的穩(wěn)定性，且擴(kuò)充圖像真實(shí)度高：①?gòu)?.2.1實(shí)驗(yàn)中的損失變化曲線看出，模型無(wú)論在訓(xùn)練初期還是中后期，損失變化都趨于收斂，且波動(dòng)區(qū)間小，使得圖像生成過(guò)程保持穩(wěn)定；②從3.2.2實(shí)驗(yàn)看出，當(dāng)使用模型擴(kuò)充駕駛圖像數(shù)據(jù)集時(shí)，相比使用原數(shù)據(jù)集進(jìn)行訓(xùn)練，使用擴(kuò)充的數(shù)據(jù)集進(jìn)行決策網(wǎng)絡(luò)訓(xùn)練能夠提升決策網(wǎng)絡(luò)的預(yù)測(cè)性能，表明擴(kuò)充圖像真實(shí)度高，能夠提升決策網(wǎng)絡(luò)的學(xué)習(xí)理解能力。

LS-InfoGAN模型本身是1種圖像生成方法，模型在使用最小二乘對(duì)抗損失克服傳統(tǒng)GAN模型訓(xùn)練過(guò)程中梯度消失問(wèn)題的同時(shí)，采用最大化互信息熵的方式提升生成器特征生成能力，并通過(guò)轉(zhuǎn)置卷積層將特征還原為圖像，提升生成圖像特征清晰度。實(shí)驗(yàn)過(guò)程中從仿真環(huán)境采集的駕駛圖像雖然與真實(shí)圖像相比差異較大。但無(wú)論對(duì)于真實(shí)駕駛圖像還是仿真圖像，模型所學(xué)習(xí)的內(nèi)容都是圖像中的像素分布信息和特征信息，所以實(shí)驗(yàn)結(jié)果從一定程度上證明了改進(jìn)模型生成圖像的有效性。

4 結(jié)束語(yǔ)

針對(duì)端到端自動(dòng)駕駛系統(tǒng)存在的圖像需求問(wèn)題，提出1種改進(jìn)網(wǎng)絡(luò)模型LS-InfoGAN，改善圖像生成過(guò)程，提升模型的穩(wěn)定性。并將其應(yīng)用于擴(kuò)充駕駛圖像數(shù)據(jù)集。

相較于CGAN、ACGAN和InfoGAN模型，本文方法生成圖像的背景區(qū)域不合理像素較少，車道線特征明顯，模型訓(xùn)練過(guò)程中損失變化趨于收斂，振幅較小，且在多次圖像生成訓(xùn)練過(guò)程中的訓(xùn)練成功率最高，所以本文方法生成圖像更穩(wěn)定。此外，應(yīng)用LS-InfoGAN模型擴(kuò)充的數(shù)據(jù)集進(jìn)行決策網(wǎng)絡(luò)訓(xùn)練能在不采集新圖像的情況下將端到端系統(tǒng)綜合決策性能提升1%~2%。因此，本文模型能夠達(dá)到穩(wěn)定生成駕駛圖像的目標(biāo)，且應(yīng)用此模型擴(kuò)充駕駛數(shù)據(jù)集能在一定程度上提升端到端決策網(wǎng)絡(luò)的預(yù)測(cè)性能。為達(dá)到最佳性能提升效果，建議將生成圖像數(shù)量設(shè)置為原始訓(xùn)練集圖像數(shù)量的1~2倍。

針對(duì)本文方法生成圖像缺乏背景細(xì)節(jié)紋理和存在噪點(diǎn)的問(wèn)題，進(jìn)一步工作將針對(duì)該問(wèn)題提出更優(yōu)的解決方案，提升圖像細(xì)膩程度。