宋 婷, 兀澤朝, 高 艾, 袁建平

(1. 西北工業(yè)大學航天學院, 陜西 西安 710072; 2. 上海航天控制技術研究所, 上海 201109; 3. 北京機電工程研究所, 北京 100074; 4. 復雜系統控制與智能協同技術重點實驗室, 北京 100074; 5. 北京理工大學宇航學院, 北京 100081)

0 引 言

獲取月球表面的先驗圖像信息是實現月球表面障礙檢測和標記的前提[1-2]。雖然在執(zhí)行探測任務時,可以利用探測器自身攜帶的光學電荷耦合元件(charge coupled device,CCD)相機獲得地表圖像,但是由于現有的月球探測任務次數較少,在月表障礙檢測方法研究過程中,缺少高質量的先驗月球圖像數據,限制了障礙檢測方法的發(fā)展,也不利于檢測算法設計與驗證。

隨著機器學習方法在圖像處理技術領域的發(fā)展,其智能化的特性與月表圖像特征處理技術中要求的自主性展現出了一致性[3-5]。但是,目前主流的機器學習方法,無論是應用于目標檢測、或是圖像分割領域的機器學習方法,都需要大量的訓練數據提供學習。如果可供學習的樣本很少,或者圖像數據的質量不高,不僅無法達到智能化的檢測效果,甚至檢測準確度也會大打折扣。在工程應用中,可靠性難以保證[6]。

與獲取地面圖像不同,月球表面圖像無法像地面那樣利用無人機攜帶拍攝相機,或是利用導航衛(wèi)星拍攝高清圖像獲取大量的地面圖像數據,更無法像人臉圖像、馬路圖像那樣獲得公共可用的數據集[7-9]。

月表圖像的獲取手段很少,第一種是通過軌道繞飛探測器攜帶的拍攝像機對月表進行拍攝[10],這種方式雖然可以獲取月表的全圖像,但是在成像時卻會受到圖像尺度變化的影響,只有圖像尺寸正常的赤道周圍圖像適宜使用。同時,由于軌道繞飛探測器距離月表較遠,拍攝相機的精度有限,獲取的圖像中僅能夠觀察到隕坑、山脈、溝壑等尺寸較大的地形特征,對于巖石塊這種尺寸較小的障礙類型,只能夠通過第二種方法,即利用著陸后的巡游車對月球地表進行拍攝。月球著陸巡航探測任務仍然十分有限,中國、美國、俄羅斯通過著陸月球的探測器獲取了部分月球表面圖像[11-12]。由于任務數量較少,所獲取的月表高質量圖像也十分有限,這給月表特征的提取和障礙檢測方法研究帶來了很大挑戰(zhàn)。

He等[13]利用帶有改進損失函數的CycleGAN對部分標記的細胞圖像進行檢測,通過使用CycleGAN,用只有部分標記的細胞圖像生成完整標記的細胞圖像數據,提升了數據的質量,從而提升了檢測效果。由于在實踐中,目標檢測的準確性會受到標記質量的影響,雖然對于一些理想的公共可用數據集,其分類和標簽都做得很好,但是在實際情況中,如果數據量很少并且標記不完全或不準確,就會影響目標的檢測。

在月球著陸過程的障礙檢測問題上,月球表面圖像的獲取難度和成本較高,導致獲取的月球表面的圖像較少,給障礙檢測算法的驗證帶來了挑戰(zhàn)。盡管可以對已有的圖像通過光照強度、邊緣模糊化等方式進行數據增強,但是數據集過少以及數據集標注質量仍然是需要解決的問題。本文針對月球圖像數據較少的問題,通過使用CycleGAN,利用已有的月球探測任務拍攝的真實圖像,結合利用Labelme工具對障礙進行手動標注,獲得障礙與背景分割圖像,通過隨機生成的分割圖像生成新的月球表面圖像。

1 障礙特征分割圖數據集生成

由于沒有可供使用的障礙特征分割圖數據集,本文的障礙特征分割圖數據通過人工標注方法生成,使用的圖像包括月球偵查軌道器相機拍攝的圖像,提供了分辨率為100 m/像素的全月面成像圖[14]。為了緩解圖像因遠離赤道所表現出的扭曲變形的問題,隨機裁剪了盡量靠近赤道的100幅灰度圖像。獲取障礙特征分割圖的方法就是對以上圖像中的眾多隕坑進行標記。在對圖像進行標記的過程中,本文對障礙建立標簽,標記過程只考慮圖像中肉眼可見的障礙,并且只參考障礙的外輪廓邊緣。在對一些陰影很重、影響到障礙的外輪廓邊緣進行標記時,會將陰影中影響標記的像素部分也作為障礙進行標注;當多個障礙發(fā)生重疊現象時,會只標注障礙最外側的輪廓。對于圖像中的小顆粒和一些有干擾作用的紋路,不進行標記,只將其作為背景的一部分。標記的部分結果如圖1所示。

圖1 月表圖像和障礙標注結果Fig.1 Lunar surface images and obstacle labeling results

由于手工標注圖像樣本耗時長,難以滿足網絡訓練需求,本文對圖像進行一定處理,來擴充月表的圖像樣本數據集。同時,考慮到本算法的使用場景,通過對隕坑圖像進行垂直翻轉、水平翻轉、轉置、旋轉處理,模擬著陸過程中不同的光照角度和拍攝角度,將月表圖像的亮度增加和減少30%,模擬拍攝時月球表面不同的光照強度;在月表圖像中加入均值為10(像素)、方差為15(像素×像素)的高斯噪聲,模擬光學相機由于溫度過高或者月表環(huán)境亮度偏低產生的成像噪聲。采用數據增強方法,最終得到500幅月表圖像。該過程不僅能夠大幅擴大數據集的規(guī)模,還能在保留月表特征的同時,增加訓練樣本的多樣性,提高網絡的泛化能力。

2 基于分割圖的圖像特征風格匹配

本文利用基于對抗生成網絡(generative adversarial nets,GAN)的圖像生成器獲取與隨機生成分割圖相匹配的月表圖像風格的圖片[15-17],提出一種局域非配對映射的圖像生成方法。利用CycleGAN這種圖像翻譯模型,實現了從障礙與背景分割圖這一種圖像域到月球表面拍攝圖像的轉換。

GAN由生成器模型(generator,G)和判別器模型(discriminator,D)兩部分構成,其基本原理如圖2所示。生成器的輸入為隨機噪聲z,其訓練目標是盡可能生成符合真實分布的數據。判別器的輸入是生成器輸出的生成樣本G(z)或真實樣本x,其訓練目標是準確辨別輸入是生成樣本或是真實樣本。生成器和判別器的訓練是一個動態(tài)博弈的過程,生成器在訓練過程中以增大判別器的分類損失為目標,而判別器的目標則是減少自身分類損失。因此,生成器在訓練時會盡量生成接近真實的樣本,使判別器難以辨別。當判別器無法判斷數據來源屬于哪一類,就認為對抗網絡達到了收斂效果。

圖2 GAN基本原理示意圖Fig.2 Schematic diagram of the basic principles of GAN

將數據輸入判別器D中,判別器D的輸出越接近1,說明判別器認為輸入數據越接近真實數據。判別器D的輸出越接近0,說明判別器越容易分辨出生成數據。生成器與判別器的動態(tài)博弈過程如圖3所示。

圖3 生成器和判別器的博弈過程Fig.3 The game process of generators and discriminators

CycleGAN是一個經典的基于無監(jiān)督學習的圖像翻譯模型[18-20],其主要優(yōu)勢在于可以對兩種風格的圖像數據進行一個圖像域到另一個圖像域的風格轉換,圖片之間不需要配對,通過學習兩個圖像域的特征信息,建立域間映射函數,生成匹配輸入圖像的另一圖像域風格的圖像。其模型是一個雙GAN的架構[21],原理如圖4所示,在CycleGAN中還包含了循環(huán)一致性損失的設置,保證圖像在轉換過程中不丟失特征和映射關系。

圖4 CycleGAN模型示意圖Fig.4 Schematic diagram of CycleGAN model

循環(huán)一致性原理如圖5所示,左側子圖表明了源域和目標域樣本之間的轉換方式。

圖5 循環(huán)一致性原理示意圖Fig.5 Schematic diagram of circular consistency principle

假設源域為X,目標域為Y,同時訓練兩個生成器G和F。其中,X域的圖像通過生成器G生成Y域的圖像,Y域的圖像通過生成器F生成X域的圖像。如下所示,生成器G和生成器F分別對應判別器DX和DY,促使生成器產生接近真實的源域和目標域樣本。

(1)

(2)

(3)

本文設計的CycleGAN訓練網絡的目的是學習障礙與背景分割圖像與月球表面圖像之間的映射,這種安排由4個網絡組成:G(障礙與背景分割圖像到月球表面圖像生成器)、S(月球表面圖像到障礙與背景分割圖像生成器)、DN(針對G的判別器)和DM(針對S的判別器)。訓練的結構框架如圖6所示,障礙分割圖像數據到月球表面圖像數據雙向生成。架構包括一個具有循環(huán)一致性損失的雙GAN設置。兩個生成器學習月球地表圖像(N)和障礙與背景分割圖(M)之間的映射G:M→N和S:N→M,判別器負責區(qū)分真實圖像與生成圖像,促使生成器生成逼真的月表圖像和分割圖像。

圖6 CycleGAN訓練架構Fig.6 CycleGAN training architecture

3 生成器結構參數

在訓練架構中,生成器采用卷積-殘差-反卷積結構的編碼-解碼網絡[22-23],輸入月表圖像或障礙與背景分割圖像。首先通過生成器的卷積部分進行下采樣,然后用殘差部分進行特征提取以及轉換,之后通過解碼器上采樣恢復到原始圖像尺寸。以生成器G為例,其結構如圖7所示。

圖7 生成器結構示意圖Fig.7 Schematic diagram of the generator structure

生成器G的網絡參數如表1所示,表中卷積層參數(n,k,s,p)分別表示卷積核數量、卷積核尺寸、卷積步長和填充大小,特征參數(b,c,h,w)分別表示訓練批數量、通道數、通道高度、通道寬度。

表1 生成器網絡參數表Table 1 Generators network parameters table

4 判別器結構參數

傳統GAN的判別器是一個全卷積網絡,其輸出值僅為一個布爾評價值(“真”或“假”)[24-25],該值是對生成器生成的全幅圖像的一個總體評價,而在圖像翻譯任務中,關注點更多集中于局部細節(jié)信息的恢復。本文的CycleGAN網絡采用PatchGAN判別器結構,圖像在PatchGAN網絡中經過卷積層之后,并不會通過全連接層或激活函數輸出單一值,而是輸出N×N的矩陣作為對生成圖像的評價。該N×N矩陣中的每個點對應輸入圖像中的一塊區(qū)域。相比傳統的判別器,顯然PatchGAN可以關注更多的區(qū)域細節(jié)信息[26-27],其原理圖如圖8所示,輸出矩陣中的綠色點處的值對應的原圖區(qū)域為藍色方塊區(qū)域。

圖8 PatchGAN感受野原理圖Fig.8 Schematic diagram of PatchGAN perceptual field

本文搭建的判別器采用PatchGAN的模型架構,對輸入的圖像進行5次卷積得到輸出矩陣,實現對區(qū)域細節(jié)信息的保留。其中,每個卷積塊包含一個卷積層、批歸一化層和ReLU激活函數[28-29],判別器N的結構如圖9所示。

圖9 PatchGAN判別器結構Fig.9 Structure of PatchGAN discriminator

CycleGAN網絡的判別器N的輸入為大小為256×256的圖像,圖像的來源為生成器G生成的月表圖像或真實拍攝的月表圖像,判別器N的網絡參數如表2所示。表2中卷積層參數(n,k,s,p)分別表示卷積核數量、卷積核尺寸、卷積步長和填充大小,特征參數(b,c,h,w)分別表示訓練批數量、通道數、通道高度、通道寬度。

表2 PatchGAN判別器網絡參數Table 2 PatchGAN discriminator’s network parameters

由表2可知,判別器輸入的原始圖像經過5層網絡輸出為一個30×30的矩陣,矩陣中的每一個點對應原圖中的一片區(qū)域,即感受野。感受野是卷積神經網絡每一層輸出的特征圖中的像素點在輸入圖片上映射區(qū)域的大小[30],其計算公式為

RFi=(RFi+1-1)×stridei+Ksizei

(4)

式中:RFi表示第i層感受野的大小;i表示當前特征層的層數;stride是卷積的步長;Ksize是本層卷積核的尺寸。根據式(4),判別器網絡每層特征圖的感受野如下:

卷積1:k1=4,s1=2, RF1=4;

卷積2:k2=4,s2=2, RF2=10;

卷積3:k3=4,s3=2, RF3=22;

卷積4:k4=4,s4=1, RF4=46;

卷積5:k5=4,s5=1, RF5=70。

綜上所述,在判別器輸出的30×30矩陣中,每個像素的感受野為70,即對應原圖中70×70的圖像塊,體現了判別器對區(qū)域信息的捕捉能力,實現了判別器對區(qū)域信息的真實性判斷,進而提高了網絡的泛化能力。

5 基于損失函數的特征圖像質量評判

為了生成接近真實分布的合成數據,同時確保生成的月表圖像和分割圖實現對應,本文設計的CycleGAN包括對抗性損失項LGAN和循環(huán)一致性損失項Lcyc。對抗性損失用于匹配翻譯樣本的分布和目標樣本的分布,并且可以用這兩個映射函數來表示。循環(huán)一致性損失項可以懲罰與源圖像的偏差,最終完成對生成圖像質量的評判。對于具有判別器D的映射G:M→N,通過輸入真實或者生成的月表圖像N,根據判別器DN的預測結果,可以計算二值交叉熵(binary cross entropy, BCE)損失。其中,利用DN和G進行對抗訓練來分別最大化和最小化這個損失項。G的目標為M→N,可以表示為

LGAN(G,DN)=En～pdata(n)[lnDN(n)]+
Em～pdata(m)[ln(1-DN(G(m)))]

(5)

式中:生成器G的目標是從障礙與背景分割圖像中生成月球地表圖像,使其與真實月球地表圖像無法區(qū)分,即G(m)≈n;判別器DN的目標是將生成的核圖像與真實核圖像區(qū)分開來。類似S的目標可以表示為N→M:

LGAN(S,DM)=Em～pdata(m)[ln DM(m)]+
Em～pdata(n)[ln(1-DM(S(n)))]

(6)

利用循環(huán)一致性損失激勵M和N中樣本之間的一對一映射,促進G和S向彼此的逆函數演化。Lcyc項保證了障礙與背景分割圖和月球表面之間的前后平移是無損的,且循環(huán)一致,即S(G(m))=m(前向循環(huán)一致性),G(S(n))=n(后向循環(huán)一致性)。前向循環(huán)損失項有助于提高合成月球地表圖像的真實感,因為生成的圖像不僅要模擬障礙的各個組織部分,而且要模擬障礙物的形態(tài),以便進行分割。可以這樣表達目標:

Lcyc(G,S)=λnEm～pdata(n)[‖G(S(n))-n‖1]+
λmEm～pdata(m)[‖S(G(m))-m‖1]

(7)

式中:λ代表了前向和后向循環(huán)約束的重要性。對于合成數據的生成,放寬了λm項,因為一個隨機的障礙與背景分割圖可以代表多個有效的月球表面圖像。這種隨機化也可以視為GAN輸入噪聲,有助于生成合成圖像的多樣性。

生成器G的作用是當輸入分割圖時,能夠生成對應的月表圖像。為了確保G具有生成月球表面風格圖像的能力,當輸入月表圖像時,G應該生成與輸入基本相同的月表圖像。因此G(n)和n應該盡可能接近,需要添加Identity損失函數,如下所示:

LIdentity(G,S)=En～pdata(y)[‖G(n)-n‖1]+
Em～pdata(x)[‖S(m)-m‖1]

(8)

如果不添加該損失函數,那么生成器可能會自主地修改圖像的色調,使得整體的顏色產生變化。

因此,合成數據生成的完整目標可以寫為

(9)

6 仿真結果分析

本文選取月球繞飛軌道器拍攝月球地表圖像,與通過Labelme手動標注并處理后獲取的障礙與背景分割圖進行訓練和測試,包含的第一類圖像是月球地表圖像N,這部分圖像包括了月球偵查軌道器相機拍攝的全月面圖像的部分截圖。另一類使用Labelme工具標注處理后獲取的與真實圖像對應的障礙與背景分割圖像M如圖10所示。

圖10 CycleGAN訓練數據集Fig.10 CycleGAN training dataset

本文使用一個RTX2060圖形處理器進行網絡訓練,CUDA版本為11.6,程序基于Pytorch深度學習框架編寫。將批大小設置為1,確保在顯存容量足夠的情況下對CycleGAN進行訓練。使用Adam優(yōu)化器進行優(yōu)化,其可以通過動量和自適應學習率優(yōu)化網絡收斂速度,參數設置為0.9,0.999。初始學習率設為0.000 2,訓練100個輪次之后,學習率逐步下降到0,總共訓練200個輪次。

在訓練完成后,利用測試集中的圖像與圖像分割圖進行生成圖像實驗,以人工標注獲取的障礙與背景分割圖作為網絡的輸入,輸出生成的月表圖像,并將其與真實拍攝的圖像進行對比,部分生成結果如圖11所示。

圖11 生成圖像與真實圖像的對比結果Fig.11 Comparison result between generated image and real image

圖像中的障礙特征區(qū)域基本與輸入的障礙與背景分割圖像相匹配,已經與真實的拍攝圖像十分接近,成功將障礙與背景圖像轉換為相匹配的月球地表風格的圖像。

如果輸入的是隨機生成的障礙與背景分割圖像,就可以生成全新的月球地表圖像,因此可以利用該方法,人工定義障礙存在的區(qū)域和障礙的具體位置與尺寸,并繪制障礙與背景的分割圖像,利用CycleGAN生成相匹配的月表風格的圖像,如圖12所示。本文提出的數據增強方法一方面可以為障礙檢測算法提供新的圖像數據,從一定程度上緩解月表先驗圖像過少的問題。另一方面,生成的月表圖像還可以應用于其他基于被動視覺方法的障礙規(guī)避算法的驗證。

圖12 隨機繪制障礙背景分割圖與生成圖像Fig.12 Randomly drawn obstacle background segmentation images with generated images

本文用未進行數據增強的圖像數據進行訓練,獲取障礙檢測結果,與數據增強后的圖像數據訓練獲得的障礙檢測結果進行對比。本文采用了語義分割中常用的評價指標,即準確率A、查準率P、查全率R和F1分數,對障礙檢測網絡的分割結果進行評估。上述指標的計算公式分別為

(10)

(11)

(12)

(13)

式中:TP、FP、TN、FN分別代表檢測到的正確障礙像素數目、未檢測到的障礙像素數目、檢測到的非障礙像素數目、未檢測到的非障礙像素數目。準確率、查準率、查全率、F1分數如表3所示。

表3 圖像數據增強前后的障礙檢測結果Table 3 Obstacle detection results before and after image data enhancement %

由表3中的檢測結果可得經過數據增強的圖像數據,訓練獲得的障礙檢測結果獲得了明顯提升,證明了本文方法對月表先驗圖像數據增強的有效性。

7 結 論

本文針對月球表面先驗圖像信息獲取困難的問題,設計了一種基于對抗神經網絡的月球表面圖像生成框架。首先,分析了月球先驗圖像獲取的難點,列舉了對障礙特征標注過程中出現的問題,并說明針對這些問題采用的標注原則,利用對月表圖像的障礙標注結果獲取與月表圖像相匹配的障礙與背景分割圖像;然后,利用拍攝獲得的真實月表圖像以及通過人工標注獲取的障礙與背景圖像作為訓練數據,設計基于對抗神經網絡的月表圖像生成模型,通過對數據集的訓練,可以使用新的障礙與背景分割圖像生成與之相匹配的月球表面風格的圖像,其在測試集上的生成效果與真實圖像十分接近,通過本文方法也可以提升障礙檢測的性能,可以使用該生成架構進行先驗月表圖像數據增強。