邊宇峰，李 沅，任彩鳴，李怡綱

（中北大學(xué)信息與通信工程學(xué)院，山西 太原 030051）

0 引 言

昆蟲可以利用復(fù)眼的偏振結(jié)構(gòu)感知天空偏振矢量場(chǎng)信息［1～6］，獲得出色的導(dǎo)航定位能力。研究人員通過模擬動(dòng)物的這種復(fù)眼結(jié)構(gòu)，設(shè)計(jì)了不同的偏振光羅盤。Lambrinos D等人［7］搭建了一個(gè)用于移動(dòng)機(jī)器人的偏振光羅盤。褚金奎等人［8］通過模仿沙蟻設(shè)計(jì)了一種偏振導(dǎo)航傳感器。Stürzl W和Carey N［9］設(shè)計(jì)了一種三通道偏振羅盤。Dupeyroux J和Viollet S等人［10，11］設(shè)計(jì)了一種紫外線波段的偏振光羅盤，并成功地將其應(yīng)用于仿生機(jī)器人。然而，復(fù)雜天氣對(duì)大氣偏振模式的破壞嚴(yán)重影響了偏振羅盤的應(yīng)用范圍［12～14］。它不僅阻礙了人類通過模仿生物來(lái)實(shí)現(xiàn)精確的定向，還影響了蜜蜂的覓食時(shí)間［15］和甲蟲的軌跡［16］。為了克服部分遮擋天空的定向問題，劉鑫等人［17］提出了適用于部分多云條件下的航向參考系統(tǒng)。厲祥等人［18］在紫外波段下對(duì)大氣偏振特性進(jìn)行了研究，表明在云層天氣下近紫外波段具有較好的偏振特性。此外，一些深度學(xué)習(xí)方法已被應(yīng)用于復(fù)雜天空條件的定向。萬(wàn)振華等人［19］提出了一種脈沖耦合神經(jīng)網(wǎng)絡(luò)，可以在天空被云、樹和建筑物遮擋的情況下實(shí)現(xiàn)定向。上述方法基于受干擾的偏振角度圖像進(jìn)行擬合定向，而未考慮偏振角度圖像本身的誤差。

本文提出利用一種改進(jìn)的U-Net深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)采集圖像進(jìn)行分割云層生成預(yù)測(cè)掩模，然后將完整的預(yù)測(cè)掩模與輸入圖像結(jié)合在一起，利用樣本塊的方法進(jìn)行修復(fù)。該方法能夠結(jié)合深度學(xué)習(xí)的優(yōu)勢(shì)產(chǎn)生更精確的分割信息，這可以指導(dǎo)后續(xù)步驟完成更真實(shí)的修復(fù)任務(wù)，特別是針對(duì)于不同復(fù)雜云層之間的邊界修復(fù)問題。

1 云層圖像的偏振信息分析

1.1 云層對(duì)偏振模式的影響

觀察天空偏振度和偏振角的Jet顏色圖可以看出，云層的存在會(huì)很大程度上影響天空偏振度，而且在厚云、積云等云層密集區(qū)域相較于薄云區(qū)域偏振度更低，干擾了正常的偏振度分布情況；在偏振角圖像中，由于散射光的偏振狀態(tài)變得復(fù)雜，導(dǎo)致偏振角圖像的分布范圍變得更廣，出現(xiàn)較多的異常值，如圖1所示。太陽(yáng)子午線附近出現(xiàn)扭曲、彎折和噪點(diǎn)等情況，從而對(duì)太陽(yáng)方向信息的識(shí)別、提取產(chǎn)生影響，干擾太陽(yáng)方位角的解算結(jié)果，使得太陽(yáng)子午線方位角信息無(wú)法為導(dǎo)航提供較為可靠的方向依據(jù)。

圖1 云層對(duì)大氣偏振模式的影響

在多云天氣條件下，太陽(yáng)光進(jìn)入云層區(qū)域并發(fā)生Mie散射，在前向散射的過程中散射光強(qiáng)逐漸減弱［20］。在可見光波段，光學(xué)厚度的增加導(dǎo)致偏振度降低，進(jìn)而使得偏振方位角信息也受到影響，導(dǎo)致該區(qū)域的偏振信息無(wú)法被準(zhǔn)確提取和使用，從而無(wú)法進(jìn)行天空偏振定向。為了在云層等復(fù)雜天氣條件下獲取到準(zhǔn)確的太陽(yáng)子午線分布情況，需要將云層區(qū)域剔除并修復(fù)，選用藍(lán)天區(qū)域進(jìn)行偏振定向，從而降低甚至去除云層對(duì)天空偏振模式的干擾。

1.2 航向角計(jì)算

在晴朗無(wú)云天氣條件下，大氣分子的有效尺度遠(yuǎn)小于波長(zhǎng)，天空中偏振分布模式是由部分偏振光組成的，符合瑞利散射理論。而基于瑞利散射理論得到的偏振方位角分布模式始終關(guān)于太陽(yáng)子午線對(duì)稱分布，受天氣變化的影響較小。因此，可以利用太陽(yáng)子午線方位角信息來(lái)獲取航向角。載體航向角和太陽(yáng)子午線的關(guān)系如圖2所示。

圖2 航向角計(jì)算示意

載體坐標(biāo)系下的太陽(yáng)方位角αc可以由該坐標(biāo)系下的太陽(yáng)子午線的斜率k計(jì)算獲得，載體坐標(biāo)系下的太陽(yáng)子午線可以通過附近的偏振角度值擬合得到。而導(dǎo)航坐標(biāo)系下的太陽(yáng)方位角αb可由定位授時(shí)設(shè)備提供的位置時(shí)間信息配合天文日歷知識(shí)進(jìn)行解算，由式（1）和式（2）即可求得載體航向角φ

2 基于改進(jìn)U-Net的圖像分割修復(fù)方法

將修復(fù)過程分解為2 個(gè)步驟：預(yù)測(cè)掩模和掩模指導(dǎo)修復(fù)。首先，采用改進(jìn)的U-Net 神經(jīng)網(wǎng)絡(luò)模型對(duì)采集圖像進(jìn)行分割處理，將云層進(jìn)行分割生成預(yù)測(cè)掩模，將其作為從不完整圖像到修復(fù)為完整圖像的中間橋梁；然后，將完整的預(yù)測(cè)掩模與輸入圖像結(jié)合在一起，利用掩模進(jìn)行修復(fù)。

2.1 改進(jìn)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)

為了提高分割精度以及整體預(yù)測(cè)速度，本文以U-Net網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，利用Seg-Net網(wǎng)絡(luò)模型中的最大池化索引結(jié)構(gòu)來(lái)改進(jìn)U-Net的上采樣結(jié)構(gòu)，提出了用于遮擋物分割的Seg-U-Net神經(jīng)網(wǎng)絡(luò)模型。完整的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)

如圖3所示，將512 ×512的天空灰度圖從網(wǎng)絡(luò)左端輸入編碼器部分，編碼器部分由3個(gè)下采樣卷積塊組成，每個(gè)下采樣卷積塊包括2次ReLU函數(shù)及歸一化處理、2次3 ×3卷積以及1次最大池化操作，同時(shí)保留每個(gè)池化窗口內(nèi)最大值的位置信息，即最大池化索引。經(jīng)過4 次下采樣后得到大小為32 ×32 的特征圖，然后進(jìn)入解碼器部分使用轉(zhuǎn)置卷積操作對(duì)特征圖進(jìn)行上采樣，將其大小擴(kuò)充為原來(lái)的2倍。本文在改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)中將上采樣后的特征圖和下采樣路徑中對(duì)應(yīng)層的最大池化索引進(jìn)行拼接，之后經(jīng)過2個(gè)3 ×3 的卷積層進(jìn)行特征提取，并在每次卷積之后進(jìn)行歸一化處理和ReLU函數(shù)激活。在進(jìn)行4 次上采樣后得到與輸入圖片大小一致的特征圖，最后通過1 ×1 單層卷積以及Sigmod激活函數(shù)得到輸出的分割圖像。

本文采用的最大池化索引拼接結(jié)構(gòu)相比于U-Net中上采樣中直接進(jìn)行復(fù)制拼接的操作，可以幫助模型更精確地保留圖像中的細(xì)節(jié)信息，減少計(jì)算量和參數(shù)數(shù)量，提高圖像分割效率。設(shè)輸入數(shù)據(jù)的大小為（N，C，Hin，Win），最大池化窗口大小為（kh，kw），步長(zhǎng)為（sh，sw），則最大池化索引的大小為（N，C，Hout，Wout），其中

2.2 數(shù)據(jù)集與參數(shù)設(shè)置

構(gòu)建了一個(gè)由相機(jī)采集的1 000張存在多種遮擋的天空強(qiáng)度圖以及手動(dòng)標(biāo)注的標(biāo)簽組成復(fù)雜遮擋環(huán)境樣本數(shù)據(jù)集，訓(xùn)練集與驗(yàn)證集的比例為7∶3，樣例如圖4所示。

圖4 數(shù)據(jù)集樣例

本文所采用的損失函數(shù)由兩部分組成

式中LBCE為二值交叉熵?fù)p失函數(shù)，LDice為Dice 損失函數(shù)，參數(shù)β為調(diào)節(jié)2種損失函數(shù)的權(quán)重參數(shù)，控制二值交叉熵函數(shù)與Dice損失函數(shù)的權(quán)重比例。本文中混合損失函數(shù)的權(quán)重β設(shè)置為0.6，學(xué)習(xí)率為0.000 1，輸入神經(jīng)網(wǎng)絡(luò)每組的圖片數(shù)Batchsize設(shè)為8，優(yōu)化算法用“自適應(yīng)矩陣算法”。

對(duì)改進(jìn)的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，通過評(píng)價(jià)指標(biāo)Dice 系數(shù)、準(zhǔn)確率（Accuracy）對(duì)網(wǎng)絡(luò)模型進(jìn)行分析，以上評(píng)價(jià)指標(biāo)的定義如下

式中 TP為模型中輸出正確的遮擋區(qū)域，TN 為模型中輸出正確的藍(lán)天區(qū)域，F(xiàn)P 為模型中輸出錯(cuò)誤的遮擋區(qū)域，F(xiàn)N為模型中輸出錯(cuò)誤的藍(lán)天區(qū)域。

2.3 實(shí)驗(yàn)效果

實(shí)驗(yàn)使用深度學(xué)習(xí)框架Pytorch 來(lái)運(yùn)行所提出的改進(jìn)的Seg-U-Net 神經(jīng)網(wǎng)絡(luò)模型，服務(wù)器的配置為：64 位Windows 10操作系統(tǒng)，內(nèi)存為32 GB，CPU型號(hào)為AMD Ryzen 7 4600H，GPU型號(hào)為NVIDIA GeForce GTX 2080Ti。

訓(xùn)練集和測(cè)試集的評(píng)價(jià)指標(biāo)變化情況如圖5 所示，可以看出，在迭代次數(shù)接近300時(shí)結(jié)束訓(xùn)練，訓(xùn)練集的Dice評(píng)價(jià)指標(biāo)為0.887 5，驗(yàn)證集的Dice評(píng)價(jià)指標(biāo)為0.876 1；訓(xùn)練集的準(zhǔn)確率為0.891 2，驗(yàn)證集的準(zhǔn)確率為0.884 8。當(dāng)評(píng)價(jià)指標(biāo)和1很近似時(shí)，說明訓(xùn)練的效果越好，也說明神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果更準(zhǔn)確。

圖5 評(píng)價(jià)指標(biāo)變化

按照同樣的權(quán)重參數(shù)，如學(xué)習(xí)率、迭代次數(shù)、Batchsize，將數(shù)據(jù)集用未改進(jìn)的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，用同樣的評(píng)價(jià)指標(biāo)進(jìn)行檢驗(yàn)，從表1中可以看出，在Dice系數(shù)以及準(zhǔn)確率方面，本文提出的神經(jīng)網(wǎng)絡(luò)模型均優(yōu)于Seg-Net 和U-Net 模型，也驗(yàn)證了該模型在遮擋物分割任務(wù)中有更好的性能。

表1 云層分割評(píng)價(jià)指標(biāo)對(duì)比分析%

由圖6可以看出，U-Net 和Seg-Net 的分割結(jié)果雖然對(duì)云層和藍(lán)天進(jìn)行了分割，但在云層密集的部分仍有較多錯(cuò)誤的覆蓋，噪點(diǎn)比較多，與真實(shí)情況有較大的差異。而本文提出的方法無(wú)論是在白云藍(lán)天整體的分割效果上還是在云層邊界的細(xì)膩處理上都是最好的，分割效果最為優(yōu)異，具有較好的分割性能。

圖6 云層分割效果對(duì)比

2.4 掩模圖像修復(fù)算法

將本文方法預(yù)測(cè)的二值圖作為掩模，覆蓋在原圖上進(jìn)行圖像重建，達(dá)到去除云層目的同時(shí)保證像素點(diǎn)的完整性。使用二值圖來(lái)作為掩模是利用二值圖像中的像素點(diǎn)來(lái)指定需要修復(fù)的區(qū)域，即二值圖中的非零像素點(diǎn)表示需要修復(fù)的云層區(qū)域，而零像素值則表示不需要進(jìn)行修復(fù)的藍(lán)天區(qū)域，如式（6）所示，通過式（6）將預(yù)測(cè)的二值圖與原圖相乘來(lái)實(shí)現(xiàn)指定區(qū)域的修復(fù)

式中K（x，y）為掩模像素矩陣K在（x，y）處的元素值；F（x，y）為去除云層后天空?qǐng)D像像素矩陣F在（x，y）處的元素值；H（x，y）為原始天空?qǐng)D像的像素矩陣H在（x，y）處的元素值。

本文選用基于求解圖像的偏微分方程來(lái)修復(fù)區(qū)域中的像素值，該方法對(duì)于復(fù)雜的圖像缺陷修復(fù)有較好的處理效果，可以用如下公式來(lái)表示

式中f為待修復(fù)圖像；g為修復(fù)后的圖像；TV（g）為g的總變分，表示g的梯度。

通過計(jì)算像素周圍的梯度和垂直于修復(fù)邊界的梯度來(lái)推斷缺失區(qū)域中的像素值，在缺失區(qū)域中使用局部像素塊來(lái)構(gòu)造偏微分方程來(lái)進(jìn)行填充，從而實(shí)現(xiàn)對(duì)天空?qǐng)D像中云層區(qū)域的修復(fù)。通過掩模修復(fù)后的天空?qǐng)D像如圖7（b）所示，可以看出云層的異常像素點(diǎn)有效的去除了，在偏振方位角圖像中噪點(diǎn)、扭曲和彎折現(xiàn)象也有很大改善，太陽(yáng)子午線的位置信息更容易獲取。

圖7 掩模修復(fù)效果

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)采集設(shè)備

使用自行研制的仿生偏振信息采集樣機(jī)進(jìn)行室外實(shí)驗(yàn)，以獲得真實(shí)的AOP 圖像和航向角數(shù)據(jù)，偏振信息采集部分由SUA133GM單色CMOS圖像傳感器構(gòu)成的光學(xué)相機(jī)以及自動(dòng)旋轉(zhuǎn)裝置組成，具體參數(shù)如表2，整個(gè)航向測(cè)量實(shí)驗(yàn)裝置圖8所示。

表2 仿生偏振信息采集樣機(jī)參數(shù)

圖8 航向測(cè)量實(shí)驗(yàn)裝置

3.2 多云天氣下實(shí)驗(yàn)分析

本文首先利用搭建的相機(jī)采集系統(tǒng)獲取不同方向的天空原始圖，然后通過Seg-U-Net 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行云層分割，獲取到云層和藍(lán)天的二值分割圖，并用二值圖作為掩模對(duì)原圖進(jìn)行修復(fù)，獲取到去除云層異常像素點(diǎn)的灰度圖，解算出相對(duì)準(zhǔn)確的偏振方位角圖像，從而獲取到太陽(yáng)的方向信息，得到準(zhǔn)確的航向角結(jié)果。具體流程如圖9所示。

圖9 云層天氣下航向角獲取流程

利用搭建的圖像式偏振光探測(cè)系統(tǒng)分別在2023年4月7日和2023年4月10日的多云天氣進(jìn)行室外實(shí)驗(yàn)，地點(diǎn)為中北大學(xué)科學(xué)樓B 座樓頂，本文選擇隨機(jī)時(shí)間進(jìn)行采樣。實(shí)驗(yàn)結(jié)果如圖10所示。

圖10 云層修復(fù)效果對(duì)比

圖 10中，第1列為拍攝時(shí)間；第2 列為天空原始圖；第3列為采用Seg-U-Net 卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的云層藍(lán)天二值圖，其中白色代表云層，黑色代表藍(lán)天；第4 列是用二值圖為掩模與第一列融合，進(jìn)行局部圖像修復(fù)后的天空原始圖，可以看出云層的異常像素點(diǎn)被有效去除了；第5 列為未去云情況下獲取的偏振方位角圖像；第6 列是云層修復(fù)后解算的偏振方位角圖像。

上述對(duì)比實(shí)驗(yàn)可以看出，本文提出的方法能有效地去除云層，降低云層對(duì)偏振模式的干擾，獲取到相對(duì)準(zhǔn)確的偏振信息。未去云的偏振方位角圖像出現(xiàn)噪點(diǎn)、彎折和失真的情況，太陽(yáng)子午線的位置也出現(xiàn)明顯的偏移和扭曲；而云層修復(fù)后的圖像中偏振方位角分布更加均勻，噪點(diǎn)和失真明顯減少，太陽(yáng)子午線的位置和方向更加明顯和清晰，易于識(shí)別準(zhǔn)確的方位角信息。

將本文方法與未修復(fù)直接擬合的方法以及多云天氣下大氣偏振定向方法［20］進(jìn)行對(duì)比，并將對(duì)應(yīng)時(shí)刻仿真得到的航向角數(shù)據(jù)作為誤差參考。在不同云層天氣條件下采集80組圖片數(shù)據(jù)進(jìn)行驗(yàn)證，誤差解算結(jié)果如圖11所示。

如表3所示的實(shí)驗(yàn)結(jié)果表明，在云層遮擋環(huán)境下平均誤差可達(dá)0.720 9°，對(duì)比直接擬合與多云天氣下偏振定向方法提升效果明顯。

4 結(jié) 論

本文提出了一種融合Seg-U-Net卷積神經(jīng)網(wǎng)絡(luò)的云層分割方法，并以云層藍(lán)天二值圖為掩模進(jìn)行局部圖像修復(fù)，得到去除云層異常像素區(qū)域的天空?qǐng)D像，解算獲取到更為準(zhǔn)確的航向角信息，從而提升了偏振光導(dǎo)航在多云復(fù)雜天氣應(yīng)用的可靠性。室外實(shí)驗(yàn)證明，在多云環(huán)境中本文方法解算的航向角平均誤差可以從3.240 8°降低至0.720 9°，相比于未去除云層前精度提升了約78.12%。結(jié)果表明：即使在云層較多的情況下，本文方法依然能夠得到相對(duì)準(zhǔn)確的太陽(yáng)方向信息，從而驗(yàn)證了本文方法在復(fù)雜采集環(huán)境下獲取偏振信息具有較高的魯棒性和較好的可行性。