唐榕，李騫，唐紹恩

（國防科技大學 氣象海洋學院，長沙 410073）

0 概述

能見度是指人肉眼在沒有任何幫助的情況下，所能識別物體的最大能見距離［1］，是反映大氣透明度的重要物理量［2］。能見度過低會給人類生產(chǎn)生活、交通運輸安全等帶來危害［3-4］，因此加強對能見度的檢測，尤其是低能見度的觀測檢測，具有十分重要的應(yīng)用價值，已成為地面自動氣象觀測的重要內(nèi)容之一。目前雖然已有各種能見度儀被投入業(yè)務(wù)使用，但與人工觀測相比，其檢測仍存在較大偏差［5］，且能見度儀價格較為昂貴，難以進行密集布設(shè)。近年來，隨著攝像機的廣泛使用，基于圖像的能見度檢測方法成為解決能見度自動檢測問題的一類重要方法［6］。然而現(xiàn)有基于圖像的能見度檢測方法未考慮場景中不同景深目標物對應(yīng)子圖像的質(zhì)量受大氣懸浮粒子衰減不同的影響，導致整體能見度檢測精度下降。

本文提出一種基于多目標的能見度檢測方法，在圖像中選擇多個不同景深的目標物，分別提取各目標物對應(yīng)的子圖像視覺特征，并利用各目標物視覺特征分別訓練能見度映射模型。最后使用全局圖像動態(tài)回歸各目標物估計值的權(quán)重，通過加權(quán)融合得到場景能見度檢測值。

1 相關(guān)工作

傳統(tǒng)的能見度檢測方法主要分為目測法和器測法［6］。目測法是指讓觀測員目測不同距離目標物的清晰程度來判斷能見度，其觀測結(jié)果易受到人的主觀因素影響，測量精度較低［7］。器測法是指利用透射儀［8］或散射儀［9］自動估計能見度，這兩種儀器均以測量局部能見度代替整體能見度，當空氣分布不均勻時，其測量值易受到局部大氣懸浮粒子特性的影響，導致存在較大偏差［10］。此外，由于儀器設(shè)備通常較為昂貴，難以進行密集布設(shè)，因此實現(xiàn)能見度的全方位實時監(jiān)測［11-12］存在一定困難。

隨著攝像機的普及以及各類圖像處理算法［13］的快速發(fā)展，基于圖像的能見度檢測方法不斷涌現(xiàn)。根據(jù)映射關(guān)系建立方式的不同，該方法又可以分為模型驅(qū)動法和數(shù)據(jù)驅(qū)動法［14］。模型驅(qū)動法是指根據(jù)大氣對圖像成像的衰減建立光傳播物理模型，通過圖像特征估計物理模型參數(shù)，以此反推能見度［15］，如亮度對比法［16］、雙亮度差法［17］、暗通道法［18］等。但由于大氣中影響光傳播的懸浮粒子種類較多，且粒子空間分布不均勻［15］，因此精確的物理模型通常難以準確定義。數(shù)據(jù)驅(qū)動法則是指利用海量經(jīng)標注的歷史數(shù)據(jù)訓練圖像視覺特征與能見度的映射模型，由收斂后的模型來預(yù)測場景能見度值。如文獻［19］將圖像梯度和對比度作為反映能見度變化的特征，利用支持向量回歸機和隨機森林兩種算法建立能見度值與視覺特征的關(guān)系模型；文獻［20］提取興趣域?qū)Ρ榷茸鳛樘卣飨蛄?，?gòu)建圖像特征與能見度的支持向量回歸機；文獻［21］使用預(yù)訓練的AlexNet 深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像的學習特征，訓練多類非線性支持向量機對能見度范圍進行分類。數(shù)據(jù)驅(qū)動法將能見度變化對圖像的影響完全表征在視覺特征里，通過建立特征與能見度的映射模型來估計能見度值。該類方法通過大量的數(shù)據(jù)不斷優(yōu)化模型，從而避免物理模型難以準確定義的問題，已成為能見度檢測領(lǐng)域的一個重要研究方向。

然而，現(xiàn)有數(shù)據(jù)驅(qū)動法未考慮場景中不同景深目標物對應(yīng)的子圖像質(zhì)量衰減程度不同的問題，從全局圖像提取特征，使得真正能反映能見度變化的局部關(guān)鍵特征被全局特征所平滑。針對該問題，文獻［15］提出將樣本圖像均等分割成9 個子區(qū)域，利用預(yù)訓練的VGG-16 網(wǎng)絡(luò)對子區(qū)域進行編碼；文獻［22］將所有圖像進行灰度平均，從場景中選擇靜態(tài)的有效子區(qū)域提取特征。這兩種選擇子區(qū)域的預(yù)處理方法在一定程度上增強了圖像局部對整體檢測效果的影響，但由于每個子區(qū)域是被均等或隨機劃分的，沒有考慮實際場景內(nèi)容、景深距離等，因此所提取的視覺特征仍不能準確反映能見度變化對不同景深目標子圖像質(zhì)量的實際衰減，導致圖像中最能體現(xiàn)能見度變化的局部關(guān)鍵信息被忽略。針對上述問題，本文提出基于多目標的能見度檢測方法，即選擇多個不同景深目標物對應(yīng)子圖像提取視覺特征訓練模型，有效融合各目標物的能見度估計值，并將其作為整幅圖像的能見度檢測值。

2 本文方法

圖像中不同目標物因景深不同，對應(yīng)子圖像質(zhì)量受到大氣懸浮粒子衰減的程度也不同，其視覺特征也隨之相應(yīng)變化，例如近距離目標子圖像視覺特征在低能見度條件下變化更劇烈，而遠距離目標子圖像視覺特征對高能見度變化更敏感。同樣地，在人工觀測過程中，觀測員也常在觀測點四周不同距離、不同方位選擇若干固定目標物［5］，再結(jié)合整個場景由各目標物可見與否以及其視覺清晰程度來綜合判定場景能見度值。受上述過程啟發(fā)，本文提出一種基于多目標的能見度檢測方法，方法流程如圖1所示，首先在圖像中選取多個不同景深且具有顯著細節(jié)特征的目標物，然后針對各目標物所在子圖像以及整幅圖像分別采用預(yù)訓練神經(jīng)網(wǎng)絡(luò)提取視覺特征，由多個單目標物視覺特征回歸能見度估計值，同時在估計過程中結(jié)合整幅圖像視覺特征回歸各目標物估計值的權(quán)重向量，最后根據(jù)權(quán)重進行融合得到整幅圖像的能見度檢測值。

圖1 本文方法的流程Fig.1 Procedure of the method in this paper

2.1 單目標能見度估計

為獲得多個單目標能見度估計值，本文提取各目標物對應(yīng)子圖像視覺特征?？紤]到基于圖像的能見度檢測方法由圖像質(zhì)量的衰減程度估計能見度值，與圖像質(zhì)量評估任務(wù)具有相似性。因此，本文遷移文獻［23］中在AVA 數(shù)據(jù)集上預(yù)訓練的神經(jīng)圖像評估（Neural Image Assessment，NIMA）網(wǎng)絡(luò)提取能見度圖像的視覺特征，以此來反映能見度變化對圖像質(zhì)量的影響。NIMA網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示，其中dw 代表深度卷積，后面常跟逐點卷積；s2 表示該卷積核的移動步長為2。由表1可知，NIMA 神經(jīng)網(wǎng)絡(luò)由去除最后一層的MobileNet 網(wǎng)絡(luò)［24］和一個具有10 個神經(jīng)元的全連接神經(jīng)網(wǎng)絡(luò)（Fully Connected Neural Network，F(xiàn)CNN）組成，該網(wǎng)絡(luò)模擬人類對圖像的綜合評價，預(yù)測圖像質(zhì)量評級分布，與真實評級更相關(guān)，且主體MobileNet網(wǎng)絡(luò)采用深度可分離卷積（深度卷積+逐點卷積）代替標準卷積。通過以上卷積，使模型參數(shù)量和計算量均大幅減少，從而實現(xiàn)高效提取視覺特征的目的。

表1 NIMA 網(wǎng)絡(luò)結(jié)構(gòu) Table 1 Structure of the NIMA network

為提取視覺特征，反映能見度圖像的質(zhì)量和內(nèi)容，而不涉及NIMA 網(wǎng)絡(luò)原本的分類任務(wù)，本文選取NIMA 網(wǎng)絡(luò)全連接層前的輸入值作為各目標物對應(yīng)子圖像的視覺特征（如表1 加粗數(shù)字所示），然后將各視覺特征并行輸入到多個全連接網(wǎng)絡(luò)分支，如圖2所示，則對于第j個目標，其視覺特征fj所在分支包含兩個隱藏層，每個隱藏層有64 個節(jié)點，輸出層節(jié)點數(shù)為1，輸出單個能見度估計值j。

圖2 單目標能見度估計網(wǎng)絡(luò)的結(jié)構(gòu)Fig.2 Structure of single-object visibility estimation network

2.2 多目標能見度融合

對場景能見度的檢測通常需要綜合場景中的多個目標物，是一個多目標能見度值融合的過程。為融合多個單目標的能見度估計值，本文設(shè)計了一個目標權(quán)重估計網(wǎng)絡(luò)?？紤]到人工觀測過程中結(jié)合整幅圖像信息綜合判定場景能見度值的作用，本文同樣提取整幅圖像的NIMA 視覺特征，根據(jù)該視覺特征回歸各目標物估計值權(quán)重。如圖3 所示，將視覺特征輸入到全連接網(wǎng)絡(luò)，網(wǎng)絡(luò)包含2 個隱藏層，每個隱藏層有64 個節(jié)點，輸出層節(jié)點數(shù)為所選目標物個數(shù)，即輸出融合權(quán)重向量W={1，2，…，n}。

圖3 多目標能見度融合網(wǎng)絡(luò)的結(jié)構(gòu)Fig.3 Structure of multi-object visibility fusion network

在訓練階段，為了使網(wǎng)絡(luò)能夠根據(jù)當前能見度真值動態(tài)估計各目標在融合過程中所占權(quán)重，本文設(shè)定聯(lián)合損失函數(shù)并行訓練單目標能見度估計網(wǎng)絡(luò)和權(quán)重融合網(wǎng)絡(luò)，將各目標能見度估計值與對應(yīng)權(quán)重加權(quán)進行求和，作為整個網(wǎng)絡(luò)的聯(lián)合輸出，其損失函數(shù)設(shè)定為式（1）所示：

其中：m為訓練集樣本數(shù)量為第i個樣本圖像的能見度估計值；yi表示第i個樣本圖像的能見度真值；n為樣本圖像中所選擇目標物數(shù)量；()i是第i個樣本圖像中第j個目標的能見度估計值；(j)i為第i個樣本圖像中第j個目標估計值的融合權(quán)重。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集與設(shè)置

為驗證本文方法的有效性，本文采用固定的主動攝像機按照預(yù)定義的云臺旋轉(zhuǎn)策略獲取圖像數(shù)據(jù)集，選取3 個具有代表性的場景，每個場景包含多個不同距離的顯著對象，示例如圖4 所示。由于低能見度天氣主要發(fā)生在秋冬季，圖像采集時間為2019年2 月6 日—2019年3月13日、2020年12月1日—2021年3月13日，從上午6 點到下午18點，每小時采集一次，時長大約5 min，包含所有場景的視頻數(shù)據(jù)。在每個場景下隨機抽取圖像，并將圖像分辨率縮放至1 000×1 000 像素。剔除掉受飛蟲、雨滴遮擋等干擾的圖像后，選取22 952幀圖像作為樣本數(shù)據(jù)集，其中場景1 有7 376 幀圖像，場景2 有7 609 幀圖像，場景3 有7 967 幀圖像。在能見度真值方面，根據(jù)人工觀測結(jié)果對當?shù)赝干鋬x的測量值進行修正，最后將修正值作為能見度真值。

圖4 不同場景在不同能見度條件下的圖像示例Fig.4 Image examples of different scenes under different visibility conditions

為訓練能見度映射模型，從3 個場景中分別隨機選擇70%樣本圖像作為訓練集，10%樣本圖像作為驗證集，20%樣本圖像作為測試集，并將能見度真值劃分為4 個區(qū)間，各能見度區(qū)間訓練集、驗證集和測試集樣本數(shù)量分布如表2 所示。

表2 不同能見度區(qū)間的樣本數(shù)量分布 Table 2 Distribution of sample number at different visibility ranges

在方法實現(xiàn)方面，本文在CPU 為Intel i7-3700X 3.6 Hz、內(nèi)存為8 GB 的PC 機上基于python 開展實驗。針對所選擇的3 個場景，在每個場景下劃分如圖5 所示的3 個不同景深的目標物，加上整幅圖像，則共需要訓練4 個全連接網(wǎng)絡(luò)分支的279 430 個權(quán)重參數(shù)。在訓練過程中，各全連接層參數(shù)采用標準差為0.01 的截斷正態(tài)分布生成的隨機數(shù)來初始化。為了防止過擬合，對參數(shù)應(yīng)用scale 為0.003 的L2 正則化約束，將batch_size 設(shè)置為32，學習率設(shè)置為0.001，epoch 設(shè)置為120，損失函數(shù)定義為平均絕對誤差，并采用Adam 算法進行優(yōu)化。

圖5 不同場景下不同景深目標物劃分示例Fig.5 Examples of target division with different depth of field in different scenes

3.2 視覺特征有效性驗證

首先，為驗證所選取的NIMA 視覺特征對能見度變化的敏感性，本文對場景1 的采樣樣本做了視覺特征有效性驗證，在0.01 km、2 km、8 km 和15 km 能見度條件下分別隨機抽取120 幀樣本圖像，并選擇感興趣區(qū)域作為特征提取對象，如圖6 所示。

圖6 場景1 樣本圖像的感興趣區(qū)域示例 Fig.6 Example of region of interest of sample image in scene 1

由于15 km 能見度條件下的圖像質(zhì)量衰減程度最弱，因此將其感興趣區(qū)域作為基準圖像集合，分別計算其他3 個能見度條件下樣本圖像與基準圖像特征的歐氏距離，結(jié)果如圖7（a）所示?？梢钥吹?，能見度越高，圖像質(zhì)量衰減程度越弱，其與基準圖像的特征相似度越高，歐氏距離越小。從圖7（a）可知，8 km、2 km、0.01 km 能見度條件下的樣本圖像與基準圖像的特征距離呈現(xiàn)逐漸增大的趨勢，且垂直分層較為明顯，這表明NIMA 特征能較好地通過其值變化反映圖像質(zhì)量的不同退化程度。為了驗證特征的泛化能力，本文還計算了任意兩兩能見度條件下樣本圖像特征距離的平均值，結(jié)果如圖7（b）所示。從圖7（b）中可以看出，隨著相比較的兩個能見度值相差越大，其對應(yīng)樣本特征距離平均值也越大，這表明NIMA 特征對能見度變化敏感。

圖7 特征有效性驗證的實驗結(jié)果Fig.7 Experimental results of verification of feature

3.3 能見度檢測方法驗證

本節(jié)從樣例分析和量化分析兩個方面驗證本文方法的有效性。首先針對多個場景單個樣例圖給出能見度檢測結(jié)果，然后統(tǒng)計測試樣本集的預(yù)測平均絕對誤差、正確率等，最后考察方法目標物選擇和融合策略的有效性。

3.3.1 本文方法能見度檢測分析

針對圖4 給出的3 個場景樣例圖，通過本文方法回歸得到每幀樣例圖中各目標物能見度估計值及其權(quán)重值，有效融合得到場景能見度檢測值，結(jié)果如表3所示。

表3 樣例圖能見度檢測結(jié)果 Table 3 Visibility detection results of sample image

從表3 可以看出，在3 個場景的9 幀圖像樣本中，本文方法融合得到的能見度檢測值與標注值基本一致。為進一步量化分析本文方法的預(yù)測性能，在場景1 下統(tǒng)計本文方法在不同能見度區(qū)間預(yù)測值與標注值的均值和標準差，并計算預(yù)測正確率。其中當能見度在［0，1 km）區(qū)間時，若預(yù)測值在標注值的20%誤差范圍內(nèi)，則視為正確預(yù)測的值；當能見度在［1 km，3 km）區(qū)間時，所允許的誤差范圍是15%；當能見度在［3 km，+∞）區(qū)間時，所允許的誤差范圍是10%。統(tǒng)計結(jié)果如表4 所示。從表4 可以看出，在任意能見度區(qū)間內(nèi)，本文方法預(yù)測值與標注值的平均絕對誤差均控制在標注均值的10%以內(nèi)，表明預(yù)測值的集中趨勢和離散程度與標注值基本一致。在正確率方面，除了［3 km，10 km）區(qū)間，其他區(qū)間的正確率均超過了90%，表明本文方法在各能見度區(qū)間預(yù)測的可信度均較高，而在［3 km，10 km）區(qū)間預(yù)測正確率偏低的主要原因是在高能見度條件下，影響圖像質(zhì)量的外部干擾因素較多。

表4 場景1 下的能見度預(yù)測值 Table 4 Visibility prediction value under scene 1

3.3.2 目標物選擇對比實驗

為進一步分析不同景深目標物選擇對本文方法的影響，本文選取了另外兩組目標物，如圖8 所示，圖8（a）的目標物相對攝像機距離較近，在0.5 km 之內(nèi)；圖8（b）的目標物相對攝像機距離較遠，在3 km之外。對比本文方法（不同景深），統(tǒng)計各目標物在各能見度區(qū)間的預(yù)測平均絕對誤差，結(jié)果如表5所示。

圖8 兩組目標物劃分示例Fig.8 Division examples of two groups of targets

表5 3 組目標物在不同能見度區(qū)間的預(yù)測平均絕對誤差 Table 5 Mean absolute errors of prediction of the three groups of targets at different visibility ranges

由表5 可知，選擇3 個不同景深的目標物在任意能見度區(qū)間預(yù)測的平均絕對誤差均最??；在［0，1 km）和［1 km，3 km）能見度區(qū)間內(nèi)，選擇近景深目標比選擇遠景深目標預(yù)測平均絕對誤差要小；在［3 km，10 km）和［10 km，+∞）區(qū)間內(nèi)，選擇遠景深目標預(yù)測平均絕對誤差較小，這表明目標物的選擇與在各能見度區(qū)間的預(yù)測誤差是相關(guān)的，且選擇具有代表性景深的目標物提取視覺特征有利于提高模型在各能見度區(qū)間的預(yù)測精度。

3.3.3 權(quán)重融合實驗

為驗證本文方法從整幅圖像的視覺特征中動態(tài)回歸各目標物估計值權(quán)重的有效性，本文做了3 組對照實驗，具體如下：

1）多目標局部加權(quán)法。與本文方法不同，該方法通過聯(lián)合多個目標物視覺特征，動態(tài)回歸各目標物估計值權(quán)重。

2）多目標平均法。該方法將多目標估計值進行簡單求和取平均值，并作為最終能見度檢測值。

3）全局圖像法。該方法為傳統(tǒng)的基于數(shù)據(jù)驅(qū)動的能見度檢測方法［25］，通過直接建立整幅圖像視覺特征與能見度的關(guān)系映射模型來預(yù)測場景能見度值。

以上3 種對比方法的流程如圖9 所示。統(tǒng)計包含本文方法在內(nèi)的4 種方法在各能見度區(qū)間的預(yù)測正確率，其結(jié)果如表6 所示。

圖9 3 種對比方法的流程Fig.9 Procedures of three comparison methods

表6 4 種方法的檢測正確率 Table 6 Detection accuracies of four methods %

由表6 可知，多目標平均法和全局圖像法在［1 km，3 km）、［3 km，10 km）以及［10 km，+∞）能見度區(qū)間的預(yù)測正確率均小于80%，在［3 km，10 km）區(qū)間，預(yù)測正確率甚至不足50%，而本文方法除在［3 km，10 km）區(qū)間外，預(yù)測正確率均大于90%，能較好地適用于低能見度檢測。

4 結(jié)束語

針對傳統(tǒng)基于數(shù)據(jù)驅(qū)動的能見度檢測方法未考慮場景中不同景深目標物對應(yīng)子圖像的質(zhì)量衰減程度不同的問題，提出一種基于多目標的能見度檢測方法。通過在圖像中選擇多個不同景深的目標物，分別提取各目標物對應(yīng)子圖像的視覺特征，并用其訓練能見度估計模型。提取整幅圖像視覺特征訓練融合權(quán)重，按照權(quán)重融合各目標能見度估計值，得到全局能見度檢測值。實驗結(jié)果表明，與多目標局部加權(quán)法、多目標平均法、全局圖像法相比，該方法能有效提高能見度檢測精度。下一步將模擬人眼瞳孔變化，利用調(diào)整焦距的方式獲取各目標物高分辨率圖像，以更好地通過量化視覺特征因圖像變化而產(chǎn)生的差異估計能見度值。