李鵬程，呂昌峰2，于向茹，李金屏

(1.濟南大學(xué) a.信息科學(xué)與工程學(xué)院，b.山東省網(wǎng)絡(luò)環(huán)境智能計算技術(shù)重點實驗室，c.山東省“十三五”高校信息處理與認知計算重點實驗室,山東 濟南 250022；2.山東信通電子股份有限公司，山東 淄博 255088)

準(zhǔn)確的圖像天氣識別是高壓輸電線路隱患檢測[1]、汽車無人駕駛系統(tǒng)等正常工作的基礎(chǔ)和關(guān)鍵。在圖像天氣識別過程中，常規(guī)方法大多是根據(jù)圖像整體或天空區(qū)域的特征信息判定天氣狀況。這些方法僅把全局圖像或者天空區(qū)域作為分析對象，忽略了部分地面區(qū)域獨有特征對識別結(jié)果的影響，導(dǎo)致識別準(zhǔn)確率不夠高，對天空區(qū)域不明顯的圖像識別具有局限性。

目前，基于圖像天氣識別方法根據(jù)特征提取的區(qū)域可以分為2類，即基于全局特征提取的識別方法和基于局部特征提取的識別方法。

基于全局特征提取的天氣識別方法是針對整幅圖像提取全局特征，例如功率譜斜率、對比度、相對飽和度等。文獻[2-3]中通過提取圖像整體的光譜斜率、對比度、飽和度以及噪聲等特征，訓(xùn)練分類器對測試圖像進行識別。這種方法在特征提取上忽略了部分天空區(qū)域和地面區(qū)域獨有的特征信息，例如天空區(qū)域的紋理特征、尺度不變特征變換(SIFT)、地面區(qū)域的陰影特征等，特征提取的不全面導(dǎo)致識別準(zhǔn)確率不夠高。

基于圖像局部特征提取的天氣識別方法主要是針對天空區(qū)域。通過對戶外圖像的大量觀察可以發(fā)現(xiàn)，天空區(qū)域能夠很直觀地反映天氣狀況，例如晴天時天空是清晰的且紋理較為粗糙，陰天時天空是模糊的且紋理較為平滑。文獻[4-5]中針對戶外圖像的天空區(qū)域進行分析，首先標(biāo)記圖像天空區(qū)域，然后提取天空區(qū)域的顏色特征、紋理特征等，最后利用分類器進行訓(xùn)練和測試。這種方法對于天空區(qū)域明顯的圖像識別準(zhǔn)確率較高，但是對于天空區(qū)域不明顯的圖像識別準(zhǔn)確率較低，具有很大的局限性。

本文中利用在高壓輸電線路隱患檢測項目研究中固定于不同區(qū)域的高壓輸電塔上的攝像頭定時拍攝的大量戶外圖像，構(gòu)建了數(shù)據(jù)集，并以該數(shù)據(jù)集為研究對象驗證分區(qū)域特征提取算法的有效性。通過對戶外圖像的觀察發(fā)現(xiàn)：1)在天空區(qū)域中，天氣越晴朗，天空的紋理特征越豐富，即晴天圖像背景復(fù)雜紋理特征較為豐富，霧天圖像背景平滑紋理特征相對較少；2)在地面區(qū)域中，天氣越晴朗，地面的陰影特征分散越明顯，即晴天圖像地面陰影明顯且分布分散，陰天圖像地面陰影不明顯且分布集中。

基于上述觀察結(jié)果，本文中將綜合考慮全局圖像特征、天空區(qū)域特征、地面區(qū)域特征提出了基于分區(qū)域特征提取的單張圖像天氣識別方法(簡稱本文方法)，通過分割圖像區(qū)域提取每個區(qū)域獨有的主要特征來進行天氣識別。

1 算法設(shè)計

對于圖像天氣識別問題，充分、準(zhǔn)確地提取特征信息是十分重要的。在特征提取前，對圖像進行天際線分割處理，將圖像分割為天空區(qū)域和地面區(qū)域并提取每個區(qū)域的特征，以確保充分提取每個區(qū)域的特征信息。在特征選擇上，通過計算每個區(qū)域主要特征的信息增益，根據(jù)信息增益的大小選擇出每個區(qū)域能夠最直觀反映天氣狀況的特征，以此保證特征選擇的準(zhǔn)確性，例如天空區(qū)域的局部二值模式(LBP)紋理特征、地面區(qū)域的SIFT特征和陰影特征、全局圖像的對比度和相對飽和度。在分類器選擇上，根據(jù)隨機森林訓(xùn)練速度快、處理數(shù)據(jù)維度高的特點，構(gòu)建訓(xùn)練集，然后利用隨機森林作為識別分類器，實現(xiàn)對圖像天氣的準(zhǔn)確分類。本文方法流程如圖1所示。

圖1 基于分區(qū)域特征提取的單張圖像天氣識別方法流程圖

1.1 天際線分割

戶外圖像可以分為天空區(qū)域和地面區(qū)域，劃分圖像中的天際線并識別天空區(qū)域和地面區(qū)域是特征提取前的必要工作。目前，天際線分割常規(guī)方法有很多，例如邊界跟蹤法[6]、均值漂移算法[7]、導(dǎo)濾波[8]、邊緣檢測法[9]等。通過對不同算法文獻的調(diào)研發(fā)現(xiàn)，雖然常規(guī)方法原理易懂并且分割效果好，但是針對的圖像天空區(qū)域都是干凈的、沒有異物干擾的。由于圖像數(shù)據(jù)集是通過高壓輸電塔上固定攝像頭獲取的，天空中的輸電線路會對天空區(qū)域的分割產(chǎn)生干擾，因此常規(guī)的分割方法無法準(zhǔn)確地分割數(shù)據(jù)集中的天際線。

基于以上原因，本文中在邊緣檢測前使用中值濾波對圖像進行去噪處理，目的是消除天空中輸電線對天際線分割的干擾，使天空區(qū)域更加平滑。之后，基于Canny算子的邊緣檢測具有較高的信噪比和檢測精度的特點，將Canny算子的邊緣檢測與形態(tài)學(xué)相結(jié)合作為天際線分割的主要方法，具體步驟如圖2所示。1)對戶外圖像原圖(圖1(a))進行灰度化處理，如圖2(b)所示。2)對灰度化后的圖像使用窗口大小為7像素×7像素的中值濾波做去噪處理，如圖2(c)所示。3)利用Canny算子提取圖像邊緣信息，設(shè)定最小閾值為4，最大閾值為30，如圖2(d)所示。4)對邊緣提取后的圖像采用形態(tài)學(xué)的膨脹操作獲得二值圖像。獲取圖中所有的連通區(qū)域并去除寬度、高度小于1的連通區(qū)域，保留寬度大于圖像寬度2/3的連通區(qū)域。每一列圖像中，尋找從某一點開始到圖像底部全部為連通區(qū)域的點，并將這點向上的區(qū)域全部設(shè)置為天空區(qū)域，向下的區(qū)域全部設(shè)置為地面區(qū)域，如圖2(e)所示。

(a)原圖(b)灰度圖(c)中值濾波效果圖(d)Canny算子邊緣檢測(e)天際線分割圖2 戶外圖像天際線分割效果圖

1.2 特征提取

1.2.1 天空區(qū)域特征

戶外圖像的天空區(qū)域包含大量的紋理特征。通過對圖像的分析和觀察，發(fā)現(xiàn)晴天天氣狀況下的圖像背景復(fù)雜，紋理特征相對豐富,如圖3(a)、(b)所示。霧天天氣狀況下圖像較為平滑，紋理信息相對較少，如圖3(c)、(d)所示。由于LBP算法能夠有效地提取及表征紋理特征并被廣泛地應(yīng)用于圖像匹配、識別及分類[10]，因此下一步將提取圖像的LBP紋理特征。

針對天際線劃分后的戶外圖像，將天空區(qū)域劃分成多個大小為3像素×3像素的小區(qū)域，然后計算每塊小區(qū)域的LBP特征，

(1)

式中：(xc,yc)為中心像素的坐標(biāo)；p表示中心像素8鄰域的第p個像素；ip為像素p的灰度值；ic為中心像素的灰度值。s(x)為符號函數(shù)，定義為

(2)

統(tǒng)計每個區(qū)域LBP值，計算出每個區(qū)域的直方圖并對直方圖進行歸一化處理。將得到的每個區(qū)域的統(tǒng)計直方圖進行連接成為一個特征向量，即得到整張圖像天空區(qū)域的LBP紋理特征向量。

(a)晴天(b)晴天局部二值模式圖(c)陰天(d)陰天局部二值模式圖圖3 不同天氣狀況下天空區(qū)域局部二值模式效果圖

1.2.2 地面區(qū)域特征

1)SIFT特征。使用SIFT算法[11-12]提取的特征點對旋轉(zhuǎn)、尺度縮放、亮度變化等因素影響保持不變，對視角變化、仿射變換、噪聲具有一定的穩(wěn)定性?；谝陨弦蛩剡x擇SIFT算法提取圖像天空區(qū)域中的特征點。SIFT算法大致包含4個步驟：①尺度空間的極值檢測；②特征點定位；③確定特征點方向；④特征點描述。

①尺度空間的極值檢測。利用高斯核函數(shù)與圖像進行卷積得到高斯尺度空間L(x,y,σ)，

L(x,y,σ)=G(x,y,σ)I(x,y)，

(3)

式中：σ為尺度空間因子，可以通過改變σ來得到不同的尺度圖像；I(x,y)表示灰度圖像；G(x,y,σ)為高斯核函數(shù)，其表達式為

(4)

構(gòu)造高斯差分尺度空間D(x,y,σ),

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))I(x,y)=

L(x,y,kσ)-L(x,y,σ)，

(5)

式中k表示相鄰尺度空間因子的尺度系數(shù)。在高斯差分尺度空間上對每一個像素點與其所在圖像的3像素×3像素鄰域8個像素點，以及其相鄰的上、下2層的3像素×3像素鄰域18個像素點，共26個像素點進行比較，判斷是否為極值點，通過該方式得到的局部極值點就是特征點。

②特征點定位。通過擬合三維二次函數(shù)來確定關(guān)鍵點的位置和尺度，同時刪除對比度低的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點。

③確定特征點方向。利用特征點鄰域像素的梯度方向求取局部結(jié)構(gòu)的方向值。

④特征點描述。首先，校正旋轉(zhuǎn)主方向，確保旋轉(zhuǎn)不變性；然后，生成描述子形成一個128維的特征向量；最后，將特征向量長度進行歸一化處理。

2)陰影特征。通過對戶外圖像的觀察發(fā)現(xiàn)：晴天天氣因為光照充足，所以圖像中地面物體陰影明顯且分布較為分散。相比之下，陰天天氣由于光照不足且無方向性，因此圖像中地面物體陰影不明顯且分布較為集中，如圖4所示。本文中選擇提取戶外圖像的地面陰影作為非天空區(qū)域的基本特征。

首先，從數(shù)據(jù)集中選取大量的晴天圖像并利用文獻[13]中提出的陰影檢測算法提取圖像的地面區(qū)域陰影構(gòu)造晴天戶外圖像的地面區(qū)域陰影集。然后利用文獻[14]中提出的陰影距離計算方法，計算單個地面陰影與陰影集陰影的距離。提取訓(xùn)練集中每幅晴天圖像10個最明顯的地面陰影si，保存至陰影集S={s1,s2,…,sk,…,sN}。提取測試集中的待測圖像20個最明顯的地面陰影bj,通過下式計算待測圖像一個地面陰影與陰影集S中的陰影距離Lij：

(a)晴天

(b)陰天圖4 不同天氣狀況地面陰影的對比

(6)

該陰影與n個最近鄰的平均距離將作為該圖像地面區(qū)域的陰影特征。

1.2.3 全局圖像特征

1)對比度。經(jīng)過對全局圖像的觀察發(fā)現(xiàn)，在光照充足條件下拍攝戶外圖像的對比度較高，而在光照不充分的條件下拍攝戶外圖像的對比度較低。由于在不同天氣狀況下有不同的光線強度，因此可以通過提取圖像的對比度特征來識別各類天氣。

對比度的提取分為局部對比度提取和均方根對比度提取。局部對比度Cl可以定義為

(7)

式中Emax、Emin分別為像素亮度的局部最大值、最小值。由于局部對比度沒有涉及圖像中其他像素點亮度信息，只計算亮度最大和最小的像素點，而均方根對比度利用了圖像中所有的亮度信息，因此選擇均方根對比度作為全局圖像特征之一。均方根對比度Cm定義為

(8)

式中：L(x,y)為像素點(x,y)的亮度；NI為圖像I的像素點數(shù)量。

2)相對飽和度。由于飽和度可以反映圖像在不同光照條件下的顏色組成特征，因此提取圖像的相對飽和度[14]作為全局圖像的另一個特征。對于每一幅戶外圖像，計算每個像素點的相對飽和度作為全局圖像特征之一。

(9)

式中：Sx,y是像素點I(x,y)的飽和度；max(SI)是圖像I的最大飽和度；min(SI)是圖像I的最小飽和度。

1.3 分類器選擇

提取圖像特征后，利用隨機森林[15-16]分類器進行分類訓(xùn)練。首先，為了使每棵樹的訓(xùn)練集不同且里面包含重復(fù)的訓(xùn)練樣本，利用Bootstrap抽樣[17]從數(shù)據(jù)集中抽取5個訓(xùn)練集，每個訓(xùn)練集包含4 000幅戶外天氣圖像；然后從SITF、LBP、陰影特征、對比度、相對飽和的5個特征中隨機選k個特征(0

2 實驗結(jié)果及分析

為了驗證本文方法的有效性，以Visual Studio 2017和OpenCV3為實驗平臺，在中央處理器(CPU)為Intel i7-8750H，隨機存儲器(RAM)為8 GB的計算機上進行實驗。實驗數(shù)據(jù)集為高壓輸電塔上安裝的攝像頭采集的5 000幅戶外圖像(2 560像素×1 920像素)，包含了54個不同的戶外場景，并按照天氣狀況分為晴天、多云、陰天、霧天4個類別。樣本圖像如圖5所示。

將數(shù)據(jù)集隨機分為訓(xùn)練集和測試集。其中，訓(xùn)練集包含4 000幅圖像，測試集包含1 000幅圖像。實驗中利用訓(xùn)練集訓(xùn)練隨機森林分類器，并以該分類器在測試集上對圖像天氣狀況識別的準(zhǔn)確率作為衡量分類器性能的標(biāo)準(zhǔn)，測試結(jié)果如表1所示。

從表1中的數(shù)據(jù)可以看出，晴天和霧天的識別準(zhǔn)確率比多云和陰天的識別準(zhǔn)確率高，且晴天識別正確率最高達到93.5%。通過對天氣圖像分析發(fā)現(xiàn)，由于晴天和霧天的天氣特征較為明顯，因此晴天和霧天的識別準(zhǔn)確率相對較高；由于多云、陰天的天氣特征較為相似且分類界線較為模糊，因此正確率相對較低。對表1中的數(shù)據(jù)進行分析并通過式(10)計算本文方法的準(zhǔn)確率Acc：

(a)晴天(b)多云(c)陰天(d)霧天圖5 不同天氣狀況的樣本圖像

表1 測試集測試結(jié)果

(10)

式中：N為正確識別圖像數(shù)量總和；Ntot為測試集圖像總數(shù)。通過計算，本文方法的準(zhǔn)確率為92.6%。

為了檢測算法的普適性與實用性，將本文方法分別與基于全局圖像特征提取方法、基于天空區(qū)域特征提取方法進行比較。把測試集劃分成天空區(qū)域明顯和天空區(qū)域不明顯的2個子集，并從2個子集中分別隨機選取200張圖像作為子測試集Ⅰ(天空區(qū)域明顯)和子測試集Ⅱ(天空區(qū)域不明顯)。分別使用2個子測試集對上述3種方法進行測試，識別正確率結(jié)果如表2、3所示。

由表2可以看出,在天空區(qū)域明顯的情況下，本文方法比基于全局圖像特征提取的圖像天氣識別方法的識別準(zhǔn)確率提升約2.8%，與基于天空區(qū)域征特提取的方法在識別準(zhǔn)確率上相差不大，僅為0.2%，本文方法在準(zhǔn)確率上略高于其他2種方法。由表3可以看出，在天空區(qū)域不明顯的情況下，基于天空區(qū)域特征提取方法的識別準(zhǔn)確率較低，并且與天空區(qū)域明顯的情況相比準(zhǔn)確率變化幅度較大；本文方法在準(zhǔn)確率上依然略好于其他2種方法，且準(zhǔn)確率變化幅度不大，較為穩(wěn)定。對比實驗結(jié)果可以看出，本文方法可以比較準(zhǔn)確地識別圖像天氣，具有較強的實用性和普適性。

表2 子測試集Ⅰ識別準(zhǔn)確率對比

表3 子測試集Ⅱ識別準(zhǔn)確率對比

3 結(jié)語

針對現(xiàn)階段圖像天氣識別技術(shù)在特征提取上的局限性，本文提出了基于分區(qū)域特征提取的單張圖像天氣識別方法。該算法首先對圖像進行天際線分割處理，并識別天空區(qū)域和地面區(qū)域；其次分別提取了天空區(qū)域、地面區(qū)域、全局圖像3個區(qū)域的形狀特征、顏色特征及紋理特征；最后利用隨機森林分類器訓(xùn)練分類模型，利用測試集進行測試。實驗結(jié)果表明，本文方法可以準(zhǔn)確地識別圖像的天氣狀況，并且具有較強的實用性和普適性。

目前該方法的不足之處是只能識別晴天、多云、陰天、霧天4種天氣類別，在天氣識別的種類上有待擴展。例如：數(shù)據(jù)集拍攝的時間在夏季，缺少降雪、冰雹等冬季天氣種類的數(shù)據(jù)集；數(shù)據(jù)集包含場景較少，缺少道路交通、城市場景的數(shù)據(jù)集。搜集冬季天氣種類數(shù)據(jù)集并識別雨雪天及區(qū)分降雨、降雪的大小，搜集無人駕駛數(shù)據(jù)集擴充數(shù)據(jù)集場景是下一步的主要工作。