史 靜，朱 虹

(西安理工大學 自動化與信息工程學院，陜西 西安 710048)

基于隨機森林的天氣場景判別算法*

史 靜，朱 虹

(西安理工大學 自動化與信息工程學院，陜西 西安710048)

傳統(tǒng)的天氣狀態(tài)識別往往利用許多傳感器收集數(shù)據(jù)判別天氣狀態(tài)。然而利用圖像進行天氣狀態(tài)識別的研究卻少之又少。利用詞袋模型和空間金字塔匹配對室外圖像的天氣狀態(tài)進行識別，該方法通過分析晴天與陰天兩類天氣狀態(tài)對圖像的影響，將兩類天氣狀態(tài)看成兩種場景，對圖像提取SIFT(旋轉(zhuǎn)不變描述子)特征，利用詞袋模型和空間金字塔匹配得到金字塔特征，然后利用金字塔特征訓(xùn)練分類器進而識別待測樣本。在分類器構(gòu)造方面，利用支持向量機(SVM)構(gòu)造一級分類器，利用隨機森林構(gòu)造二級分類器，對測試樣本經(jīng)過一級分類器其介于兩個支持向量之間的樣本輸入到二級分類器進行識別。通過對兩類天氣圖像集的一萬張圖像進行測試，其識別率可以達到82%左右。

圖像分類；SIFT特征；空間金字塔；支持向量機(SVM)

0 引言

天氣狀態(tài)的問題常常伴隨著人們每天的生活，是晴天還是雨天常常影響著每天的日常安排，比如該穿什么衣服，該不該去戶外運動等。隨著圖像場景分類技術(shù)的迅速發(fā)展，基于圖像做天氣狀態(tài)的識別變?yōu)榭赡堋鹘y(tǒng)的天氣狀態(tài)識別由于需要大量的傳感器進行數(shù)據(jù)采集，同時在氣象檢測領(lǐng)域，仍然需要大量的人工進行觀測，這樣就顯得尤為耗時耗力。如果隨時隨地僅僅通過照相機的照片進行天氣狀態(tài)的判斷，那么其對天氣狀態(tài)的識別將是一場重大的革命。基于以上原因，圖像的天氣狀態(tài)識別就變得尤為重要，同時也引起眾多學者的關(guān)注。

盡管基于圖像的天氣狀態(tài)識別有著不可估量的價值，但是基于圖像的天氣識別問題并沒有得到徹底的解決。文獻[1]通過提取圖像的天空、陰影、反光、對比度、霧五個特征作為圖像的特征，然后利用一種投票機制對特征進行分類；文獻[2]針對同一傳感器從不同視角拍攝圖像的匹配，提出一種Harris-SIFT算法。文獻[3]利用HSI顏色直方圖等特征，識別輔助駕駛系統(tǒng)中圖像的晴天和雨天的天氣狀態(tài)。文獻[4] 介紹了一種在固定的單攝像頭拍攝的交通圖像序列中檢測、跟蹤、分類車輛的方法。這些方法有些應(yīng)用在有限的應(yīng)用領(lǐng)域，有些在特征建模方面較為復(fù)雜，因此，影響了其應(yīng)用的價值。鑒于此本文利用詞袋模型和空間金字塔匹配對圖像的天氣狀態(tài)進行判別。

首先，詞袋模型通過提取圖像的SIFT特征描述子，聚類形成字典，再用字典對形成統(tǒng)計直方圖。通過空間金子塔匹配模型，分層統(tǒng)計直方圖，最后將模型生成的特征作為圖像的訓(xùn)練和測試特征。

1 改進的空間金字塔模型

本文采用的BOF模型[5]和金字塔匹配[6]主要由5個步驟構(gòu)成：特征提取，視覺詞典的構(gòu)造，利用詞典對圖像的量化，空間金字塔的匹配，訓(xùn)練和測試分類器。

1.1 特征提取

在特征提取方面本文采用的是SIFT特征，文獻[7]總結(jié)了已有基于不變量技術(shù)的特征檢測方法，提出了一種基于尺度空間的，對圖像平移、旋轉(zhuǎn)、縮放、甚至仿射變換保持不變性的圖像局部特征，即SIFT特征。對于圖像場景分類問題，其圖像常常因為圖像之間存在光照、旋轉(zhuǎn)、平移、縮放等問題而導(dǎo)致錯分，但SIFT特征在平移、旋轉(zhuǎn)、光照方面的魯棒性使得它成為BOF模型中常用的特征之一。SIFT描述子的生成可分為以下4個步驟：

(1)尺度空間極值檢測

①生成尺度空間，定義如下式：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

②構(gòu)造高斯差分尺度空間(DOG):

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y,σ)

(2)

③在DOG空間上尋找相鄰的26個點進行比較得到最大或最小值。

(2)精確定位特征點的位置

通過擬合三維二次函數(shù)以精確確定關(guān)鍵點的位置和尺度。

(3)確定特征點的主方向

利用關(guān)鍵點鄰域像素的梯度方向分布特性為每個關(guān)鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

m(x,y)=

(3)

θ(x,y)=actan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

(4)

(4)生成特征描述符。

1.2 視覺詞典的構(gòu)造

視覺詞典的構(gòu)造過程中將每一個SIFT特征描述子看做詞匯，借助K-Means聚類算法將詞義相近的詞匯進行合并。首先，從訓(xùn)練樣本中挑出一部分圖像，然后，提取這些圖像的SIFT特征描述子，將這些SIFT特征描述子進行聚類，其聚類中心就是所謂的字典原子，而這些字典原子便組成了視覺詞典。

1.3 利用視覺詞典對圖像量化

詞典對圖像的量化通俗講就是求取字典原子的統(tǒng)計直方圖。傳統(tǒng)的詞袋模型利用字典原子與圖像的每一個SIFT特征描述子求歐式距離，距離近的則在該字典原子對應(yīng)的直方圖bin上加1。這種量化的方式只保留了影響最大的字典原子的影響而忽略的其他字典原子的影響。針對這一問題本文提出了一種基于最小二乘的方法進行表示，即D={d1,d2,…，dm}，其中D表示字典原子的集合，dm表示第m個字典原子。一幅圖像的SIFT特征描述子的聚合S={s1,s2,…，sm}，其中sm為該圖像的第m個SIFT特征描述子。利用最小二乘對一個SIFT特征量化如下：

Dxj=sj,(j=1,2，…，m)

(5)

其中D為字典，其為128×n矩陣，128為字典原子的維度，n為字典原子的個數(shù)。xj為字典原子的系數(shù)，其為n×1的向量，即每一個字典原子對該SIFT特征描述子的影響。

經(jīng)過上述過程得到了m個xj，其該幅圖像的量化直方圖向量用X表示：

X=x1+x2+…+xj

(6)

2 空間金字塔匹配

(7)

(8)

其在圖像匹配中的應(yīng)用如圖1所示。

圖1 空間金字塔匹配

如圖1所示，將level(i)的圖像劃分為2i-1×2i-1個bin，然后在每一個bin上統(tǒng)計直方圖特征，最后將所有l(wèi)evel的直方圖特征連起來組成一個向量，這個向量稱為該圖像的特征，即金字塔特征。對于字典原子數(shù)目為M,層數(shù)為L其特征維數(shù)表示如下：

(9)

3 分類器的設(shè)計

落在兩個支持向量之間的樣本因為其易于分錯，本文利用隨機森林進行二次分類。利用訓(xùn)練樣本訓(xùn)練隨機森林的分類器，然后將落在兩類支持向量之間的測試樣本拿出來進行二次分類。

4 實驗結(jié)果及分析

本文采用由文獻[1]提供的圖像數(shù)據(jù)集進行實驗。該數(shù)據(jù)集圖像分為陰天與晴天兩類，每類樣本有5 000幅，共10 000張圖像。圖2與圖3為該數(shù)據(jù)集的部分圖像。

圖2 晴天圖像

圖3 陰天圖像

表1中選擇文獻[1]中的圖像集，利用80%的圖像作為訓(xùn)練樣本訓(xùn)練SVM分類器和隨機森林分類器，20%用于測試。執(zhí)行5次實驗均值和方差作為分類的準確率。為了更好地表達實驗的準確率，本文采用文獻[1]提出的歸一化識別率。

表1 文獻[1]圖像庫的實驗結(jié)果對比

5 結(jié)論

本文利用圖像場景分類的方法對于基于圖像的天氣場景分類方法進行分類。其創(chuàng)新之出在于：(1)利用BOF模型和空間金字塔匹配解決當前熱門的基于圖像的天氣狀態(tài)識別問題，在圖像量化環(huán)節(jié)本文利用最小二乘刻畫每一個字典原子的影響。(2)在分類方面利用支持向量機和隨機森林進行二次分類，將那些利用SVM[11]分類時落在兩類支持向量之間的樣本利用隨機森林[12]進行二次分類。

[1] Lu Cewu,Lin Di,Jia Jiaya,et al.Two-class weather classification[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2014: 3718-3725.

[2] 梁棟. 一種復(fù)雜場景下景物圖像的匹配算法[J]. 微型機與應(yīng)用,2015,34(10): 48-50.

[3] ROSER M,MOOSMANN F. Classification of weather situations on single color images[C].Intelligent Vehicles Symposium,2008 IEEE. IEEE,2008: 798-803.

[4] 曹治錦,唐慧明. 視頻圖像中的車輛檢測跟蹤和分類[J]. 電視技術(shù),2004 (3): 85-87.

[5] Cao Liangliang,Li Feifei. Spatially coherent latent topic model for concurrent segmentation and classification of objects and scenes[C].IEEE 11th International Conference on Computer Vision,2007. ICCV 2007. IEEE,2007: 1-8.

[6] LAZEBNIK S,SCHMID C,PONCE J. Beyond bags of features: spatial pyramid matching for recognizing natural scene categories[C]. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,IEEE,2006: 2169-2178.

[7] LOWE D G. Object recognition from local scale-invariant features[C]. The Proceedings of the Seventh IEEE International Conference on Computer Vision,1999.IEEE,1999,2: 1150-1157.

[8] GRAUMAN K,DARRELL T. The pyramid match kernel: Discriminative classification with sets of image features[C]. Tenth IEEE International Conference on Computer Vision,2005. ICCV 2005. IEEE,2005,2: 1458-1465.

[9] LALONDE J F,EFROS A A,NARASIMHAN S G. Estimating the natural illumination conditions from a single outdoor image[J]. International Journal of Computer Vision,2012,98(2): 123-145.

[10] YAN X,LUO Y,ZHENG X. Weather recognition based on images captured by vision system in vehicle[J]. Advances in Neural Networks-ISNN 2009,2009: 390-398.

[11] CHANG C C,LIN C J. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology (TIST),2011,2(3): 27.

[12] BREIMAN L. Random forests[J]. Machine Learning,2001,45(1): 5-32.

Weather scene recognition algorithm based on random forest

Shi Jing,Zhu Hong

(The Faculty of Automation and Information Engineering,Xi’an University of Technology,Xi’an 710048,China)

Traditional weather state recognition often uses a lot of data collected by the sensors to determine the state of the weather. However,research conducted by the image recognition of the state of the weather are rare. In this paper we use bag of words model and spatial pyramid matching outdoor images to identify the state of the weather. The method which analyzes the influence of sunny and cloudy weather conditions for the two types of images,takes two types of weather conditions as the two scenarios,extracts the image SIFT (rotation invariant descriptors) feature of image,uses bag of words model and spatial characteristics of pyramid to get matching pyramid,and then uses the features of the training pyramid classifier to identify the test sample. Classifier construction aspects described herein we use Support Vector Machine (SVM) to construct a classifier,and uses random forest classifier to constructe two of the test sample through a sample input classifier interposed between two support vectors to two class classifier for recognition. Testing results show that its recognition rate can reach 82%.

image classification; SIFT features; spacial pyramid ; SVM

國家自然科學基金(61502385)；國家自然科學基金(61673318)；西安市科技計劃項目(CXY1509(13))；西安理工大學教學研究重點項目(xjy1670)

TP391

A

10.19358/j.issn.1674-7720.2017.24.015

史靜，朱虹.基于隨機森林的天氣場景判別算法J.微型機與應(yīng)用，2017,36(24)：51-53.

2017-06-30)

史靜(1983-)，女，博士研究生，講師，主要研究方向：數(shù)字圖像處理、場景分類。

朱虹(1963-)，女，博士，教授，主要研究方向：數(shù)字圖像處理、智能視頻監(jiān)控、模式識別等。