周文一， 何小海， 卿粼波， 萬園潔， 鄭新波

1(四川大學(xué) 電子信息學(xué)院， 成都 610065)

2(東莞前沿技術(shù)研究院， 東莞 523000)

目前， 我國正處于城鎮(zhèn)化加速發(fā)展的時期， 一些地區(qū)的“城市病”問題日益嚴重[1]. 為解決城市發(fā)展難題，實現(xiàn)城市可持續(xù)發(fā)展， 建設(shè)智慧城市已成為當(dāng)今世界城市發(fā)展不可逆轉(zhuǎn)的歷史潮流[2]. 城市服務(wù)是智慧城市信息化管理中重要的一部分， 城市中違章建筑的查處往往需要大量的時間和人力. 實現(xiàn)自動的在建建筑檢測， 再由相關(guān)部門篩查， 可以大大提升查處效率， 并且在其建成之前能夠及時地制止， 減小經(jīng)濟損失， 將違法建設(shè)制止于萌芽階段. 本項目高空云平臺駐空高度約為200～300米， 用于實現(xiàn)廣域物聯(lián)網(wǎng)的數(shù)據(jù)采集、應(yīng)急集群通信、光學(xué)監(jiān)控等功能， 可以為平安城市、智慧城市提供堅實的信息化基礎(chǔ). 基于高空云平臺的智慧城市信息化管理平臺， 在建建筑的檢測是建立在高空相機對監(jiān)控區(qū)域的圖像實時采集的基礎(chǔ)上， 通過分析城市的全景圖來檢測是否存在在建建筑區(qū)域.

在復(fù)雜場景下的建筑目標識別， 是具有挑戰(zhàn)性的課題， 而在建建筑識別又是一個更加新穎的課題. 在國內(nèi)外文獻中， 大多都是在衛(wèi)星遙感圖像中對整個建筑目標區(qū)域進行提取， 徐佳等[3]利用灰度與紋理綜合特征對高分辨率星載合成孔徑雷達(SAR)圖像的建筑區(qū)域進行提取； 吳煒等[4]利用光譜和形狀特征相結(jié)合的方法對高分辨率遙感圖像中的建筑物進行提取. Maarir等[5]用曲率尺度空間法對城市和郊區(qū)衛(wèi)星圖像中的建筑物進行檢測. 丁文銳等[6]對無人機圖像使用MSER(Maximum Stable Extremal Regions)算法進行建筑區(qū)域的實時提取. 王慧敏等[7]在多尺度分割的基礎(chǔ)上實現(xiàn)對倒塌建筑物的提取. 以上影像中在建建筑區(qū)域均以垂直視角展示. 在非垂直視角的城市高空圖像中， 金泰松等[8]基于建筑目標的豎直線特征對城市建筑的整個輪廓進行提取. 上述所有文獻都是對整個建筑目標區(qū)域進行提取， 并沒有對其中的在建建筑進行識別.

在遙感影像違章建筑的識別研究中， 通常是先對建筑物進行提取， 然后必須結(jié)合額外的房屋數(shù)據(jù)才能完成對違章建筑的識別. 林劍遠等[9]就是先利用形態(tài)學(xué)標記分水嶺算法提取高分辨率遙感影像中的建筑物圖斑， 然后結(jié)合房屋產(chǎn)權(quán)數(shù)據(jù)從而識別違章建筑. 然而，由于房產(chǎn)數(shù)據(jù)不透明， 沒有這類數(shù)據(jù)的平臺則無法用類似方法進行違章建筑檢測.

與現(xiàn)有文獻針對的SAR圖像、高光譜圖像及無人機機載攝像機拍攝的圖像不同， 高空云平臺拍攝的圖像主要具有以下識別難點:

(1)拍攝高度相對較低， 因此拍攝到的場景背景復(fù)雜、內(nèi)容豐富、場景多變， 包含建筑密集的城市市區(qū)場景， 或建筑較稀疏綠色植被較多的郊區(qū)場景；

(2)相機視角多變， 高度不固定， 因此拍攝的建筑視角和在圖像中所占的比例不確定.

通過上述分析， 本文充分利用在建建筑區(qū)域的視覺特征， 建立角度多樣形態(tài)豐富的特征庫， 提出基于內(nèi)容檢索的多特征的高空影像中在建建筑區(qū)域識別方法，能夠有效地識別在建建筑.

1 基于CBIR的在建建筑識別框架

1.1 在建建筑特征分析及算法設(shè)計

在建建筑區(qū)域的示例如圖1， 它們通常有如下一些特征: (1)裸露的黃土， 但是將其作為在建建筑的判別標準， 易與閑置的土地或種植農(nóng)作物的土地混淆；(2)藍色的活動板房以及藍色的防護欄， 由于藍色的活動板房還廣泛用于災(zāi)區(qū)等一些臨時住宅點， 以及道路施工現(xiàn)場， 故其不能很好地作為在建建筑的標志性特征； (3)塔吊在建筑工地上比較常見， 屬于建筑場地的特有設(shè)備之一， 顏色比較統(tǒng)一， 通常為黃色或紅色， 形狀比較特殊， 因此可以作為在建建筑的標志性信息；(4)綠色防護網(wǎng)是另一個在建建筑工地常有的標志性信息. 因此， 選取塔吊和綠色防護網(wǎng)為在建建筑區(qū)域的標志性信息， 且它們都具有顯著的顏色特征， 故提取在建建筑區(qū)域的顏色特征. 但由于光照或角度的影響， 綠色植被與綠色防護網(wǎng)的顏色特征會產(chǎn)生混淆， 而他們的紋理特征不同， 故提取在建建筑區(qū)域的紋理特征， 可在一定程度上區(qū)分他們.

圖1 在建建筑區(qū)域數(shù)據(jù)集部分示例

通過上述分析， 本文擬采用基于內(nèi)容的圖像檢索技術(shù)[10](Content-based Image Retrieval， CBIR)， 利用圖像庫中圖像的視覺特征與待檢測圖像的相同特征做相似性度量， 從而獲得檢索結(jié)果. 在實驗過程中發(fā)現(xiàn)對于一些受光照影響的圖片， 某些綠樹的顏色特征會對綠色防護網(wǎng)的顏色特征造成干擾， 從而造成誤判. 如圖2所示， 綠色植被誤判成了在建建筑. 為了解決該問題， 本文選擇在對輸入的高空圖像進行分塊之前對其使用聚類算法進行聚類， 以便將綠樹區(qū)域篩除， 留下建筑區(qū)域， 再對其進行分塊的建建筑識別.

圖2 誤判示例

本文的算法流程圖如圖3所示: (1)對包含在建建筑的大圖數(shù)據(jù)集進行分塊， 挑出只包含在建建筑的小圖數(shù)據(jù)集， 并對該數(shù)據(jù)集的大小進行歸一化， 對其進行顏色和紋理特征提取， 得到可以表征在建建筑的多特征矢量， 由這些特征矢量構(gòu)建圖像特征索引庫； (2)對待檢測圖像剔除綠色植被區(qū)域， 再分塊切割成與數(shù)據(jù)集中圖像相同大小的一組小圖像并計算特征矢量；(3)將其與特征索引庫中的矢量做相似性度量， 記錄每一個小塊在大圖中的左上角的坐標， 根據(jù)長寬計算出該小圖在大圖中的位置， 用一個紅色矩形框包含檢測到的多個小圖， 并形成唯一的標識符. 以下分別從預(yù)處理及特征提取， 綠色植被區(qū)域自動檢測， 相似性度量的方式三個部分作詳細闡述.

圖3 本文算法流程圖

2 預(yù)處理及特征提取

2.1 預(yù)處理

本算法的背景系統(tǒng)是建立在高空相機對監(jiān)控區(qū)域的圖像、視頻采集的基礎(chǔ)上. 對高空相機所獲得的視頻和圖像數(shù)據(jù)進行處理. 通過圖像校正技術(shù)實現(xiàn)對圖像的配準， 以及局部區(qū)域及全局區(qū)域圖像的拼接， 為后續(xù)的在建建筑檢測做好準備.

由于拼接圖像尺寸較大， 為了便于保存， 將拼接圖像裁成1920*1080的大小， 但其包含的內(nèi)容仍然較豐富， 提取其特征有冗余信息， 無法準確地表現(xiàn)在建建筑區(qū)域的特征， 故分析高空影像素材中在建建筑區(qū)域的大小， 將待檢測圖像進行從上到下S形分為32塊， 大小為240*270， 既方便計算在建建筑區(qū)域的位置又保證能充分提取其整體特征. 特征索引庫的數(shù)據(jù)集采用零像素擴充的方式將其歸一化到同樣大小.

2.2 特征提取

通過上節(jié)分析， 塔吊和綠色防護網(wǎng)都具有顯著的顏色特征. 顏色特征與實際的物體或場景具有較高的相關(guān)性， 而且對圖像的方向、尺度和視角不敏感， 比其他特征更易獲得， 提取其顏色特征， 能有效將在建建筑與普通建筑區(qū)分開來.

將輸入的RGB圖像轉(zhuǎn)換到更符合人類視覺系統(tǒng)的HSV色彩空間， 由于人眼對色調(diào)(H)非常敏感， 亮度(V)反映在建建筑的形狀特征比較重要， 飽和度(S)反映顏色深淺， 而不同的光照和角度會使在建建筑的顏色深淺不同， 三個分量都比較重要， 故將H、S、V分量均做的12級非均勻量化:

灰度共生矩陣[11]是常用的統(tǒng)計型紋理特征， 用來描述像素灰度的空間相關(guān)性. 在灰度共生矩陣的基礎(chǔ)上， 熵是圖像所含信息隨機性的度量； 能量是圖像灰度分布均勻程度和紋理粗細程度的度量[11]； 對比度是圖像清晰程度和紋理溝紋深淺程度的度量； 均勻性[12]能反映局部區(qū)域的紋理特征， 是區(qū)分目標的重要參數(shù). 故本文通過計算灰度共生矩陣的熵、能量、對比度和一致性四種參數(shù)來描述圖片的紋理特征. 為了使提取的紋理特征具有更好的旋轉(zhuǎn)不變性， 分別取像素間兩兩互補的角度， 像素間的距離取1和為了減小特征提取的計算量， 將圖像的灰度級由原來的256級壓縮至8級， 最終得到16維的紋理特征向量

對數(shù)據(jù)集提取相同的特征， 由這些52維的特征矢量構(gòu)建圖像特征索引庫.

3 基于顏色聚類的植被區(qū)域檢測

為了避免綠色植被對在建建筑區(qū)域識別的干擾，采用顏色聚類的方式對植被區(qū)域?qū)崿F(xiàn)自動檢測， 流程圖如圖4所示.

圖4 顏色聚類流程圖

3.1 植被區(qū)域的自動檢測

本文顏色聚類方法根據(jù)圖像的主要構(gòu)成顏色自動選取初始聚類中心. 分析圖像的顏色構(gòu)成需要計算圖像的顏色直方圖， 為了簡化圖像顏色的構(gòu)成從而減小計算量， 需要對圖像顏色進行量化， 減小計算的復(fù)雜度.

首先， 對輸入的1920*1080大小的RGB圖像采用顏色聚類前的HSV色彩空間各分量12級的非均勻量化， 得到量化后的圖像.

統(tǒng)計量化后圖像每種顏色所占的比例， 并按降序排列， 得到量化圖像的顏色直方圖. 取出占比最多的前N種顏色，N的最小值滿足:

其中，Histogrami為第i種顏色在量化圖像中所占比例，i取值范圍為[1，N]. 既保證取出圖像中占比不小于85%的顏色， 同時取出的顏色數(shù)量最少.

通過大量實驗， 聚類的顏色類別數(shù)K選擇3可以將輸入圖像中的不同區(qū)域(綠色植被， 建筑區(qū)域， 其他)有效地分開. 根據(jù)用戶輸入的顏色類別數(shù)K對圖像的N種主要構(gòu)成顏色使用層次聚類算法進行聚類， 得到K個圖像構(gòu)成顏色[13].

圖片的主要構(gòu)成有建筑、植被、天空或道路， 通過實驗選取三個顏色作為顏色列表， 其RGB各分量值為[85 100 100]、[120 140 110]、[235 235 230]， 將聚類后各類別的組成顏色與顏色列表做比較， 用與列表中距離最小的顏色重新為聚類圖像賦值.

3.2 基于最小割算法的聚類區(qū)域填充

由于光照、角度以及圖中物體自身的差異， 聚類后的圖像在同一個區(qū)域中會有其他類別的像素， 使得聚類后的同一圖像區(qū)域的劃分出現(xiàn)孔洞不夠連貫， 影響后續(xù)綠色植被區(qū)域的選取. 為此， 選擇最小割算法[14-16]對聚類后的圖像進行平滑處理. 最小化如下聚類圖像的能量函數(shù):

區(qū)域項表示像素i屬于類別概率的負對數(shù)， 其概率是用像素的實際顏色Img(i)與聚類后每一類中心ClusImg(j)的色差計算得出， 區(qū)域項越小表示像素i屬于類別的可能性越大.

Euc(·)為像素間顏色的歐式距離.

邊界項表示分割L的邊界屬性， 其中，表示輸入圖像8鄰域的無序像素對集合；為像素i和j之間不連續(xù)的懲罰；為指示函數(shù)， 指示像素i、j的類別、是否相同.

統(tǒng)計最小割算法優(yōu)化后圖像中各區(qū)域像素的個數(shù)，將像素個數(shù)小于閾值 αP的區(qū)域合并到與其相鄰邊界最長的區(qū)域中， 最終消除聚類圖像中零散的面積很小的區(qū)域， 生成的平滑、區(qū)域連續(xù)的聚類圖像. 其中，P為輸入圖像Img的像素總數(shù)取0～3%.

平滑后的圖像區(qū)域顏色的RGB值是[120 140 110]的區(qū)域為綠色， 將其賦值[0 0 0]， 則綠色植被區(qū)域的像素置零. 不僅可以在包含在建建筑的圖中有用， 可以避免其對在建建筑區(qū)域識別的影響， 效果如圖5前兩組結(jié)果所示； 在包含大面積綠色植被的圖中也有效， 因為在識別的時候， 綠色植被區(qū)域可能誤判成在建建筑， 效果如圖5第三組結(jié)果所示.

圖5 綠色植被區(qū)域檢測結(jié)果

4 相似性度量方式

本文采用歐式距離法來度量待識別圖像的特征矢量與特征庫中特征矢量的相似性， 分別計算待識別圖片顏色及紋理特征與特征庫中的歐式距離. 設(shè)待識別圖像為Img， 特征庫中的圖片為Fea.

1)顏色特征相似度

計算數(shù)據(jù)集中的36維顏色特征與特征庫中每張圖片同維數(shù)顏色特征的歐式距離:

其中，h、s、v代表圖片各分量的特征，表示特征非均勻量化為12級.

2)紋理特征相似度

計算數(shù)據(jù)集中16維顏色特征與特征庫中每一張圖片相同維數(shù)紋理特征的歐式距離:

其中，t和i=(1,···,16)表示16維紋理特征.

在分別計算待識別圖片與特征庫中每一張圖片的兩種特征相似度后， 將兩種結(jié)果分別進行升序排序， 取最小值進行判定， 判定方式本文研究了以下兩種:

(1)綜合特征相似度判定

采用加權(quán)融合的方式融合顏色和紋理的特征距離:

然后判斷Dis是否小于預(yù)設(shè)定的閾值， 若小于則判定該圖片存在在建建筑. 考慮到在拍攝時攝像機鏡頭晃動造成的圖片模糊對紋理特征的影響較大， 而對顏色特征的影響較小， 因此在相似性度量時弱化紋理特征對識別結(jié)果判斷的影響， 給以較小值.

(2)分離特征相似度判定

由于顏色特征較紋理特征在識別時具有更強的魯棒性， 故本文提出在顏色特征滿足條件的情況下再判斷紋理特征是否滿足給定條件. 即先判斷Col是否小于預(yù)設(shè)定的閾值， 再判斷Tex是否小于預(yù)設(shè)定的閾值.

實驗結(jié)果顯示， 分離特征相似度判定方式的效果整體較綜合特征相似度判定方式好， 且當(dāng)時識別率相對較高， 故選取其為最終的顏色和紋理特征的閾值.

5 識別結(jié)果及分析

5.1 數(shù)據(jù)集

本文的圖像數(shù)據(jù)集大部分由高空相機對監(jiān)控區(qū)域采集的圖像和視頻， 篩選、分幀得到， 其余為網(wǎng)上挑選下載， 然后歸一化為240*270的大小， 共約700張.

5.2 結(jié)果及分析

對于在建建筑區(qū)域的框選， 是基于整個在建建筑區(qū)域劃分， 而不是基于每一棟在建的建筑. 對在建建筑依次用紅色方框框選出來， 并對每一個在建建筑區(qū)域形成唯一的英文字母、數(shù)字組合而成的標識符. 本文對比了聚類前后對識別率的影響， 識別率為正確識別的圖片張數(shù)/測試集圖片的總張數(shù).

表1顯示未顏色聚類對測試集的識別結(jié)果， 測試集共238張圖片， 其中存在在建建筑90張， 非在建建筑148張， 識別率為0.874. 表2顯示對相同的測試集先聚類再識別的結(jié)果， 識別率為0.933. 如圖8所示， 可以有效防止誤檢.

表1 未顏色聚類的識別率

表2 顏色聚類后的識別率

圖8 顏色聚類結(jié)果

通過對顏色聚類前后測試集的識別結(jié)果對比， 在識別前對圖片進行顏色聚類可以提高識別率. 在1920*1080圖像中的在建建筑區(qū)域識別結(jié)果如圖9， 圖10顯示在全景拼接圖像中的在建建筑區(qū)域識別結(jié)果.

圖9 部分1920*1080的圖中識別結(jié)果示例

圖10 部分全景拼接圖像中的識別結(jié)果示例

6 總結(jié)

在建建筑區(qū)域的自動識別能夠有效地實現(xiàn)智慧城市的信息化管理， 本文根據(jù)城市高空影像中的真實場景， 提出基于在建建筑顏色和紋理特征的在建建筑區(qū)域識別方法. 該方法首先對分塊圖片用本文改進的顏色聚類方式進行處理， 然后提取其顏色及紋理特征， 與特征庫中的圖片特征采用分離特征相似度判定方式進行判定， 將包含在建建筑的分塊圖片在大圖中進行整合， 用唯一的標識符標記出來. 通過實驗， 該方法能夠有效地識別出城市高空影像中的在建建筑區(qū)域. 在進一步的工作中， 將對圖片進行去云去霧及高照平衡等預(yù)處理， 并考慮提取在建建筑其他特征， 以減少誤檢和漏檢的情況發(fā)生， 并提高算法的魯棒性.