曾慶豐 丁 月 陳品祥 譚福臨

（1.北京市測(cè)繪設(shè)計(jì)研究院，北京 100038；2.城市空間信息工程北京市重點(diǎn)實(shí)驗(yàn)室，北京 100038；3.中國(guó)地質(zhì)大學(xué)（北京）信息工程學(xué)院，北京 100083）

0 引言

2014 年，北京市的生態(tài)環(huán)境發(fā)展要求堅(jiān)持可持續(xù)發(fā)展，從管理、科技、經(jīng)濟(jì)、法制等各方面著手實(shí)施舉措，促進(jìn)人口、經(jīng)濟(jì)、資源、環(huán)境的和諧發(fā)展；2015 年，召開的中央城市工作會(huì)議要求轉(zhuǎn)變城市發(fā)展方式、完善城市治理體系、提高城市治理能力、著力解決城市病等突出問題。在此背景下，北京市多次召開了全市生態(tài)文明大會(huì)，將嚴(yán)厲打擊違法建設(shè)作為加強(qiáng)首都生態(tài)文明建設(shè)、疏解非首都核心功能和提高北京城市管理工作水平的重要抓手。

在技術(shù)應(yīng)用方向，發(fā)現(xiàn)違法建設(shè)的傳統(tǒng)技術(shù)包括人工巡查、衛(wèi)星查違、群眾舉報(bào)等方式。傳統(tǒng)人工巡查方式發(fā)現(xiàn)違法建設(shè)不但耗時(shí)耗力且主動(dòng)性不高、目的性不強(qiáng)、存在難以到達(dá)的巡查死角、巡查不到位和遺漏、效率低下等問題［1］；衛(wèi)星遙感影像可以客觀真實(shí)的記錄地表特征，因此利用兩個(gè)不同時(shí)期的高分辨率遙感影像可以敏銳地發(fā)現(xiàn)城市的變化［2］。衛(wèi)星遙感技術(shù)主要可提供大范圍的建筑物變化信息［3］，但難以監(jiān)測(cè)和發(fā)現(xiàn)城市建筑密集區(qū)域以及被樹木遮擋區(qū)域內(nèi)的違法建設(shè)［4］。近年來，“眾包思想”催生了群眾舉報(bào)方式，利用群眾舉報(bào)線索可以發(fā)現(xiàn)較為隱蔽的違法建設(shè)，但此方式受到主觀性影響較大，為了實(shí)現(xiàn)違法建設(shè)查處的空間全覆蓋以及違法建設(shè)行為“更早發(fā)現(xiàn)、更快反映以及更快處置”的目標(biāo)［5］，本文探索了街景數(shù)據(jù)為基礎(chǔ)的違法建設(shè)監(jiān)測(cè)和發(fā)現(xiàn)技術(shù)方法。

近年來，隨著計(jì)算機(jī)視覺和深度學(xué)習(xí)等技術(shù)的快速發(fā)展，利用街景數(shù)據(jù)等進(jìn)行違法用地和違法建設(shè)的監(jiān)測(cè)和識(shí)別成為一種新的解決方案。街景數(shù)據(jù)是感知城市物質(zhì)環(huán)境的一種新型地理大數(shù)據(jù)［6］，且街景圖像具有覆蓋面廣、能提供街道層級(jí)景觀信息的特點(diǎn)［7］。在過去的幾年中，已有許多研究探討了街景數(shù)據(jù)在違法用地和違法建設(shè)監(jiān)測(cè)中的應(yīng)用，例如，文獻(xiàn)［8］提出了一種基于深度學(xué)習(xí)的建筑物監(jiān)測(cè)方法，該方法使用了Google Street View 的圖像數(shù)據(jù)，能夠有效地檢測(cè)出違法建設(shè)；文獻(xiàn)［9］則利用街景數(shù)據(jù)中的建筑特征進(jìn)行建筑物分類，通過對(duì)不同類型的建筑進(jìn)行分類，實(shí)現(xiàn)了對(duì)違法建設(shè)的監(jiān)測(cè)；文獻(xiàn)［10］提出了一種利用街景圖像和卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)農(nóng)村地區(qū)違法建設(shè)的方法。另外，國(guó)內(nèi)外的一些城市管理部門也已經(jīng)開始采用街景數(shù)據(jù)進(jìn)行違法用地和違法建設(shè)的查處。例如，北京市城市管理委員會(huì)在其官方網(wǎng)站上公布了利用Google Street View 進(jìn)行違法建設(shè)監(jiān)測(cè)的案例，證明了街景數(shù)據(jù)在城市管理中的實(shí)用性和可行性。

本文根據(jù)街景技術(shù)記錄客觀事實(shí)的技術(shù)特點(diǎn)［11-13］，結(jié)合應(yīng)用場(chǎng)景制定了一套面向應(yīng)用的街景技術(shù)監(jiān)測(cè)違法建設(shè)技術(shù)路線，利用街景監(jiān)測(cè)技術(shù)來監(jiān)測(cè)違法建設(shè)的現(xiàn)狀與變化情況。結(jié)合移動(dòng)通信技術(shù)、地理信息技術(shù)實(shí)地核查違法建設(shè)，快速精準(zhǔn)地發(fā)現(xiàn)違法建設(shè)，同時(shí)利用多期街景數(shù)據(jù)比對(duì)來實(shí)現(xiàn)違法建設(shè)從發(fā)現(xiàn)到拆除的全過程監(jiān)測(cè)，并在北京市違法建設(shè)查處工作中開展了實(shí)際應(yīng)用。

1 關(guān)鍵技術(shù)

1.1 自動(dòng)識(shí)別提取關(guān)鍵技術(shù)

1.1.1 街景影像匹配

基于區(qū)域內(nèi)建筑物的類型進(jìn)行區(qū)域的分類是城市功能區(qū)分類的主要方法［14］，本研究以建筑物為街景影像的主要匹配對(duì)象，采用了一種基于深度學(xué)習(xí)的街景影像匹配方法來匹配不同時(shí)期的街景影像（圖1）。

圖1 街景影像匹配流程

建筑物的構(gòu)造復(fù)雜多樣，角點(diǎn)較多，如何有效提取建筑物的角點(diǎn)是本研究要解決的一個(gè)關(guān)鍵技術(shù)點(diǎn)之一。尺度不變特征變換（scaleinvariant feature transform，SIFT）算法獨(dú)特性好、信息量豐富、實(shí)時(shí)性高［15］，主要可以提取建筑物的玻璃等反光材料反光形成的斑點(diǎn)特征，但這些特征的位置往往會(huì)隨著光線的不同而發(fā)生變化；Harris角點(diǎn)提取算法是Chris Harris 等提出的一種基于信號(hào)的點(diǎn)特征提取算法，是Moravec 算法的改進(jìn)，相比SIFT算法，Harris算法更為穩(wěn)定［16］。

本研究選擇Harris算法來提取建筑物的特征角點(diǎn)，用SIFT 算法來進(jìn)行描述，兩種算法的結(jié)合保障了特征的穩(wěn)定性，并且特征角點(diǎn)不會(huì)隨著光線的改變而發(fā)生變化［17］；之后采用最近鄰距離比匹配法對(duì)兩幅街景影像進(jìn)行匹配，對(duì)判斷為同一位置的街景影像進(jìn)行輸出，不是同一位置的街景影像返回?cái)?shù)據(jù)庫，重新進(jìn)行匹配流程。

1.1.2 街景特征的自動(dòng)識(shí)別提取

近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別研究的突破性進(jìn)展，傳統(tǒng)的人工提取圖像特征的方式逐漸被取代［18］，卷積神經(jīng)網(wǎng)絡(luò)的表征學(xué)習(xí)能力較強(qiáng)。在街景影像匹配基礎(chǔ)上，本研究通過基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（region-based convolutional neural networks，CNN）識(shí)別提取兩期街景影像中的建筑物，比對(duì)不同時(shí)期影像的建筑物變化情況，當(dāng)兩期影像中的建筑物有明顯的增減時(shí)，實(shí)現(xiàn)不同時(shí)期街景影像新增違法建設(shè)的自動(dòng)識(shí)別提取。圖2為基于卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取含疑似新生違法建設(shè)街景的流程圖。

圖2 含疑似新生違建街景的自動(dòng)提取流程圖

圖3 街景影像變化圖可視化布局示意圖

首先，利用區(qū)域建議算法選出若干目標(biāo)區(qū)域，候選區(qū)域要包括街景影像中可能出現(xiàn)的目標(biāo)物體［19］，在本研究中候選區(qū)域至少要包括街景影像中所有的建筑物。之后將利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，得到特征向量，每一個(gè)候選區(qū)域和其通過神經(jīng)網(wǎng)絡(luò)得到的特征向量相乘，就可以得到特征矩陣，并進(jìn)行特征分類，輸出含建筑物的街景影像。同時(shí)，基于影像匹配結(jié)果，可直接獲取同一位置的不同時(shí)期的街景影像，期間，要保證街景圖像大小一致，重復(fù)上述過程，可計(jì)算得到另一時(shí)期街景影像的特征，兩期影像進(jìn)行自動(dòng)比對(duì)則最終篩選出同一位置點(diǎn)建筑物有變化的街景影像，判斷為有疑似新生違法建設(shè)區(qū)域。

1.2 變化圖的智能生成

基于二維地圖與街景聯(lián)動(dòng)、自動(dòng)識(shí)別技術(shù)，研究設(shè)計(jì)了可視化布局圖模板，在街景查違系統(tǒng)上截取兩期街景影像和遙感影像圖，按照可視化布局模板框選參照物和疑似新生違建，系統(tǒng)自動(dòng)獲取并標(biāo)注其在影像上的位置，標(biāo)注后將可視化布局圖導(dǎo)出（圖 3），為查違工作提供依據(jù)。

1.3 技術(shù)路線

基于影像匹配、自動(dòng)提取、變化圖智能生成等關(guān)鍵技術(shù)，形成了基于街景技術(shù)的北京市違法建設(shè)監(jiān)測(cè)應(yīng)用的技術(shù)路線，并開展了實(shí)際應(yīng)用。主要技術(shù)流程見圖4。

圖4 街景查違技術(shù)流程

街景影像通過專業(yè)街景車獲取，為了進(jìn)行變化監(jiān)測(cè)和分析比對(duì)，首先對(duì)拍攝的圖片進(jìn)行初步的篩選與處理［20］，形成北京市街景查違數(shù)據(jù)庫。

街景中違法建設(shè)信息提取主要通過變化監(jiān)測(cè)的方式獲取。變化監(jiān)測(cè)包括不同時(shí)期影像匹配、自動(dòng)提取比對(duì)、變化圖智能生成、人工核查四個(gè)步驟，過程中應(yīng)用到基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法、車載街景影像匹配等關(guān)鍵技術(shù)。

為了進(jìn)一步提升影像匹配結(jié)果的準(zhǔn)確率，加入了人工核查環(huán)節(jié)（圖5），主要利用目視解譯法以及現(xiàn)場(chǎng)核查的方法進(jìn)行人工核查，其中在進(jìn)行外業(yè)核查時(shí)利用自主研發(fā)的外業(yè)核查APP（可用于手機(jī)端和pad 端）對(duì)疑似違法建設(shè)的信息進(jìn)行核查，對(duì)疑似違法建設(shè)的信息進(jìn)行補(bǔ)充完善。同時(shí)，實(shí)現(xiàn)了移動(dòng)端與系統(tǒng)平臺(tái)的聯(lián)動(dòng)，可將移動(dòng)端的屬性信息同步到系統(tǒng)平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的聯(lián)動(dòng)和更新，具體流程見圖 5。

圖5 現(xiàn)場(chǎng)核查流程圖

現(xiàn)場(chǎng)核查無誤后，確認(rèn)為違法建設(shè)，則可開展拆違工作，在違法建設(shè)拆除后持續(xù)開展動(dòng)態(tài)監(jiān)測(cè)，形成閉環(huán)的技術(shù)流程，從而實(shí)現(xiàn)了北京市違法建設(shè)的閉環(huán)監(jiān)管。

2 系統(tǒng)主要功能實(shí)現(xiàn)

結(jié)合查違工作的實(shí)際需求，本研究開展了街景查違系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。系統(tǒng)實(shí)現(xiàn)的主要功能有二維地圖與街景的聯(lián)動(dòng)、變化比對(duì)、與外業(yè)核查APP的聯(lián)動(dòng)等。

2.1 二維地圖與街景的聯(lián)動(dòng)

為方便在電子地圖中快速定位到指定位置的街景，系統(tǒng)實(shí)現(xiàn)了街景場(chǎng)景和電子地圖的聯(lián)動(dòng)與交互控制，可通過獲取電子地圖中指定點(diǎn)的位置，在街景場(chǎng)景中利用位置點(diǎn)查看街景，同時(shí)可快速切換街景場(chǎng)景到指定位置，并可通過二維地圖和街景場(chǎng)景的空間關(guān)聯(lián)，實(shí)現(xiàn)全局視角的比對(duì)（圖6）。

圖6 街景和地圖聯(lián)動(dòng)查看指定點(diǎn)街景界面

2.2 變化比對(duì)

基于影像匹配與自動(dòng)提取比對(duì)結(jié)果，在系統(tǒng)上可直觀地查看多期街景影像中違法建設(shè)位置點(diǎn)的真實(shí)場(chǎng)景及其影像圖上的位置；通過獲取街景場(chǎng)景當(dāng)前視野的位置、方位、角度、視野等信息，同步設(shè)置不同時(shí)期街景場(chǎng)景設(shè)置相同的位置、方位、角度和視野等信息，實(shí)現(xiàn)不同時(shí)期街景場(chǎng)景的聯(lián)動(dòng)功能。

2.3 與外業(yè)核查APP聯(lián)動(dòng)

通過系統(tǒng)平臺(tái)與外業(yè)核查APP 的聯(lián)動(dòng)來進(jìn)行現(xiàn)場(chǎng)核查，外業(yè)核查APP 搭載了導(dǎo)航定位功能，可輔助現(xiàn)場(chǎng)核查人員進(jìn)行精準(zhǔn)定位，現(xiàn)場(chǎng)核查人員可將現(xiàn)場(chǎng)核實(shí)結(jié)果錄入系統(tǒng)，可上傳相關(guān)照片、文件等信息；在外業(yè)核查APP錄入的所有信息可同步到系統(tǒng)平臺(tái)，實(shí)現(xiàn)信息的同步（圖7）。

圖7 外業(yè)核查APP界面

圖8 街景發(fā)現(xiàn)違法建設(shè)所在位置分類圖

圖9 街景發(fā)現(xiàn)違法建設(shè)的規(guī)劃用地性質(zhì)分類

圖10 街景發(fā)現(xiàn)違法建設(shè)的使用性質(zhì)分類及占比情況

3 應(yīng)用分析與評(píng)價(jià)

利用街景查違的關(guān)鍵技術(shù)與技術(shù)路線，在北京市開展了示范應(yīng)用（應(yīng)用時(shí)間為2021 年）。本文分別從街景發(fā)現(xiàn)的違法建設(shè)所在位置點(diǎn)情況、規(guī)劃用地性質(zhì)、使用性質(zhì)等幾方面分析了街景監(jiān)測(cè)技術(shù)發(fā)現(xiàn)和查處違法建設(shè)的特點(diǎn)，并與其他查違技術(shù)特點(diǎn)進(jìn)行了對(duì)比分析。

3.1 街景查違的應(yīng)用效果

3.1.1 街景發(fā)現(xiàn)與查處違法建設(shè)位置點(diǎn)情況分析

通過街景發(fā)現(xiàn)的北京市違法建設(shè)集中分布在道路兩側(cè)、農(nóng)村集體土地、城市平房區(qū)（圖 8）。此類分布的建設(shè)面積大于占地面積，說明違法建設(shè)多數(shù)是占用上層空間形成的。

3.1.2 街景發(fā)現(xiàn)與查處違法建設(shè)規(guī)劃用地性質(zhì)情況分析

由圖 9可知，街景發(fā)現(xiàn)的違法建設(shè)的規(guī)劃用地性質(zhì)多數(shù)是居住用地、道路用地和工業(yè)用地。

3.1.3 街景發(fā)現(xiàn)與查處違法建設(shè)使用性質(zhì)情況分析

經(jīng)過現(xiàn)場(chǎng)核查確認(rèn)發(fā)現(xiàn)，利用街景發(fā)現(xiàn)的違法建設(shè)的使用性質(zhì)大多為商業(yè)用途，其次是居住用途（圖 10），且多數(shù)違法建設(shè)是建立在建筑物的第一、二層，大多以盈利為目的，改建或擴(kuò)建了房屋結(jié)構(gòu)。

3.2 查違技術(shù)對(duì)比分析與評(píng)價(jià)

經(jīng)過前期的應(yīng)用研究得到：衛(wèi)星查違技術(shù)能夠解決較大面積、分布在空曠區(qū)域的農(nóng)村集體土地、農(nóng)村宅基地等的違法建設(shè)難以發(fā)現(xiàn)的問題，但對(duì)平面變化不明顯、面積過小的臨街違法建設(shè)等發(fā)現(xiàn)不敏感或者難以快速發(fā)現(xiàn)，但是受影像分辨率限制，會(huì)存在地面物誤判的情況，需要外業(yè)核實(shí)；群眾舉報(bào)發(fā)現(xiàn)的違法建設(shè)一般分布在城市住宅區(qū)內(nèi)、農(nóng)村集體土地或農(nóng)民宅基地內(nèi)，一般都是加蓋或翻蓋等隱蔽性非常強(qiáng)的違法建設(shè)，但是主觀性較強(qiáng)，真實(shí)性也無法保證；街景查違技術(shù)能發(fā)現(xiàn)街道兩側(cè)、城市平房區(qū)、農(nóng)村平房區(qū)、無證違法建設(shè)、商業(yè)與居住區(qū)內(nèi)的違法建設(shè)，是以人的視角進(jìn)行拍攝的，可以直觀地展現(xiàn)違法建設(shè)的情況，誤差較小。因此，街景拍攝技術(shù)與衛(wèi)星監(jiān)測(cè)技術(shù)等實(shí)現(xiàn)了互補(bǔ)，各技術(shù)的特點(diǎn)如表1所示。

表1 各技術(shù)手段特點(diǎn)

4 結(jié)束語

本文介紹了利用街景監(jiān)測(cè)技術(shù)進(jìn)行北京市違法建設(shè)發(fā)現(xiàn)的關(guān)鍵技術(shù)與系統(tǒng)實(shí)現(xiàn)，并對(duì)違法建設(shè)發(fā)現(xiàn)的結(jié)果進(jìn)行了分析，形成的主要技術(shù)方法和成效如下：

（1）制定了一套街景監(jiān)測(cè)違法建設(shè)的技術(shù)流程。利用深度學(xué)習(xí)的相關(guān)算法進(jìn)行街景中變化建筑物的識(shí)別，并智能生成變化圖來構(gòu)建違法建設(shè)的形成過程；結(jié)合移動(dòng)通信技術(shù)、地理信息技術(shù)進(jìn)行現(xiàn)場(chǎng)核查與系統(tǒng)平臺(tái)的聯(lián)動(dòng)；通過閉環(huán)的技術(shù)流程實(shí)現(xiàn)了違法建設(shè)的動(dòng)態(tài)全過程監(jiān)測(cè)。

（2）研究設(shè)計(jì)了街景查違系統(tǒng)，實(shí)現(xiàn)了變化比對(duì)等若干功能，形成了街景查違的數(shù)據(jù)標(biāo)準(zhǔn)、監(jiān)測(cè)機(jī)制，并結(jié)合北京市2021 年街景查違的成果，對(duì)利用街景技術(shù)手段監(jiān)測(cè)違法建設(shè)的能力進(jìn)行了分析與評(píng)價(jià)，分析了街景技術(shù)監(jiān)測(cè)違法建設(shè)的優(yōu)缺點(diǎn)，驗(yàn)證了該項(xiàng)技術(shù)的可行性。

（3）充分發(fā)揮了街景技術(shù)記錄客觀事實(shí)的優(yōu)勢(shì)，實(shí)現(xiàn)了全市道路兩側(cè)、建筑密集區(qū)的違法建設(shè)快速發(fā)現(xiàn)與拆后核查，為治理違法建設(shè)尋找了一條途徑，發(fā)現(xiàn)了大量的違法建設(shè)，在發(fā)現(xiàn)與查處的過程中，提高了執(zhí)法者的工作效率。

在街景技術(shù)的實(shí)際應(yīng)用中，也存在一些問題。目前街景采集的方式主要是基于車輛，成本比較高，周期較長(zhǎng)，并且對(duì)于較窄的街巷無法進(jìn)入，只能通過采集人員步行、騎行的方式進(jìn)行街景采集。未來，可借助“眾包”等方式收集街景信息，進(jìn)一步節(jié)約成本，擴(kuò)大覆蓋范圍。