吳韶集 胡一可

公共空間在當(dāng)代城市中扮演了重要的角色，承載了人的自發(fā)性活動和社會性活動[1]。公共空間沒有嚴(yán)格而統(tǒng)一的定義，本研究根據(jù)王建國、徐寧的研究，將公共空間定義為城市建筑實體空間中具有公共性的開放空間，可通過人的行為評估公共空間的質(zhì)量[2-3]。行人軌跡信息可用于量化評估人群行為[4-6]。當(dāng)前，隨著中國經(jīng)濟水平的提升，民眾對于公共空間質(zhì)量的要求也越來越高[7]，因此，更為客觀的公共空間評估方法將有助于構(gòu)建出更合理的公共空間設(shè)計方法。對于風(fēng)景園林學(xué)科而言，行人軌跡可作為準(zhǔn)繩來度量公共空間的實際使用情況，進(jìn)而作為城市公共空間設(shè)計的依據(jù)，也為更為理性科學(xué)的風(fēng)景園林設(shè)計理論奠定基礎(chǔ)。

近年來，隨著信息化程度的加深，在風(fēng)景園林學(xué)領(lǐng)域，基于計算機視覺技術(shù)對人群行為進(jìn)行分析和可視化的研究開始出現(xiàn)[8-10]。有研究指出，實時反饋的評估信息可有效提升景觀設(shè)計的優(yōu)化整合能力[12]。但是，實時的海量視頻數(shù)據(jù)給數(shù)據(jù)處理帶來了嚴(yán)峻挑戰(zhàn)，若不能及時獲取其中的有效、關(guān)鍵信息，則會造成數(shù)據(jù)浪費[11]。而且當(dāng)前基于視頻獲取人群行為軌跡的方法運算速度慢，無法實時獲取分析結(jié)果，這極大地限制了該方法在實際中的應(yīng)用。本研究提出一種基于深度學(xué)習(xí)的計算機視覺算法來實時獲取公共空間中人群行為路徑數(shù)據(jù)，進(jìn)而實現(xiàn)人群行為的可視化。

本研究試圖解決3個研究問題：1）這種基于深度學(xué)習(xí)的實時人群行為可視化方法是否有效以及是否存在局限性？2）分析結(jié)果能否表征公共空間的何種空間特性？3）該分析方法在風(fēng)景園林學(xué)科的可能應(yīng)用。

1 既有研究綜述

當(dāng)前，在風(fēng)景園林學(xué)領(lǐng)域中通?；诠饬鞣ㄟ@一計算機視覺算法獲取行人軌跡[13]。如胡一可等使用光流法獲得了天津大學(xué)校園內(nèi)街道空間中的行為軌跡[8]；楊柳等以承德避暑山莊入口空間為例，通過計算機視覺技術(shù)提取行人軌跡信息，并用以分析人群行為與空間要素的關(guān)系[14]；侯韞婧等使用無人機拍攝的視頻數(shù)據(jù)分析了集體晨練運動與城市公園空間之間的關(guān)系[15]；胡一可和李晶對城市型景區(qū)“共處”空間的人群行為進(jìn)行研究，使用軌跡數(shù)據(jù)對行人的速度進(jìn)行分析[16]。這些既有研究證明了計算機視覺技術(shù)在公共空間分析中應(yīng)用的可行性，但其所依賴的光流法具有計算相對耗時、抗噪性差的缺點[17]。

深度學(xué)習(xí)（deep learning）是一類特殊的機器學(xué)習(xí)算法，該類算法借助計算機構(gòu)建了一種多層感知器結(jié)構(gòu)，從而實現(xiàn)對非線性數(shù)據(jù)，如視頻數(shù)據(jù)的處理[18]。賽斌、曹自強等基于深度學(xué)習(xí)的算法研究了行人實時移動數(shù)據(jù)的挖掘方法[19]；李瀚、劉坤華等使用基于深度學(xué)習(xí)的計算機視覺算法構(gòu)建了實時視覺目標(biāo)跟蹤與視頻對象分割多任務(wù)框架[20]。這些研究證明：利用深度學(xué)習(xí)算法可突破光流法的限制，實時獲取人群行為軌跡數(shù)據(jù)[21]。

本研究探究了基于深度學(xué)習(xí)算法獲取人群實時軌跡研究的工作流程，以及其在公共空間人群行為可視化方面的潛力。本研究使用了2種基于深度學(xué)習(xí)的算法：1）由Farhadi和Redmon在2018年 提 出 的Yolo-v3（You Only Look Once）算法[22]；2）由Wojke等于2017年提出的DeepSORT（Simple Online and Realtime Tracking with a Deep Association Metric）算法[23]，該算法是對2016年提出的SORT算法的改進(jìn)[24]。在本研究中，前者用于視頻中行人的目標(biāo)檢測，后者用于獲取人群行為軌跡。

2 研究方法

本研究采用的技術(shù)路線可分為以下3個步驟：1）視頻的采集以及從中獲取人群行為軌跡原始數(shù)據(jù)；2）對獲取的原始軌跡數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗；3）將獲取的軌跡數(shù)據(jù)進(jìn)行可視化表達(dá)（圖1）。本研究使用Python語言編寫代碼，以TensorFlow和Keras作為深度學(xué)習(xí)框架，以O(shè)penCV作為視頻處理框架，以pandas和Numpy作為數(shù)據(jù)分析框架，以Matplotlib和Seaborn作為圖像可視化框架。

2.1 從視頻中獲取原始軌跡數(shù)據(jù)

本研究拍攝視頻采用的無人機設(shè)備為Dji mini2，每次飛行時以垂直地面方向進(jìn)行拍攝。操作過程可細(xì)分為遷移學(xué)習(xí)和計算原始軌跡數(shù)據(jù)2步。

2.1.1 遷移學(xué)習(xí)

研究中使用Yolo-v3作為檢測行人行為的工具，因為預(yù)訓(xùn)練模型無法識別鳥瞰視角的行人，故需要采用遷移學(xué)習(xí)的方法訓(xùn)練Yolo-v3模型[25]（圖2）。這一方法通過神經(jīng)網(wǎng)絡(luò)模型參數(shù)共享，將預(yù)訓(xùn)練好的模型嵌入到其他任務(wù)中，這樣就能以較低的成本實現(xiàn)精度較高且適用于新場景的模型[26]。

圖2 Yolo-v3算法具體流程The process of Yolo-v32-1利用labelImg標(biāo)注圖像中的行人Annotation of pedestrians with labelImg2-2使用Yolo-v3進(jìn)行對象檢測Object detection with Yolo-v3

該方法的步驟為：1）標(biāo)注數(shù)據(jù)。本研究采用的數(shù)據(jù)集包含了589張經(jīng)過標(biāo)注的航拍圖像。2）訓(xùn)練模型。由于數(shù)據(jù)集較小，故在訓(xùn)練模型時采用隨機多尺度訓(xùn)練的方法，可提高訓(xùn)練模型的準(zhǔn)確度[27]。在本研究中，設(shè)定模型的訓(xùn)練次數(shù)為500次。而后利用精確率和召回率表征模型識別行人的能力，其中精確率為正確分類的樣本數(shù)與總樣本數(shù)的比值，即1張訓(xùn)練圖片中被正確識別出的行人占總行人數(shù)量的比例，用P表示；召回率是分類正確的樣本數(shù)與真正的樣本數(shù)的比值，可用于衡量該模型尋找行人的能力，用R表示[28]。訓(xùn)練后獲得的模型精確率P為96.2%，召回率R為88.1%，可滿足后續(xù)研究的需求。

2.1.2 計算原始軌跡數(shù)據(jù)

獲取一段視頻中的行人軌跡的方法可分為以下3步（圖3）。

圖3 使用DeepSORT獲取行人軌跡具體流程The process of obtaining pedestrian trajectory with DeepSORT

1）行人檢測。使用Yolo-v3算法確定視頻每一幀畫面中每個行人對應(yīng)的檢測框。該算法使用4個參數(shù)，即每個檢測框中心點的橫坐標(biāo)u、縱坐標(biāo)v，檢測框的面積r和其長寬比h來描述一個檢測框。

2）行人跟蹤及軌跡繪制（圖4）。使用DeepSORT算法對視頻中的行人進(jìn)行多目標(biāo)跟蹤，從而確定不同幀畫面之間同一個行人的軌跡。首先使用八維向量（u, v, r, h, u*, v*, r*,h*）來表征某個行人在該時刻的運動狀態(tài)，其中u*、v*、r*和h*分別為不同幀之間u、v、r和h的運動速率。而后利用匈牙利算法匹配不同幀畫面之間的檢測框。最后基于同一個行人的檢測框在不同幀畫面中的位置繪制出行為軌跡線。

圖4 使用深度學(xué)習(xí)算法對3個研究案例進(jìn)行行人跟蹤及軌跡繪制Pedestrian tracking and trajectory plotting for three study cases using deep learning algorithms

3）數(shù)據(jù)導(dǎo)出。該步驟將每個行人檢測框中心點的坐標(biāo)分別以CSV格式導(dǎo)出并存儲，這樣就可實時獲得視頻中的軌跡數(shù)據(jù)。這也是后文中數(shù)據(jù)分析的基礎(chǔ)數(shù)據(jù)。

2.2 數(shù)據(jù)清洗

由于Yolo-v3算法存在行人誤差檢測的問題，DeepSORT算法存在ID身份轉(zhuǎn)換（identity switches）的問題，故不能直接對原始軌跡數(shù)據(jù)進(jìn)行可視化處理，而應(yīng)進(jìn)行數(shù)據(jù)清洗。數(shù)據(jù)清洗使用了異常值刪除法和箱型圖分析法[29]，用于避免Yolo-v3算法可能出現(xiàn)的行人誤檢測和DeepSORT算法匹配檢測框錯誤的情況。

2.3 數(shù)據(jù)可視化

本研究采取3種方法對軌跡數(shù)據(jù)進(jìn)行可視化，分別為行人軌跡圖、人群分布熱力圖和行人速度熱力圖。

1）行人軌跡圖。將經(jīng)過數(shù)據(jù)清洗的行人軌跡疊加在研究區(qū)域公共空間的航拍圖像上，直觀展示了視頻拍攝期間的行人軌跡及走向。該圖中每一條軌跡的寬度為1個像素，并為不同軌跡賦予隨機的顏色以示區(qū)分。

2）人群分布熱力圖。可視化了行人位置的空間分布情況。首先將拍攝范圍柵格化，而后統(tǒng)計每個柵格中檢測框中心點的數(shù)量，以該值代表柵格內(nèi)的人群數(shù)量。在該圖中，一個柵格的顏色越淺，則區(qū)域中行人經(jīng)過的次數(shù)越多。

3）人群行走速度熱力圖?？梢暬诵腥怂俣鹊目臻g分布情況，采用了與行人分布熱力圖相同的表示方法。在該圖中，一個柵格的顏色越淺，則經(jīng)過該區(qū)域的行人的平均速度越快。

3 公共空間人群分布特征

本研究以天津大學(xué)內(nèi)的3個公共空間為例，使用深度學(xué)習(xí)算法分析人群分布特征并進(jìn)行可視化（圖5）。在3個研究場地均拍攝5段時長約為20 min的視頻（表1），再對這5段視頻綜合分析并得出結(jié)論。本節(jié)圍繞以下2方面進(jìn)行討論：1）3個案例中行人軌跡的特點并分析其成因；2）分析該研究方法可表征的空間特性。

圖5 研究案例選取及其位置Study case selection and their locations

表1 視頻數(shù)據(jù)收集情況Tab. 1 Video data collection

3.1 行人軌跡圖像

基于深度學(xué)習(xí)的方法可有效地從視頻中實時得出公共空間的行人軌跡數(shù)據(jù)，并對其進(jìn)行量化分析（圖6）。本節(jié)分別利用行人軌跡圖、人群分布熱力圖和行人速度熱力圖描述人群分布特征。

圖6 實證研究可視化結(jié)果Visualized results of the empirical study

案例A，行人軌跡主要為連通了出入口以及周邊的建筑入口，其中行人分布最密集的路徑連接了西北與東南處入口，即天津大學(xué)衛(wèi)津路校區(qū)科學(xué)圖書館和第26教學(xué)樓入口，后者是天津大學(xué)衛(wèi)津路校區(qū)主要的教學(xué)樓之一。對行人速度進(jìn)行分析可發(fā)現(xiàn)，案例A具有明顯的高速度分布區(qū)域，該路徑連接了該公共空間的西北部入口與西南部入口。造成這一情況的原因為該公共空間的西南角為第26教學(xué)樓的自行車停放點之一，故部分使用該路徑的人會騎自行車。

案例B周邊建筑為第26教學(xué)樓和學(xué)三食堂，其行人軌跡方向連通了出入口和周邊的建筑入口。高密度行人路徑為南部及西部的路徑，北部的路徑上人流量則較小，這表明該公共空間中26教學(xué)樓A座的使用頻率顯著高于B座。該案例中的行人速度分布相對較為均勻，快速路徑主要分布于北側(cè)，其連接了26教學(xué)樓的自行車存放點。

案例C以校園東西向中軸線對稱布局，有3個出入口和3條路徑。分析結(jié)果顯示，行人軌跡分為2條，一條連接了北部入口和南部入口，該路徑沿敬業(yè)湖和北洋紀(jì)念亭一側(cè)的行人分布密度顯著高于另一側(cè)，這與景觀要素對行人的吸引有關(guān)；另一條連接了東部入口和北部入口，該路徑在張?zhí)椎袼芤粋?cè)分成了2股人流，其中南側(cè)的人流量顯著高于北側(cè)，南部入口與東部入口之間的路徑行人數(shù)量極少，這說明該路徑未發(fā)揮有效的作用。與案例A、B相比，案例C中不存在高速路徑，這一現(xiàn)象的原因為該公共空間周邊設(shè)置有圍欄，自行車無法進(jìn)入，行人均為步行，故速度相差不大。

通過對3個研究案例的分析，可發(fā)現(xiàn)獲取人群行為軌跡時，案例C中的軌跡ID身份轉(zhuǎn)換現(xiàn)象更為嚴(yán)重。這是因為軌跡識別的準(zhǔn)確度與無人機采集圖像的高度有關(guān)，具體來說，當(dāng)無人機采集視頻時的高度越低時，視頻中的行人越清晰，且視頻邊緣的行人畸變程度越低，因此識別算法的準(zhǔn)確率也越高，識別出的行人軌跡的完整度也越高。因此在使用本方法時，應(yīng)當(dāng)為采集視頻的無人機設(shè)定適合的飛行高度，過高的飛行高度可能導(dǎo)致研究結(jié)果不佳。

3.2 空間特性表征

通過對比上述3個案例人群分布特征的分析，可發(fā)現(xiàn)本研究提出的研究方法可以表征以下2類空間特性。

1）可表征公共空間各個出入口之間的連接強度。通過使用人群分布熱力圖，可發(fā)現(xiàn)公共空間中2個出入口之間的路徑上行人分布越密集，這二者之間的連接強度越強。例如在案例A中，其連接強度最強的路徑連接了西北與東南處的入口。在案例C中盡管南側(cè)入口和東側(cè)入口間也具有連通路徑，但是其行人數(shù)量很少，因此可判斷出這2個入口間的連接強度較弱。通過這一方法，設(shè)計師就能夠判斷出不同路徑的使用強度，進(jìn)而在設(shè)計和改造時采用不同的設(shè)計策略。

2）可表征公共空間中速度不同行人的選擇路徑的空間分布差異。在行人速度熱力圖中，若存在平均速度較快的路徑，則騎自行車的人數(shù)比例通常較大；反之，則該路徑通常以步行為主。典型案例為案例A，其中使用自行車的路徑連接了西北部入口與西南部入口。通過這一方法，設(shè)計師可對公共空間行人的交通方式進(jìn)行判斷，使用不同的設(shè)計策略進(jìn)行應(yīng)對，如在公共空間中布置合理的自行車道等。

4 討論

當(dāng)前，環(huán)境與人的互動關(guān)系得到了越來越多的關(guān)注[3,30]。利用大數(shù)據(jù)、深度學(xué)習(xí)等新技術(shù)，研究者可以更高效地通過行人的空間位置信息、速度信息等數(shù)據(jù)感知人與空間之間的關(guān)系[31]。而實時數(shù)據(jù)的獲取可極大地提高大數(shù)據(jù)的利用效率。在研究方法上，本研究方法突破了傳統(tǒng)的基于計算機視覺算法獲取人群軌跡數(shù)據(jù)方法的局限?；谏疃葘W(xué)習(xí)的算法可實現(xiàn)對公共空間行人軌跡的實時采集和分析，并獲得精確的公共空間行人分布情況及速度分布情況圖。

在研究方法方面，該方法有其不足之處，主要有以下3點。1）利用無人機拍攝視頻時，由于高空風(fēng)力大，無人機無法保持靜止?fàn)顟B(tài)，這也導(dǎo)致視頻會有輕微的抖動。對此可使用抗風(fēng)性能更好的無人機進(jìn)行改進(jìn)。2）當(dāng)前方法對無人機飛行高度有限制，當(dāng)飛行高度過高時其識別結(jié)果較差。這限制了該方法在大規(guī)模空間的應(yīng)用，未來可探索采用無人機多機位拍攝的方法加以解決。3）本研究采用2種基于深度學(xué)習(xí)的算法，其中Yolo-v3算法存在行人誤識別問題；DeepSORT算法無法消除行人ID身份轉(zhuǎn)換的問題。在未來的研究中，應(yīng)采用魯棒性更強、識別能力更佳的算法來取代文中使用的算法，從而擴大本研究提出方法的適用范圍。

在設(shè)計實踐方面，隨著我國國民對城市公共空間要求的提高，如何科學(xué)有效地評估既有公共空間質(zhì)量成為風(fēng)景園林學(xué)面臨的重要挑戰(zhàn)[7]。利用基于深度學(xué)習(xí)的方法可實時獲取并評估人群在公共空間中的分布特點，從而解答如公共空間出入口利用率、路徑人群分布情況、行人步行速度快慢等設(shè)計師關(guān)注的問題。其結(jié)果可輔助設(shè)計師更客觀地了解公共空間人群行為的空間分布特征，進(jìn)而評估設(shè)計質(zhì)量，作為改造設(shè)計的依據(jù)。

在設(shè)計理論方面，基于深度學(xué)習(xí)的計算機視覺算法在風(fēng)景園林學(xué)領(lǐng)域有如下的發(fā)展契機：1）通過使用多目標(biāo)檢測算法，獲得公共空間中不同類型行為的時空間分布特征[32]，從而發(fā)現(xiàn)人們使用公共空間的普適性規(guī)律；2）通過更為精細(xì)化地區(qū)分人群類型，得出可分析行人具體類型的模型，例如可依據(jù)年齡、性別等將人群進(jìn)行劃分，進(jìn)而分析不同人群空間行為分布的差異性；3）擴展檢測算法的應(yīng)用范圍，利用圖像分割算法自動識別視頻中除行人外其他的景觀要素[33]，例如樹木、水域等，通過與使用者行為數(shù)據(jù)的共同分析，可得出景觀要素與人群行為的關(guān)系。在當(dāng)前的風(fēng)景園林學(xué)領(lǐng)域，基于計算機視覺的人群行為研究方法尚有進(jìn)一步發(fā)展的潛力，這也是未來學(xué)科發(fā)展的趨勢之一。

5 結(jié)語

本研究提出了一種基于深度學(xué)習(xí)的計算機視覺算法實時分析公共空間人群行為的方法，并以天津大學(xué)衛(wèi)津路校區(qū)內(nèi)的3個公共空間為例進(jìn)行說明。

在方法層面上，本研究發(fā)現(xiàn)：1）基于深度學(xué)習(xí)的計算機視覺算法可有效地實時獲得公共空間中人群行為軌跡，經(jīng)過處理后這一數(shù)據(jù)可作為評估公共空間的依據(jù)；2）通過對獲取軌跡數(shù)據(jù)的可視化處理，可直觀獲得公共空間出入口連接強度和路徑上行人交通方式的信息；3）使用本方法時，采集數(shù)據(jù)的無人機飛行高度不應(yīng)過高。

在理論層面上，本研究發(fā)現(xiàn)：1）可使用人群分布熱力圖的方式表征公共空間不同部分的使用強度，使用行人速度熱力圖表征公共空間速度分布情況，這種基于深度學(xué)習(xí)的公共空間人群行為實時分析和可視化方法可為未來的公共空間的設(shè)計和改造提供數(shù)據(jù)支持；2）展望未來，隨著信息技術(shù)的發(fā)展，研究者可使用更為精細(xì)化的空間數(shù)據(jù)描摹空間客觀使用狀態(tài)，這種基于數(shù)據(jù)支持的研究方法會推動風(fēng)景園林學(xué)科走上一條更精細(xì)化、科學(xué)化和人本化的道路。

圖表來源(Sources of Figures and Tables)：

文中圖表均由作者繪制。