孫宇彤

（吉林電子信息職業(yè)技術(shù)學(xué)院，吉林吉林 132021）

人群信息檢測是智慧城市建設(shè)過程中城市管理的支撐技術(shù)之一，其功能是利用公共場所的監(jiān)控設(shè)備實(shí)時(shí)獲取人群信息，然后由邊緣計(jì)算系統(tǒng)對數(shù)據(jù)信息進(jìn)行計(jì)算、分析，在準(zhǔn)確識別人群中異常狀況后發(fā)布預(yù)警信息，提醒相關(guān)部門采取措施加強(qiáng)人群秩序管理，從而避免因?yàn)槿巳哼^于密集而出現(xiàn)踩踏等事故，切實(shí)保障公共安全。本文基于人工智能技術(shù)設(shè)計(jì)的邊緣計(jì)算系統(tǒng)，具有較高的實(shí)時(shí)性、可靠性，通過人群信息分析不僅能輔助公共場所的秩序管理，而且在城市規(guī)劃、公共設(shè)施配置與資源調(diào)度等方面也發(fā)揮了重要作用。

1 邊緣計(jì)算系統(tǒng)的整體架構(gòu)

基于人工智能的邊緣計(jì)算系統(tǒng)，主要由攝像裝備、邊緣設(shè)備、云服務(wù)器等組成。其中，攝像裝備可以實(shí)時(shí)采集監(jiān)控區(qū)域內(nèi)的圖像信息或視頻信息，并將其發(fā)送至邊緣設(shè)備；部署了神經(jīng)網(wǎng)絡(luò)算法的邊緣設(shè)備，會利用特定算法對采集到的圖像、視頻信息進(jìn)行運(yùn)算處理，并基于HTTP（超文本傳輸協(xié)議）將分析結(jié)果發(fā)送到云服務(wù)器上進(jìn)行直觀呈現(xiàn)，以便于管理人員了解人群密度、人群流向。邊緣計(jì)算系統(tǒng)的整體架構(gòu)如圖1 所示。

本文設(shè)計(jì)的邊緣計(jì)算系統(tǒng)主要用于人群信息檢測，系統(tǒng)設(shè)計(jì)需求如下：可利用部署于商場、道路、車站等公共場所的監(jiān)控設(shè)備，實(shí)現(xiàn)對人群信息的全天候、實(shí)時(shí)性監(jiān)測，通過人工智能分析提取人群流向與人群密度等重要信息，在必要時(shí)可以發(fā)出報(bào)警信號，降低監(jiān)控成本并提高檢測效率。

2 邊緣計(jì)算系統(tǒng)的硬件設(shè)計(jì)

2.1 開源CPU 核的選定

基于RISC-V 精簡指令集架構(gòu)的CPU 具有結(jié)構(gòu)簡單、穩(wěn)定性好、能效比高等一系列特點(diǎn)，并且支持自定義指令拓展，與本文設(shè)計(jì)的邊緣計(jì)算系統(tǒng)有較高的切合度，最終選擇基于RISC-V 架構(gòu)的RI5CY 處理器作為系統(tǒng)CPU，RI5CY 的架構(gòu)如圖2 所示。

圖2 RI5CY 的設(shè)計(jì)框圖

圖2中ALU 為邏輯運(yùn)算單元，MULT 為乘法器，兩者組合可以使RI5CY 完成各種邏輯運(yùn)算和乘法運(yùn)算；CSR 為控制和狀態(tài)寄存器，主要用于記錄RI5CY的運(yùn)行狀態(tài)并提供控制信號；LSU 為存儲器訪問的控制模塊，可支持RI5CY 在數(shù)據(jù)存儲器中讀寫數(shù)據(jù)；GPR 為寄存器組。將RI5CY 處理器作為系統(tǒng)CPU，能夠?qū)⒐芾韱T編輯的任意一條指令劃分為4 級流水線，即取值、譯碼、執(zhí)行和寫回4 個(gè)階段，這種流水線結(jié)構(gòu)顯著提升了指令的吞吐率，并在一定程度上縮短了每條指令的運(yùn)行時(shí)間，使得CPU 性能得到明顯的增強(qiáng)。RI5CY 處理器的四級流水線結(jié)構(gòu)見表1。

表1 四級流水線結(jié)構(gòu)

2.2 自定義指令拓展接口的設(shè)計(jì)

本文設(shè)計(jì)的邊緣計(jì)算系統(tǒng)具有較強(qiáng)的可擴(kuò)展性，通過設(shè)計(jì)自定義指令拓展接口，后期可根據(jù)人群信息檢測的實(shí)際需求靈活拓展新的功能，從而降低了系統(tǒng)二次開發(fā)的成本與難度。自定義指令拓展接口包含2個(gè)通道，分別是req_請求通道和rsp_反饋通道。前者的作用是將拓展指令和源操作數(shù)發(fā)送給CPU，后者的作用是將CPU 的運(yùn)算結(jié)果再返回給終端處理器。RI5CY 處理器（即CPU）中的譯碼模塊，對取值模塊產(chǎn)生的指令進(jìn)行譯碼，然后根據(jù)譯碼結(jié)果判斷此指令是否為CPU 指令，如果判斷結(jié)果為“是”，則利用2 個(gè)源操作數(shù)rs1、rs2 進(jìn)一步檢驗(yàn)此指令是否需要讀取源寄存器數(shù)據(jù)信息。如果需要讀取，則CPU 直接從寄存器中調(diào)用相關(guān)數(shù)據(jù)。數(shù)據(jù)寫入后，生成新程序并使系統(tǒng)獲得新功能，完成功能的拓展。

3 邊緣計(jì)算系統(tǒng)的功能實(shí)現(xiàn)

3.1 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

邊緣設(shè)備需要將處理分析的結(jié)果發(fā)送至云服務(wù)器，受到網(wǎng)絡(luò)帶寬的存儲容量的限制，當(dāng)傳輸量較大時(shí)經(jīng)常會出現(xiàn)信道堵塞的情況，導(dǎo)致系統(tǒng)的實(shí)時(shí)性較差。為了降低系統(tǒng)的運(yùn)行功耗、保證處理結(jié)果的實(shí)時(shí)呈現(xiàn)，本文設(shè)計(jì)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)人群信息檢測邊緣計(jì)算模型。在該模型中，基于人工智能的神經(jīng)網(wǎng)絡(luò)算法部署在邊緣設(shè)備中，這樣就保證了邊緣設(shè)備在接收到前端攝像裝備傳輸?shù)膱D像與視頻信息后，能夠提取特征信息并對多個(gè)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行清洗與聚合，從而大幅度減少了需要傳輸?shù)臄?shù)據(jù)總量，降低了對網(wǎng)絡(luò)資源的占用，提高了系統(tǒng)運(yùn)行效率[1]。

根據(jù)處理流程的不同，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可分為“前向傳播”與“反向傳播”2 個(gè)階段。所謂前向傳播，就是利用卷積神經(jīng)網(wǎng)絡(luò)模型對參數(shù)進(jìn)行初始化，輸入數(shù)據(jù)依次經(jīng)過卷積層、池化層及全連接層的處理后，得到輸出數(shù)據(jù)；而反向傳播則是對比輸出值與真實(shí)值，計(jì)算兩者之間的誤差后利用反向傳播算法進(jìn)行參數(shù)更新。在經(jīng)過多次迭代訓(xùn)練后得到神經(jīng)網(wǎng)絡(luò)模型，具體訓(xùn)練過程如圖3 所示。

在卷積神經(jīng)網(wǎng)絡(luò)的前向傳播中，輸入的圖像信息或視頻信息分別經(jīng)過卷積運(yùn)算、池化運(yùn)算和激活函數(shù)處理后，得到圖像或視頻的特征信息。然后將特征信息作為輸入量，輸入到全連接層、歸一化層做進(jìn)一步處理，得到最終的輸出結(jié)果。判斷輸出值與真實(shí)值是否相符，若兩者相符則本次訓(xùn)練結(jié)束；若兩者不相符，則繼續(xù)進(jìn)入反向傳播。同時(shí)，將輸出值與真實(shí)值之間的誤差記為e，將e向前一層返回，通過遞推得到每一層的誤差，并根據(jù)誤差進(jìn)行參數(shù)更新。由于每一層的誤差并不完全相同，相應(yīng)的各層的誤差值求解方法也存在差異，具體如下。

1）對于全連接層之間的誤差，首先求出輸出總誤差，將誤差反向到輸出層的上一層（即全連接層）。由于本層中的誤差是由全連接的神經(jīng)元造成的，首先分別求出每個(gè)神經(jīng)元的誤差，然后再進(jìn)行求和運(yùn)算。每個(gè)節(jié)點(diǎn)誤差=誤差×節(jié)點(diǎn)參數(shù)值。

2）對于池化層誤差，如果需要計(jì)算“最大池化誤差”，可以將誤差直接反向到上層連接節(jié)點(diǎn)；如果需要計(jì)算“平均池化誤差”，則將誤差平均分布到上一層中。

3）對于卷積層誤差，考慮到卷積層中的誤差是通過卷積操作傳遞的，在計(jì)算時(shí)首先要通過卷積核定位本層與上層之間的連接節(jié)點(diǎn)，在此基礎(chǔ)上求上層誤差。確定本層誤差后，在最外層進(jìn)行零填充處理，將卷積核反轉(zhuǎn)后對零填充過程中產(chǎn)生的誤差進(jìn)行卷積操作，最后得出卷積層上一層的誤差[2]。

3.2 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化

在完成卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練后，本文針對邊緣端處理器數(shù)據(jù)處理效率不高的問題進(jìn)行了優(yōu)化，優(yōu)化內(nèi)容包括以下3 個(gè)方面。

首先，將原來的CSRnet 網(wǎng)絡(luò)模型從vggnet 模型替換成了輕量級的mobilenet 模型，將該模型部署在性能要求較低的邊緣端，一方面能夠滿足基本的數(shù)據(jù)運(yùn)算需要，保證邊緣計(jì)算系統(tǒng)各項(xiàng)功能的實(shí)現(xiàn)；另一方面還能大幅度減少計(jì)算量，對減輕系統(tǒng)運(yùn)行負(fù)荷、提高系統(tǒng)響應(yīng)效率也有積極幫助。

其次，對CSRnet 網(wǎng)絡(luò)模型進(jìn)行了參數(shù)剪枝處理。引入評估算法，在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，刪減了許多不重要的參數(shù)和冗余，在確保計(jì)算精度滿足系統(tǒng)使用要求的基礎(chǔ)上最大程度減少網(wǎng)絡(luò)運(yùn)算量。

最后，對參數(shù)作量化處理。在原來的CSRnet 網(wǎng)絡(luò)模型中，使用32 位浮點(diǎn)數(shù)的權(quán)重，浮點(diǎn)數(shù)運(yùn)算過程中會占用較多的存儲空間，導(dǎo)致系統(tǒng)出現(xiàn)響應(yīng)延遲問題。通過參數(shù)優(yōu)化后將32 位浮點(diǎn)數(shù)的權(quán)重和激活值轉(zhuǎn)換為8 位定點(diǎn)數(shù)值。這種定點(diǎn)數(shù)運(yùn)算對硬件設(shè)備的要求更低，占用的資源更少，系統(tǒng)運(yùn)行速度更快。

按照上述方法對該模型進(jìn)行通道裁剪和參數(shù)量化處理后，優(yōu)化后新模型的參數(shù)量比原模型下降了7.2%，將優(yōu)化后模型以tensorflow lite格式輸出到嵌入式平臺[3]。

3.3 系統(tǒng)功能的實(shí)現(xiàn)

邊緣系統(tǒng)內(nèi)布置有若干個(gè)數(shù)據(jù)采集節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)對應(yīng)著一個(gè)監(jiān)控?cái)z像設(shè)備。前端設(shè)備實(shí)時(shí)采集圖像、視頻信息后，傳輸至對應(yīng)節(jié)點(diǎn)后利用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行數(shù)據(jù)運(yùn)算、人群特征提取和分析。完成分析后，節(jié)點(diǎn)會利用網(wǎng)絡(luò)將分析結(jié)果發(fā)送至區(qū)域邊緣總結(jié)點(diǎn)。在總結(jié)點(diǎn)上，對數(shù)據(jù)做清洗、聚合處理后，統(tǒng)計(jì)區(qū)域內(nèi)人群總數(shù)，得到人群流向分析結(jié)果和各節(jié)點(diǎn)擁擠程度分析結(jié)果。如果擁擠程度超過設(shè)定值，還會自動預(yù)警。區(qū)域邊緣總結(jié)點(diǎn)將上述信息匯總成日志，經(jīng)網(wǎng)絡(luò)發(fā)送至云服務(wù)器，云服務(wù)器根據(jù)接收到的日志展開深度分析和智能決策，并將接收到的信息進(jìn)行備份保存到數(shù)據(jù)庫中。邊緣計(jì)算系統(tǒng)的功能實(shí)現(xiàn)如圖4 所示。

圖4 邊緣計(jì)算系統(tǒng)的具體實(shí)現(xiàn)

本系統(tǒng)選擇Pi-Camera 作為圖像、影像的采集模塊，用樹莓派處理器作為邊緣端處理器。將圖像或影像的像素設(shè)定為640×480，傳輸?shù)綐漭珊罄蒙窠?jīng)網(wǎng)絡(luò)模型進(jìn)行計(jì)算、分析，可以得到某個(gè)節(jié)點(diǎn)上的人群數(shù)量。樹莓派節(jié)點(diǎn)能夠做到每3 s 處理一幀圖像，每5 s向邊緣總節(jié)點(diǎn)發(fā)送1 次數(shù)據(jù)，這樣就保證邊緣計(jì)算系統(tǒng)每分鐘可以進(jìn)行12 次人群信息的提取與分析，極大地提高了系統(tǒng)的運(yùn)行性能，完全能夠滿足人群消息檢測的需求[4]。使用ARC iotdk 開發(fā)板作為區(qū)域邊緣總結(jié)點(diǎn)，可支持以下功能。

1）數(shù)據(jù)清洗。邊緣計(jì)算系統(tǒng)的前端包含海量的攝像監(jiān)控設(shè)備，每臺設(shè)備對應(yīng)的節(jié)點(diǎn)會源源不斷地通過局域網(wǎng)向總節(jié)點(diǎn)傳送數(shù)據(jù)。為了減輕系統(tǒng)的運(yùn)行負(fù)荷和提高數(shù)據(jù)處理效率，區(qū)域邊緣總節(jié)點(diǎn)需要對數(shù)據(jù)進(jìn)行清洗，目的是刪除那些帶有明顯錯(cuò)誤的節(jié)點(diǎn)數(shù)據(jù)，在保證數(shù)據(jù)正確性的基礎(chǔ)上達(dá)到“數(shù)據(jù)瘦身”的效果。正常情況下，經(jīng)過數(shù)據(jù)清洗處理后，區(qū)域邊緣總節(jié)點(diǎn)接收的數(shù)據(jù)量會減少20%～40%不等。

2）數(shù)據(jù)聚合。該功能是在完成數(shù)據(jù)清洗的基礎(chǔ)上，對各個(gè)節(jié)點(diǎn)傳送的數(shù)據(jù)進(jìn)行特征信息提取，并根據(jù)提取內(nèi)容展開數(shù)據(jù)計(jì)算，最后匯總計(jì)算結(jié)果。數(shù)據(jù)聚合可以將具有共性特征的數(shù)據(jù)信息按照特定的類別進(jìn)行存儲，為下一步人工智能調(diào)用數(shù)據(jù)并進(jìn)行分析決策提供了便利條件。

3）擁擠警報(bào)。管理員可自定義邊緣計(jì)算系統(tǒng)的總?cè)藬?shù)，以及任意一個(gè)節(jié)點(diǎn)的人數(shù)，將其作為擁擠警報(bào)的閾值。系統(tǒng)在運(yùn)行過程中，對前端攝像監(jiān)控設(shè)備提供的圖像或視頻信息進(jìn)行分析，并計(jì)算出該節(jié)點(diǎn)或總節(jié)點(diǎn)的人數(shù)。將計(jì)算結(jié)果與閾值進(jìn)行對比，如果計(jì)算結(jié)果超出了設(shè)定的閾值，則系統(tǒng)自動發(fā)出報(bào)警信息，提醒系統(tǒng)管理員或者相關(guān)單位及時(shí)采取預(yù)防措施。

4）人群流向預(yù)測。邊緣計(jì)算系統(tǒng)會自動對比各個(gè)節(jié)點(diǎn)的歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)，以此來預(yù)測該節(jié)點(diǎn)未來的人群流向趨勢。同時(shí)，將預(yù)測結(jié)果以可視化圖形的方式呈現(xiàn)，以便于系統(tǒng)管理員能夠直觀地掌握人群流向。

5）本地?cái)?shù)據(jù)備份。ARC iotdk 開發(fā)板在處理數(shù)據(jù)的過程中，還會把原始數(shù)據(jù)和處理后的數(shù)據(jù)分別進(jìn)行備份，然后將備份數(shù)據(jù)保存在本地服務(wù)器[5]。當(dāng)系統(tǒng)管理員需要查看系統(tǒng)日志時(shí)，可以直接從本地服務(wù)器下載相應(yīng)的數(shù)據(jù)。

6）上傳數(shù)據(jù)至云端。區(qū)域邊緣總節(jié)點(diǎn)會根據(jù)設(shè)定好的時(shí)間，通過互聯(lián)網(wǎng)自動將數(shù)據(jù)日志上傳到云端。云端除了提供更加豐富的數(shù)據(jù)分析功能外，還能融合大數(shù)據(jù)計(jì)算、人工智能分析，從而為科學(xué)決策提供依據(jù)。

4 結(jié)束語

基于人工智能的邊緣計(jì)算系統(tǒng)，以公共場所監(jiān)控設(shè)備采集到的實(shí)時(shí)圖像和視頻作為輸入信息，通過提取行人特征信息可以監(jiān)控某個(gè)區(qū)域的人群密度、預(yù)測未來一段時(shí)間內(nèi)的人群流向，從而為城市安全管理、公共空間設(shè)計(jì)、基礎(chǔ)設(shè)施建設(shè)等提供必要的數(shù)據(jù)支持，在智慧城市建設(shè)中發(fā)揮了重要作用。同時(shí)，本文針對云端計(jì)算實(shí)時(shí)性差、網(wǎng)絡(luò)帶寬要求高等問題，采取了卷積神經(jīng)網(wǎng)絡(luò)模型迭代訓(xùn)練與優(yōu)化措施，經(jīng)過優(yōu)化的系統(tǒng)模型不僅提高了人群信息分析速度，而且在節(jié)約帶寬資源、提高響應(yīng)速度方面也取得了顯著效果，進(jìn)一步提高了邊緣計(jì)算系統(tǒng)的實(shí)用效果。