張 珣，薛云哲

（杭州電子科技大學現(xiàn)代電路與智能信息研究所，浙江杭州 310018）

0 引言

從1852 年至今的168 年間，零售業(yè)態(tài)經(jīng)歷了百貨商店、連鎖店、大型商超、線上商店到智能新零售業(yè)態(tài)5 次變化歷程。智能新零售業(yè)態(tài)是指購物行為依托現(xiàn)代信息技術如IOT（物聯(lián)網(wǎng)）、虛擬現(xiàn)實、增強現(xiàn)實、混合虛擬現(xiàn)實、Big-Data（大數(shù)據(jù)）、AI（人工智能）、區(qū)塊鏈等，使銷售、購物、物流配送、在線支付等環(huán)節(jié)智能化，給人們帶來便捷的購物體驗，從而拉動購物需求，提高人們的購買力，是一種多要素、多渠道的營銷手段，例如“海底撈”推出的智能點單機器人、學校和醫(yī)院等出現(xiàn)的“自動便當機”、杭州阿里集團旗下的“智慧無人酒店”等。智能新零售業(yè)態(tài)正在不斷深入人們生活的方方面面。

通過參閱以往文獻，傳統(tǒng)商鋪電能消耗和人力資源消耗分別占總成本的25%和40%［1］，電力浪費嚴重。隨著大數(shù)據(jù)與人工智能時代的到來，智能零售商鋪依托深度學習網(wǎng)絡，可以有效地對各大型耗電設備進行智能自動化調控，一方面減少了能源損耗，節(jié)省了電力能源，另一方面解放了人力，降低了人力資源成本。但目前存在的問題是，大部分深度學習網(wǎng)絡較為復雜，難以訓練或訓練周期長，不適應商業(yè)的快速發(fā)展，識別率也偏低，達不到預期效果。

本文基于智能組網(wǎng)［2］及深度學習網(wǎng)絡建模等思想，采用端到端的網(wǎng)絡架構，實現(xiàn)數(shù)據(jù)的實時有效采集與展示，輔助新零售商鋪節(jié)能節(jié)電，從而降低商家運營成本。該系統(tǒng)還能豐富居民的購物體驗，使人們真正在現(xiàn)實生活中感受到高科技帶來的便捷與高效。

1 人流密度監(jiān)測系統(tǒng)總體框架

本文設計一個智能商鋪人流密度監(jiān)測系統(tǒng)，以實現(xiàn)對商鋪內擁擠的人群進行智能監(jiān)測、控制等多種功能［3-7］。該智能控制系統(tǒng)總體框架如圖1 所示。

Fig.1 Overall framework of pedestrian flow density monitoring system圖1 人流密度監(jiān)測系統(tǒng)總體框架

系統(tǒng)主要由數(shù)據(jù)采集、數(shù)據(jù)接收、數(shù)據(jù)分析、數(shù)據(jù)展示等模塊組成，數(shù)據(jù)采集自智能組網(wǎng)傳感器，采集的數(shù)據(jù)經(jīng)通信層存儲到數(shù)據(jù)庫端；數(shù)據(jù)分析是指通過深度學習網(wǎng)絡進行訓練，從而預測出人流密度數(shù)據(jù)，輔助管理人員進行研判；數(shù)據(jù)展示是指通過可視化手段展示數(shù)據(jù)，使數(shù)據(jù)更加直觀，便于分析。經(jīng)算法預測的人流量回傳到前端，生成人流密度狀態(tài)，判斷是否需要對耗電設備采取節(jié)電措施，管理人員也可通過該系統(tǒng)研判是否需要采取人流密度控制措施。

其中，前端利用人流密度監(jiān)測狀態(tài)分類表格進行預測結果展示，本文采用10 檔百分比模式進行人流密度狀態(tài)控制，具體分類如表1 所示。

Table 1 Classification of passenger flow density monitoring表1 人流密度監(jiān)測分類

商鋪管理者可手動設定人流量最大閾值，根據(jù)網(wǎng)絡預測出的實際人數(shù)與閾值人數(shù)比值進行百分比轉化，得到人流密度狀態(tài)，供管理者研判，進而對用電設備進行控制。

2 系統(tǒng)框架設計

2.1 數(shù)據(jù)庫設計

本文使用MySQL 數(shù)據(jù)庫存儲算法返回的數(shù)據(jù)，根據(jù)需要設計了user、picturedata、status 3 個表格。其中，user 存儲管理員信息，如管理員權限、名稱與密碼等；picturedata 主要包括傳感器采集到的二進制圖片信息，如區(qū)域標識、圖片二進制字段等；status 主要包括數(shù)據(jù)經(jīng)處理后生成的狀態(tài)信息，如狀態(tài)碼、狀態(tài)說明字段等。

2.2 系統(tǒng)前后端設計

系統(tǒng)后臺編程語言使用Java，服務器使用輕量級服務器Tomcat，以便于環(huán)境搭建與參數(shù)配置。前端基于HTML5技術設計系統(tǒng)界面，利用CSS 渲染界面，以及JavaScript 語言進行數(shù)據(jù)動態(tài)展示。前后臺交換報文采用JSON 格式，前臺利用AJAX 技術進行數(shù)據(jù)收發(fā)，以提高頁面響應速率。系統(tǒng)主要實現(xiàn)以下功能：

（1）使用Socket 網(wǎng)絡編程接收智能組網(wǎng)采集系統(tǒng)收集的實時人流密度圖片數(shù)據(jù)，后臺服務端開放端口，與客戶端建立連接。若連接建立成功，則可通過該通道把采集系統(tǒng)接收的數(shù)據(jù)按一定時間間隔發(fā)送到后臺（本文每5min 接收一次數(shù)據(jù)），之后服務端傳遞數(shù)據(jù)到后臺數(shù)據(jù)庫，存儲于相應字段等待處理。

（2）通過選擇區(qū)域信息，動態(tài)獲取該區(qū)域的人流密度監(jiān)測狀態(tài)和實時人流數(shù)據(jù)進行信息聯(lián)動查詢。利用該方式可大幅提高頁面響應速率，因為不用加載全部數(shù)據(jù)，只加載需要的部分即可。

（3）內置深度學習算法進行人流密度狀態(tài)監(jiān)測，把深度學習網(wǎng)絡內置到后臺，數(shù)據(jù)存儲到數(shù)據(jù)庫后，后端系統(tǒng)調用算法并取出數(shù)據(jù)投入訓練。算法進行最終的圖像人數(shù)預測，將結果存儲于數(shù)據(jù)庫，供前端展示。

（4）可視化人流密度數(shù)據(jù)，利用表格和折線圖等方式直觀展示商鋪各區(qū)域人流密度狀態(tài)，幫助管理人員判斷是否需要采取相應的限流、節(jié)能措施，并對算法預測數(shù)據(jù)進行統(tǒng)計，自動生成4 種類型的圖表：①以小時為單位的人流密度走勢圖；②以天為單位的人流密度走勢圖；③以月為單位的人流密度走勢圖；④人流密度狀態(tài)實時圖，從而讓商鋪管理人員可以更全面地制定運營策略，令新零售商鋪實現(xiàn)敏捷性經(jīng)營。

3 基于深度學習的新零售商鋪人流監(jiān)測分析模型

3.1 數(shù)據(jù)選擇

本文采用公開數(shù)據(jù)集ShanghaiTech dataset，分為part_A_final 和part_B_final 兩個子數(shù)據(jù)集。其中，part_A_final 采用300 張圖片作為訓練集，182 張圖片作為測試集，該部分為稠密人群數(shù)據(jù)集；part_B_final 采用400 張圖片作為訓練集，316 張圖片作為測試集，該部分為稀疏人群數(shù)據(jù)集。數(shù)據(jù)集共有1 198 張圖片，330 165 個注釋頭。數(shù)據(jù)樣式如圖2 所示。

Fig.2 Selected public data set圖2 選用的公開數(shù)據(jù)集

3.2 ground-truth 值產生

由于最終決定深度學習網(wǎng)絡模型識別準確性的標準是經(jīng)算法預測的密度圖計數(shù)與實際密度圖計數(shù)的差值，而實際密度圖計數(shù)就是ground-truth 值。將數(shù)據(jù)集中標定的人頭圖像轉化為實際密度圖的過程尤為關鍵，該過程生成的密度圖被稱為ground-truth 圖。根據(jù)文獻［8］中生成密度圖的方法，本文將一幅標定人頭的圖像看作二維數(shù)值矩陣，有人頭標記坐標處的值置1，其他位置的值置0，利用高斯自適應濾波核估計每個人頭（置1 處）大小，即其實際占幾個像素，并分別進行高斯自適應濾波處理，將結果疊加到新的對應大小的0 矩陣上，形成最終的密度圖。

其中，高斯自適應濾波核定義如下：

對于每個注釋頭x（i人頭中心坐標），本文用其最近鄰k個標注頭的矢量和表示,為自適應的高斯濾波核。依照文獻［8］中提供的實驗說明，β=0.3 且k=3 時效果最佳。本文用該自適應高斯濾波核作用于每個圖片的注釋頭，最終疊加生成最終的密度圖。

3.3 模型選擇

起初研究人員采用滑動窗口［9］直接進行人群探測計數(shù)，但該方法通常只能提取較低層次的特征，所以在大規(guī)模人群計數(shù)場景下效果會明顯變差。隨著近年來對深度學習研究的不斷深入，基于密度圖并結合CNN 的深度學習網(wǎng)絡在大規(guī)模擁擠人群計數(shù)中顯示出良好效果，尤其是近年來提出的MCNN［10］網(wǎng)絡即為其中的經(jīng)典模型。該模型采用3 個深度卷積神經(jīng)網(wǎng)絡，利用不同尺寸的卷積核適應不同的人頭尺寸以提取特征，并最終合并3 個網(wǎng)絡結果生成密度圖。最近提出的Switch-CNN［11］等網(wǎng)絡都是在MCNN 網(wǎng)絡結構基礎上優(yōu)化而來的，因此本文也基于part_A_final 數(shù)據(jù)集，采用經(jīng)典的MCNN 進行對比試驗，如表2 所示。

Table 2 Performance comparison of common deep convolution network（CNN）and MCNN表2 普通深度卷積網(wǎng)絡（CNN）與MCNN 性能對比

表2 采用普通單列的深層CNN 網(wǎng)絡與經(jīng)典MCNN 網(wǎng)絡進行對比，并利用MAE 指標進行評估，發(fā)現(xiàn)單列深層的CNN 網(wǎng)絡表現(xiàn)更為出色。也即是說，MCNN 網(wǎng)絡似乎并沒有因網(wǎng)絡冗余度增加而提高識別性能，其不同尺度的卷積網(wǎng)絡在該數(shù)據(jù)集上的表現(xiàn)大致相同，另外MCNN 網(wǎng)絡相對于單列CNN 網(wǎng)絡更加復雜，且難以訓練。本系統(tǒng)采用一種以VGG16［12］作為前端網(wǎng)絡的CSRNet［13］網(wǎng)絡，采用VGG16作為前端網(wǎng)絡是由于其可以接收任意尺寸的圖片，無需縮放輸入圖片而導致特征丟失，并且VGG16 可以靈活拼接后端網(wǎng)絡產生密度圖。后端網(wǎng)絡是由多個膨脹卷積層［14-16］構成的深度學習網(wǎng)絡，膨脹卷積層可以提取更深層次的特征信息，以彌補VGG16 池化層帶來的分辨率下降與特征丟失的風險，而且其屬于端到端的單列CNN 深度學習網(wǎng)絡，易于訓練。CSRNet 網(wǎng)絡模型框架如圖3 所示。

3.4 模型訓練過程

CSRNet 前端網(wǎng)絡VGG16 直接讀取訓練好的權重，后端網(wǎng)絡初始化權重參數(shù)，賦隨機值，把預處理后的圖片投入網(wǎng)絡進行訓練，利用損失函數(shù)和隨機梯度下降算法進行權重參數(shù)的迭代優(yōu)化。大約進行200 批次訓練后［17］，調優(yōu)參數(shù)變化趨于平穩(wěn)，得到最終算法，可將權重參數(shù)存儲起來待之后調用。

3.5 數(shù)據(jù)預處理

圖片無法直接加載進算法進行訓練，因此需要首先轉化為矩陣數(shù)組，此時可進行歸一化處理以減小計算量，并保證數(shù)據(jù)不會丟失特征維度。由于前端基于VGG16 網(wǎng)絡，輸出圖片大小會縮小為原圖的，所以需要進行相應預處理。

Fig.3 CSRNet network model framework圖3 CSRNet 網(wǎng)絡模型框架

4 算法原理

4.1 神經(jīng)網(wǎng)絡計算公式

神經(jīng)網(wǎng)絡由若干層組成，計算過程以輸入層到輸出層的順序執(zhí)行，上層輸入可作為下層輸出。具體公式為：

其中，z(l)為第l層神經(jīng)元輸出結果，W為各節(jié)點權重，b為修正常數(shù)，a(l)、z(l)為激活函數(shù)計算中間項，f為激活函數(shù)。

4.2 反向傳播網(wǎng)絡

該算法的函數(shù)設為L（W，b），計算公式如下：

輸出層單元i的殘差為：

第l層的第i個單元殘差為：

計算L（W，b）對w和b的偏導：

最終使用SGD［18］（隨機梯度下降算法）對W和b更新迭代：

其中，α為學習率。

4.3 膨脹卷積層

本深度學習網(wǎng)絡設計最重要的一環(huán)就是對后端網(wǎng)絡膨脹卷積層［19-20］的設計，一個二維膨脹卷積定義如下：

其中，y(m,n)為卷積層的輸出，ω(i,j)是長寬分別為M、N的卷積核，r為膨脹卷積的步長。

前端網(wǎng)絡進行了3 次池化［21-22］，池化的優(yōu)勢是可以保證數(shù)據(jù)的不變性，并抑制過擬合的發(fā)生，但也有諸多缺點，如圖片的空間分辨率會下降且丟失部分空間特征信息，導致整個網(wǎng)絡性能不佳。為解決這一問題，后端網(wǎng)絡引入膨脹卷積的概念。膨脹卷積采用稀疏核（見圖4），在不改變參數(shù)量的情況下增大感受野，以提取更多維度的圖像特征信息。在膨脹卷積中，k*k 大小的卷積核在步長為r 的條件下可增大到（k+（k-1）（r-1））*（k+（k-1）（r-1）），所以膨脹卷積層可以靈活獲取圖像不同尺度的特征信息，同時保證不改變圖像分辨率，從而提高深度學習網(wǎng)絡識別率。

Fig.4 3 * 3 convolution kernel圖4 3*3 的卷積核

4.4 評估網(wǎng)絡模型

衡量一個預測類深度學習網(wǎng)絡模型的標準通常是預測值是否擬合實際值，通俗講就是網(wǎng)絡預測是否準確?；诖耍疚纳疃葘W習網(wǎng)絡模型評估采用MAE［23］作為衡量網(wǎng)絡模型質量的標準，具體定義如下：

其中，N為投入訓練的N張圖片，分別是投入訓練第i張圖片的實際人數(shù)和算法預測人數(shù)。

5 評估結果

根據(jù)網(wǎng)絡輸出的人流密度預測值對人流密度進行實時分類，采用表格、折線圖等手段在前端進行可視化展示，讓管理者通過直觀的數(shù)據(jù)精準、科學地作出決策，以調控商鋪人流密度，避免水電浪費。如管理者可自定義人流密度閾值，當網(wǎng)絡預測結果高于閾值前端反饋Abnormal_higher 時，可以適度采取限流措施，增大電器用電功率；當網(wǎng)絡預測結果低于閾值前端反饋Abnormal_lower 時，可以適度采取節(jié)能措施，降低電器能耗。該方式既不會影響顧客體驗，又避免了不必要的浪費。此處對part_A_final（稠密人群數(shù)據(jù)集）中的實際值與預測值進行了對比，如圖5 所示。

Fig.5 Part_ A_ final：comparison of ground truth image and prediction result圖5 Part_A_final：ground-truth 圖片與預測結果對比

最終，CSRNet 在part_A_final與part_B_final數(shù)據(jù)集的MAE參數(shù)如表3所示。

Table 3 MAE parameter of CSRNet in part_A_final and part_B_final表3 CSRNet 在part_A_final 與part_B_final 的MAE 參 數(shù)

從表3 可以看出，CSRNet 在稠密人群數(shù)據(jù)集中的MAE為75.3，在稀疏人群數(shù)據(jù)集中的MAE 為9.65，也即是說CSRNet 在part_A_final 中，平均每張圖片與其實際值相差75.3，在part_B_final 中，平均每張圖片與其實際值相差9.65。對比表2，其識別性能也優(yōu)于經(jīng)典的MCNN 網(wǎng)絡與CNN 網(wǎng)絡，且訓練過程更加便捷。該網(wǎng)絡具有實時性，即可實時傳入圖片數(shù)據(jù)，實時更新前端狀態(tài)。此處截選幾個重要時間節(jié)點的人流密度狀態(tài)加以說明，如表4 所示。

Table 4 Real time status of passenger flow density表4 人流密度實時狀態(tài)

根據(jù)前端顯示的人流密度狀態(tài)，管理者可根據(jù)實際情況對耗電設備進行調節(jié)，如處于AbNormal_Lower（21%-30%）狀態(tài)時可適當減少照明功率、降低空調風速等，處于AbNormal_Heigher（71%-80%）狀態(tài)時可提高空調功率、增加排風措施等，從而給顧客帶來更好的購物體驗。

6 結語

本文根據(jù)對CSRNet 深度學習網(wǎng)絡算法、標定數(shù)據(jù)、智能組網(wǎng)的研究，給出了新零售商鋪智能用電解決方案。搭建基于深度學習網(wǎng)絡的新零售商鋪人流密度分析系統(tǒng)，以實時采集的人流圖片作為輸入特征、預測人流量作為輸出結果搭建模型，指導工作人員操作用電設備。該系統(tǒng)對傳統(tǒng)商鋪的機械性定時開關電器進行了優(yōu)化，較好地解決了大型商超用電浪費等問題，符合當代新零售商鋪智能、環(huán)保的要求，具有較高的研究價值。該系統(tǒng)仍可作進一步完善，如利用自動控制算法及組網(wǎng)對用電設備進行自動調節(jié)，以進一步解放人力，形成自動化系統(tǒng)，這是今后需要重點研究的方向。