季 珂,韓龍玫,卿粼波,劉 美,吳曉紅

1(四川大學(xué) 電子信息學(xué)院,成都 610065)

2(成都市規(guī)劃設(shè)計(jì)研究院,成都610081)

1 引言

健康城市的發(fā)展以實(shí)現(xiàn)人的全面、健康發(fā)展為目標(biāo)[1].視力是群體健康的重要指標(biāo)之一,然而現(xiàn)代生活方式、環(huán)境等因素導(dǎo)致人群群體的視力障礙(包括常見的近視、遠(yuǎn)視、散光、弱視等)發(fā)生率呈現(xiàn)上升趨勢[2].視力障礙不僅影響國防和航空等特殊人才的選拔[3],也給生活帶來不便.相關(guān)研究指出,到2050年,近視將對全世界50 億人造成不同程度的負(fù)面影響[4].調(diào)查城市群體的視力情況有助于掌握群體健康的基本情況,制定針對性的政策和措施,為健康城市的建設(shè)打下基礎(chǔ).

近些年調(diào)查群體視力的方法,主要采用以下四種方法:對某一特定群體進(jìn)行普查、在醫(yī)院門診收集視力信息、對某群體分層抽樣收集視力信息和使用問卷調(diào)查的方式收集視力信息.杜連心等人[5]采用對在校學(xué)生進(jìn)行普查的方法調(diào)查小學(xué)生的視力,周珂晶等人[6]通過在門診收集學(xué)齡前兒童的視力信息以了解他們的視力障礙情況,朱夢男等人[7]使用問卷調(diào)查的方式了解某高校醫(yī)學(xué)院大學(xué)生視力情況,他卉等人[8]采用分層隨機(jī)抽樣的方法調(diào)查教學(xué)環(huán)境衛(wèi)生與學(xué)生視力情況.然而,普查會(huì)耗費(fèi)大量的人力物力；問卷調(diào)查存在虛假填寫、調(diào)查結(jié)果質(zhì)量得不到保證、回收率也難以保證的情況；門診收集個(gè)人信息涉及隱私會(huì)帶來諸多不便；分層隨機(jī)抽樣的方法需要對樣本總體情況進(jìn)行了解.視力障礙群體分布廣泛、人數(shù)眾多,使用上述方法調(diào)查難度大,取樣困難.

隨著人工智能的迅猛發(fā)展,利用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)監(jiān)控視頻系統(tǒng)智能化是一個(gè)熱門研究領(lǐng)域.視頻分析技術(shù)已經(jīng)在行人檢測[9]、目標(biāo)跟蹤[10]、性別識(shí)別[11]等領(lǐng)域取得了顯著的成果.基于視頻分析人的屬性在金融、身份驗(yàn)證、安防等領(lǐng)域有著廣泛的應(yīng)用.人的屬性包括性別屬性、穿戴屬性、年齡屬性等,而人臉是人類最重要的生物特征之一,蘊(yùn)含著大量的信息[12].近幾年,視頻大數(shù)據(jù)的研究受到了國內(nèi)外學(xué)者的密切關(guān)注,越來越多的視頻分析技術(shù)與其他領(lǐng)域結(jié)合取得了良好的成果.在聚焦人的屬性上,視頻大數(shù)據(jù)具有得天獨(dú)厚的優(yōu)勢[13].通過視頻分析技術(shù)自動(dòng)的識(shí)別監(jiān)控視頻中人的屬性是一種高效途徑,也是未來的發(fā)展趨勢.

為了提高群體視力調(diào)查的效率,降低數(shù)據(jù)獲取的門檻,本文利用視頻分析技術(shù)提取監(jiān)控視頻中的行人人臉屬性,識(shí)別公共群體中視力障礙的數(shù)量和比例,作為區(qū)域人群群體健康的樣本指標(biāo),由于男女生理結(jié)構(gòu)的不同,為了更加科學(xué)的調(diào)查行人的視力狀況,我們對群體性別進(jìn)行了識(shí)別.我們通過卷積神經(jīng)網(wǎng)絡(luò)中的檢測技術(shù),實(shí)現(xiàn)行人人臉檢測,為了提高性別和眼鏡識(shí)別的效果,我們改進(jìn)了人臉分析卷積神經(jīng)網(wǎng)絡(luò),并對行人人臉屬性進(jìn)行分析,得到的人臉屬性信息包含性別和是否佩戴眼鏡,最終經(jīng)過數(shù)據(jù)量化,在Web 端進(jìn)行可視化展示.該方法為調(diào)查員調(diào)查群體健康節(jié)省了巨大的工作量,提供了重要的數(shù)據(jù)支撐,并為統(tǒng)計(jì)調(diào)查領(lǐng)域研究群體健康提供了新思路.

2 整體方案設(shè)計(jì)

2.1 系統(tǒng)框架設(shè)計(jì)

為了研究行人的人臉信息,獲得的監(jiān)控視頻首先需要進(jìn)行人臉檢測,得到人臉圖像后建立數(shù)據(jù)集進(jìn)行相應(yīng)的分析.本文設(shè)計(jì)的方案易于移植到嵌入式平臺(tái),方案圖如圖1所示.

圖1 系統(tǒng)方案示意圖

本研究主體框架為獲取攝像頭采集的監(jiān)控區(qū)域視頻,檢測視頻中人臉的存在,分析人臉屬性,量化信息在Web 端展示.為了獲得行人群體的視力障礙情況,本文分析的人臉屬性包括行人的性別、是否佩戴眼鏡,同時(shí)記錄對應(yīng)的量化信息,最終對記錄的信息進(jìn)行分析,通過網(wǎng)絡(luò)端實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)查詢的功能.

2.2 系統(tǒng)方案的實(shí)現(xiàn)

人臉檢測部分,目前主要以Faster-RCNN[14]、SSD[15]等目標(biāo)檢測算法為代表,它們都可以用于人臉目標(biāo)檢測,但Faster-RCNN 檢測速度慢,SSD 對人臉小目標(biāo)檢測性能不佳.Zhang 等人[16]在2016年提出的MTCNN 網(wǎng)絡(luò)精度高、速度快.MTCNN 是一種三階級(jí)聯(lián)架構(gòu)方式的快速卷積神經(jīng)網(wǎng)絡(luò)算法.這種算法分為3 個(gè)階段:首先通過淺層CNN 快速產(chǎn)生大量的候選框；其次利用更加復(fù)雜的CNN 精煉候選框,丟棄大量沒有人臉的候選框；最后使用更加強(qiáng)大的CNN 實(shí)現(xiàn)最終人臉的候選框,并輸出五個(gè)人臉面部關(guān)鍵點(diǎn)位置.因此本文選擇MTCNN 來實(shí)現(xiàn)人臉檢測的功能.

在檢測到人臉的基礎(chǔ)上,本文需要進(jìn)行人臉屬性分析,在分析過程需要克服以下幾個(gè)困難:監(jiān)控場景下光照或背景會(huì)變化,視頻中行人不斷移動(dòng)造成視角也隨之改變,采集到的人臉因光照和姿態(tài)變化大,甚至采集到由于行人運(yùn)動(dòng)而模糊的人臉圖像.這些圖像分辨率低,對訓(xùn)練的精度有所影響,俯拍視角也對檢測效果有一定的影響.分析人臉屬性需要使用分類網(wǎng)絡(luò)對性別和是否佩戴眼鏡進(jìn)行分類.目前常用的分類網(wǎng)絡(luò)VGG16[17]、ResNet[18]都可以用于分類,但是上述網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,考慮到本文所設(shè)計(jì)系統(tǒng)需要移植到嵌入式平臺(tái),因此我們在網(wǎng)絡(luò)的選擇上有所約束.跨連卷積神經(jīng)網(wǎng)絡(luò)(Cross-connected CNN,CCNN)結(jié)構(gòu)簡單,簡單的網(wǎng)絡(luò)有助于處理速度的提升,此網(wǎng)絡(luò)符合我們的要求.為了進(jìn)一步提高性別識(shí)別和眼鏡識(shí)別的準(zhǔn)確率,我們改進(jìn)了CCNN 網(wǎng)絡(luò).

數(shù)據(jù)可視化部分通過Web 端系統(tǒng)進(jìn)行展示,監(jiān)控視頻中行人人臉屬性分析處理量化后,Web 端需要從數(shù)據(jù)庫獲取人臉屬性分析量化的數(shù)據(jù),再以圖表的形式展示在Web 端,實(shí)現(xiàn)用戶在瀏覽器查詢基礎(chǔ)數(shù)據(jù)的功能.Web 端系統(tǒng)采用了B/S 架構(gòu),數(shù)據(jù)庫選擇MySQL存儲(chǔ)相關(guān)數(shù)據(jù),前端框架使用AngularJS,后端框架使用Django MTV,應(yīng)用程序接口選擇JavaScript 語言,相關(guān)的圖表繪制采用Echarts.

3 基于CCNN 的人臉屬性分析及改進(jìn)

3.1 人臉屬性分析網(wǎng)絡(luò)的改進(jìn)

張婷等人[19]指出傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在分類上只利用高層次特征構(gòu)造分類器,沒有有效利用低層次特征,如果能將高層次和低層次特征共同結(jié)合用于構(gòu)造分類器,將達(dá)到更好的分類效果.CNN 卷積的過程是不斷篩選的過程,前幾層過濾掉的淺層信息對后面的分類不是沒有用的,淺層的邊緣紋理信息有助于圖像的分類,可以把淺層卷積層的信息特征與深層特征進(jìn)行融合[20].佩戴眼鏡相比未戴眼鏡,眼睛區(qū)域有較大的差別,男女在臉部有額頭形狀、顴骨線條、下巴形狀等不同的特征.

在上述思路下,我們對CCNN 網(wǎng)絡(luò)進(jìn)行了改進(jìn).利用淺層卷積層的特征輸出與最后卷積層特征輸出結(jié)合,融合多層卷積的特征,再將融合層進(jìn)行池化,將中間池化層的信息與深層池化層信息相連,利用融合的方式增強(qiáng)輸入到全連接層的語義信息,最后經(jīng)全連接層對融合的特征信息分類送至輸出層.改進(jìn)的網(wǎng)絡(luò)包含3 個(gè)卷積層,3 個(gè)池化層,2 個(gè)融合層,2 個(gè)全連接層,如圖2所示.使用的激活函數(shù)為ReLU 函數(shù),池化方式為最大池化.為了減少特征信息的損失,輸出層損失函數(shù)為SoftmaxLoss[21].為了降低網(wǎng)絡(luò)移植到嵌入式平臺(tái)的復(fù)雜性,本文性別識(shí)別和眼鏡識(shí)別采用同一個(gè)網(wǎng)絡(luò).

圖2 人臉分析卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

3.2 數(shù)據(jù)集的制作

標(biāo)準(zhǔn)的人臉數(shù)據(jù)集諸如FDDB[22]、Adience[23]、LFW[24]等基本上是水平視角,分辨率較高.FDDB 數(shù)據(jù)集包含野外拍攝的人臉圖像,不適合公共群體場景下的應(yīng)用.Adience 數(shù)據(jù)集通過智能手機(jī)拍攝的人臉圖像,不適合監(jiān)控?cái)z像頭俯拍的特性,并且智能手機(jī)拍攝的圖片清晰度高于監(jiān)控?cái)z像頭得到的圖片.LFW 數(shù)據(jù)集通過網(wǎng)絡(luò)收集的人臉圖像清晰度也較高.而在實(shí)際應(yīng)用中,并不能完全做到水平視角,本文檢測到的人臉分辨率不高,街道上的監(jiān)控視角也多為俯拍視角,對人臉屬性分析有一定的影響,并且公開數(shù)據(jù)集沒有眼鏡數(shù)據(jù)集.在此背景的需求下,本文獲取監(jiān)控視角下的視頻進(jìn)行分析,并制作符合要求的數(shù)據(jù)集.自制數(shù)據(jù)集分辨率低,具有俯拍視角的特性,標(biāo)準(zhǔn)數(shù)據(jù)集與自制數(shù)據(jù)集的對比如圖3所示.

數(shù)據(jù)集的制作過程先使用人臉檢測卷積神經(jīng)網(wǎng)絡(luò)檢測監(jiān)控視頻中存在的人臉,然后將人臉圖片輸出,篩選相對清晰的圖片.將該數(shù)據(jù)集命名為SCU_Face_attributes,如圖4所示.SCU_Face_attributes 包含兩個(gè)部分,即性別數(shù)據(jù)集和眼鏡數(shù)據(jù)集,具體劃分如表1所示.

圖3 數(shù)據(jù)集的對比

表1 數(shù)據(jù)集劃分

性別數(shù)據(jù)集中男性圖片與女性圖片比例近1:1,眼鏡數(shù)據(jù)集中戴眼鏡和未戴眼鏡圖片數(shù)量比例約1:0.89.最終建立各自相對應(yīng)的訓(xùn)練集、驗(yàn)證集、測試集比例約為8:1:1,其中驗(yàn)證集用于訓(xùn)練階段的測試,當(dāng)訓(xùn)練數(shù)據(jù)完成指定迭代次數(shù)后,利用驗(yàn)證集對該階段的訓(xùn)練效果進(jìn)行評估；測試集則用于對已經(jīng)訓(xùn)練好的模型進(jìn)行測試,來驗(yàn)證訓(xùn)練模型的準(zhǔn)確度.

圖4 SCU_Face_attributes

3.3 網(wǎng)絡(luò)的訓(xùn)練和測試

本文實(shí)驗(yàn)條件:所選的PC 機(jī)系統(tǒng)為Ubuntu16.04,主要配置為:Intel(R) Core(TM) i5-3470 CPU @ 3.20 GHz；NVIDIA GeForce GTX 1070 8 GB 顯存,監(jiān)控視頻的分辨率為1280×720,幀速率為25 fps.

使用改進(jìn)的CCNN 網(wǎng)絡(luò)在自制數(shù)據(jù)集的訓(xùn)練集上進(jìn)行訓(xùn)練,性別識(shí)別和眼鏡識(shí)別分開訓(xùn)練,由于使用同一個(gè)網(wǎng)絡(luò)故采用同樣的設(shè)置.本文采取Caffe 框架,網(wǎng)絡(luò)訓(xùn)練參數(shù)的設(shè)置如下:基本學(xué)習(xí)率設(shè)為0.001,池化層步長(stride) 和池化核大小(kernel_size) 設(shè)置為3 和2,此重疊采樣方式能減少過擬合的風(fēng)險(xiǎn),也能保持空間不變性.網(wǎng)絡(luò)動(dòng)量(momentum)設(shè)為0.9、權(quán)重衰減量(weight_decay)設(shè)為0.0005,訓(xùn)練總迭代次數(shù)為40000.

本文的測試部分使用改進(jìn)的CCNN 網(wǎng)絡(luò)在自制數(shù)據(jù)集的測試集上進(jìn)行測試,改進(jìn)的CCNN 網(wǎng)絡(luò)在自制數(shù)據(jù)集訓(xùn)練過程中,能從訓(xùn)練樣本很好的學(xué)習(xí)到人臉的特征,并且訓(xùn)練取得較好的收斂效果,將新的數(shù)據(jù)應(yīng)用到訓(xùn)練好的模型上達(dá)到了如表2所示的準(zhǔn)確度.改進(jìn)的CCNN 網(wǎng)絡(luò)在性別識(shí)別和眼鏡識(shí)別的準(zhǔn)確度上相比CCNN 網(wǎng)絡(luò)提高了約1%,取得了較高的識(shí)別率.

表2 實(shí)驗(yàn)效果展示(%)

4 Web 端數(shù)據(jù)可視化展示

4.1 數(shù)據(jù)庫的設(shè)計(jì)

本文攝像頭位置信息和行人人臉屬性量化信息采用模擬數(shù)據(jù)進(jìn)行效果展示.Web 端主要展示由行人的性別和是否佩戴眼鏡得到的量化信息.其中Camera-Message 數(shù)據(jù)記錄所有關(guān)注的街道攝像頭的信息,包括地理位置經(jīng)緯度、攝像頭id 號(hào)、街道名、關(guān)注時(shí)間和所屬地區(qū),如表3所示.

表3 CamerMessage 數(shù)據(jù)表

為了便于數(shù)據(jù)庫的管理,數(shù)據(jù)庫中將攝像頭的位置信息與攝像頭包含的具體信息分離.攝像頭的命名方式為Camera***(如Camera 005,005 表示CameraMessage 中對應(yīng)的攝像頭id 號(hào)),數(shù)據(jù)庫中人臉屬性對應(yīng)的數(shù)據(jù)表的命名方式為t********(例如t20181125).數(shù)據(jù)表包含對應(yīng)時(shí)間、對應(yīng)時(shí)間的行人數(shù)量、對應(yīng)時(shí)間的男性數(shù)量、對應(yīng)時(shí)間的女性數(shù)量、對應(yīng)時(shí)間的男性戴眼鏡和未戴眼鏡數(shù)量、對應(yīng)時(shí)間的女性戴眼鏡和未戴眼鏡數(shù)量,如表4所示.

4.2 Web 前端網(wǎng)頁的實(shí)現(xiàn)

建設(shè)健康城市需要統(tǒng)計(jì)不同區(qū)域群體的視力障礙情況,本文將行人的人臉屬性信息量化后在地圖上展示,地圖服務(wù)能直觀清楚的展示公共空間中行人的視力障礙情況.本文Web 端系統(tǒng)選擇百度地圖作為開發(fā)框架,百度地圖JavaScript API 是一套由JavaScript 語言編寫的應(yīng)用程序接口,應(yīng)用程序接口豐富、文檔齊全,能夠構(gòu)建交互性強(qiáng)的Web 應(yīng)用[25].地圖服務(wù)需要添加關(guān)注街道的地理位置功能,本文添加關(guān)注街道后,讀取數(shù)據(jù)庫中存儲(chǔ)的關(guān)注街道的信息,地圖上會(huì)以紅色氣泡表示關(guān)注的街道,以此表示部署的攝像頭位置信息.顯示的詳細(xì)信息如圖5所示.

表4 人臉屬性信息表

圖5 關(guān)注街道信息

顯示關(guān)注的街道信息后,需要展示該街道行人人臉屬性信息的數(shù)據(jù).本文使用Echarts 用于實(shí)現(xiàn)量化行人人臉信息展示的功能.Web 端行人人臉信息數(shù)據(jù)的圖表采用基于JavaScript 開發(fā)的可視化庫Echarts[26]繪制.Echarts 提供豐富的圖形接口,圖表種類豐富,可高度定制個(gè)性化可視化圖表.

我們的統(tǒng)計(jì)方法為在同一地區(qū)部署多個(gè)攝像頭,每個(gè)攝像頭監(jiān)控一條街道路段,利用校園一天中上學(xué)、放學(xué)、吃飯的時(shí)間段統(tǒng)計(jì)群體的性別和視力障礙情況.在地圖上選擇一個(gè)已關(guān)注的街道,紅色氣泡標(biāo)注會(huì)變成跳動(dòng)的黃色氣泡標(biāo)注,選擇時(shí)間后,展示某個(gè)攝像頭包含的具體信息,男女比和視力情況示意圖都用餅狀圖顯示,選擇地區(qū)后,該地區(qū)不同街道的性別示意圖和視力情況示意圖的對比都用柱狀圖顯示,如圖6所示.

圖6 Web 端整體展示效果圖

5 結(jié)論與展望

本文提出一種基于CCNN 的監(jiān)控視頻中行人人臉信息的分析方法,首先檢測監(jiān)控視頻中的行人,然后提取人臉屬性得到行人的性別和是否佩戴眼鏡,判別視力障礙數(shù)量,最后在Web 端使用Echarts 進(jìn)行相應(yīng)的圖表繪制,展示了單條街道或者某區(qū)域的人群視力障礙數(shù)量和性別比例.本文將視頻分析技術(shù)引入群體健康的統(tǒng)計(jì)調(diào)查領(lǐng)域,推進(jìn)了調(diào)查領(lǐng)域技術(shù)的發(fā)展,為調(diào)查工作提供了新思路.當(dāng)然,本文方法使用是否佩戴眼鏡這一單一屬性來判斷行人有無視力障礙,不能對佩戴裝飾眼鏡進(jìn)行進(jìn)一步識(shí)別,但相比傳統(tǒng)的視力狀況調(diào)查方法,本文方法涵蓋數(shù)據(jù)面更廣、總體來說精度更高,可以大致反映一定區(qū)域內(nèi)的群體視力狀況.中小學(xué)生、學(xué)齡前兒童群體戴隱形眼鏡、裝飾眼鏡的比例很低,針對這類群體,我們的研究更有價(jià)值.也可以針對后期需求進(jìn)一步拓展設(shè)計(jì),可進(jìn)一步分析年齡結(jié)構(gòu)等數(shù)據(jù),針對特定人群展開調(diào)查統(tǒng)計(jì),并在Web 端分時(shí)段展示分析數(shù)據(jù),滿足建設(shè)健康城市的需求.