夏慧雯,趙中雨,王卓爾*,張清勇,彭峰
基于邊緣計(jì)算的公共交通工具疫情監(jiān)測系統(tǒng)
夏慧雯1,趙中雨2,王卓爾2*,張清勇1,彭峰3
(1.武漢理工大學(xué) 自動化學(xué)院,武漢 430070; 2.武漢理工大學(xué) 信息工程學(xué)院,武漢 430070; 3.武漢理工大學(xué) 智能交通系統(tǒng)研究中心,武漢 430063)( ? 通信作者電子郵箱288484@whut.edu.cn)
現(xiàn)有監(jiān)測系統(tǒng)無法很好地應(yīng)對疫情環(huán)境下存在的交叉?zhèn)魅疽约白匪堇щy等問題,因此提出了一套基于邊緣計(jì)算的公共交通檢測系統(tǒng)的設(shè)計(jì)方案。首先,建立圖數(shù)據(jù)庫來儲存乘車人員與乘車信息,同時(shí)使用雙數(shù)據(jù)庫模型防止建立索引帶來的阻塞,從而完成插入效率與搜索效率的均衡;其次,在車輛人像信息提取中,采用HSV色彩空間對圖片進(jìn)行預(yù)處理,并建立人臉三維空間模型來提升神經(jīng)網(wǎng)絡(luò)的識別準(zhǔn)確率,在目標(biāo)佩戴口罩時(shí),通過較明顯的鼻尖特征點(diǎn)、下頜特征點(diǎn)與未遮擋的鼻梁部特征點(diǎn)回歸出其口鼻等特征點(diǎn)信息;最后,通過度搜索快速找出密切接觸乘客。在特征對比測試中,該方案在BioID數(shù)據(jù)集和PubFig數(shù)據(jù)集上分別達(dá)到了99.44%和99.23%的正確率,且在兩數(shù)據(jù)集上的假陰性率均小于0.01%;在圖搜索效率測試中,在淺層次搜索的時(shí)候,圖數(shù)據(jù)庫與關(guān)系型數(shù)據(jù)庫并無較大差異,當(dāng)搜索層次變深時(shí),圖數(shù)據(jù)庫效率更高;在驗(yàn)證理論可行性之后,模擬了公交車與公交站的實(shí)際環(huán)境,經(jīng)測試所提系統(tǒng)在其中的識別準(zhǔn)確率為99.98%,識別時(shí)間平均約為21 ms,符合疫情監(jiān)測的要求。所提系統(tǒng)設(shè)計(jì)可以滿足疫情時(shí)期公共安全的特殊需求,能夠?qū)崿F(xiàn)人員甄別、路徑記錄、潛在接觸者搜索等功能,從而有效地保證公共交通安全。
邊緣計(jì)算;公共交通;面部特征;圖數(shù)據(jù)庫;神經(jīng)網(wǎng)絡(luò);HSV色彩空間;疫情監(jiān)測
城市公共交通發(fā)展程度標(biāo)志著城市的現(xiàn)代化程度,它不僅提供了大容量的交通運(yùn)輸,也改善了居民的出行條件。其節(jié)約能源、減緩擁堵等優(yōu)點(diǎn)使得公共交通在現(xiàn)代生活中扮演著不可或缺的角色。
公共交通覆蓋面廣、交叉點(diǎn)多、人員可控性弱等特點(diǎn)使得其若成為疫情傳播途徑,則會造成危害強(qiáng)度大、范圍廣、群體廣泛的嚴(yán)重后果。流行性傳染及疾病可能通過直接傳播、接觸傳播、氣溶膠傳播等多種方式將病原體傳遞給易感染者。而在乘客進(jìn)入公共交通后,其搭乘空間相對自由、登乘時(shí)間與地點(diǎn)較為無序,可以有效控制傳染的“保持距離”更多靠乘客自覺,司機(jī)對乘客測溫的方法繁瑣且易受環(huán)境干擾。因而,若有乘客攜帶傳染病病原體,則可能通過四通八達(dá)的公共交通線路傳遞至城市各角落,帶來較大的衛(wèi)生安全隱患。所以,在新型冠狀病毒疫情中,公共交通的衛(wèi)生安全成為了防控等方面的重點(diǎn)與難點(diǎn)。
大規(guī)模的公共交通安全系統(tǒng)領(lǐng)域研究始于2018年,而正式系統(tǒng)方案的提出則始于2020年。2020年,趙曉樸[1]針對軌道交通的安全問題提出了視頻監(jiān)控系統(tǒng)方案,然而該方案僅能夠完成視頻數(shù)據(jù)的采集與儲存,因而存在智能化程度低、儲存成本高、搜索效率低、不易精準(zhǔn)定位個(gè)體等問題;2021年初,林曉偉等[2]提出了智慧安防系統(tǒng),引入了智慧決策,但仍無法解決計(jì)算延遲大、儲存成本高、搜索效率低的問題。同時(shí),現(xiàn)有的系統(tǒng)都無法很好地應(yīng)對傳染性疾病帶來的個(gè)體快速定位與接觸網(wǎng)追溯的新考驗(yàn)。
也正因此,繼續(xù)研究如何監(jiān)督、追溯公共交通的數(shù)據(jù)信息對于公共安全與衛(wèi)生事業(yè)具有重要意義。若能對病原體攜帶者進(jìn)行精確識別與記錄,高效地搜索潛在的接觸者,則可以為最大限度減少傳染風(fēng)險(xiǎn)提供有力支撐,因而如何對乘客特征進(jìn)行提取,如何快速地對大量數(shù)據(jù)進(jìn)行深層次的搜索便成為了值得研究的問題。針對該問題的研究也將對提高城市軌道交通運(yùn)營安全、保障社會穩(wěn)定發(fā)展具有實(shí)踐價(jià)值。
針對以上問題,本文提出了一套基于邊緣計(jì)算的公共交通檢測系統(tǒng)的設(shè)計(jì)方案。該方案可以快速提取與對比人體關(guān)鍵特征點(diǎn),高效搜索可能接觸過感染者的其他乘客。
對于常時(shí)運(yùn)作,公交車會在乘客搭乘時(shí)采集乘客的體溫、數(shù)字化原始生理特征等信息。隨后,上傳至邊緣計(jì)算節(jié)點(diǎn),使用特征點(diǎn)檢測神經(jīng)網(wǎng)絡(luò)對面部不可變特征信息進(jìn)行提取。若邊緣計(jì)算節(jié)點(diǎn)存有云端下發(fā)的攜帶者信息,則將提取的特征點(diǎn)信息與其求取距離,若總距離小于閾值則發(fā)出預(yù)警,阻止乘客登乘;若無異常,則上傳數(shù)據(jù)到云端雙數(shù)據(jù)庫服務(wù)器,為數(shù)據(jù)挖掘等操作提供基礎(chǔ)。同時(shí),針對信息安全的問題,本文方案全程提供了基于Token的合法性驗(yàn)證。其系統(tǒng)方案功能框圖如圖1所示。
圖1 系統(tǒng)方案功能框圖
硬件部分,本文方案使用車載端與邊緣計(jì)算節(jié)點(diǎn)分離的方式,兩者用2.4 GHz進(jìn)行通信傳輸。車載端負(fù)責(zé)采集人臉數(shù)據(jù),處理后呈遞至邊緣計(jì)算節(jié)點(diǎn),邊緣計(jì)算節(jié)點(diǎn)負(fù)責(zé)主體算法的運(yùn)行。當(dāng)公交車??寇囌緯r(shí),會自動嘗試使用2.4 GHz頻段對邊緣計(jì)算設(shè)備提供的無線網(wǎng)絡(luò)進(jìn)行無線連接。當(dāng)公交車連接上該網(wǎng)絡(luò)后,會向局域網(wǎng)中的計(jì)算節(jié)點(diǎn)發(fā)送數(shù)據(jù)。
本文方案提出的特征點(diǎn)檢測神經(jīng)網(wǎng)絡(luò)具有準(zhǔn)確率較高、深度低、計(jì)算量小、適于邊緣計(jì)算的特點(diǎn)。雙數(shù)據(jù)庫設(shè)計(jì)能夠適應(yīng)數(shù)據(jù)庫操作量大、查詢層數(shù)深的特點(diǎn),能夠提高讀寫與查詢效率。信息安全設(shè)計(jì)可以保護(hù)數(shù)據(jù)安全與清潔,保證搜索結(jié)果的可靠性。
由于運(yùn)算的實(shí)時(shí)性要求較高,因而云端服務(wù)器不承擔(dān)較復(fù)雜的運(yùn)算任務(wù),僅需維護(hù)數(shù)據(jù)庫并執(zhí)行可能存在的深層查詢。關(guān)系型數(shù)據(jù)庫(Relational Database)是基于關(guān)系模型建立的數(shù)據(jù)儲存系統(tǒng),其使用列(字段)與行(記錄)儲存結(jié)構(gòu)化信息。當(dāng)有多類信息間存在關(guān)聯(lián)性時(shí),則可使用外鍵等約束將之有機(jī)地聯(lián)系到一起。但當(dāng)遇到關(guān)系復(fù)雜或?qū)哟谓Y(jié)構(gòu)較深的查詢操作時(shí),此類型數(shù)據(jù)庫則會消耗可觀的時(shí)間。
為解決不同數(shù)據(jù)結(jié)構(gòu)的存儲問題,非關(guān)系型數(shù)據(jù)庫——NoSQL(Not Only SQL)被提出。圖數(shù)據(jù)庫是一種使用圖結(jié)構(gòu)的NoSQL,它以節(jié)點(diǎn)(Node)、邊(Edge)與相應(yīng)的屬性(Properties)的形式存儲數(shù)據(jù);因而,它可以將儲存的數(shù)據(jù)有機(jī)地連接在一起,同時(shí)也提供了較高的查詢效率。
對于本文方案,人員信息與公交車信息可以儲存為節(jié)點(diǎn)。其中乘車人員數(shù)據(jù)從公交車信息獲取節(jié)點(diǎn)與邊緣計(jì)算卡中獲取。為保證人員節(jié)點(diǎn)的唯一性,則可以對人員節(jié)點(diǎn)的身份證號添加唯一約束。公交車則分配唯一識別碼作為記錄標(biāo)志。對于每一個(gè)登車的乘客,公交車上的采集系統(tǒng)可以獲得用戶的面部信息與登車時(shí)間等信息,并儲存為節(jié)點(diǎn)間的邊。若乘客搭乘公交車,則記錄其當(dāng)前相關(guān)信息并存入數(shù)據(jù)庫;而當(dāng)乘客與公交車沒有乘車行為時(shí),則兩節(jié)點(diǎn)間沒有邊相連。
對于進(jìn)一步的大數(shù)據(jù)分析,本文可以對某一節(jié)點(diǎn)及與其相連的邊進(jìn)行數(shù)據(jù)挖掘。當(dāng)出現(xiàn)緊急疫情時(shí),云端服務(wù)器也可以根據(jù)乘車時(shí)間等數(shù)據(jù)進(jìn)行潛在感染者分析。
因傳染性疾病在公共區(qū)域內(nèi)有交叉?zhèn)魅镜娘L(fēng)險(xiǎn),所以需要對乘客進(jìn)行高效的查詢與跟蹤。為提高圖數(shù)據(jù)庫的搜索效率,則必須對圖建立索引,但建立索引的代價(jià)是插入與修改效率的下降。
為解決上述矛盾,本文提出了雙數(shù)據(jù)庫方法,記錄數(shù)據(jù)庫負(fù)責(zé)接收所有上傳信息,但僅對信息的合法性做篩查,同時(shí)以記錄增量的方式儲存信息;查詢數(shù)據(jù)庫定期從記錄數(shù)據(jù)庫獲取增量記錄,并對表更新索引。其執(zhí)行方法框圖如圖2所示。此方法可以保證記錄的及時(shí)性與查詢的高效性,避免了因更新索引帶來的插入效率下降[3]。
圖2 雙數(shù)據(jù)庫執(zhí)行方法框圖
對于邊緣計(jì)算節(jié)點(diǎn),在與公交車進(jìn)行通信后獲得其圖片與相關(guān)信息。在對圖片進(jìn)行信息提取后,將所有信息提交到云端數(shù)據(jù)庫。若乘客中存在云端數(shù)據(jù)庫存在的病原體攜帶者或疑似感染者,則可以在乘客完成識別后的極短時(shí)間內(nèi)完成判斷,并提示司機(jī)或直接阻止搭乘。其響應(yīng)速度能達(dá)到秒級,與云端服務(wù)器處理方案高壓力下分鐘級響應(yīng)相比,邊緣計(jì)算節(jié)點(diǎn)可以更有效地保護(hù)公共衛(wèi)生安全。
對于車輛人像信息提取,本文使用CenterNet方法的輕量級的神經(jīng)網(wǎng)絡(luò)模型,并針對公交車的特殊光照環(huán)境進(jìn)行了色彩空間的轉(zhuǎn)換,從而進(jìn)一步提升神經(jīng)網(wǎng)絡(luò)的識別精度。同時(shí),增加眼、眉部特征點(diǎn)個(gè)數(shù),輔以深度較為明顯的特征點(diǎn),實(shí)現(xiàn)了口罩遮擋條件下的特征點(diǎn)識別與特征匹配。
人類面部特征包括可變特征與不可變特征兩大類。可變特征例如面部裝飾品、妝容等,而不可變特征則以面部特征點(diǎn)(landmark)為主。
面部特征點(diǎn)是指人類面部能保持長期不變的、具有較高識別度與判別性的特征點(diǎn)信息。特征點(diǎn)大部分處于骨骼或軟骨邊緣,在解剖學(xué)上具有一定的不變性,適于進(jìn)行匹配[4-5]。邊緣節(jié)點(diǎn)特征提取流程如圖3所示。
圖3 邊緣節(jié)點(diǎn)特征提取流程
在先前的研究中,有研究人員使用過梯度方向直方圖特征進(jìn)行匹配。此外,也有使用局部二值化模式(Local Binary Pattern, LBP)特征進(jìn)行識別的方法,如圓形LBP特征與旋轉(zhuǎn)不變LBP特征可以更好地應(yīng)對多樣化的面部特征。
但對于環(huán)境相對復(fù)雜、面部角度多變的公交車面部識別環(huán)境,以上幾種方法都不能精確地完成高準(zhǔn)確率特征點(diǎn)的匹配,因此本文系統(tǒng)選擇使用深度神經(jīng)網(wǎng)絡(luò)對人臉特征進(jìn)行檢測。
對于攝像頭采集到的畫面,可能存在環(huán)境光照不穩(wěn),如過度曝光或曝光不足、模糊等現(xiàn)象,因而需要對圖片進(jìn)行簡單的預(yù)處理。
面部特征識別需要對光線具有較高魯棒性的算法或色彩空間,而常用的RGB色彩空間雖然可以連續(xù)地表示任意顏色,但對光照比較敏感,輕微的光照擾動便會影響色彩值。而HSV(Hue Saturation Value)對光照條件具有較高的魯棒性。實(shí)驗(yàn)結(jié)果表明面部識別在HSV色彩空間下具有較高的準(zhǔn)確率[6-7]。
HSV空間,也被稱作HSB(Hue Saturation Brightness)空間,其三通道分別是色調(diào)、飽和度、亮度。
色調(diào)的取值范圍為0~360,表征了色彩的顏色信息;飽和度即色彩的純度,當(dāng)其值較低時(shí),圖像更偏向灰度圖;亮度指的是整個(gè)圖像明暗程度,亮度越大,則更偏向白色,亮度越小,則更偏向黑色。
同時(shí),對于HSV色彩空間,色調(diào)通道會帶來最大的準(zhǔn)確率損失,原因在于皮膚的部分區(qū)域如果過亮,則會與背景混淆,進(jìn)而影響準(zhǔn)確率[7]。在公交車環(huán)境中,前景與背景顏色差異明顯,且主體可由相機(jī)光源補(bǔ)光,進(jìn)一步增大對比,所以HSV色彩空間可以在該環(huán)境中達(dá)到更高的準(zhǔn)確率。
邊緣計(jì)算節(jié)點(diǎn)算力有限,通勤高峰期算力需求激增,部分學(xué)者提出的包括沙漏網(wǎng)絡(luò)在內(nèi)的多種網(wǎng)資源消耗嚴(yán)重[8]??偤臅r(shí)亦會顯著增加。因而選用MobileNet V3以提高讀取與處理速度,同時(shí)也能保證可接受的準(zhǔn)確率。
對于建立面部特征點(diǎn)模型,本文提出了一個(gè)計(jì)算簡單、精確度較高的方法,同時(shí)通過公交車信息節(jié)點(diǎn)獲取距離,進(jìn)而可以獲得人臉的尺寸信息,進(jìn)一步提高模型建立準(zhǔn)確率。
3.3.1CenterNet特征點(diǎn)提取
因?yàn)槿祟惷娌刻卣髅鞔_、邊緣信息與中心點(diǎn)信息突出,所以可以直接使用特征點(diǎn)檢測的方式對目標(biāo)特征點(diǎn)進(jìn)行定位,CenterNet便可以提供檢測方法[9-10]。
對于檢測方案,本文系統(tǒng)將HSV色彩空間的圖像輸入神經(jīng)網(wǎng)絡(luò)。有多種面部特征點(diǎn)方案可以表征個(gè)人的生物特征。對于任一分類特征,其期望輸出是分類熱力圖,而任一像素,有歸一化置信度,如式(1):
其中:是輸出圖像的期望縮放比例;為輸出的總通道數(shù),即特征點(diǎn)數(shù)量;圖像寬高分別為與[10]。
面部特征點(diǎn)識別中,特征點(diǎn)熱力圖重合的現(xiàn)象并不罕見,因而需要在重合的情況下選取可能性最大的點(diǎn)進(jìn)行分類,同時(shí)也需要對圖像進(jìn)行像素分割,其焦點(diǎn)損失如下。
為保證計(jì)算準(zhǔn)確率,本文系統(tǒng)也需要修正下采樣帶來的偏差,因而對特征點(diǎn)添加一個(gè)偏移來保證定位的準(zhǔn)確性。
所有預(yù)測偏差共用一個(gè)平均損失,其計(jì)算方法如下:
因需要用特征點(diǎn)估計(jì)來得到所有的中心點(diǎn),所以還需要回歸出目標(biāo)的尺寸,同樣存在損失函數(shù)如下:
最后,可以獲得總損失函數(shù)如下:
3.3.2三維模型建立
三維(Three-Dimensional, 3D)檢測是對每個(gè)目標(biāo)進(jìn)行寬高與額外的深度估計(jì),因而每個(gè)中心點(diǎn)需要3個(gè)附加信息:深度(Depth)、三維尺度(Scale)、方向(Orientation)[11]。
深度值是常量,但很難通過回歸得到,因而可以對輸出做變換。在特征點(diǎn)估計(jì)網(wǎng)絡(luò)上添加一個(gè)深度計(jì)算通道,該通道使用了兩個(gè)卷積層與反Sigmoid實(shí)現(xiàn)。而物體對三維尺度是3個(gè)常量,所以可以根據(jù)特征點(diǎn)的深度值恢復(fù)物體的三維尺寸。對于物體的方向估計(jì),則可通過對特征點(diǎn)下采樣的方法使特征點(diǎn)的距離尺度減小,從而被感知[11-12]。而人類面部的相似性較大,因而可以通過其距離尺度回歸出角度。對于人類面部存在旋轉(zhuǎn)的現(xiàn)象,可以通過對稱檢測的方式回歸出人臉的單應(yīng)性矩陣,進(jìn)而得到面部映射關(guān)系,以修正所獲得的面部矢量[13]。
綜上,本文系統(tǒng)使用深度學(xué)習(xí)的方法建立人臉的三維空間模型,進(jìn)而將人的面部特征點(diǎn)更準(zhǔn)確地在空間中描繪。
當(dāng)人們佩戴口罩的時(shí)候,其面部特征點(diǎn)會被遮擋,無法通過未佩戴口罩時(shí)的關(guān)鍵點(diǎn)監(jiān)測得出。同時(shí),口罩整體顏色相近、特征不明顯,因而使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)識別的方式可能會出現(xiàn)較大損失。
本系統(tǒng)可以估計(jì)面部的三維信息,因而,模型可以在目標(biāo)佩戴口罩時(shí),通過較明顯的鼻尖特征點(diǎn)、下頜特征點(diǎn)與未遮擋的鼻梁部特征點(diǎn)回歸出其口鼻等特征點(diǎn)信息;同時(shí),為保證此時(shí)的判斷準(zhǔn)確率,可以對眼、眉部增加特征點(diǎn)采樣數(shù),以保證識別準(zhǔn)確率。
為增強(qiáng)系統(tǒng)魯棒性、減少人物面部傾角對判斷結(jié)果的影響,本文系統(tǒng)引入當(dāng)前人臉與標(biāo)準(zhǔn)人臉的單應(yīng)性矩陣以實(shí)現(xiàn)標(biāo)準(zhǔn)化。首先,根據(jù)醫(yī)學(xué)與統(tǒng)計(jì)數(shù)據(jù)建立人種標(biāo)準(zhǔn)臉型,當(dāng)獲得目標(biāo)的關(guān)鍵點(diǎn)向量后,計(jì)算單應(yīng)性矩陣,此時(shí)可以列出最多為采樣點(diǎn)個(gè)數(shù)的方程組,求解后,可以通過此映射將人臉規(guī)范到統(tǒng)一的標(biāo)準(zhǔn),即標(biāo)準(zhǔn)化面部特征向量集合[14]。
對于人類面部信息比較,則可以將采集到的面部信息中所有特征點(diǎn)信息保存為向量,通過對比向量之間的距離,得出面部特征點(diǎn)信息的相似度,當(dāng)距離小于閾值時(shí),則認(rèn)為兩個(gè)面部歸屬于同一個(gè)體。
因需要應(yīng)對面部存在遮擋物的情況,故本文系統(tǒng)選取了較高的采樣點(diǎn)數(shù)。當(dāng)出現(xiàn)個(gè)別極端值(誤識別或其他原因)時(shí),其對整體的影響相對較小。同時(shí),本文系統(tǒng)根據(jù)人類顱骨特征建立了一個(gè)標(biāo)準(zhǔn)人臉模型,其每個(gè)采樣點(diǎn)都有一個(gè)分布范圍,若某采樣點(diǎn)遠(yuǎn)超正常范圍時(shí),系統(tǒng)也將其舍棄。在極端值出現(xiàn)概率較小的前提下:若關(guān)鍵點(diǎn)誤差較小,則對結(jié)果幾乎沒有影響;若誤差較大,則無法通過標(biāo)準(zhǔn)人臉模型判定。因此,此方法可以快速且較為準(zhǔn)確地完成關(guān)鍵點(diǎn)提取任務(wù)。
雖然在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉對比可以達(dá)到更高的精確度,但受限于邊緣計(jì)算卡的算力與較高的實(shí)時(shí)性要求,同時(shí)考慮到假陰性的危險(xiǎn)程度較大,因而在應(yīng)用中,系統(tǒng)可以通過降低判斷閾值的方式提高安全性。當(dāng)懷疑某乘客疑似病原體攜帶者,則通過多次拍照、核驗(yàn)乘車碼綁定的身份信息等方式進(jìn)一步確認(rèn)身份。而當(dāng)事態(tài)較為嚴(yán)重時(shí),可適當(dāng)犧牲實(shí)時(shí)性,引入人臉對比深度神經(jīng)網(wǎng)絡(luò)以取得更精確的結(jié)果。
當(dāng)感染者登乘某班次公共交通工具后,會使大量乘客成為潛在感染者、病原體攜帶者等密切接觸者,而此類密切接觸者可能將病毒再次傳播,進(jìn)而造成大面積感染。因此,本文系統(tǒng)需要在獲得相關(guān)信息后,盡快找出直接接觸者、經(jīng)一次傳播的接觸者等。這種搜索方式即為度(-hop)搜索。
一個(gè)節(jié)點(diǎn)的度鄰居為距離該節(jié)點(diǎn)最短距離為的所有節(jié)點(diǎn)的集合。在圖4中,一個(gè)節(jié)點(diǎn)的度鄰居為距離該節(jié)點(diǎn)最短距離為的所有節(jié)點(diǎn)的集合。對于目標(biāo)節(jié)點(diǎn),其1度關(guān)系為除外內(nèi)的節(jié)點(diǎn),2度關(guān)系為除外、內(nèi)的所有節(jié)點(diǎn)[15]。
圖4 節(jié)點(diǎn)k度關(guān)系示意圖
對于度鄰居的搜索度本質(zhì)上是圖論中的搜索問題,可在無環(huán)或去環(huán)的情況下應(yīng)用各種搜索算法,如深度優(yōu)先搜索、廣度優(yōu)先搜索或混合使用兩者進(jìn)行搜索。
以廣度優(yōu)先搜索為例,其核心思想在于,從初始節(jié)點(diǎn)開始,獲取當(dāng)前節(jié)點(diǎn)的所有直接鄰居節(jié)點(diǎn),即1度鄰居。再從1度鄰居中的每個(gè)節(jié)點(diǎn)出發(fā),搜索每個(gè)節(jié)點(diǎn)的1度鄰居,同時(shí)排除已搜索過的節(jié)點(diǎn)。重復(fù)此過程,直到達(dá)到第度。
若使用深度優(yōu)先搜索,則需要注意計(jì)算重復(fù)路徑的最短距離,取最短路徑計(jì)入。因而單純的深度優(yōu)先搜索很少用于度搜索中,深度優(yōu)先搜索往往與廣度優(yōu)先搜索共同使用。
在實(shí)際生產(chǎn)環(huán)境中,數(shù)據(jù)必然需要持久化,因而必然需要數(shù)據(jù)庫來存儲數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫中使用了B+樹、B*樹等數(shù)據(jù)結(jié)構(gòu),使檢索成本有所降低,但關(guān)系型數(shù)據(jù)庫的陣列結(jié)構(gòu)決定了對于每一個(gè)個(gè)體都要單獨(dú)查詢,而在數(shù)據(jù)量較大的情況下,這樣的代價(jià)是難以接受的。如索引單個(gè)節(jié)點(diǎn)的時(shí)間復(fù)雜度為對數(shù)級,若想找出所有與該節(jié)點(diǎn)有直接關(guān)聯(lián)的節(jié)點(diǎn),則需要對所有節(jié)點(diǎn)進(jìn)行搜索,進(jìn)而會帶來較大的代價(jià)。
圖數(shù)據(jù)庫則使用了免索引鄰接引擎,這意味著每個(gè)節(jié)點(diǎn)都會記錄相鄰節(jié)點(diǎn),整個(gè)數(shù)據(jù)庫是一張圖。因此全局索引便簡化為節(jié)點(diǎn)對直接相鄰節(jié)點(diǎn)的索引,從而使得尋找相鄰節(jié)點(diǎn)的復(fù)雜度與總節(jié)點(diǎn)數(shù)無關(guān)。
對于圖數(shù)據(jù)庫,其節(jié)點(diǎn)、屬性、關(guān)系往往儲存在不同文件中,從而可保證大部分?jǐn)?shù)據(jù)的長度為定值,進(jìn)而通過單位長度乘以序號的方式直接計(jì)算偏置,快速定位目標(biāo)數(shù)據(jù)位置。因而,此設(shè)計(jì)可以使數(shù)據(jù)的度搜索效率獲得極大提升。
對于無線網(wǎng)絡(luò),邊緣計(jì)算節(jié)點(diǎn)不進(jìn)行廣播。同時(shí),對于每一個(gè)熱點(diǎn),可以使用定期更改密碼的方式防止暴力破解??梢允褂媚骋欢我?guī)律變化的字符串值作為元數(shù)據(jù),計(jì)算其MD5信息摘要算法(MD5 message-digest algorithm, MD5)摘要得到長度為32位的密碼。
同時(shí),對于發(fā)送的信號包,設(shè)計(jì)幀結(jié)構(gòu)如圖5。
圖5 幀設(shè)計(jì)
對于中間人攻擊,本文系統(tǒng)在幀中設(shè)計(jì)了僅允許單次使用的token,即對于每一次傳輸,都為該公交車的以后的車站與該公交車分發(fā)唯一的token。通信時(shí),雙方通過校驗(yàn)token的一致性以保證數(shù)據(jù)的合法。
對于任意token,是一個(gè)鍵值(Key-value)對,其中鍵是公交車的UID,值是當(dāng)前token的數(shù)據(jù)。為保證公交車在無法與某一邊緣計(jì)算節(jié)點(diǎn)通信時(shí),仍可以與其后節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交換,可以將公交車運(yùn)行路線組成環(huán)路(cycle)。token將向后廣播一定長度(或整個(gè)環(huán)路廣播),以避免某個(gè)車站出現(xiàn)異常后無法繼續(xù)傳遞信息。
每日啟動時(shí),公交車將獲取或計(jì)算車站邊緣計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)密碼表。當(dāng)進(jìn)入邊緣計(jì)算節(jié)點(diǎn)的無線通信范圍后,嘗試與節(jié)點(diǎn)建立通信。通信建立成功后,公交車便會發(fā)送封裝好的數(shù)據(jù)包,其中包含校驗(yàn)用token。
公交車站接收到第一個(gè)檢驗(yàn)信息后,立刻向公交車節(jié)點(diǎn)回發(fā)新token并在計(jì)算節(jié)點(diǎn)網(wǎng)中聲明新token的合法性。若當(dāng)公交車無法與當(dāng)前車站建立通信時(shí),因token并未作廢,公交車便可與下一節(jié)點(diǎn)繼續(xù)使用原token通信。而當(dāng)公交車未傳完便離開時(shí),因其已獲取新token,則可以繼續(xù)使用新token完成傳輸。而對于新舊數(shù)據(jù)同時(shí)存在的情況,應(yīng)優(yōu)先傳送新數(shù)據(jù),當(dāng)新數(shù)據(jù)發(fā)送完畢后,回傳舊數(shù)據(jù)。
使用本文方法訓(xùn)練的深度學(xué)習(xí)模型在數(shù)據(jù)集上進(jìn)行人臉對比,將數(shù)據(jù)集依次輸入進(jìn)系統(tǒng),將系統(tǒng)認(rèn)為是同一人的所有人臉歸于一類,若有多個(gè)人,則輸出多類及各類所包含的圖片。正確率為分類正確的人臉個(gè)數(shù)與數(shù)據(jù)集中人臉個(gè)數(shù)的比值。
以此方法進(jìn)行測試,在BioID數(shù)據(jù)集上達(dá)到了99.44%的正確率,在PubFig數(shù)據(jù)集上達(dá)到了99.23%的正確率,且在兩數(shù)據(jù)集上的假陰性率均小于0.01%。在實(shí)驗(yàn)中,平均每張圖片的識別時(shí)間小于20 ms。
對于邊緣計(jì)算節(jié)點(diǎn),若能滿足數(shù)據(jù)樣本代表性強(qiáng)、傳輸量小、模型算力占用較低的條件即可以較高速度對輸入量進(jìn)行處理,實(shí)現(xiàn)即時(shí)計(jì)算、減少等待延時(shí)。對于數(shù)據(jù)庫,系統(tǒng)需要在保證讀寫速度的同時(shí)提高數(shù)據(jù)的組織性、優(yōu)化深度搜索的效率,這可以更好地適應(yīng)對數(shù)據(jù)關(guān)系的挖掘與整理,便利系統(tǒng)的智能化決策。最后,系統(tǒng)也需要具有較強(qiáng)的可擴(kuò)展性,以便后續(xù)加入更多模塊,進(jìn)行多來源數(shù)據(jù)的融合。
現(xiàn)有的公共交通疫情監(jiān)測系統(tǒng)往往使用服務(wù)器集群進(jìn)行數(shù)據(jù)處理、或者將數(shù)據(jù)處理的任務(wù)交予值守的專人,不僅提高了運(yùn)行成本,也降低了執(zhí)行效率。此外,其系統(tǒng)也并未對數(shù)據(jù)進(jìn)行特征提取,直接將元數(shù)據(jù)儲存在服務(wù)器中,這會帶來可搜索性的下降與儲存成本的上升,當(dāng)需要搜索特定目標(biāo)的相關(guān)信息時(shí),往往需要專人花費(fèi)大量的時(shí)間閱覽數(shù)據(jù)庫中的記錄,若要尋找到存在關(guān)聯(lián)的其他數(shù)據(jù),其難度可想而知。最后,現(xiàn)有系統(tǒng)往往布線固定、數(shù)據(jù)格式固定,若要添加新模塊,則需要重新規(guī)劃設(shè)計(jì)與儲存方案。
綜上,現(xiàn)有系統(tǒng)存在需專人值守、數(shù)據(jù)通信量大、時(shí)延大、不便查詢、不便擴(kuò)展、成本高等缺點(diǎn)。而本文提出的系統(tǒng)盡可能克服了以上缺點(diǎn),具有實(shí)時(shí)性強(qiáng)、準(zhǔn)確率高、搜索效率高、可擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)。各系統(tǒng)方案的對比,如表1所示。
表1系統(tǒng)設(shè)計(jì)方案對比
Tab.1 Comparison of system design schemes
注:可搜索性表征了指定某一屬性(如姓名、身份證號、面部特征等)后,是否容易找到對應(yīng)結(jié)果。
使用圖數(shù)據(jù)庫Neo4j與關(guān)系型數(shù)據(jù)庫MySQL進(jìn)行對比。對于Neo4j,使用單數(shù)據(jù)表,內(nèi)含人員節(jié)點(diǎn)、車輛節(jié)點(diǎn)數(shù)共500萬。對于MySQL,使用3張數(shù)據(jù)表,分別為人員信息、車輛信息與乘車關(guān)系表,其中人員與車輛數(shù)量相同,表間使用外鍵約束。
設(shè)計(jì)任務(wù)為指定某一乘客為感染者,找出度關(guān)系內(nèi)可能被感染的乘客。測試結(jié)果如表2所示??梢妼τ诙汝P(guān)系問題,在淺層次搜索時(shí),圖數(shù)據(jù)庫與關(guān)系型數(shù)據(jù)庫并無較大差異;而當(dāng)搜索層次變深時(shí),差異急劇增大。
表2度關(guān)系搜索效率對比 單位:s
Tab.2 Comparison of search efficiency of k-hop relation unit:s
若面部特征點(diǎn)被口罩遮擋,識別模型仍可以保證一定的準(zhǔn)確率。同時(shí),本文系統(tǒng)也增加了眉、眼部采樣點(diǎn)來保證對比準(zhǔn)確率。
使用本文方法訓(xùn)練的深度學(xué)習(xí)模型數(shù)據(jù)進(jìn)行面部特征點(diǎn)檢測,將模型所檢測到的關(guān)鍵點(diǎn)與數(shù)據(jù)集標(biāo)注關(guān)鍵點(diǎn)進(jìn)行比較,并計(jì)算得到像素誤差,即真實(shí)中心點(diǎn)和預(yù)測中心點(diǎn)的歐氏距離。經(jīng)測試,本文方法在BioID上的平均誤差為2.32像素。
驗(yàn)證了本文所提出的訓(xùn)練方法的理論可行性之后,將以此方法訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)模型部署至Nvidia Jetson AGX Xavier平臺,進(jìn)行實(shí)物測試。測試條件為30 cm人臉間距,光線條件為正常室內(nèi)光線。在實(shí)驗(yàn)中,平均每張圖片的識別時(shí)間約為18 ms。
車載端與邊緣端的鏈接采用2.4 GHz無線網(wǎng)絡(luò),對通信過程進(jìn)行測試,測試條件為15 m有障礙通信測試。其圖片內(nèi)容經(jīng)過base64加密后置于信道傳輸。
實(shí)際測試中,批量上傳面部特征信息的任務(wù)未達(dá)到邊緣計(jì)算節(jié)點(diǎn)處理能力上限,因而可以認(rèn)為邊緣計(jì)算節(jié)點(diǎn)可以及時(shí)給出乘客比對結(jié)果,阻止可能攜帶有病原體的乘客登乘。
在實(shí)際測試中,僅信號強(qiáng)度高于閾值時(shí)啟動數(shù)據(jù)傳輸,根據(jù)估算與測試,在公交車站這樣較為空曠的地帶、使用12 dB增益天線時(shí),其范圍覆蓋公交車停靠區(qū)間,丟包率<0.01%。
經(jīng)分析,空間中存在大量無線信號,使用強(qiáng)度探測等方法,可以確定公交站節(jié)點(diǎn)的無線網(wǎng)絡(luò)信息,并使用kali常用字典與暴力窮舉法攻擊該無線網(wǎng)絡(luò),在1 h內(nèi)無法破解密碼。對嗅探工具設(shè)置監(jiān)聽模式進(jìn)行全信號抓包分析。對通信內(nèi)容進(jìn)行分析,可見其內(nèi)容加密,無法獲得具體信息。
對于大中型城市,其主要公交車站客流量較大,對邊緣計(jì)算節(jié)點(diǎn)算力要求較高,所以選擇Nvidia Jetson AGX Xavier作為計(jì)算卡。該設(shè)備使用Linux的Ubuntu發(fā)行版,在硬件層面,該設(shè)備具有64個(gè)Tensor核心、32 GB的LPDDR4X內(nèi)存,可以高速完成推理任務(wù)。車流量較小的車站可以酌情使用Nvidia Jetson Nano、Nvidia Jetson TX2等型號。車載端考慮到成本問題,采用K210實(shí)現(xiàn),其具有快速、準(zhǔn)確識別人臉的能力。
測試環(huán)境模擬了公交車與公交站的實(shí)際環(huán)境,車載端布置于公交車內(nèi),邊緣計(jì)算節(jié)點(diǎn)布置于公交站外。測試對象隨機(jī)選取了不同年齡段的多人,按照1∶1的比例進(jìn)行標(biāo)記,記錄中包含身份信息。
經(jīng)測試,本系統(tǒng)識別準(zhǔn)確率99.98%,識別時(shí)間平均約為21 ms,符合疫情監(jiān)測的要求。
本文提出了一套基于邊緣計(jì)算的公共交通安全監(jiān)控系統(tǒng)。在云端,為提升深層搜索搜索效率,本文系統(tǒng)建立了圖數(shù)據(jù)庫,儲存乘車人員與乘車信息,同時(shí)使用雙數(shù)據(jù)庫模型防止了建立索引帶來的阻塞,完成了插入與搜索效率的均衡。在邊緣節(jié)點(diǎn),為優(yōu)化邊緣計(jì)算節(jié)點(diǎn)計(jì)算效率,本文系統(tǒng)對三維模型建模進(jìn)行了優(yōu)化,使得模型能夠快速且精確地獲得面部特征點(diǎn)的深度與旋轉(zhuǎn)角度等信息,實(shí)現(xiàn)了高實(shí)時(shí)性的數(shù)據(jù)處理與決策。在公交與邊緣節(jié)點(diǎn)的通信過程中,提出了一套基于安全的信息交換系統(tǒng),在一定程度上抵抗了臟數(shù)據(jù)攻擊,保證了云端數(shù)據(jù)的清潔性,為以后的數(shù)據(jù)挖掘等操作提供了良好的數(shù)據(jù)。在算法層面,下一步將繼續(xù)提高識別準(zhǔn)確度,尤其是對于相似者的對比與分析;在硬件層面,還需進(jìn)行相關(guān)的工程化改進(jìn),例如通過對各運(yùn)算單元進(jìn)行專一化處理降低其成本,提高其穩(wěn)定性。
[1] 趙曉樸. 上海城市軌道交通網(wǎng)絡(luò)級視頻監(jiān)控系統(tǒng)的研制[J]. 城市軌道交通研究, 2020, 23(S2):132-137.(ZHAO X P. Research and development of Shanghai urban rail transit network video surveillance system[J]. Urban Mass Transit, 2020, 23(S2):132-137.)
[2] 林曉偉,王俠. 城市軌道交通智慧安防系統(tǒng)的建設(shè)[J]. 工業(yè)控制計(jì)算機(jī), 2021, 34(3):112-114.(LIN X W, WANG X. Construction of smart security system for urban rail transit[J]. Industrial Control Computer, 2021, 34(3):112-114.)
[3] HUANG H C, DONG Z Y. Research on architecture and query performance based on distributed graph database Neo4j[C]// Proceedings of the 3rd International Conference on Consumer Electronics, Communications and Networks. Piscataway: IEEE, 2013: 533-536.
[4] WU Y, JI Q. Facial landmark detection: a literature survey[J]. International Journal of Computer Vision, 2019, 172(2): 115-142.
[5] DONG X Y, YAN Y, OUYANG W L, et al. Style aggregated network for facial landmark detection[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2018:379-388.
[6] ROY S, BANDYOPADHYAY S K. Face detection using a hybrid approach that combines HSV and RGB[J]. International Journal of Computer Science and Mobile Computing, 2013, 2(3): 127-136.
[7] CHAVES-GONZáLEZ J M, VEGA-RODRíGUEZ M A, GóMEZ-PULIDO J A, et al. Detecting skin in face recognition systems: a colour spaces study[J]. Digital Signal Processing, 2010, 20(3): 806-823.
[8] YANG J, LIU Q S, ZHANG K H. Stacked hourglass network for robust facial landmark localisation[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway: IEEE, 2017:2025-2033.
[9] DUAN K W, BAI S, XIE L X, et al. CenterNet: keypoint triplets for object detection[C]// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway: IEEE, 2019:6568-6577.
[10] ZHOU X Y, WANG D Q, KR?HENBüHL P. Objects as points[EB/OL]. (2019-04-25) [2021-04-21].https://arxiv.org/pdf/1904.07850.pdf.
[11] WANG Q, CHEN J, DENG J Q, et al. 3D-CenterNet: 3D object detection network for point clouds with center estimation priority[J]. Pattern Recognition, 2021, 115: No.107884.
[12] EIGEN D, PUHRSCH C, FERGUS R. Depth map prediction from a single image using a multi-scale deep network[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2014:2366-2374.
[13] SU Y, LIU Z, BAN X J. Symmetric face normalization[J] Symmetry, 2019, 11(1): No.96.
[14] SHI X P, SHAN S G, KAN M N, et al. Real-time rotation-invariant face detection with progressive calibration networks[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2018:2295-2303.
[15] MENG T, CAI L J, HE T Q, et al. K-hop community search based on local distance dynamics[J]. KSII Transactions on Internet and Information Systems, 2018, 12(7): 3041-3063.
XIA Huiwen, born in 1992, M. S. candidate, experimentalist. Her research interests include intelligent control, machine learning.
ZHAO Zhongyu, born in 1999. Her research interests include machine learning, data science.
WANG Zhuoer, born in 2000. His research interests include embedded system, machine vision.
ZHANG Qingyong, born in 1984, Ph. D., senior experimentalist. Her research interests include intelligent optimization and control.
PENG Feng, born in 1990, Ph. D. candidate, engineer. His research interests include new energy vehicle, intelligent control.
Public transportation epidemic monitoring system based on edge computing
XIA Huiwen1, ZHAO Zhongyu2, WANG Zhuoer2*, ZHANG Qingyong1, PENG Feng3
(1,,430070,;2,,430070,;3,,430063,)
In view of the existing monitoring system’s inability to cope with the problems of cross-infection and traceability difficulties in the epidemic environment, a design scheme for a public transportation detection system based on edge computing was proposed. Firstly, a graph database was established to store passengers and ride information, and at the same time a dual database model was used to prevent the blockage caused by building index, thereby achieving the balance between insertion efficiency and search efficiency. Then, in the extraction of vehicle and human image information, the HSV (Hue Saturation Value) color space was used to preprocess the image, and a three-dimensional space model of face was established to improve the recognition accuracy of the neural network. When the object wore a mask, the feature point information was able to be regressed through the obvious nose tip feature points, lower jaw feature points, and unobstructed nose bridge feature points. Finally,-hop search was used to find close contacts quickly. In the feature comparison test, the correct rates of this model are 99.44% and 99.23% on BioID dataset and PubFig dataset, respectively, and the false negative rates of the model on the two datasets are both less than 0.01%. In the graph search efficiency test, there is no big difference between the graph database and the relational database when searching at a shallow level. When the search level becomes deeper, the graph database is more efficient. After verifying the theoretical feasibility, the actual environment of buses and bus stops was simulated. In the test, the proposed system has the recognition accuracy of 99.98%, and the average recognition time of about 21 ms, which meets the requirements of epidemic monitoring. The proposed system design can meet the special needs of public safety during the epidemic period, and can realize the functions of person recognition, route recording, and potential contact search, which can effectively ensure public transportation safety.
edge computing; public transportation; facial feature; graph database; neural network; HSV (Hue Saturation Value) color space; epidemic monitoring
This work is partially supported by Hubei Natural Science Foundation (2019CFB571).
TP274.5
A
1001-9081(2022)07-2132-07
10.11772/j.issn.1001-9081.2021050727
2021?05?08;
2021?11?16;
2021?11?23。
湖北省自然科學(xué)基金資助項(xiàng)目(2019CFB571)。
夏慧雯(1992—),女,湖北仙桃人,實(shí)驗(yàn)師,碩士研究生,主要研究方向:智能控制、機(jī)器學(xué)習(xí); 趙中雨(1999—),女,山東菏澤人,主要研究方向:機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué); 王卓爾(2000—),男,湖北武漢人,主要研究方向:嵌入式系統(tǒng)、機(jī)器視覺; 張清勇(1984—),女,湖北仙桃人,高級實(shí)驗(yàn)師,博士,主要研究方向:智能優(yōu)化與控制; 彭峰(1990—),男,湖北黃岡人,工程師,博士研究生,主要研究方向:新能源汽車、智能控制。