葉永忠 郭敏生 周梓煬
(1.中山市公安局情報信息中心,廣東 中山510006;2.中山市公安局刑事警察支隊,廣東 中山510006)
自公安機關(guān)實施“科技強警”戰(zhàn)略和城市報警與監(jiān)控系統(tǒng)建設(shè)以來,從最初的前端點位建設(shè)到近幾年的聯(lián)網(wǎng)整合、解析應(yīng)用,視頻監(jiān)控技術(shù)已經(jīng)成為公安工作重要的技術(shù)支撐點。目前,前端智能采集、應(yīng)用已推行多年,但針對云端解析應(yīng)用相對落后,前端采集設(shè)備多種多樣,采集數(shù)據(jù)存在錯亂,公安民警的管控仍依靠傳統(tǒng)的人工查看方式為主,從海量非結(jié)構(gòu)化視頻數(shù)據(jù)中逐一排查。同時,隨著經(jīng)濟的高速發(fā)展以及城鎮(zhèn)化進(jìn)程的加快,各地城市人口的流動愈發(fā)頻繁。因此,亟需引入智能識別技術(shù)并配套一系列數(shù)據(jù)整合、生態(tài)構(gòu)建的措施,以實現(xiàn)視頻大數(shù)據(jù)智能化的分析、研判、應(yīng)用,突破城市管控難題。
一是前端采集設(shè)備魚龍混雜。經(jīng)過多年的前端分散建設(shè),設(shè)備快速迭代,前端視頻監(jiān)控涉及品牌廠家多、型號多,視頻質(zhì)量參差不齊。二是視頻計算設(shè)施較為落后。視頻基礎(chǔ)計算設(shè)施主要以傳統(tǒng)的CPU計算資源為主,視頻智能化應(yīng)用所需的GPU等其他異構(gòu)計算的資源比較欠缺;且計算資源缺少統(tǒng)一的管理和調(diào)度,以“煙囪式”為主,無法滿足隨需隨用隨取的實戰(zhàn)應(yīng)用需求。三是海量數(shù)據(jù)處理難。伴隨多維數(shù)據(jù)的爆發(fā)式匯聚,視頻、圖片、結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)量呈爆炸式增長,對海量多樣化數(shù)據(jù)的融合存儲,多系統(tǒng)間的數(shù)據(jù)共享,以及數(shù)據(jù)可靠性提出更高的要求。急需構(gòu)建高性能、高可靠性,富有彈性的管理模式,有效應(yīng)對大數(shù)據(jù)時代的挑戰(zhàn)。四是多算法融合應(yīng)用能力不足。采用All-in-one的“煙囪式”封閉架構(gòu)的視頻監(jiān)控系統(tǒng),基礎(chǔ)設(shè)施資源難共享、難擴容。完整的視頻云構(gòu)筑在ABC(Artificial Intelligence、Big Data和Cloud Computing)技術(shù)體系之上,需要有關(guān)生態(tài)系統(tǒng)內(nèi)部眾多廠家協(xié)同合作,發(fā)揮各自的長處。五是多維數(shù)據(jù)研判弱。研判、串并案仍停留于傳統(tǒng)人工模式,效果較差。各應(yīng)用系統(tǒng)間缺乏有效聯(lián)動,共享很難,流竄作案難以對其進(jìn)行追蹤,易錯過最佳的破案時間窗,為實戰(zhàn)單位的應(yīng)用系統(tǒng)提供“按需推送”的數(shù)據(jù)服務(wù)能力有待提升,重被動式防控輕主動式預(yù)警。六是視頻智能實戰(zhàn)能力待提升。視頻偵查靠人工從海量視頻中逐一排查,缺乏專業(yè)的視頻圖像解析和信息綜合應(yīng)用的技術(shù)手段,缺乏自動預(yù)警、預(yù)防、預(yù)測能力。即使有少部分鎮(zhèn)區(qū)開展了視頻智能應(yīng)用試點,也過于零散化和碎片化,未形成跨警種、跨部門的長效共享機制,未形成規(guī)模效應(yīng)和技戰(zhàn)法。
2018年,中山公安啟動視頻云項目建設(shè)。以云計算、大數(shù)據(jù)、人工智能等前沿技術(shù)作為牽引,采用軟件與硬件解耦、數(shù)據(jù)與應(yīng)用解耦、應(yīng)用與算法解耦,圍繞“一云、一湖、一平臺”理念,以海量感知數(shù)據(jù)的匯聚、數(shù)據(jù)共享與能力開放為目標(biāo),統(tǒng)籌人、車、視頻結(jié)構(gòu)化,構(gòu)建物理分布、邏輯統(tǒng)一基礎(chǔ)平臺,大平臺支撐精兵作戰(zhàn),大數(shù)據(jù)驅(qū)動警務(wù)創(chuàng)新,打造目前國內(nèi)公安視頻數(shù)據(jù)智能結(jié)構(gòu)化綜合度最高,合作生態(tài)理念最先進(jìn)的“中山樣板”視頻云。
1.2.1 增強前端建設(shè)統(tǒng)籌能力
中山公安科信部門從自身職能出發(fā),統(tǒng)籌全市前端采集設(shè)備建設(shè)項目設(shè)計、方案評審、招投標(biāo)、建設(shè)、驗收、運維等關(guān)鍵環(huán)節(jié),形成項目管理流程全介入,取得了一定成效,為建設(shè)場景化、智能化的前端打下基礎(chǔ)。
1.2.2 搭建云邊融合的統(tǒng)一視頻云
中山公安視頻云項目在全省一片云的統(tǒng)一規(guī)劃下,通過云平臺集約化建設(shè),實現(xiàn)對底層基礎(chǔ)硬件資源的統(tǒng)一管理;統(tǒng)一納管和彈性調(diào)度,實現(xiàn)從“煙囪式”的獨立硬件資源配置往池化的彈性云資源調(diào)度轉(zhuǎn)變;基于大數(shù)據(jù)服務(wù)構(gòu)建的視圖庫,實現(xiàn)視頻圖像價值數(shù)據(jù)的匯聚,對外提供價值數(shù)據(jù)服務(wù),實現(xiàn)從應(yīng)用獨享的數(shù)據(jù)孤島到應(yīng)用共享的數(shù)據(jù)湖轉(zhuǎn)變,現(xiàn)已匯聚了海量人、車結(jié)構(gòu)化數(shù)據(jù)。自系統(tǒng)上線以來,已抓獲人員1305人,破獲案件1451宗。
一是市鎮(zhèn)兩級架構(gòu)、業(yè)務(wù)一云支撐。中山公安視頻云縱向分市級視頻云節(jié)點和鎮(zhèn)區(qū)級視頻云節(jié)點,橫向分視頻專網(wǎng)部分和公安網(wǎng)部分。管理面實現(xiàn)“物理分布、邏輯統(tǒng)一”,對基礎(chǔ)資源統(tǒng)一管理、統(tǒng)一運維、統(tǒng)一運營,業(yè)務(wù)面上省、市、鎮(zhèn)實現(xiàn)資源層、數(shù)據(jù)層、任務(wù)層、算法層四協(xié)同。
二是異構(gòu)資源彈性調(diào)度。以資源整合為基礎(chǔ)向集約化建設(shè)轉(zhuǎn)變,針對各應(yīng)用系統(tǒng)所需的計算、存儲、網(wǎng)絡(luò)等基礎(chǔ)資源,通過云化技術(shù),以標(biāo)準(zhǔn)開放的云資源管理框架對服務(wù)器、存儲、網(wǎng)絡(luò)等設(shè)備進(jìn)行池化管理,實現(xiàn)軟件定義基礎(chǔ)設(shè)施的能力(即軟件定義計算、存儲、網(wǎng)絡(luò)),提供開放、敏捷、高效、軟硬解耦的云化資源環(huán)境。同時通過CPU親和調(diào)度、GPU直通等關(guān)鍵技術(shù)使得資源云化之后保持資源低損耗。以資源服務(wù)化方式支撐各種應(yīng)用,按需分配資源,共享彈性資源池,確保業(yè)務(wù)可持續(xù)發(fā)展。支持根據(jù)不同廠商算法不同異構(gòu)CPU/GPU的計算需求任意配比,共用CPU/GPU異構(gòu)計算資源池,資源充分利用、彈性調(diào)度,使資源支撐應(yīng)用快速創(chuàng)新。
三是海量數(shù)據(jù)融合存儲。采用全對稱分布式融合存儲服務(wù),同時支持視頻、圖片、文本等多種數(shù)據(jù),通過平滑擴容應(yīng)對業(yè)務(wù)容量的增加,實現(xiàn)近無限線性擴展,支撐千億級多來源的視頻圖片統(tǒng)一存儲。采用小文件聚合技術(shù),把若干小圖片合并大文件再寫,提高性能3倍,提升存儲4倍。采用SSD等高速介質(zhì)作為數(shù)據(jù)緩存,再平緩寫入后端磁盤,應(yīng)對不同時段數(shù)據(jù)波動,達(dá)到削峰填谷效果。采用融合存儲技術(shù),智能識別圖片存儲與視頻流存儲,自動采取高效的存儲策略。
四是數(shù)據(jù)整合,一湖共享。視圖庫大數(shù)據(jù)平臺采用行列混合存儲技術(shù),支撐千億級多維數(shù)據(jù)關(guān)聯(lián)查詢、統(tǒng)計分析。充分利用所有節(jié)點的計算能力和I/O能力以達(dá)到最大的導(dǎo)入速度,通過并行數(shù)據(jù)導(dǎo)入(加載)的核心技術(shù),支撐中山公安高達(dá)每秒數(shù)萬條數(shù)據(jù)導(dǎo)入&數(shù)據(jù)關(guān)聯(lián)。實現(xiàn)各系統(tǒng)數(shù)據(jù)的集中匯聚、實時分析處理、融合關(guān)聯(lián)處理、深度挖掘。強化數(shù)據(jù)融合,提供數(shù)據(jù)匯聚和數(shù)據(jù)治理的一站式數(shù)據(jù)管理服務(wù),支撐事后的精確打擊,事中的動態(tài)管控,事前的預(yù)測預(yù)警。
五是海量數(shù)據(jù)精準(zhǔn)檢索。使用特征數(shù)據(jù)分布式存儲技術(shù),通過均衡算法解決前端攝像頭產(chǎn)生圖片提取流量密度差異問題以及特征數(shù)據(jù)存儲節(jié)點擴/縮容后特征數(shù)據(jù)的存儲均衡問題,確保單節(jié)點的檢索時長的一致性。熱冷數(shù)據(jù)分級存儲技術(shù),實現(xiàn)熱點價值數(shù)據(jù)的高效訪問。分布式定向檢索技術(shù),通過對于檢索請求進(jìn)行分布式并行處理后再合并檢索結(jié)果,從而實現(xiàn)大規(guī)模數(shù)據(jù)的高效檢索。
六是多算法協(xié)同,打造開放生態(tài)。采用多算法倉提供了一個統(tǒng)一的運行環(huán)境。實現(xiàn)人、車、視頻結(jié)構(gòu)化算法快速上下架,插件式第三方算法快速集成,避免被單算法綁架,降低風(fēng)險和采購成本。對應(yīng)用屏蔽算法差異化,應(yīng)用一次開發(fā)普遍適配;對算法屏蔽底層算力的差異化(如GPU、NPU、FPGA等),降低算法開發(fā)復(fù)雜度。實現(xiàn)了架構(gòu)的三重解耦(算法與應(yīng)用解耦、算法與數(shù)據(jù)解耦、算法與平臺解耦),解除了算法廠家、應(yīng)用廠家、平臺廠家之間的相互掣肘,打造一個開放、公平競爭、共贏的生態(tài)系統(tǒng)。
視頻圖像數(shù)據(jù)資源在當(dāng)前公安的各類業(yè)務(wù)數(shù)據(jù)中占據(jù)最大份額,實現(xiàn)視頻圖像的智能化應(yīng)用是公安大數(shù)據(jù)戰(zhàn)略的核心環(huán)節(jié)。隨著近年來各種新技術(shù)的飛速發(fā)展,以視頻圖像為核心的智能化應(yīng)用已經(jīng)走入公安部門的日常工作中,相關(guān)技術(shù)也在不斷升級與迭代。視頻圖像智能應(yīng)用1.0時代的典型特征是“煙囪式”架構(gòu),存在數(shù)據(jù)壁壘和信息孤島,業(yè)務(wù)系統(tǒng)招標(biāo)即定型,不能隨業(yè)務(wù)變化快速制定,數(shù)據(jù)、算法與廠家深度捆綁。視頻圖像智能應(yīng)用2.0時代構(gòu)筑了視頻云的雛形,實現(xiàn)了算法與硬件解耦、數(shù)據(jù)與應(yīng)用解耦,但是沒有統(tǒng)一的服務(wù)平臺提供對外支撐,無法實現(xiàn)按需編排算法和調(diào)度數(shù)據(jù)資源,難以支撐公安部門多維數(shù)據(jù)融合業(yè)務(wù)。那么認(rèn)為,視頻圖像智能應(yīng)用3.0時代是對視頻云架構(gòu)進(jìn)行深度優(yōu)化,依托“大中臺、小前臺”的架構(gòu)理念,通過視頻云賦能中臺,以API的方式提供對外服務(wù),自由編排基礎(chǔ)算法,實現(xiàn)公安應(yīng)用按需定制。
2.1.1 中臺是什么
中臺是溝通前臺和后臺之間的橋梁。這條橋梁,連接了技術(shù)和場景,能夠穿透封閉的部門墻、業(yè)務(wù)墻和數(shù)據(jù)墻,為業(yè)務(wù)發(fā)展帶來全新面貌。從計算機系統(tǒng)走過了系統(tǒng)化、中心化、平臺化的發(fā)展路徑,在可預(yù)見的未來,通用性、組件化、可復(fù)用、可共用、靈活擴展等中臺理念的核心元素將成為計算機系統(tǒng)的發(fā)展方向。
2.1.2 建設(shè)視頻云賦能中臺
與合作伙伴采用公安提供應(yīng)用場景與業(yè)務(wù)需求、公司提供技術(shù)支撐的合作方式,運用中臺技術(shù),在算法池、數(shù)據(jù)池和模型池基礎(chǔ)之上建立一個數(shù)據(jù)服務(wù)應(yīng)用支撐平臺,把視頻應(yīng)用的基礎(chǔ)數(shù)據(jù)以及各個廠家的基礎(chǔ)算法等,以分層解耦的方式,通過API服務(wù)注冊、服務(wù)編排、服務(wù)發(fā)布,實現(xiàn)數(shù)據(jù)與應(yīng)用解耦,解決各廠家服務(wù)數(shù)據(jù)資源和基礎(chǔ)算法封閉、警種部門無法靈活復(fù)用等問題,真正實現(xiàn)基礎(chǔ)數(shù)據(jù)和通用應(yīng)用全警共享,個性化需求自主完成,進(jìn)一步提高項目資源的利用率和使用價值,節(jié)省后續(xù)項目的建設(shè)成本,實現(xiàn)能力復(fù)用和業(yè)務(wù)快速上線,支撐各警種、應(yīng)用層的業(yè)務(wù)實戰(zhàn)創(chuàng)新。
同時,視頻云賦能中臺也是業(yè)務(wù)應(yīng)用定制操作平臺,依托視頻云豐富的視頻圖像數(shù)據(jù)資源,通過統(tǒng)一的服務(wù)調(diào)用服務(wù),可將解耦出來的數(shù)據(jù)與服務(wù)進(jìn)行二次編排,為各警種按需構(gòu)建新的技戰(zhàn)法提供服務(wù)支撐,形成多元化的服務(wù)或?qū)n},構(gòu)建新的業(yè)務(wù)流程,并基于新的業(yè)務(wù)流程對數(shù)據(jù)進(jìn)行實時分析與結(jié)果呈現(xiàn)。用戶可以通過拖拽、連線等簡易操作集成各類封裝好的算法組件和數(shù)據(jù)源,用于新服務(wù)流程的構(gòu)建,實現(xiàn)服務(wù)自定義、服務(wù)自發(fā)布和服務(wù)群調(diào)度,大幅降低系統(tǒng)功能開發(fā)的門檻,讓無技術(shù)背景的警員也能按需構(gòu)建所需服務(wù),營造開放共享、聚合生態(tài)的警務(wù)新常態(tài)。
2.1.3 搭建模型超市
為各警種提供了選擇技戰(zhàn)法模型的平臺,也為各大廠商和開發(fā)者提供了模型展示的窗口。隨著時間的推移以及視頻云賦能中臺的大規(guī)模應(yīng)用,超市的模型商品會更加豐富多彩。在多維數(shù)據(jù)的碰撞下,模型的豐富性和實戰(zhàn)性均能得到大幅提升,為公安機關(guān)提供全時空分析研判能力、全警種業(yè)務(wù)模型共享能力、全周期模型優(yōu)化配置能力和全維度數(shù)據(jù)智能應(yīng)用能力。
未來,通過前端建設(shè)更清晰、更智能的視頻圖像采集設(shè)備,后端搭建統(tǒng)一云平臺、基于云平臺的視頻圖像信息資源庫、賦能中臺以及各上層應(yīng)用,建立統(tǒng)一的服務(wù)平臺和資源服務(wù)體系,推動技術(shù)、場景和開發(fā)者三大集群的建設(shè)和維護,引入行業(yè)頂尖智力資源,構(gòu)筑豐富多彩的視頻云賦能工程建設(shè)生態(tài)體系,保障新技術(shù)、新模型、新服務(wù)快速上線。建設(shè)公安視頻數(shù)據(jù)智能結(jié)構(gòu)化綜合度更高,合作生態(tài)理念更先進(jìn)的視頻云。