伍凌云 袁林海 磨春妗 鐘小敏 梁靜榮
摘要:隨著信息技術(shù)的發(fā)展和大數(shù)據(jù)時代的來臨,大屏數(shù)據(jù)可視化技術(shù)已在電信、公安、交通、新能源汽車等各個行業(yè)得到廣泛應(yīng)用。然而,用戶對大屏上顯示的數(shù)據(jù)內(nèi)容經(jīng)常因需求不同而產(chǎn)生變化。因此,研究一種能夠靈活配置的大屏控制系統(tǒng)是十分必要且有現(xiàn)實意義的?;诖?,文章設(shè)計了一種新能源車行業(yè)大屏控制系統(tǒng),通過屏幕設(shè)置、單屏設(shè)計、多屏拼接等功能實現(xiàn)了靈活的大屏數(shù)據(jù)可視化看板,從而滿足新能源車行業(yè)不同角色多維度的數(shù)據(jù)監(jiān)控分析需求,支持多場景的數(shù)據(jù)展示。
關(guān)鍵詞:大屏控制;數(shù)據(jù)可視化;數(shù)據(jù)管理;信息技術(shù)
中圖法分類號:TP273文獻(xiàn)標(biāo)識碼:A
Design and implementation of large screen control system fornew energy vehicle industry
WU Lingyun,YUANLinhai,MOChunjin,ZHONGXiaomin,LIANGJingrong
(SAIC GM WulingAutomoblieCo.,Ltd.,Guangxi Laboratory of New Energy Automobile,Guangxi Key Laboratory of Automobile Four New Features,Liuzhou,Guangxi 545007,China)
Abstract:With the development of information technology and the advent of the era of big data,data visualization on large screen has been widely used in telecommunications, public security, transportation,new energy vehicle and other industries.However,the data displayed on the large screen often changes due to different requirements of users.Therefore,it is necessary and meaningful to research for a large screen control system that can be flexibly configured. Based on the above requirements,this paper designs a large screen control system for the new energy vehicle industry, flexible large-screen data visualization is realized through screen setting, single-screen design, multi- screen splicing and other functions.This system can meet the multi-dimensional data monitoring and analysis requirements of different roles in the new energy vehicle industry,and support multi-scene data display.
Key words: large screen control, data visualization, data management,information technology
1 引言
大屏數(shù)據(jù)可視化技術(shù)已在各行各業(yè)得到了廣泛應(yīng)用,然而傳統(tǒng)的大屏展示經(jīng)常需要對所展示的內(nèi)容、設(shè)計進(jìn)行定制開發(fā),缺乏對主題和內(nèi)容配置的靈活性,無法支持豐富的數(shù)據(jù)展示場景[1]。為了能夠提供更加便捷的大屏展示方法,本文設(shè)計了一種能夠靈活配置的大屏控制系統(tǒng),其內(nèi)置多場景大屏模板并提供不同主題下詳細(xì)的數(shù)據(jù)項選擇,滿足新能源車行業(yè)用戶多維度的數(shù)據(jù)監(jiān)控分析需求。
2 系統(tǒng)總體設(shè)計
大屏控制系統(tǒng)的總體架構(gòu)由三個層級構(gòu)成,即 IaaS 層、PaaS 層、SaaS 層,同時兼顧系統(tǒng)安全保障體系。架構(gòu)圖如圖1所示。
2.1 IaaS 層
IaaS 層的作用是為整個大屏控制系統(tǒng)提供運行環(huán)境,包括計算資源、存儲資源和網(wǎng)絡(luò)資源。運行環(huán)境作為系統(tǒng)的基礎(chǔ)支撐平臺,包括服務(wù)器系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、系統(tǒng)軟件、存儲擴(kuò)容磁盤、網(wǎng)絡(luò)安全系統(tǒng)等,為系統(tǒng)的應(yīng)用功能提供高效資源支撐[2]。
2.2 PaaS 層
基于 IaaS 層進(jìn)行支撐服務(wù)建設(shè),提供數(shù)據(jù)采集工具、數(shù)據(jù)整合工具、數(shù)據(jù)檢索工具、智能分析工具等,高效整合、分析營銷、運營、用車行為、售后等主題域數(shù)據(jù),為 SaaS 層的應(yīng)用服務(wù)提供工具支撐與數(shù)據(jù)支撐。
2.3 SaaS 層
SaaS 層為大屏控制系統(tǒng)的主要功能,通過單屏的設(shè)計、組合拼接、權(quán)限管理等,滿足不同角色對大屏展示的需求。
2.4 安全保障體系
安全保障建設(shè)在遵照執(zhí)行信息安全等級保護(hù)相關(guān)規(guī)定,通過在應(yīng)用系統(tǒng)設(shè)計、應(yīng)用系統(tǒng)實現(xiàn)、安全系統(tǒng)配置、安全系統(tǒng)使用等多個層面上實現(xiàn)全方位的安全保障,確保大屏控制系統(tǒng)數(shù)據(jù)的保密性、完整性、可用性、可控性和不可否認(rèn)性[3]。
3 主要技術(shù)
3.1 ETL
ETL 是數(shù)據(jù)抽取、清洗轉(zhuǎn)換、裝載的過程,能夠幫助企業(yè)修正數(shù)據(jù)質(zhì)量、匯集多數(shù)據(jù)源、轉(zhuǎn)換數(shù)據(jù)形態(tài),提升數(shù)據(jù)的利用價值[4]。大屏控制系統(tǒng)需借助 ETL 技術(shù)將新能源車行業(yè)售前、售后、用戶用車行為等多源異構(gòu)數(shù)據(jù)抽取出來、統(tǒng)一整合加工、按照特定格式裝載至系統(tǒng)數(shù)據(jù)庫中。
3.2 分布式可擴(kuò)展的大數(shù)據(jù)架構(gòu)
3.2.1? MapReduce 框架
MapReduce 是一種分布式并行編程框架,主要思想來自于函數(shù)式編程語言,它將分布式計算抽象成 Map (映射)和? Reduce (規(guī)約)兩個基本步驟。 MapReduce 框架將用戶的輸入按照一定的規(guī)則切分成可并行處理的數(shù)據(jù)塊,然后調(diào)用用戶自定義的 Map 程序?qū)⑤斎朕D(zhuǎn)化成 Key/Value 對,框架根據(jù)用戶自定義的規(guī)則將 Key/Value 對發(fā)送到不同的 Reduce 程序,從而將 Key/Value 對合成最終的輸出[5]。
MapReduce 框架隱藏了分布式編程的細(xì)節(jié),使用戶在編程的過程中可以忽略分布式相關(guān)的細(xì)節(jié),專注于邏輯實現(xiàn),減少了用戶開發(fā)分布式并行應(yīng)用的細(xì)節(jié)。Hadoop 的 MapReduce 部分和 HDFS 部分充分結(jié)合,在進(jìn)行數(shù)據(jù)處理的時候,框架會盡量讓程序在數(shù)據(jù)所在的節(jié)點進(jìn)行處理(一般的分布式程序都是移動數(shù)據(jù)來實現(xiàn)數(shù)據(jù)處理,但是對于海量數(shù)據(jù)而言移動數(shù)據(jù)的成本比較高),并且自動將失敗的任務(wù)進(jìn)行重新分配執(zhí)行[5]。
3.2.2 Storm 框架
對比 Hadoop 的批處理,Storm 是個實時、分布式并具備高容錯的計算系統(tǒng)。 Storm 不僅可以處理大批量數(shù)據(jù),而且在保證高可靠性的前提下,還可以讓處理工作進(jìn)行得更加實時,從而確保所有的信息都會被處理。除此之外,Storm 還具備容錯和分布計算等特性,這就讓 Storm 可以擴(kuò)展到不同的機(jī)器上進(jìn)行大批量的數(shù)據(jù)處理。對于擴(kuò)展,只需要添加機(jī)器和改變對應(yīng)的 topology (拓?fù)洌┰O(shè)置。 Storm 使用 Hadoop Zookeeper 進(jìn)行集群協(xié)調(diào),可以充分保證大型集群的良好運行,每條信息的處理都可以得到保證[6]。
3.2.3? Spark 框架
Spark 是一個針對超大數(shù)據(jù)集合的低延遲的集群分布式計算系統(tǒng),比MapReducer快40倍左右。 Spark 是hadoop的升級版本,Hadoop 作為第一代產(chǎn)品使用 HDFS,第二代加入了 Cache 來保存中間計算結(jié)果,并能適時主動推 Map/Reduce 任務(wù),第三代就是 Spark 倡導(dǎo)的流 Streaming。 Spark 兼容 Hadoop 的APi,能夠讀寫 Hadoop 的 HDFS HBASE 順序文件等[7]。
4 系統(tǒng)設(shè)計與實現(xiàn)
大屏控制系統(tǒng)由數(shù)據(jù)接入、大屏設(shè)計、用戶管理三個模塊組成,實現(xiàn)對接入數(shù)據(jù)的匯聚管理、對大屏的靈活配置與設(shè)計以及對用戶權(quán)限的管理。
4.1 數(shù)據(jù)接入
提供數(shù)據(jù)上傳和多源數(shù)據(jù)連接兩種數(shù)據(jù)接入方式,可以通過數(shù)據(jù)上傳功能點選存儲在本地的表格數(shù)據(jù)上傳至系統(tǒng)中,也可通過 ETL 工具從數(shù)倉或數(shù)據(jù)庫抽取數(shù)據(jù),并清洗、整合、裝載至系統(tǒng)。管理員可以對接入數(shù)據(jù)進(jìn)行“增刪改查”的管理操作。
4.2 大屏設(shè)計
由于汽車行業(yè)大屏使用的應(yīng)用場景非常豐富,包括市場、售后、用戶行為分析等各個方面,數(shù)據(jù)維度也非常多樣,通過大屏控制系統(tǒng)屏幕設(shè)置、單屏設(shè)計、拼接模板等功能設(shè)計,實現(xiàn)大屏展示模塊的靈活配置和自定義管理,從而在有限的屏幕范圍內(nèi)展示最佳的可視化模塊組合。
4.2.1 多場景大屏模板
系統(tǒng)內(nèi)置多場景大屏模板,適用于運營、銷售、出行、充電、智能駕駛、遠(yuǎn)程控制、車聯(lián)網(wǎng)等不同的應(yīng)用場景,從而支持可視化展示用戶從售前到購車、用車的全過程。同時,須提供至少5種屏幕規(guī)格,如單屏、橫雙屏、豎雙屏、橫三屏、豎三屏、四屏,以適應(yīng)不同形狀、大小和組合的大屏。用戶可以先在屏幕設(shè)置中選擇單屏尺寸,然后在單屏設(shè)計中實現(xiàn)單屏展示數(shù)據(jù)效果,最后選擇拼接模板完成單屏拼接。實現(xiàn)效果如圖2所示。
4.2.2 可視化大屏設(shè)計
大屏控制應(yīng)能提供單屏創(chuàng)建功能,具備可視化展示新能源車行業(yè)從售前到售后以及用戶用車全過程的大屏,支持靈活的個性化數(shù)據(jù)配置。用戶可根據(jù)系統(tǒng)提供的大屏模板創(chuàng)建新的單屏展示,填寫大屏名稱并設(shè)置單屏比(圖3),以便后續(xù)對設(shè)計好的單屏進(jìn)行管理和維護(hù)。
大屏控制系統(tǒng)還應(yīng)支持大屏數(shù)據(jù)的可視化配置,用戶可以點選需要展示的具體數(shù)據(jù)維度進(jìn)行自由組合。系統(tǒng)內(nèi)置運營、營銷、出行、車聯(lián)網(wǎng)、智能駕駛、遠(yuǎn)程控制和售后等主題,每個主題下有常用分析指標(biāo)供點選,用戶可以對主題和數(shù)據(jù)指標(biāo)進(jìn)行“增刪改查”的維護(hù)和管理,如圖4所示。
4.2.3 大屏拼接
用戶可以創(chuàng)建多套大屏進(jìn)行自由的拼接組合(圖5),將系統(tǒng)中已經(jīng)創(chuàng)建發(fā)布的多個單屏進(jìn)行設(shè)計拼接,并能對拼接的大屏設(shè)計效果進(jìn)行預(yù)覽、下載、發(fā)布、分享等操作。
(1)大屏布局
在創(chuàng)建拼接大屏?xí)r,首先對大屏單屏比和大屏布局進(jìn)行選擇。
(2)大屏組合拼接
在設(shè)置大屏布局并創(chuàng)建拼接大屏后進(jìn)入具體的大屏設(shè)置。提供多種模塊布局模板,選擇模板后可進(jìn)行大屏的頁面設(shè)計,即對拼接大屏中的空白布局進(jìn)行內(nèi)容替換。對大屏頁面的選擇支持配置篩選、搜索等功能,極大地方便了大屏的整體設(shè)計和效果預(yù)覽的過程。
(3)大屏背景
可以對大屏設(shè)置背景,通過自定義上傳靜態(tài)背景或動態(tài)背景,可以在已有背景中進(jìn)行選擇。
4.3 用戶管理
通過角色管理實現(xiàn)用戶權(quán)限的細(xì)粒度管理。用戶角色分為管理員、數(shù)據(jù)分析師和市場分析師。系統(tǒng)管理員擁有最全面的系統(tǒng)權(quán)限,可以對用戶、數(shù)據(jù)、系統(tǒng)配置等進(jìn)行管理操作;數(shù)據(jù)分析師可以擁有數(shù)據(jù)管理和大屏設(shè)計的權(quán)限,可以設(shè)置大屏展示的數(shù)據(jù)項和分析內(nèi)容;市場分析師可以進(jìn)行大屏設(shè)計以及查看其他用戶分享的大屏設(shè)計成果。管理員也可以單獨為具體用戶設(shè)置個性化系統(tǒng)功能權(quán)限和數(shù)據(jù)權(quán)限,實現(xiàn)靈活的權(quán)限管理。
5 結(jié)束語
本文設(shè)計了一種大屏控制系統(tǒng),通過屏幕設(shè)置、單屏設(shè)計、組合拼接、權(quán)限管理等功能為新能源車行業(yè)用戶提供了靈活的大屏數(shù)據(jù)可視化方法,其內(nèi)置的新能源車領(lǐng)域大屏數(shù)據(jù)模板有效地節(jié)約了用戶設(shè)計大屏的時間,克服了傳統(tǒng)大屏開發(fā)過程的缺點,具有重要的現(xiàn)實意義。
參考文獻(xiàn):
[1] 顧俊峰,王尊超,李繼康.通用大屏控制軟件的設(shè)計與實現(xiàn)[ J ].信息系統(tǒng)工程.2016(4):17.
[2] 周微忱.大屏幕控制系統(tǒng)的設(shè)計與實現(xiàn)[ D].上海:上海交通大學(xué),2011.
[3] 王薈奧,蔡永香,楊岸霖,等.大屏數(shù)據(jù)可視化易用工具的研究與開發(fā)[ J].計算機(jī)系統(tǒng)應(yīng)用,2022,31(2):114119.
[4] 權(quán)明亮.實時 ETL 工具的設(shè)計與實現(xiàn)[D].西安:西安電子科技大學(xué),2021.
[5] 賀彬.基于 MapReduce 的大數(shù)據(jù)計算分析[ J].電腦編程技巧與維護(hù).2021(12):97?100.
[6] 張少峰.基于 Storm 的實時處理系統(tǒng)的設(shè)計與實現(xiàn)[ D].北京:北京郵電大學(xué),2017.
[7] 王晨曦,呂方,崔慧敏,等.面向大數(shù)據(jù)處理的基于 Spark 的異質(zhì)內(nèi)存編程框架[J].計算機(jī)研究與發(fā)展.2018,55(2):246?264.
作者簡介:
伍凌云(1994—),碩士,工程師,研究方向:數(shù)據(jù)可視化。