亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        智慧城市多源異構(gòu)大數(shù)據(jù)處理框架

        2017-04-07 03:14:20劉巖王華秦葉陽朱興杰
        大數(shù)據(jù) 2017年1期
        關(guān)鍵詞:異構(gòu)結(jié)構(gòu)化數(shù)據(jù)處理

        劉巖,王華,秦葉陽,朱興杰

        1. 泰康保險集團股份有限公司數(shù)據(jù)信息中心,北京 102206;2. 中國人民大學,北京 100872;3. 北京大學,北京 100871

        智慧城市多源異構(gòu)大數(shù)據(jù)處理框架

        劉巖1,王華2,秦葉陽3,朱興杰1

        1. 泰康保險集團股份有限公司數(shù)據(jù)信息中心,北京 102206;2. 中國人民大學,北京 100872;3. 北京大學,北京 100871

        智慧城市建設的重心已由傳統(tǒng)IT系統(tǒng)和信息資源共享建設,轉(zhuǎn)變?yōu)閿?shù)據(jù)的深度挖掘利用和數(shù)據(jù)資產(chǎn)的運營流通。大數(shù)據(jù)中心是數(shù)據(jù)資產(chǎn)管理和利用的實體基礎,其核心驅(qū)動引擎是大數(shù)據(jù)平臺及各類數(shù)據(jù)挖掘與分析系統(tǒng)。討論了智慧城市大數(shù)據(jù)中心建設的功能架構(gòu),圍繞城市多源異構(gòu)數(shù)據(jù)處理的實際需要,對數(shù)據(jù)中心大數(shù)據(jù)平臺的架構(gòu)進行了拆分講解,并以視頻大數(shù)據(jù)處理為例,闡述了數(shù)據(jù)中心中大數(shù)據(jù)平臺的運轉(zhuǎn)流程。

        智慧城市;大數(shù)據(jù);多源異構(gòu);視頻分析

        1 引言

        隨著智慧城市建設逐步由信息基礎設施和應用系統(tǒng)建設邁入數(shù)據(jù)資產(chǎn)集約利用與運營管理階段,城市大數(shù)據(jù)中心已成為智慧城市打造核心競爭力、提升政府管理效能的重要工具。一方面政府借助大數(shù)據(jù)中心建設可以將有限的信息基礎設施資源集中高效管理和利用,大幅降低各自為政、運維機關(guān)龐雜、財政壓力過大的問題;另一方面,可以在國務院、發(fā)展和改革委員會大力支持的政策東風下,打破部門間數(shù)據(jù)壁壘,推動政府各部門職能由管理轉(zhuǎn)為服務,提高數(shù)據(jù)共享利用率和透明度。以大數(shù)據(jù)中心為核心構(gòu)建城市駕駛艙,實現(xiàn)城市運轉(zhuǎn)過程的實時全面監(jiān)控,提高政府決策的科學性和及時性。智慧城市大數(shù)據(jù)中心建設功能框架如圖1所示,其中針對不同部門的數(shù)據(jù)源,由數(shù)據(jù)收集系統(tǒng)完成數(shù)據(jù)的匯聚,并根據(jù)數(shù)據(jù)業(yè)務類型和內(nèi)容的差異進行粗分類。為避免過多“臟數(shù)據(jù)”對大數(shù)據(jù)平臺的污染,對于批量數(shù)據(jù),不推薦直接將數(shù)據(jù)匯入大數(shù)據(jù)平臺,而是單設一個前端原始數(shù)據(jù)資源池,在這里暫時存儲前端流入的多源異構(gòu)數(shù)據(jù),供大數(shù)據(jù)平臺處理調(diào)用。

        大數(shù)據(jù)平臺是城市大數(shù)據(jù)中心運轉(zhuǎn)的核心驅(qū)動引擎,主要完成多源數(shù)據(jù)導入、冗余存儲、冷熱遷移、批量計算、實時計算、圖計算、安全管理、資源管理、運維監(jiān)控等功能[1],大數(shù)據(jù)平臺的主體數(shù)據(jù)是通過專線連接或硬件復制各政府部門數(shù)據(jù)庫的方式獲得,例如地理信息系統(tǒng)(geographic information system,GIS)數(shù)據(jù)、登記信息等。部分數(shù)據(jù)通過直連業(yè)務部門傳感監(jiān)測設備的方式獲得,例如監(jiān)控視頻、河道流量等。大數(shù)據(jù)平臺的輸出主要是結(jié)構(gòu)化關(guān)聯(lián)數(shù)據(jù)以及統(tǒng)計分析結(jié)果數(shù)據(jù),以方便各類業(yè)務系統(tǒng)的直接使用。

        不同部門間共享與交換的數(shù)據(jù)不推薦直接使用原始數(shù)據(jù),一方面是因為原始數(shù)據(jù)內(nèi)容密級存在差異,另一方面是因為原始數(shù)據(jù)內(nèi)容可能存在錯誤或紕漏。推薦使用經(jīng)過大數(shù)據(jù)平臺分類、過濾和統(tǒng)計分析后的數(shù)據(jù)。不同使用部門經(jīng)過政務信息門戶統(tǒng)一需求申請和查看所需數(shù)據(jù),所有數(shù)據(jù)的交換和審批以及數(shù)據(jù)的監(jiān)控運維統(tǒng)一由數(shù)據(jù)信息中心負責,避免了跨部門協(xié)調(diào)以及數(shù)據(jù)管理不規(guī)范等人為時間的損耗,極大地提高了數(shù)據(jù)的流通和使用效率。另外,針對特定的業(yè)務需求,可以基于大數(shù)據(jù)平臺擁有的數(shù)據(jù)進行定制開發(fā),各業(yè)務系統(tǒng)屬于應用層,建設時不宜與大數(shù)據(jù)平臺部署在同一服務器集群內(nèi),并且要保證數(shù)據(jù)由大數(shù)據(jù)平臺至業(yè)務系統(tǒng)的單向性,盡量設置業(yè)務數(shù)據(jù)過渡區(qū),避免應用系統(tǒng)直接對大數(shù)據(jù)平臺核心區(qū)數(shù)據(jù)的訪問。

        目前主流大數(shù)據(jù)平臺都采用以Hadoop為核心的數(shù)據(jù)處理框架,例如Cloudera公司的CDH(Cloudera Distribution for Hadoop)和星環(huán)信息科技(上海)有限公司(Transwarp)的TDH(Transwarp Data Hub)、Apache Hadoop等。以Hadoop為核心的大數(shù)據(jù)解決方案占大數(shù)據(jù)市場95%以上的份額,目前國內(nèi)80%的市場被 Cloudera占有,剩余20%的市場由星環(huán)信息科技(上海)有限公司、北京紅象云騰系統(tǒng)技術(shù)有限公司、華為技術(shù)有限公司等大數(shù)據(jù)公司分享。隨著數(shù)據(jù)安全意識的增強、價格競爭優(yōu)勢的擴大,國內(nèi)企業(yè)在國內(nèi)大數(shù)據(jù)市場的份額和影響力正在快速提升。大數(shù)據(jù)的應用歷程可歸納為3個階段:第一個階段是面向互聯(lián)網(wǎng)數(shù)據(jù)收集、處理的搜索推薦時代;第二個階段是面向金融、安全、廣播電視數(shù)據(jù)的用戶畫像和關(guān)系發(fā)現(xiàn)時代;第三個階段是面向多數(shù)據(jù)源與多業(yè)務領域數(shù)據(jù)的融合分析與數(shù)據(jù)運營時代,并且對數(shù)據(jù)處理規(guī)模和實時性的要求大幅提高。

        本文在智慧城市大數(shù)據(jù)中心建設方案的基礎上,闡述了多源異構(gòu)大數(shù)據(jù)處理的框架和流程,并以最典型的非結(jié)構(gòu)化視頻大數(shù)據(jù)處理為例,介紹了多源異構(gòu)大數(shù)據(jù)處理框架運轉(zhuǎn)的流程。

        2 多源異構(gòu)大數(shù)據(jù)處理框架

        2.1 系統(tǒng)整體架構(gòu)

        多源異構(gòu)是大數(shù)據(jù)的基本特征[2],為適應此類數(shù)據(jù)導入、存儲、處理和交互分析的需求,本文設計了如圖2所示的系統(tǒng)框架,主要包括3個層面的內(nèi)容:基礎平臺層、數(shù)據(jù)處理層、應用展示層。其中,基礎平臺層由Hadoop生態(tài)系統(tǒng)組件以及其他數(shù)據(jù)處理工具構(gòu)成,除了提供基本的存儲、計算和網(wǎng)絡資源外,還提供分布式流計算、離線批處理以及圖計算等計算引擎;數(shù)據(jù)處理層由多個數(shù)據(jù)處理單元組成,除了提供基礎的數(shù)據(jù)抽取與統(tǒng)計分析算法外,還提供半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)結(jié)構(gòu)化數(shù)據(jù)處理算法、數(shù)據(jù)內(nèi)容深度理解算法等,涉及自然語言處理、視頻圖像內(nèi)容理解、文本挖掘與分析等,是與人工智能聯(lián)系最緊密的層,該層數(shù)據(jù)處理效果的好壞直接決定了業(yè)務應用層數(shù)據(jù)統(tǒng)計分析的準確性和客戶體驗;應用展示層由SSH(Struts+Spring+Hibernate)框架及多類前端可視化工具組成,對應用層的約束是比較寬松的,主要是對數(shù)據(jù)處理層結(jié)果的進一步歸納和總結(jié),以滿足具體業(yè)務的需要。系統(tǒng)框架的使用優(yōu)先推薦開源生態(tài)系統(tǒng)及其組件,系統(tǒng)存儲主要依托Hadoop分布式文件系統(tǒng)(Hadoop distributed file system,HDFS)、HBase,同時支持Oracle、MySQL等結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng),計算框架涵蓋MapReduce、Storm、Spark以及定制分布式視頻流處理引擎,可視化系統(tǒng)基于SSH框架設計,可根據(jù)實際需求,靈活配置。

        圖2 多源異構(gòu)大數(shù)據(jù)處理框架

        2.2 多源數(shù)據(jù)導入

        鑒于數(shù)據(jù)存儲介質(zhì)、數(shù)據(jù)存儲類型和數(shù)據(jù)傳輸方式的差異,系統(tǒng)在數(shù)據(jù)導入單元設計了如下數(shù)據(jù)導入框架,借助不同的導入工具,實現(xiàn)不同源數(shù)據(jù)和不同結(jié)構(gòu)數(shù)據(jù)的導入,如圖3所示。其中,對實時性要求較高的監(jiān)測數(shù)據(jù)以分布式消息隊列的形式由Kafka分發(fā);關(guān)系型數(shù)據(jù)庫使用Sqoop等工具,直接將數(shù)據(jù)導入HDFS[3,4];對于安全等級較高的數(shù)據(jù)和其他一些離線數(shù)據(jù),使用硬件復制或文件傳輸協(xié)議(file transfer protocol,F(xiàn)TP)傳輸?shù)姆绞綄?;對于日志等文本?shù)據(jù)使用Flume工具導入;對于互聯(lián)網(wǎng)數(shù)據(jù)使用爬蟲程序爬取,并導入;對于視頻等多媒體數(shù)據(jù),使用各廠商提供的定制碼流軟件開發(fā)工具包(software development kit, SDK)開發(fā)導入程序,或者利用多媒體流處理引擎直接抓取和在線處理。在智慧城市建設過程中,數(shù)據(jù)來源差異一般較大,數(shù)據(jù)庫中存放的主要是經(jīng)過業(yè)務系統(tǒng)加工后的數(shù)據(jù),而描述行為過程的數(shù)據(jù)一般都未被記錄,此時,需要定制開發(fā)能夠直接連接原始數(shù)據(jù)源的數(shù)據(jù)采集工具。

        2.3 異構(gòu)數(shù)據(jù)處理

        根據(jù)數(shù)據(jù)類型的差異,選擇不同的計算和存儲引擎。對于非實時性數(shù)據(jù)計算,選擇MapReduce計算引擎[5];對實時性要求較高的數(shù)據(jù)計算,選擇Spark或Storm計算框架[6,7];對時序不可分的流媒體數(shù)據(jù)處理,選擇定制流媒體計算引擎,如圖4所示。對于結(jié)構(gòu)化或鍵值對數(shù)據(jù),采用Hive或HBase存儲,兼容Oracle和MySQL等關(guān)系型數(shù)據(jù)庫;對于日志、多媒體等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),采用HDFS存儲。數(shù)據(jù)倉庫可以統(tǒng)一建立在HDFS上,統(tǒng)一的存儲有助于最大化地發(fā)揮分布式系統(tǒng)的數(shù)據(jù)處理能力,充分利用內(nèi)網(wǎng)帶寬,減少異構(gòu)數(shù)據(jù)倉庫自身性能瓶頸導致的大數(shù)據(jù)系統(tǒng)性能下降問題。

        圖3 多源數(shù)據(jù)導入框架

        對于結(jié)構(gòu)化數(shù)據(jù)的處理主要包括內(nèi)容清洗、統(tǒng)計分析、關(guān)聯(lián)分析等;對于半結(jié)構(gòu)化數(shù)據(jù)的處理涉及模板分類、字段檢索、關(guān)鍵字段提取等;對于非結(jié)構(gòu)化數(shù)據(jù)的處理涉及音視頻內(nèi)容的結(jié)構(gòu)轉(zhuǎn)化、文本內(nèi)容的挖掘與分析、語義理解與情感分析等。隨著數(shù)據(jù)結(jié)構(gòu)多樣性和內(nèi)容不確定性的增加,數(shù)據(jù)處理的復雜度和難度呈現(xiàn)指數(shù)型非線性增長,諸多數(shù)據(jù)處理問題在這個階段轉(zhuǎn)變?yōu)槿斯ぶ悄芩惴▎栴}。

        圖4 異構(gòu)數(shù)據(jù)處理框架

        2.4 統(tǒng)一運維管理

        大數(shù)據(jù)平臺的運維管理借助統(tǒng)一運維管理平臺實現(xiàn),管控平臺具備大數(shù)據(jù)平臺定制化組件安裝、資源靈活配置、字段級權(quán)限控制、賬戶管理等功能,借助統(tǒng)一的運維管理平臺,對平臺安裝節(jié)點的CPU、內(nèi)存、硬盤資源進行控制,并對節(jié)點所在機架進行規(guī)劃,通過運維管理主節(jié)點,可實現(xiàn)大數(shù)據(jù)平臺的自動部署和安裝,與此同時,運維管理平臺可實時監(jiān)控正在運行的各服務的資源使用情況和任務進度情況,為各服務提供資源隔離或資源搶占式兩種選擇方案,靈活配置服務運行節(jié)點,大大節(jié)省運維管理人員的工作量。

        3 視頻數(shù)據(jù)處理應用示例

        在智慧城市建設中,視頻不僅是存儲規(guī)模最大的數(shù)據(jù),同時也是最典型的異構(gòu)大數(shù)據(jù),數(shù)據(jù)內(nèi)容在不同的處理階段,表現(xiàn)為不同的數(shù)據(jù)形式:非結(jié)構(gòu)化(視頻、圖像)、半結(jié)構(gòu)化(特征點)、結(jié)構(gòu)化(特征向量、描述屬性)。視頻數(shù)據(jù)[8]不僅用于治安偵查、違章監(jiān)測,還被用于城市人群密度監(jiān)測,結(jié)合輿情、地理定位等信息,可用于對城市不同區(qū)域安全等級的評估。視頻數(shù)據(jù)處理算法框架如圖5所示,視頻數(shù)據(jù)處理的過程是逐步將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)為結(jié)構(gòu)化數(shù)據(jù),然后做統(tǒng)計和關(guān)聯(lián)分析的過程。

        3.1 視頻數(shù)據(jù)標記

        視頻數(shù)據(jù)標記有助于提高視頻內(nèi)容提取和描述的準確性和穩(wěn)定性,使得視頻內(nèi)容檢測與分析算法的設計更有針對性,原則上對視頻內(nèi)容的結(jié)構(gòu)化描述信息越全面越好,但是容易受標記人員主觀因素干擾,因此只選擇容易區(qū)分和定義的以下幾類標記信息:視頻場景、視頻主色、運動方向、適用算法。視頻場景可分為:卡口、路口、廣場、街道等,視頻主色可分為:彩色和灰色,運動方向根據(jù)圖像坐標系分為8個方向,適用算法主要用于標記該視頻適用于哪類算法,例如行人檢測、遺留物檢測、交通標志檢測、車牌檢測等。標記后的視頻經(jīng)過視頻分割算法處理,被切分成大小適合MapReduce處理的文件塊。

        圖5 視頻數(shù)據(jù)處理流程

        3.2 視頻內(nèi)容挖掘

        圖6 視頻內(nèi)容挖掘流程

        視頻多媒體數(shù)據(jù)包含的信息非常豐富,這里僅以視頻中的人、車、自行車目標的檢測與跟蹤為例,闡述非結(jié)構(gòu)化視頻大數(shù)據(jù)內(nèi)容挖掘的實現(xiàn)過程。

        視頻內(nèi)容挖掘是通過對視頻文件或視頻流的解碼,逐幀進行分析處理的。視頻中的運動目標是檢測的主要對象,通過背景建模、前景目標分割算法確定潛在運動目標的位置,然后通過運動目標跟蹤算法對粘連目標、誤分割目標以及特征不穩(wěn)定目標進行切分、合并和過濾處理,處理流程如圖6所示,圖6中對不同的運動目標分別建立檢測存儲隊列、跟蹤存儲隊列、結(jié)果存儲隊列,用以實現(xiàn)基于視頻前后幀序列的目標過濾與判定。整個處理過程可以使用MapReduce框架實現(xiàn),值得注意的是,視頻對象處理需要耗費大量的內(nèi)存資源,單靠Java虛擬機(Java virtual machine,JVM)已難以滿足需求,因此,推薦使用C+Java的混合語言編程處理模式。

        3.3 視頻目標分類

        對視頻內(nèi)容挖掘單元輸出的目標圖像文件做進一步顯著性檢測與分類判定,主要包括圖像中的人體檢測、車輛檢測、自行車檢測,并對目標圖像中包含多個目標的情況進行切分,對誤檢或位置不精確的目標進行過濾或校正。

        本文使用優(yōu)化的彈性形變模型(deformable parts model,DPM)算法對目標圖像進行二次檢測,如圖7所示。為提高檢測精度,對尺寸(寬或高)小于320像素的圖像進行插值處理,擴大至(寬或高)640像素,二次檢測的結(jié)果仍以圖像文件的形式存儲在HDFS上,文件屬性及其與原視頻流的對應關(guān)系記錄在HBase中,該對應關(guān)系主要包括原視頻路徑、圖像對應視頻中的幀序號等。

        圖7 基于優(yōu)化DPM的行人二次定位示例

        3.4 視頻目標檢索

        視頻目標檢索是在視頻目標分類結(jié)果的基礎上,對圖像內(nèi)容進行結(jié)構(gòu)化特征描述[9],特征向量冷數(shù)據(jù)存儲在HBase中,熱數(shù)據(jù)存儲在內(nèi)存中,每一次的檢索查詢是對所有圖像數(shù)據(jù)特征的相似性比較。其中特征向量的構(gòu)建綜合考慮顏色不變性和尺度不變性的現(xiàn)實需求,使得特征向量對顏色變化敏感而對尺度變化頑健,目標間的相似性通過特征向量余弦計算。視頻監(jiān)控目標檢索示例如圖8所示。

        圖8 視頻監(jiān)控目標檢索示例

        3.5 區(qū)域密度監(jiān)測

        如圖9所示,將檢測到的人、車、自行車等以行為人為主體的目標與監(jiān)控攝像機的地理位置結(jié)合在一起,得出人車分布情況和城市活躍度情況。圖9(a)以曲線形式展示了不同時刻的人車分布情況,圖9(b)為基于密度波動的城市活躍度評分。

        4 結(jié)束語

        在智慧城市建設中,大數(shù)據(jù)中心扮演著城市大腦的角色,匯聚了來自不同業(yè)務部門、不同企事業(yè)單位和不同行為人的過程、行為和位置等數(shù)據(jù),這些城市主體元素的監(jiān)測數(shù)據(jù)組成了大數(shù)據(jù)中心龐雜的數(shù)據(jù)源,大數(shù)據(jù)平臺及各類數(shù)據(jù)挖掘與分析系統(tǒng)組成了大數(shù)據(jù)中心的數(shù)據(jù)分析引擎。在政府角色由城市管理轉(zhuǎn)向城市運營和服務的過程中,大數(shù)據(jù)中心建設起到了重要的推動作用。本文從智慧城市大數(shù)據(jù)中心運轉(zhuǎn)的角度,介紹了大數(shù)據(jù)中心對多源異構(gòu)大數(shù)據(jù)處理的架構(gòu)體系,并且以最典型的視頻大數(shù)據(jù)處理為例,講解了大數(shù)據(jù)平臺中非結(jié)構(gòu)化數(shù)據(jù)處理的方法和流程,最后給出了數(shù)據(jù)挖掘結(jié)果如何服務于智慧城市的應用示例。

        [1] 程學旗, 靳小龍,王元卓,等. 大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 軟件學報, 2014, 25(9): 1889-1908. CHENG X Q, JIN X L, WANG Y Z, et al. Survey on big data system and analytic technology[J]. Journal of Software, 2014, 25(9): 1889-1908.

        [2] 石宇, 詹明, 尹璐, 等. 面向?qū)ο蟮亩嘣串悩?gòu)數(shù)據(jù)關(guān)聯(lián)組織與分析[J]. 測繪通報, 2015(1): 102-104. SHI Y, ZHAN M, YIN L, et al. Research on associated orgabization and analysis of target-oriented multi-source heterogeneous data[J]. Bulletin of Surveying and Mapping, 2015(1): 102-104.

        [3] GHEMAWAT S, GOBIOFF H, LEUNG S. File and storage systems: the Google file system[J]. ACM Sigops Operating Systems Review, 2003, 37(5): 29-43.

        [4] HE H, DU Z, ZHANG W, et al. Optimization strategy of Hadoop small file storage for big data in healthcare[J]. Journal of Supercomputing, 2015, 72(10): 1-12.

        [5] DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters[J]. Communications of the ACM, 2008, 51(1): 107-113.

        圖9 城市區(qū)域密度監(jiān)測示例

        [6] 孫大為, 張廣艷, 鄭緯民. 大數(shù)據(jù)流式計算:關(guān)鍵技術(shù)及系統(tǒng)分析[J]. 軟件學報, 2014, 25(4): 839-862.SUN D L, ZHANG G Y, ZHENG W M. Big data stream computing: technologies and instances[J]. Journal of Software, 2014, 25(4): 839-862.

        [7] 齊開元, 趙卓峰. 針對高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實時處理方法[J]. 計算機學報, 2012, 35(3): 477-490. QI K Y, ZHAO Z F. Real-time processing for high speed data stream over large scale data[J]. Chinese Journal of Computers, 2012, 35(3): 477-490.

        [8] DING S H, LI G, LI Y, et al. SurvSurf: human retrieval on large surveillance video data[J]. Multimedia Tools & Applications, 2016(1): 1-29.

        [9] ZHU H D, SHEN Z, SHANG L, et al. Parallel image texture feature extraction under Hadoop cloud platform[J]. Springer International Publishing, 2014(8588): 459-465.

        Multisource heterogeneous big data processing architecture in smart city

        LIU Yan1, WANG Hua2, QIN Yeyang3, ZHU Xingjie1
        1. Data & Information Services Center, Taikang Insurance Group Co., Ltd., Beijing 102206, China 2. Renmin University of China, Beijing 100872, China 3. Peking University, Beijing 100871, China

        The focus of smart city construction has been transferred from the tradition IT systems and sharing of information resources construction into the data mining operations and the flow of data assets. Big data center is the physical infrastructure of data assets management and utilization. Its core driver includes big data platform and kinds of data mining and analysis systems. The functional architecture of big data center in smart cities was discussed. And around the actual needs of urban multisource heterogeneous data processing, the structure of the big data platform used by parts was explained. Then taking the video processing as an example, the working flow of big data platform in the big data center was described.

        smart city, big data, multisource and heterogeneous, video analysis

        TP391

        A

        10.11959/j.issn.2096-0271.2017007

        劉巖(1982-),男,泰康保險集團股份有限公司數(shù)據(jù)信息中心高級工程師、高級主管,中國計算機學會會員,主要研究方向為智慧城市建設與規(guī)劃、多源異構(gòu)大數(shù)據(jù)內(nèi)容挖掘與分析、人工智能理論與應用等,在大數(shù)據(jù)系統(tǒng)設計、人臉識別、OCR識別等領域具有豐富的實踐經(jīng)驗,曾作為首席專家參與多個城市智慧化發(fā)展規(guī)劃與實施建設。目前已發(fā)表學術(shù)論文25篇,申請美國發(fā)明專利4項,中國發(fā)明專利17項,軟件著作權(quán)3項,榮獲省科技進步獎一項,承擔多個“973”計劃項目、國家自然科學基金等項目。

        王華(1985-),男,中國人民大學碩士生,主要研究方向為大數(shù)據(jù)處理架構(gòu)與應用、多源異構(gòu)數(shù)據(jù)內(nèi)容清洗及結(jié)構(gòu)化轉(zhuǎn)化等,對Hadoop、Spark生態(tài)系統(tǒng)及組件具有豐富的應用實踐經(jīng)驗。

        秦葉陽(1986-),女,就職于北京大學,安徽榮創(chuàng)智能科技有限公司聯(lián)合創(chuàng)始人,主要研究方向為智慧城市信息化建設、大數(shù)據(jù)處理系統(tǒng)設計與應用、信息安全等,在信息化系統(tǒng)建設、項目組織與運營管理、公共關(guān)系管理等方面具有豐富的經(jīng)驗。

        朱興杰(1986-),男,泰康保險集團股份有限公司數(shù)據(jù)信息中心應用創(chuàng)新高級工程師,主要研究方向為視頻數(shù)據(jù)內(nèi)容挖掘與分析、人臉檢測與識別、機器學習等。

        2016-11-18

        猜你喜歡
        異構(gòu)結(jié)構(gòu)化數(shù)據(jù)處理
        試論同課異構(gòu)之“同”與“異”
        認知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補與極大似然估計法*
        心理學報(2022年4期)2022-04-12 07:38:02
        ILWT-EEMD數(shù)據(jù)處理的ELM滾動軸承故障診斷
        促進知識結(jié)構(gòu)化的主題式復習初探
        結(jié)構(gòu)化面試方法在研究生復試中的應用
        計算機教育(2020年5期)2020-07-24 08:53:00
        overlay SDN實現(xiàn)異構(gòu)兼容的關(guān)鍵技術(shù)
        電信科學(2016年11期)2016-11-23 05:07:56
        LTE異構(gòu)網(wǎng)技術(shù)與組網(wǎng)研究
        基于希爾伯特- 黃變換的去噪法在外測數(shù)據(jù)處理中的應用
        基于圖模型的通用半結(jié)構(gòu)化數(shù)據(jù)檢索
        計算機工程(2015年8期)2015-07-03 12:20:35
        在新興異構(gòu)SoCs上集成多種系統(tǒng)
        91久久国产露脸国语对白| 国产AV无码专区亚洲AⅤ| 亚洲成在人线电影天堂色| 色偷偷亚洲女人的天堂| 精品女同一区二区三区| 国产精品永久免费| 国产欧美日韩在线观看| 一区二区三区婷婷中文字幕| 亚洲精品女同一区二区三区| 亚洲乱码一区av春药高潮| 亚洲va欧美va国产综合| 国产成人av综合色| 中文字幕一区二区av| 国产特级毛片aaaaaa视频| 国产成人无码一二三区视频| 丰满人妻中文字幕乱码| 亚洲国产熟女精品传媒| 国产色在线 | 亚洲| 国产成年无码V片在线| 国产精品农村妇女一区二区三区 | 国产乱子伦农村xxxx| 国产三级在线视频播放| 激情视频在线观看免费播放| 一区二区精品国产亚洲| 国产精品自在线拍国产| 久久频这里精品99香蕉| 亚洲天堂一区二区三区| 久久精品国产清自在天天线| 国产农村妇女高潮大叫| 蜜桃一区二区三区自拍视频| 久久精品日本不卡91| 日日摸天天摸人人看| 亚洲国产成人手机在线电影| 久久综合五月天啪网亚洲精品 | 亚洲色欲久久久综合网| 久久青青草原一区网站| 日本丰满熟妇videossexhd| 亚洲人成无码网www| 亚洲一区二区女优av| 日韩精品中文一区二区三区在线 | 亚洲tv精品一区二区三区|