王建軍 閆洪利 姜子琛 顏蜜蜜 岑蕓蕓

濟南軌道交通集團有限公司 山東濟南 250014

1 相關理論基礎

1.1 云計算技術

云計算技術是我國服務范圍最廣的計算技術，它通過運用集中式遠程計算機資源池進行數據的存儲、計算，以按需分配的方式為用戶提供相應的服務。云計算以其超強的計算能力，超高的服務質量，超大的存儲空間，在諸多數據處理技術中體現出巨大的優(yōu)勢。其特征主要表現在：①透明化。云計算的資源池對每個用戶都是透明的，并且保證數據的開放性；②無限制。云計算可以為計算機系統(tǒng)提供不受任何時間限制、行業(yè)限制的服務，允許各行業(yè)根據需要科學選取合適的計算模式，以期得到更精準且有效的數據信息；③便捷性。數據獲取方便快捷，成本較低，為用戶處理數據節(jié)省時間，提升數據處理的效率；④靈活性。云計算提供靈活的服務與方式?？筛鶕脩粜枨筮x擇合適的計算方法，提供針對性服務，更能提升用戶的滿意度[1]。

1.2 大數據技術

大數據技術能夠對海量信息進行獲取、組合和傳輸。通過大數據技術，可以有效收集結構化數據、半結構化數據和非結構化數據。數據集的規(guī)模大幅提升，從TB級到PB級，有效增大了數據容量。大數據的主要特征可以用“5V”來描述，即：Volume、Velocity、Variety、Veracity、Value。大數據的應用主要包括三個架構：①融合化架構。這是一種客戶機/服務器的架構模式。在此架構下，服務器起主導作用，管控應用系統(tǒng)，進行數據調度及邏輯處理等操作；②分散式架構。此架構中，由不同客戶端來進行系統(tǒng)的管控及管理。由于客戶端的自治，使其更具備擴展性和靈活性。但這種分布存儲與操作的模式，給數據的儲存和維護帶來了一定的困難，在用戶注冊時容易出現數據錯誤等提示問題。③混合式架構。此架構很好地結合的前兩種架構的優(yōu)勢，由服務器負責數據信息的分發(fā)與傳播，客戶機則主要實現用戶數據的交互[2]。

2 云計算與大數據處理技術實現的關鍵技術

2.1 大數據采集技術

按照不同采集方法，劃分大數據采集問題，例如分布式采集、集中式采集等。不同方法都具備優(yōu)勢與不足，通過以下方法優(yōu)勢做好分析。集中式收集，可以掌握控制各類數據；分布式采集的靈活性高。在大數據采集時，不僅要收集企業(yè)內部數據信息，還需要采集企業(yè)之間數據信息，在企業(yè)內部設置不同服務器，存儲企業(yè)共享數據。通過分布式計算方式，可以同時使用多種采集方法，全面提升數據收集水平。對于企業(yè)內部，可以應用集中式采集方法，企業(yè)之間通過分布式采集方法；針對中心服務器組織，可以應用分布式采集法。聯(lián)合不同結構類型劃分大數據類型，包括結構化數據、半結構化數據、非結構化數據。在收集數據信息時，應當按照系統(tǒng)要求，科學分析數據種類。依照系統(tǒng)種類，全面展現出云計算技術優(yōu)勢，例如擴展和容錯等，以此提升信息同構化，完成數據對接。

2.2 大數據存儲技術

傳統(tǒng)數據存儲為單結點倉庫，容量空間較小，對于新時期數據，已經不具備承載性能。雖然擁有視圖能力、索引能力，但是會受到空間約束，無法滿足社會發(fā)展需求。在新歷史時期下，傳統(tǒng)數據運行速度緩慢，無法滿足現代社會數據分析與處理。重點分析云計算技術，采用列式數據存儲方式，準確區(qū)分數據屬性，按照不同屬性，分類存儲不同數據。通過查找屬性方式，可以及時獲取所需數據，明顯提升數據處理水平，凸顯出系統(tǒng)功能性。按照不同屬性分類，可以涵蓋其他特征。按照相似程度，確保數據屬性排列的科學性。在查詢不確定屬性時，技術掌握相似屬性，便于后期查詢數據，鞏固基礎。同時可以獲得數據壓縮效果，降低錯誤查詢所致不良影響[3]。

2.3 大數據聯(lián)機分析

大數據聯(lián)機分析技術是大數據系統(tǒng)的核心。在此階段，系統(tǒng)需要對獲取的大量繁雜數據進行分析，在關鍵部分進行決策分析，并將實際結果反饋給用戶。一般情況下，大數據聯(lián)機分析時應以分析綜合性數據作為切入點，構建多維度模型，從而得到整體數據分析結果，為用戶提供決策性參考。大數據聯(lián)機分析還可以實現多種數據的同時處理，從而有效提升數據處理的效率。

2.4 大數據可視化技術

大數據可視化技術，將云計算技術作為數據挖掘技術，從復雜數據中，識別高價值信息。通過服務方式，向用戶提供數據信息。通過云計算技術，可以分析復雜數據，高效處理數據程序，以此作為切入點，在總體數據上放置原始數據，深入挖掘價值信息。云計算技術保障力度強，能夠顯著提升數據挖掘水平。在大量數據中，通過大數據技術可以挖掘重要信息，云計算技術可以匯總碎片信息，掌握內在規(guī)律，確保市場經濟發(fā)展趨勢分析的準確性。針對可視化處理技術，通過趨勢圖繪制方式，可以展示出可視化處理基礎，確保數據結果具備直觀性和生動性，防止企業(yè)出現決策失誤。

3 結語

綜上所述，注重傳統(tǒng)管理系統(tǒng)改革，能夠有效采集和分析大數據。云計算模式可以滿足大數據處理與存儲需求，所以必須基于云計算模式，深入研究和分析大數據處理技術，以此維護數據安全與質量。