呂盟 同方知網數字出版技術股份有限公司

引言

大數據（big data）是描述大量數據的一種術語，其中包括結構化數據和非結構化數據，覆蓋了大量的業(yè)務。運用大數據技術，可以從各種類型的數據中快速獲得有價值信息，其意義不僅僅是對數據量的管理，更重要的是對重要數據的處理方式，可以洞察分析大數據，從而獲得更好的決策和戰(zhàn)略性業(yè)務變動。

隨著對大數據技術的不斷探索和完善，目前在大數據領域已經涌現出了大量新的技術，成為大數據采集、存儲、處理和呈現的有力武器。

大數據處理關鍵技術一般包括：大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用等，其中應用又包括：大數據檢索、大數據可視化、大數據安全。

一、大數據時代下，計算機行業(yè)的發(fā)展

大數據時代的來臨，對計算機行業(yè)的發(fā)展產生了巨大影響，數據處理技術翻天覆地的變化，催生了人們思維的變革：從依靠隨機部分數據樣本，到利用全體數據；從過分追求精確性，到逐漸適應混雜性；從因果關系的思維模式，向相關關系演變。

相比于其他計算機技術，大數據的“廉價、迅速、優(yōu)化”給企業(yè)的綜合成本提供了最優(yōu)解。

曾經IBM 拋棄了PC，并成功轉向了軟件和服務，現在他們將遠離服務與咨詢，將注意力集中在因大數據分析軟件而帶來的全新業(yè)務增長點。我國的百度與騰訊也相繼開發(fā)自己的大數據處理和存儲系統(tǒng)。從2009 年開始，發(fā)生了一系列以大數據為主題的企業(yè)并購案，其數量和規(guī)模呈遞增趨勢。以Oracle 并購Sun 和惠普并購Autonomy最為典型，兩起并購涉及金額高達176 億美元。

二、大數據時代下計算機工程技術的應用

數據虛擬化

數據虛擬化技術是在數據傳輸網中建立服務，并在IT 架構層中查看和分析不同來源的數據集，而實際意義上的數據并未從原本物理系統(tǒng)中移動。

在大數據時代下的計算機軟件技術應用中，虛擬化技術是重點應用之一。通過內部優(yōu)化配置，將虛擬資源進行整合分流管理，進而加快信息處理速度，保證效率。將大數據與虛擬化技術相結合，是當前計算機軟件技術應用的大趨勢，國內外很多企業(yè)都開始投入到相關項目的研究中，它與人們的日常生活息息相關，從某種意義上講，甚至可以改變人們的生活。以VMware 虛擬化大數據為例：

1. 簡化大數據管理

虛擬化為Hadoop 等大數據應用提供了支持。其優(yōu)勢在于，簡化大數據基礎架構的管理可以更快地取得成效，從而提高成本效益，而這些是在物理基礎架構環(huán)境中是無法實現的。VMware 不僅是傳統(tǒng)應用的最佳平臺，更是大數據的最佳平臺。

2. 服務器虛擬化

借助虛擬化這項已經過驗證的軟件技術，可在同一臺服務器上同時運行多個操作系統(tǒng)和應用，提高了 IT 敏捷性、靈活性和可擴展性，同時大幅度的節(jié)約了成本。并且，工作負載的部署速度更快、性能和可用性得到提升、運維實現自動化，這讓 IT 管理工作變得更加簡單。

3. 確保系統(tǒng)正常運行

vSphere High Availability (HA) 可針對具體虛擬化環(huán)境中的硬件和操作系統(tǒng)故障提供故障轉移保護，通過啟動集群中其他主機上的虛擬機來保證用戶的正常使用和系統(tǒng)的正常運行，最大限度的縮短了因故障而無法運作的時間。HA 為所有應用建立了自我保護機制，無需修改應用或客戶機操作系統(tǒng)。

4. 共享數據中心資源

vSphere 內容庫支持管理員將內容分組整理到可單獨進行配置和管理的庫中。創(chuàng)建庫后，即可跨越 vCenter Server 的邊界共享內容，確保整個數據中心的一致性。

5. 優(yōu)先為虛擬機分配資源

通過vSphere Network I/O Control (NIOC) 和 vSphere Storage I/O Control (SIOC) 對網絡和存儲進行監(jiān)控，并根據工程師設置的規(guī)則和策略自動將資源轉移到高優(yōu)先級應用。并通過跨vSphere 主機集群動態(tài)分配 I/O 容量來解決網絡或存儲使用率問題。

三、結束語

綜上所述，大數據時代的到來，為計算機行業(yè)的發(fā)展，特別是軟件工程，提供了新的方向。它為計算機軟件的開發(fā)提供了新思維，但也要結合社會背景，根據不同行業(yè)的需求來做判斷。大數據與計算機軟件應用相結合，也不僅僅體現在虛擬化技術，云存儲、信息安全等方向同樣與大數據緊密相連。大數據技術在諸多領域的應用，將其推向了信息化技術變革的新高度，也是未來的發(fā)展方向。