閆東

關(guān)鍵詞 數(shù)據(jù)可視化 數(shù)據(jù)分析 數(shù)據(jù)挖掘

大數(shù)據(jù)具有五“V”特征，即數(shù)據(jù)量大（Volume）、速度快（Velocity）、類型多（Variety）、價值密度低（Value）、真實性（Veracity）。大數(shù)據(jù)為人類生活帶來了翻天覆地的變化。面對海量的數(shù)據(jù)，如何利用大數(shù)據(jù)來推動社會的發(fā)展，如何將數(shù)據(jù)內(nèi)在的信息展現(xiàn)出來，是數(shù)據(jù)研究的重要內(nèi)容之一。數(shù)據(jù)的價值不在于數(shù)據(jù)本身，而是在于對數(shù)據(jù)的解讀、分析。只有通過對數(shù)據(jù)的解讀、分析，才能夠挖掘數(shù)據(jù)隱藏的信息，發(fā)掘信息之中蘊(yùn)含的價值和智慧。數(shù)據(jù)可視化技術(shù)是一種研究數(shù)據(jù)的重要工具，其可以有效分析和挖掘數(shù)據(jù)。

1數(shù)據(jù)可視化的概念

數(shù)據(jù)可視化通過圖形等形式分析和展現(xiàn)數(shù)據(jù)，從而有效傳達(dá)和溝通信息。數(shù)據(jù)可視化與信息圖形、信息可視化、科學(xué)可視化以及統(tǒng)計圖形密切相關(guān)。數(shù)據(jù)可視化可以利用信息圖表、統(tǒng)計圖形、圖表和其他工具傳遞信息[1] 。

2數(shù)據(jù)可視化的意義

數(shù)據(jù)可視化是將空間或者非空間數(shù)據(jù)等各種類型的無意義的數(shù)據(jù)通過計算機(jī)圖形、圖像等表現(xiàn)出來，易于人們理解，提供啟發(fā)或挖掘規(guī)律的可能。

數(shù)據(jù)可視化不僅是讓數(shù)據(jù)簡單的成為圖表，而是以數(shù)據(jù)為基礎(chǔ)，通過映射，實現(xiàn)從數(shù)據(jù)視覺的角度描述世界、探索世界。數(shù)據(jù)可視化的目的和意義是通過分析、挖掘數(shù)據(jù)的深層次信息，發(fā)現(xiàn)數(shù)據(jù)的規(guī)律，包括學(xué)習(xí)、探索、決策等。

3數(shù)據(jù)可視化的實現(xiàn)過程

數(shù)據(jù)可視化流程（圖1） 包括數(shù)據(jù)獲取、數(shù)據(jù)分析、數(shù)據(jù)過濾、數(shù)據(jù)挖掘、表示、修飾、界面交互等。

3.1數(shù)據(jù)獲取

數(shù)據(jù)獲取的方式（圖2）可以分為線上采集、線下采集兩種。

3.1.1線上采集

線上采集主要包括開放數(shù)據(jù)、第三方數(shù)據(jù)平臺、物理數(shù)據(jù)、APP 數(shù)據(jù)等。

（1）開放數(shù)據(jù)：是一類可以被任何人免費(fèi)使用、再利用、再分發(fā)的數(shù)據(jù)———在其限制上，要求署名和使用類似的協(xié)議再分發(fā)，如北京公共數(shù)據(jù)開放平臺、深圳市政府?dāng)?shù)據(jù)開放平臺等。

（2）第三方數(shù)據(jù)平臺：通過某第三方平臺提供的API 接口來調(diào)取相關(guān)數(shù)據(jù)，如Toshare 大數(shù)據(jù)開放平臺等。

（ 3）物理數(shù)據(jù)：通過傳感器設(shè)備或者射頻卡等設(shè)備進(jìn)行數(shù)據(jù)采集并進(jìn)行轉(zhuǎn)化。涵蓋氣敏、力敏、磁敏、光敏、聲敏等不同類別的工業(yè)傳感器，收集數(shù)據(jù)少，但產(chǎn)生數(shù)據(jù)的頻率很高。比如，在陀螺儀的使用中，記錄角速度用于手機(jī)導(dǎo)航等行為產(chǎn)生的數(shù)據(jù)。

（4）APP 數(shù)據(jù)：當(dāng)用戶使用某個APP、Web 端應(yīng)用、小程序時就會產(chǎn)生數(shù)據(jù)，如“瀏覽商品?確定?查看商品信息?放入購物車?下單?物流信息”等數(shù)據(jù)。

3.1.2線下采集

線下采集主要包括問卷調(diào)查、用戶訪談、實地調(diào)研等。

（ 1）問卷調(diào)查：是目前通用的調(diào)查形式，根據(jù)調(diào)研目的設(shè)計問卷，從總體樣本中采用抽樣方式確定調(diào)查樣本，完成調(diào)查。

（2）用戶訪談：是用戶研究中常用的一種數(shù)據(jù)采集方式，通過使用有目的、有計劃、有方法的口頭交談等方式與用戶溝通，了解事實。

（3）實地調(diào)研：直接面對被調(diào)查對象，采用訪問法、觀察法、實驗法等方法來收集信息。

采集到的數(shù)據(jù)分為三種類型，即結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。無法定義結(jié)構(gòu)的數(shù)據(jù)稱為非結(jié)構(gòu)化數(shù)據(jù)，常見的非結(jié)構(gòu)化數(shù)據(jù)為文本信息數(shù)據(jù)、圖像信息數(shù)據(jù)、視頻信息數(shù)據(jù)以及聲音信息數(shù)據(jù)等。

3.2數(shù)據(jù)分析

對獲取的原始數(shù)據(jù)進(jìn)行分析，使用對比分析、公式拆分、變化維度、結(jié)構(gòu)圖等方式來明確數(shù)據(jù)的意義，并根據(jù)不同類別進(jìn)行排序，分析數(shù)據(jù)的價值。

3.3數(shù)據(jù)過濾

數(shù)據(jù)過濾是將數(shù)據(jù)通過軟件篩選、編程等方式篩選出高質(zhì)量的可用數(shù)據(jù)。一般會篩除冗余數(shù)據(jù)、重復(fù)數(shù)據(jù)和含接頭的數(shù)據(jù)等。通過篩選，一方面減小數(shù)據(jù)量，另一方面提高數(shù)據(jù)的質(zhì)量。

3.4數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是根據(jù)數(shù)據(jù)倉庫中的數(shù)據(jù)信息特性的不同，選擇適合的分析工具，使用規(guī)則推理、事例推理、統(tǒng)計方法、決策樹、模糊集、神經(jīng)網(wǎng)絡(luò)、遺傳算法的方法處理信息，從而得到需要的信息。

3.5表示

表示是指將數(shù)據(jù)結(jié)合數(shù)據(jù)的維度采用合適的表示方法用一個基本的視覺模型表示出來，可以用列表、樹狀結(jié)構(gòu)或其他方法。這個過程類似于構(gòu)造一個草圖，決定了可視化效果的雛形。同時，實現(xiàn)對數(shù)據(jù)轉(zhuǎn)換過程的檢驗和審查，尤其是對數(shù)據(jù)的獲取和過濾過程進(jìn)行檢驗和審查。

3.6修飾

將草圖進(jìn)行上色，從而突出重點，弱化輔助信息，進(jìn)行修飾改善，使草圖清晰明了、簡單有趣，使圖表富有內(nèi)涵、豐富美觀、實用。

3.7界面交互

根據(jù)用戶的特點和使用場景，制作符合使用者操作的交互界面，從而讓用戶能夠?qū)χ暗玫降臄?shù)據(jù)內(nèi)容和屬性進(jìn)行操作和提取。通過界面交互，用戶可以單獨(dú)研究其中一種或多種屬性，而隱藏其他屬性。在三維空間的可視化效果方面，通過操作視角的變化，實現(xiàn)對數(shù)據(jù)的不同視角的認(rèn)識[2] 。之前，所有步驟主要由計算機(jī)實現(xiàn)，在該階段，用戶的心理發(fā)生了“被動接受到主動發(fā)現(xiàn)”的變化，界面交互為他們提供了控制數(shù)據(jù)和探索數(shù)據(jù)的可能。通過這一階段，實現(xiàn)了將計算機(jī)的計算能力和人的智慧的結(jié)合。

4可視化應(yīng)用

數(shù)據(jù)可視化技術(shù)在金融、工業(yè)生產(chǎn)、現(xiàn)代農(nóng)業(yè)、醫(yī)療、教育等領(lǐng)域得到廣泛的應(yīng)用（圖3）。

4.1金融領(lǐng)域數(shù)據(jù)可視化

利用數(shù)據(jù)可視化技術(shù)掌控企業(yè)的日常業(yè)務(wù)動態(tài)，控制客戶數(shù)量、借款金額等數(shù)據(jù)，實現(xiàn)對數(shù)據(jù)的實時監(jiān)控，通過對核心數(shù)據(jù)多維度的分析，指導(dǎo)公司科學(xué)運(yùn)營，以提高公司運(yùn)營能力。

4.2工業(yè)生產(chǎn)域數(shù)據(jù)可視化

（1）生產(chǎn)過程監(jiān)控。通過可視化界面可隨時監(jiān)控生產(chǎn)設(shè)備狀態(tài)、制造參數(shù)，以及車間產(chǎn)品計劃、進(jìn)度、庫存、質(zhì)量等信息。

（2）生產(chǎn)過程協(xié)同管理。通過數(shù)據(jù)可視化界面控制數(shù)據(jù)信息的傳遞、共享等，實現(xiàn)車間各工種、任務(wù)、設(shè)備的協(xié)同生產(chǎn)，提升車間運(yùn)營效率。

（3）數(shù)據(jù)可視化。通過對企業(yè)數(shù)據(jù)的分析與處理，形成多維度的智能報表，通過分布圖、趨勢圖等多樣化圖形直觀、形象地展示相關(guān)數(shù)據(jù)，幫助管理者進(jìn)行決策，實現(xiàn)精益化生產(chǎn)管理。

（4）追溯管理。發(fā)現(xiàn)問題后，通過可視化界面便捷查詢歷史數(shù)據(jù)等相關(guān)數(shù)據(jù)，便于快速找出原因，制訂整改措施，避免問題再次發(fā)生。

（5）預(yù)測性分析。通過工業(yè)大數(shù)據(jù)分析、數(shù)據(jù)展示等模塊，實現(xiàn)計劃、生產(chǎn)、設(shè)備、質(zhì)量等要素的預(yù)測性分析，確保生產(chǎn)效率高效、成本更低，提升企業(yè)競爭力。

4.3農(nóng)業(yè)數(shù)據(jù)可視化

農(nóng)業(yè)數(shù)據(jù)可視化可實現(xiàn)對農(nóng)業(yè)生產(chǎn)過程的全面監(jiān)控，通過數(shù)據(jù)可視化界面實時對農(nóng)作物的溫度、濕度、光照、降雨量等進(jìn)行監(jiān)控，便于管理人員得到相關(guān)數(shù)據(jù)信息，并通過軟件對相關(guān)環(huán)境參數(shù)進(jìn)行分析，如超過預(yù)警值，進(jìn)行報警提醒，讓管理人員提前準(zhǔn)備相關(guān)對策和方案。同時，對農(nóng)作物在培育、質(zhì)檢、生產(chǎn)和運(yùn)輸過程中的數(shù)據(jù)信息進(jìn)行分析，得到可視化分析結(jié)果，從而準(zhǔn)確存儲和管理，提高了農(nóng)作物產(chǎn)量和質(zhì)量，降低風(fēng)險，提升了農(nóng)業(yè)生產(chǎn)效率和產(chǎn)品品質(zhì)。

4.4醫(yī)療領(lǐng)域數(shù)據(jù)可視化

數(shù)據(jù)可視化可將醫(yī)院產(chǎn)生的大量零碎數(shù)據(jù)進(jìn)行整合，建立一套高效的醫(yī)療管理系統(tǒng)，可分門別類地呈現(xiàn)出來，從而幫助醫(yī)院解決門診資料、用藥資料、疾病信息等方面的問題。數(shù)據(jù)可視化技術(shù)可以用在診斷醫(yī)學(xué)方面，通過在數(shù)字化的診療設(shè)備中顯示多維圖像信息，為醫(yī)生進(jìn)行正確判斷和高效診療提供了保障。數(shù)據(jù)可視化技術(shù)可為臨床疾病預(yù)防、防治等疾病等提供有效的預(yù)測和分析數(shù)據(jù)。

4.5數(shù)據(jù)可視化技術(shù)在教學(xué)中的應(yīng)用

可視化教學(xué)是在計算機(jī)軟件、多媒體等工具的輔助下，形象的展示事物，使人的認(rèn)知、感覺、想象、推理等發(fā)生變化，使學(xué)生更好地接受、存儲、重組知識，并提升學(xué)生多元思維能力。通過數(shù)據(jù)的可視化教學(xué)，減少了信息的流失，提高有效認(rèn)知能力。

4.6數(shù)據(jù)可視化技術(shù)在其他領(lǐng)域的應(yīng)用

數(shù)據(jù)可視化技術(shù)還可以應(yīng)用于氣候變化、衛(wèi)星運(yùn)行監(jiān)測、城市基礎(chǔ)設(shè)施監(jiān)控、現(xiàn)代旅游業(yè)、股票交易、電力供應(yīng)、交通監(jiān)控、智能園區(qū)建設(shè)等方面。

5基于Python 的數(shù)據(jù)可視化

5.1Python 與數(shù)據(jù)可視化

目前，很多工具可以實現(xiàn)數(shù)據(jù)可視化，如Excel，PowerBI 等。其中，Python 作為一種開源的計算機(jī)編程語言具有很強(qiáng)的靈活性和強(qiáng)大的功能，在數(shù)據(jù)分析和數(shù)據(jù)可視化中具有獨(dú)特的優(yōu)勢[3] 。

5.2Python 的特點和優(yōu)勢

Python 語言具有開源免費(fèi)、語法簡潔、簡單易學(xué)、可移植性強(qiáng)特點。Python 數(shù)據(jù)分析及信息獲取過程具有較強(qiáng)的資源優(yōu)勢，可以快速獲取數(shù)據(jù)資源并完成信息提取。其具有強(qiáng)大的標(biāo)準(zhǔn)庫和第三方庫，內(nèi)置標(biāo)準(zhǔn)數(shù)據(jù)模型，可快捷高效地完成大型數(shù)據(jù)的處理。同時，進(jìn)行文本處理、可視化、科學(xué)計算、人工智能和機(jī)器學(xué)習(xí)等數(shù)據(jù)處理時，均可通過調(diào)用庫工具來實現(xiàn)。Python 的兼容性、包裝能力、組合性強(qiáng)，可將復(fù)雜代碼包裝在腳本代碼中，利用少量代碼即可高效完成任務(wù)。Python 的應(yīng)用領(lǐng)域廣泛，包括大數(shù)據(jù)、網(wǎng)絡(luò)爬蟲、Web 開發(fā)、人工智能、云計算、科學(xué)計算以及游戲開發(fā)等。

5.3常用的數(shù)據(jù)分析可視化工具

5.3.1Pandas

Pandas 基于NumPy 的一種為解決數(shù)據(jù)分析任務(wù)而創(chuàng)建的工具[4] 。Pandas 納入了豐富的庫和標(biāo)準(zhǔn)的數(shù)據(jù)模型，提供了高效操作大型數(shù)據(jù)集所需的工具以及大量能便捷地操作和處理數(shù)據(jù)的方法和函數(shù)。

5.3.2Matplotlib

Matplotlib 是Python 的繪圖庫，它可以將數(shù)據(jù)圖形化，并且提供多樣化的輸出格式。其具有強(qiáng)大的繪圖功能，將很多數(shù)據(jù)通過圖表的形式更直觀形象的呈現(xiàn)出來。它可以用來繪制靜態(tài)、動態(tài)、交互式圖表，包括條形圖、散點圖、線圖、柱狀圖、等高線圖、3D 圖形、圖形動畫等。

5.4利用Python 進(jìn)行數(shù)據(jù)可視化的流程和方法

5.4.1數(shù)據(jù)采集

常用的數(shù)據(jù)采集方式包括網(wǎng)絡(luò)爬蟲、特定API 和數(shù)據(jù)文件（cave，excel）、數(shù)據(jù)庫等。

5.4.2數(shù)據(jù)處理和變換

采集到的原始數(shù)據(jù)可能含有噪音和誤差，需要進(jìn)行數(shù)據(jù)清洗、去除數(shù)據(jù)噪聲、提取特征等操作?？衫肞andas 庫進(jìn)行處理的方法如下。

（1）缺失值處理常用函數(shù)

isnull（）¬null（）函數(shù)：檢查是否空值。

fillna（）函數(shù)：用于填充缺失值數(shù)據(jù)。

dropna（）函數(shù)：含有空值的數(shù)據(jù)刪除。

（2）重復(fù)數(shù)據(jù)處理函數(shù)

Duplicated（）函數(shù)：查看重復(fù)數(shù)據(jù)。

drop_duplicates（）函數(shù)：刪除重復(fù)數(shù)據(jù)。

（3）異常值和極端值處理函數(shù)

Describe（）函數(shù)：針對Series 或DF 列匯總統(tǒng)計，對數(shù)據(jù)進(jìn)行描述性統(tǒng)計的變量，可發(fā)現(xiàn)異常值和極端值。

Replace（）函數(shù)：可對異常值進(jìn)行替換處理，如一般常見用均值替換異常值。

5.4.3數(shù)據(jù)分析

數(shù)據(jù)分析需要提前熟悉數(shù)據(jù)，通過Panda 中的head（）函數(shù)，預(yù)覽前幾行數(shù)據(jù)，通過shape（）函數(shù)獲取數(shù)據(jù)表大小，利用通過info（）函數(shù)獲取數(shù)據(jù)類型，通過describe（）函數(shù)獲取數(shù)值分布情況。把需要分析的數(shù)據(jù)篩選出來，進(jìn)行數(shù)據(jù)分組、數(shù)據(jù)運(yùn)算及聯(lián)合查詢等操作。利用Pandas 的to_sql 函數(shù)可以將分析結(jié)果寫入數(shù)據(jù)庫中，便于進(jìn)一步展示。

Pandas 庫中常用函數(shù)：

排序： sort_index（），sort_values（）

基本統(tǒng)計函數(shù)：describe（）

累計統(tǒng)計函數(shù)：cum?（），rolling（）.?（）

相關(guān)性分析：corr（），cov（）

5.4.4可視化映射

可視化映射是數(shù)據(jù)可視化的重要步驟，將處理后的數(shù)據(jù)進(jìn)行抽取、映射來構(gòu)成圖表，將各種屬性進(jìn)行組合，以二維或多維等形式展現(xiàn)出來[5] 。在這一過程中，要根據(jù)數(shù)據(jù)、特征、場景選擇合適的圖標(biāo)類型和視覺效果，空間布局等用Python 中Panda 庫的繪圖函數(shù)來實現(xiàn)（圖4）。

6結(jié)束語

本文介紹了數(shù)據(jù)可視化技術(shù)的實現(xiàn)過程和數(shù)據(jù)可視化應(yīng)用。數(shù)據(jù)可視化技術(shù)通過高效、高質(zhì)量的使用數(shù)據(jù)，對各行業(yè)的快速、高效發(fā)展起到了積極的推動作用。同時，本文探討了采用Python 語言實現(xiàn)數(shù)據(jù)可視化的方法，在具體使用方面，需要結(jié)合實際場景和應(yīng)用需求，不斷探索和實踐。隨著科技的發(fā)展，數(shù)據(jù)可視化技術(shù)和工具必定會得到進(jìn)一步發(fā)展，社會各行業(yè)的數(shù)據(jù)可視化應(yīng)用也會更加豐富，我們在生活和工作中將會越來越多地體會到數(shù)據(jù)可視化帶來的便利。