董 卉

（江蘇第二師范學(xué)院 江蘇 南京 210013）

0 引言

隨著信息技術(shù)和互聯(lián)網(wǎng)的快速發(fā)展，大數(shù)據(jù)和人工智能已經(jīng)成為當(dāng)前社會(huì)變革和發(fā)展的重要驅(qū)動(dòng)力。 人工智能大數(shù)據(jù)平臺(tái)作為大數(shù)據(jù)和人工智能技術(shù)的重要應(yīng)用場(chǎng)景，正在被越來(lái)越多的企業(yè)和機(jī)構(gòu)所使用。 本文將從技術(shù)、搭建、應(yīng)用和實(shí)施效果等方面進(jìn)行介紹和探討，旨在為人工智能大數(shù)據(jù)平臺(tái)的應(yīng)用提供一些思路和參考。

1 大數(shù)據(jù)與人工智能的關(guān)聯(lián)

大數(shù)據(jù)是指數(shù)據(jù)量巨大、種類(lèi)繁多、處理速度快的數(shù)據(jù)集合。 而人工智能是指模擬和延伸人類(lèi)智能的科學(xué)和工程，其核心是機(jī)器學(xué)習(xí)、知識(shí)表示和推理、自然語(yǔ)言處理和機(jī)器視覺(jué)等技術(shù)［1］。 大數(shù)據(jù)和人工智能之間有著密切的關(guān)聯(lián)，大數(shù)據(jù)是人工智能應(yīng)用的重要數(shù)據(jù)來(lái)源，而人工智能又可以對(duì)大數(shù)據(jù)進(jìn)行深度挖掘和分析，提高數(shù)據(jù)的價(jià)值和利用效率。

2 人工智能大數(shù)據(jù)平臺(tái)的關(guān)鍵技術(shù)

2.1 Hadoop 架構(gòu)

Hadoop 是一個(gè)開(kāi)源的分布式計(jì)算框架，可以對(duì)大規(guī)模數(shù)據(jù)進(jìn)行存儲(chǔ)和處理，并支持多種不同類(lèi)型的應(yīng)用程序。 Hadoop 架構(gòu)主要包括Hadoop 分布式文件系統(tǒng)（hadoop distributed file system， HDFS）、 MapReduce 和YARN（yet another resource negotiator）三個(gè)組件。

MapReduce 是一種分布式計(jì)算模型，可以將大規(guī)模數(shù)據(jù)分割成多個(gè)小任務(wù)并分配到不同的節(jié)點(diǎn)上進(jìn)行處理，最后將結(jié)果合并返回給客戶(hù)端。 MapReduce 主要包括兩個(gè)階段：Map 階段和Reduce 階段。 Map 階段將輸入數(shù)據(jù)分割成多個(gè)小塊并分配到不同的節(jié)點(diǎn)上進(jìn)行處理，輸出中間結(jié)果；Reduce 階段將Map 階段的中間結(jié)果匯總并進(jìn)行計(jì)算，最后生成最終的結(jié)果。

YARN 是Hadoop 的資源管理器，可以協(xié)調(diào)和管理集群資源，包括中央處理器、內(nèi)存和存儲(chǔ)等。 YARN 主要包括 ResourceManager 和 NodeManager 兩 個(gè) 組 件。ResourceManager 作為主節(jié)點(diǎn)負(fù)責(zé)集群資源的管理和分配，NodeManager 作為從節(jié)點(diǎn)負(fù)責(zé)監(jiān)控和管理本地節(jié)點(diǎn)的資源使用情況。

2.2 HDFS

HDFS 是Hadoop 分布式文件系統(tǒng)，可以將大量數(shù)據(jù)分割成多個(gè)塊并分別存儲(chǔ)在多個(gè)服務(wù)器上，實(shí)現(xiàn)數(shù)據(jù)的高效存儲(chǔ)和管理［2］。 HDFS 采用master/slave 架構(gòu)， 其中NameNode 作為主節(jié)點(diǎn)負(fù)責(zé)管理文件系統(tǒng)的命名空間和客戶(hù)端訪問(wèn)，DataNode 作為從節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)數(shù)據(jù)塊和響應(yīng)客戶(hù)端請(qǐng)求。 HDFS 的設(shè)計(jì)目標(biāo)是適用于大規(guī)模數(shù)據(jù)集的存儲(chǔ)和處理，具有高容錯(cuò)性、高可靠性和高效性等特點(diǎn)［3］。HDFS 將大文件劃分成多個(gè)數(shù)據(jù)塊，并通過(guò)多個(gè)DataNode進(jìn)行分布式存儲(chǔ)和備份，保證數(shù)據(jù)的安全性和可靠性。 同時(shí)，HDFS 還支持?jǐn)?shù)據(jù)的快速檢索和讀寫(xiě)操作，適用于大數(shù)據(jù)量的批量處理和分析。

2.3 Hive

Hive 是基于Hadoop 的數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在Hadoop 上，并通過(guò)SQL 語(yǔ)言進(jìn)行查詢(xún)和分析。Hive 主要包括HiveQL、HiveServer2 和Hive Metastore 三個(gè)組件。 HiveQL 是Hive 的查詢(xún)語(yǔ)言，類(lèi)似于SQL 語(yǔ)言，支持基本的查詢(xún)語(yǔ)句和聚合函數(shù)等操作。 HiveQL 可以將查詢(xún)語(yǔ)句轉(zhuǎn)化為MapReduce 任務(wù)，在Hadoop 集群上進(jìn)行分布式計(jì)算和處理。 HiveServer2 是Hive 的服務(wù)組件，可以提供遠(yuǎn)程訪問(wèn)和查詢(xún)功能。 HiveServer2 支持多種協(xié)議，包括數(shù)據(jù)庫(kù)連接協(xié)議、開(kāi)放數(shù)據(jù)庫(kù)互連協(xié)議等，可以與各種客戶(hù)端進(jìn)行交互。 Hive Metastore 是Hive 的元數(shù)據(jù)管理組件，負(fù)責(zé)存儲(chǔ)和管理Hive 表的元數(shù)據(jù)信息。 Hive Metastore 可以將元數(shù)據(jù)存儲(chǔ)在本地文件系統(tǒng)或者數(shù)據(jù)庫(kù)中，支持多種元數(shù)據(jù)存儲(chǔ)方式。

2.4 Python

Python 是一種高級(jí)編程語(yǔ)言，可以通過(guò)其豐富的庫(kù)和工具來(lái)處理和分析大數(shù)據(jù)，支持多種機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法。 Python 的主要優(yōu)點(diǎn)包括（1）易于學(xué)習(xí)：Python 語(yǔ)法簡(jiǎn)潔明了，易于理解和學(xué)習(xí)，適合初學(xué)者入門(mén)。 （2）豐富的庫(kù)和工具：Python 擁有豐富的庫(kù)和工具，包括NumPy、Pandas、Matplotlib、Scikit-learn 等，方便進(jìn)行數(shù)據(jù)處理、分析和可視化。 （3）支持多種機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法：包括分類(lèi)、聚類(lèi)、回歸、決策樹(shù)等，可以應(yīng)用于各種領(lǐng)域的數(shù)據(jù)分析和預(yù)測(cè)。 （4）可移植性：Python 可以在不同平臺(tái)和操作系統(tǒng)上運(yùn)行，具有良好的可移植性和兼容性。 （5）開(kāi)源免費(fèi)：Python 是一個(gè)開(kāi)源的軟件，可以免費(fèi)使用和修改，適合各種規(guī)模的企業(yè)和機(jī)構(gòu)使用。

Python 在人工智能大數(shù)據(jù)平臺(tái)中可以用來(lái)進(jìn)行數(shù)據(jù)預(yù)處理、特征提取、模型訓(xùn)練和結(jié)果評(píng)估等工作。 同時(shí)，Python 還可以與Hadoop、Spark 等大數(shù)據(jù)處理框架進(jìn)行集成，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的分布式處理和計(jì)算。

3 人工智能大數(shù)據(jù)平臺(tái)的搭建

3.1 融合要求

在搭建人工智能大數(shù)據(jù)平臺(tái)時(shí)，需要滿(mǎn)足以下融合要求：

首先，隔離機(jī)制。 不同的業(yè)務(wù)系統(tǒng)可能會(huì)使用相同的硬件資源和軟件環(huán)境，需要通過(guò)隔離機(jī)制來(lái)防止相互干擾和影響。 可以采用虛擬化技術(shù)、容器化技術(shù)等方法進(jìn)行隔離。 其次，代碼無(wú)縫對(duì)接。 不同的業(yè)務(wù)系統(tǒng)使用的編程語(yǔ)言和框架可能不同，需要實(shí)現(xiàn)代碼無(wú)縫對(duì)接，以便進(jìn)行數(shù)據(jù)交換和處理。 可以采用應(yīng)用程序編程接口（application programming interface，API）、軟件開(kāi)發(fā)工具包（software development kit，SDK）等方式進(jìn)行接口對(duì)接［4］。 最后，HDFS 銜接。 HDFS 是人工智能大數(shù)據(jù)平臺(tái)的核心組件之一，需要與其他業(yè)務(wù)系統(tǒng)進(jìn)行銜接。 可以通過(guò)Hive、Spark等工具進(jìn)行數(shù)據(jù)讀寫(xiě)和處理。

為了滿(mǎn)足上述融合要求，可以使用虛擬化技術(shù)或容器化技術(shù)對(duì)不同業(yè)務(wù)系統(tǒng)進(jìn)行隔離，確保資源的獨(dú)立性和安全性。 提供統(tǒng)一的API 或SDK，使得不同編程語(yǔ)言和框架的代碼可以無(wú)縫對(duì)接，并進(jìn)行數(shù)據(jù)交換和處理。 使用Hive、Spark 等工具對(duì)HDFS 進(jìn)行訪問(wèn)和處理，實(shí)現(xiàn)與其他業(yè)務(wù)系統(tǒng)的銜接［5］。

3.2 融合框架

在搭建人工智能大數(shù)據(jù)平臺(tái)時(shí)，需要選擇適合的融合框架來(lái)實(shí)現(xiàn)不同業(yè)務(wù)系統(tǒng)的集成和交互。 以下是常用的幾種融合框架：

第一，Apache Hadoop。 Hadoop 是一個(gè)開(kāi)源的分布式計(jì)算框架，可以存儲(chǔ)和處理大規(guī)模數(shù)據(jù)，并支持多種不同類(lèi)型的應(yīng)用程序。 Hadoop 包括HDFS、MapReduce 和YARN 三個(gè)組件，可以與其他業(yè)務(wù)系統(tǒng)進(jìn)行集成和交互。第二，Apache Spark。 Spark 是一個(gè)快速、通用、可擴(kuò)展的大數(shù)據(jù)處理框架，支持多種數(shù)據(jù)處理和機(jī)器學(xué)習(xí)算法。Spark 可以與Hadoop 集成，也可以作為獨(dú)立的框架進(jìn)行使用。 第三，Apache Flink。 Flink 是一個(gè)分布式流處理框架，支持高效的數(shù)據(jù)流處理和復(fù)雜的批處理任務(wù)。 Flink可以與Hadoop、Kafka 等系統(tǒng)進(jìn)行集成，也可以作為獨(dú)立的框架進(jìn)行使用。 第四，TensorFlow。 TensorFlow 是一個(gè)開(kāi)源的人工智能框架，可以進(jìn)行深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推理。 TensorFlow 可以與Hadoop、Spark 等系統(tǒng)進(jìn)行集成，也可以作為獨(dú)立的框架進(jìn)行使用。 第五，Kubernetes。 Kubernetes 是一個(gè)開(kāi)源的容器編排系統(tǒng)，可以管理容器化應(yīng)用程序的部署、擴(kuò)展和維護(hù)。 Kubernetes 可以與Hadoop、Spark 等系統(tǒng)進(jìn)行集成，也可以作為獨(dú)立的框架進(jìn)行使用［6］。

3.3 搭建平臺(tái)加強(qiáng)數(shù)據(jù)共享管理

在人工智能大數(shù)據(jù)平臺(tái)的搭建中，加強(qiáng)數(shù)據(jù)共享管理可以更好地實(shí)現(xiàn)數(shù)據(jù)資源的共享和利用，提高數(shù)據(jù)的使用效率和價(jià)值。 常用的方法有：第一，數(shù)據(jù)分類(lèi)管理。 根據(jù)數(shù)據(jù)的類(lèi)型、來(lái)源和安全等級(jí)等因素進(jìn)行分類(lèi)管理，確保敏感數(shù)據(jù)得到保護(hù)，同時(shí)方便合法用戶(hù)進(jìn)行數(shù)據(jù)的訪問(wèn)和使用。 第二，權(quán)限控制。 通過(guò)權(quán)限控制機(jī)制，對(duì)不同用戶(hù)或組織進(jìn)行權(quán)限分配，確保只有合法用戶(hù)才能訪問(wèn)和使用數(shù)據(jù)，避免數(shù)據(jù)泄露和濫用。 第三，數(shù)據(jù)共享協(xié)議。 制定數(shù)據(jù)共享協(xié)議，明確數(shù)據(jù)的共享范圍、目的和方式等內(nèi)容，避免數(shù)據(jù)被濫用或用于非法目的。 第四，數(shù)據(jù)安全保護(hù)。加強(qiáng)數(shù)據(jù)的安全保護(hù)措施，采用數(shù)據(jù)加密、備份等技術(shù)，確保數(shù)據(jù)的安全性和可靠性。 第五，數(shù)據(jù)監(jiān)測(cè)和審查。 對(duì)數(shù)據(jù)進(jìn)行監(jiān)測(cè)和審查，及時(shí)發(fā)現(xiàn)和處理數(shù)據(jù)異常情況，保障數(shù)據(jù)的完整性和準(zhǔn)確性。

3.4 定制界面加強(qiáng)運(yùn)行監(jiān)控管理

為了更好地滿(mǎn)足各專(zhuān)業(yè)系統(tǒng)用戶(hù)的需求，可以通過(guò)調(diào)研獲得各專(zhuān)業(yè)用戶(hù)關(guān)注的關(guān)鍵業(yè)務(wù)流程和數(shù)據(jù)，并針對(duì)這些數(shù)據(jù)定制訪問(wèn)界面，突出展示關(guān)鍵信息，同時(shí)簡(jiǎn)化其他相關(guān)數(shù)據(jù)的呈現(xiàn)。 這樣可以達(dá)到“呈現(xiàn)即關(guān)鍵，關(guān)鍵即呈現(xiàn)”的目的，提升用戶(hù)使用體驗(yàn)和效率。 如圖1 所示，是人工智能大數(shù)據(jù)平臺(tái)的信息和通信監(jiān)測(cè)模塊。

圖1 人工智能大數(shù)據(jù)平臺(tái)通信監(jiān)控模塊圖

在人工智能大數(shù)據(jù)平臺(tái)中，加強(qiáng)運(yùn)行監(jiān)控管理也是非常重要的。 可以設(shè)置信息和通信監(jiān)測(cè)模塊，對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行全面監(jiān)測(cè)和管理，包括資產(chǎn)賬目數(shù)據(jù)、網(wǎng)絡(luò)故障數(shù)據(jù)、設(shè)備操作數(shù)據(jù)、桌面管控?cái)?shù)據(jù)等。 此外，還可以通過(guò)平臺(tái)上的短信、聲光等多種報(bào)警方式，及時(shí)向用戶(hù)發(fā)出警報(bào)，解決由于人員巡視時(shí)間過(guò)長(zhǎng)造成的意外警報(bào)無(wú)法及時(shí)發(fā)出的問(wèn)題。

3.5 技術(shù)和管理手段相結(jié)合加強(qiáng)數(shù)據(jù)安全管理

在人工智能大數(shù)據(jù)平臺(tái)的搭建中，數(shù)據(jù)安全管理是非常重要的。 為了加強(qiáng)數(shù)據(jù)安全管理，可以采取技術(shù)和管理手段相結(jié)合的方法，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的有效保護(hù)。 常用的方法有技術(shù)手段和管理手段，技術(shù)手段包括采用數(shù)據(jù)加密、備份、恢復(fù)、防火墻、入侵檢測(cè)等技術(shù)，保障數(shù)據(jù)的安全性和可靠性。 同時(shí)，還可以通過(guò)設(shè)置訪問(wèn)控制、身份認(rèn)證等技術(shù)，確保只有合法用戶(hù)可以訪問(wèn)和使用數(shù)據(jù)。 管理手段指的是通過(guò)制定安全策略、流程和規(guī)范，加強(qiáng)對(duì)數(shù)據(jù)安全管理的監(jiān)督和管理。 例如，制定數(shù)據(jù)備份和恢復(fù)的流程，定期進(jìn)行數(shù)據(jù)備份和恢復(fù)測(cè)試，避免數(shù)據(jù)丟失或損壞；制定數(shù)據(jù)訪問(wèn)控制的規(guī)范，明確數(shù)據(jù)的訪問(wèn)權(quán)限和使用規(guī)則，避免數(shù)據(jù)泄露和濫用。

3.6 大數(shù)據(jù)分析加強(qiáng)專(zhuān)業(yè)指標(biāo)管控

為了提高各專(zhuān)業(yè)經(jīng)營(yíng)系統(tǒng)的效率和管理水平，可以采用橫向和縱向?qū)Ρ鹊姆椒ǎl(fā)現(xiàn)相關(guān)經(jīng)營(yíng)系統(tǒng)存在的問(wèn)題，并為企業(yè)的改革和發(fā)展提供依據(jù)。 在信息與通信領(lǐng)域中，安全指標(biāo)是非常重要的。 例如，在電力系統(tǒng)和其他企業(yè)進(jìn)行信息安全對(duì)比和評(píng)價(jià)時(shí)，“弱密碼”事件的頻度是一個(gè)重要的指標(biāo)。 通過(guò)對(duì)臺(tái)式設(shè)備系統(tǒng)和設(shè)備的安全程度進(jìn)行監(jiān)控和維護(hù)，可以避免弱口令等安全問(wèn)題的發(fā)生?？梢酝ㄟ^(guò)人工智能平臺(tái)對(duì)弱口令進(jìn)行實(shí)時(shí)監(jiān)控，及時(shí)發(fā)現(xiàn)并解決弱口令事件，如圖2 所示。

圖2 通信監(jiān)控模塊弱口令視圖

通過(guò)大數(shù)據(jù)分析技術(shù)，可以對(duì)弱口令告警模塊進(jìn)行詳盡的數(shù)據(jù)收集和分析，通過(guò)對(duì)該平臺(tái)的數(shù)據(jù)分析，發(fā)現(xiàn)2016 年共出現(xiàn)64 個(gè)弱密碼事件［7］。 從這一點(diǎn)可以看出，弱密碼事件的出現(xiàn)與臺(tái)式機(jī)終端故障的處理之間有某種關(guān)系。 隨后，研究人員對(duì)運(yùn)維人員處理桌面終端問(wèn)題的情況進(jìn)行了調(diào)查，結(jié)果表明，弱口令問(wèn)題的產(chǎn)生是由于運(yùn)維人員操作存在問(wèn)題造成的，占弱口令問(wèn)題總數(shù)的71.86%，如圖3 所示。

圖3 弱口令問(wèn)題分布圖

同時(shí)，還可以依據(jù)有關(guān)規(guī)定，抽取臺(tái)式機(jī)控制系統(tǒng)中的數(shù)據(jù)，重點(diǎn)對(duì)管理員和訪客的密碼強(qiáng)度問(wèn)題進(jìn)行深入研究，并對(duì)臺(tái)式機(jī)控制系統(tǒng)中的報(bào)警信號(hào)進(jìn)行分析。 這樣可以加強(qiáng)專(zhuān)業(yè)指標(biāo)管控，提高系統(tǒng)的安全性和可靠性，確保各專(zhuān)業(yè)經(jīng)營(yíng)系統(tǒng)的高效運(yùn)行。

4 結(jié)語(yǔ)

人工智能大數(shù)據(jù)平臺(tái)是當(dāng)前信息技術(shù)領(lǐng)域的重要發(fā)展方向，具有廣泛的應(yīng)用前景和深遠(yuǎn)的影響力。 在各個(gè)領(lǐng)域中，人工智能大數(shù)據(jù)平臺(tái)都可以發(fā)揮重要作用，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)監(jiān)測(cè)、分析和優(yōu)化，提高系統(tǒng)的效率和可靠性，降低成本，提高客戶(hù)滿(mǎn)意度。 研究人員應(yīng)該積極探索和應(yīng)用，同時(shí)也需要加強(qiáng)對(duì)人工智能大數(shù)據(jù)平臺(tái)風(fēng)險(xiǎn)和問(wèn)題的研究和管理，實(shí)現(xiàn)科技與社會(huì)的和諧發(fā)展。