韓海華 李子龍 單延健

摘 要：針對(duì)礦山數(shù)據(jù)發(fā)展現(xiàn)狀的特點(diǎn)，以東部某銅礦為背景，闡述了基于礦山數(shù)據(jù)集成的數(shù)據(jù)中心的搭建過(guò)程。對(duì)數(shù)據(jù)中心需求進(jìn)行分析，從軟硬件構(gòu)建基礎(chǔ)到功能服務(wù)，重點(diǎn)分析數(shù)據(jù)中心的核心功能和隱性優(yōu)勢(shì)。從實(shí)際結(jié)果表明，數(shù)據(jù)中心是礦山數(shù)據(jù)發(fā)展中一個(gè)重要的方向和環(huán)節(jié)，將復(fù)雜、多類型的礦山數(shù)據(jù)統(tǒng)一歸入數(shù)據(jù)中心后，不僅有效避免了數(shù)據(jù)的冗余存儲(chǔ)，解決了新系統(tǒng)數(shù)據(jù)來(lái)源問(wèn)題，而且提高了數(shù)據(jù)的利用率，為挖掘數(shù)據(jù)之間的隱性關(guān)系創(chuàng)造了基礎(chǔ)條件，更好的利用數(shù)據(jù)指導(dǎo)生產(chǎn)。

關(guān)鍵詞：礦山數(shù)據(jù)集成；數(shù)據(jù)中心；數(shù)據(jù)挖掘；數(shù)據(jù)應(yīng)用

DOI：10.16640/j.cnki.37-1222/t.2018.23.085

東部某銅礦的生產(chǎn)數(shù)據(jù)處于數(shù)據(jù)孤島狀態(tài)，各系統(tǒng)間數(shù)據(jù)獨(dú)立，數(shù)據(jù)共通性不足，使得各系統(tǒng)數(shù)據(jù)源無(wú)法共享，多系統(tǒng)共同使用某數(shù)據(jù)時(shí)，需要頻繁多次錄入，造成資源浪費(fèi)，極大的增加了數(shù)據(jù)獲取的成本，并且容易出現(xiàn)數(shù)據(jù)錯(cuò)誤問(wèn)題。數(shù)據(jù)作為銅礦各系統(tǒng)應(yīng)用的關(guān)鍵環(huán)節(jié)，直接影響各系統(tǒng)是否能正常使用以及各系統(tǒng)功能結(jié)果的準(zhǔn)確性。2018年7月該公司投資建設(shè)礦山數(shù)據(jù)中心，目前項(xiàng)目還在進(jìn)行中，但已經(jīng)實(shí)現(xiàn)多個(gè)重點(diǎn)系統(tǒng)之間的數(shù)據(jù)集成和應(yīng)用，打破了數(shù)據(jù)孤島的現(xiàn)狀。

結(jié)合該礦山應(yīng)用系統(tǒng)現(xiàn)狀，以數(shù)據(jù)中心為核心數(shù)據(jù)庫(kù)，通過(guò)系統(tǒng)基礎(chǔ)生產(chǎn)數(shù)據(jù)同步推送的方案，實(shí)現(xiàn)各系統(tǒng)數(shù)據(jù)在數(shù)據(jù)中心的入庫(kù)，然后針對(duì)需求，對(duì)數(shù)據(jù)中心存儲(chǔ)的數(shù)據(jù)進(jìn)行處理并預(yù)留對(duì)接接口，實(shí)現(xiàn)數(shù)據(jù)源數(shù)據(jù)同步至數(shù)據(jù)中心再推送到應(yīng)用的數(shù)據(jù)流向過(guò)程。

1 數(shù)據(jù)中心需求分析

東部某銅礦有多套實(shí)時(shí)控制系統(tǒng)和管理信息系統(tǒng)急需進(jìn)行數(shù)據(jù)集成，解決當(dāng)前礦山業(yè)務(wù)管理上存在的瓶頸和痛點(diǎn)，如圖1所示。結(jié)合數(shù)據(jù)特點(diǎn)，數(shù)據(jù)中心的功能需求有：（1）實(shí)現(xiàn)數(shù)據(jù)管理和多系統(tǒng)數(shù)據(jù)共享；（2）實(shí)現(xiàn)數(shù)據(jù)錄入及解決多系統(tǒng)間無(wú)意義冗余；（3）提高數(shù)據(jù)利用率，對(duì)原有月度類數(shù)據(jù)追溯數(shù)據(jù)源；（4）實(shí)現(xiàn)礦山外部數(shù)據(jù)互通，為礦山上級(jí)集團(tuán)及系統(tǒng)提供數(shù)據(jù)；（5）生產(chǎn)數(shù)據(jù)直接及間接關(guān)系挖掘；（6）數(shù)據(jù)中心應(yīng)用界面，對(duì)處理后數(shù)據(jù)展示。

2 數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)和硬件基礎(chǔ)

2.1 數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)依附數(shù)據(jù)流向分類，可以概述為各系統(tǒng)級(jí)網(wǎng)絡(luò)、數(shù)據(jù)中心網(wǎng)絡(luò)兩部分，兩者通過(guò)礦山內(nèi)網(wǎng)進(jìn)行互通，采用http協(xié)議進(jìn)行數(shù)據(jù)通訊。以數(shù)據(jù)中心為網(wǎng)絡(luò)的中心，連通數(shù)據(jù)中心及下級(jí)的各系統(tǒng)級(jí)網(wǎng)絡(luò)通訊，且各系統(tǒng)級(jí)網(wǎng)絡(luò)直接立足于各系統(tǒng)數(shù)據(jù)庫(kù)所在服務(wù)器，保證服務(wù)器網(wǎng)絡(luò)通訊的的情況下，各自與數(shù)據(jù)中心通訊，一個(gè)系統(tǒng)數(shù)據(jù)庫(kù)服務(wù)器網(wǎng)絡(luò)故障不會(huì)對(duì)其他系統(tǒng)數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)的通訊造成影響。

2.2 數(shù)據(jù)中心硬件設(shè)備

數(shù)據(jù)中心主服務(wù)器為一臺(tái)CPU型號(hào)E5-2630，64G運(yùn)行內(nèi)存的服務(wù)器，用于接收各系統(tǒng)數(shù)據(jù)庫(kù)所在服務(wù)器提供的數(shù)據(jù)，而各系統(tǒng)數(shù)據(jù)庫(kù)所在服務(wù)器的型號(hào)及操作系統(tǒng)各不相同，處理能力及數(shù)據(jù)傳輸能力也不同，通過(guò)在各服務(wù)器部署同步軟件，針對(duì)各服務(wù)器處理能力調(diào)試后，進(jìn)行同步操作。

3 數(shù)據(jù)中心核心應(yīng)用

數(shù)據(jù)中心的核心部分主要包括數(shù)據(jù)入庫(kù)、數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用三方面，數(shù)據(jù)入庫(kù)用于對(duì)各系統(tǒng)數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)處理的作用是對(duì)數(shù)據(jù)按照需求進(jìn)行加工，數(shù)據(jù)應(yīng)用包括對(duì)基礎(chǔ)數(shù)據(jù)及加工數(shù)據(jù)的應(yīng)用以及數(shù)據(jù)對(duì)外輸出。

3.1 數(shù)據(jù)入庫(kù)

數(shù)據(jù)入庫(kù)即對(duì)礦山各系統(tǒng)數(shù)據(jù)進(jìn)行歸檔操作的過(guò)程，是數(shù)據(jù)中心數(shù)據(jù)的來(lái)源和基礎(chǔ)，為數(shù)據(jù)處理和數(shù)據(jù)應(yīng)用提供數(shù)據(jù)保障。為了保證數(shù)據(jù)的準(zhǔn)確性與共享性，數(shù)據(jù)入庫(kù)應(yīng)該實(shí)現(xiàn)以下功能：

（1）各系統(tǒng)獨(dú)立的數(shù)據(jù)入庫(kù)過(guò)程。各系統(tǒng)數(shù)據(jù)的集成應(yīng)該是相互獨(dú)立的，某一系統(tǒng)的啟停不能對(duì)其他系統(tǒng)的數(shù)據(jù)入庫(kù)造成影響，數(shù)據(jù)入庫(kù)的頻率及時(shí)效性應(yīng)根據(jù)各系統(tǒng)特點(diǎn)進(jìn)行單獨(dú)設(shè)計(jì)。

（2）數(shù)據(jù)中心存儲(chǔ)結(jié)構(gòu)的設(shè)計(jì)，要在全礦相關(guān)聯(lián)的前提下，維持各系統(tǒng)數(shù)據(jù)的相對(duì)獨(dú)立。

（3）數(shù)據(jù)入庫(kù)要有一定的自我修復(fù)能力。要保證某系統(tǒng)維護(hù)、重啟、斷電等正?；蛲话l(fā)狀況后，數(shù)據(jù)不會(huì)出現(xiàn)漏傳、錯(cuò)傳現(xiàn)象，一般以時(shí)間標(biāo)或遞增的id作為續(xù)傳的判斷依據(jù)。

（4）數(shù)據(jù)入庫(kù)要有一定無(wú)效數(shù)據(jù)檢測(cè)功能。要對(duì)明顯的無(wú)效數(shù)據(jù)及無(wú)效設(shè)備的數(shù)據(jù)進(jìn)行甄別，并在數(shù)據(jù)抽取過(guò)程中初步過(guò)濾這些數(shù)據(jù)，減少無(wú)效數(shù)據(jù)對(duì)數(shù)據(jù)庫(kù)的占用。

（5）數(shù)據(jù)入庫(kù)要有一定重復(fù)數(shù)據(jù)檢測(cè)功能。在同步數(shù)據(jù)過(guò)程中，抽取同步數(shù)據(jù)是由人為選擇抽取的范圍及頻率的，當(dāng)多個(gè)系統(tǒng)對(duì)同一類型數(shù)據(jù)進(jìn)行存儲(chǔ)，且無(wú)差別時(shí)，應(yīng)選擇其中一處進(jìn)行抽取，減少數(shù)據(jù)冗余現(xiàn)象。

3.2 數(shù)據(jù)處理

數(shù)據(jù)處理即對(duì)入庫(kù)的數(shù)據(jù)進(jìn)行加工處理的過(guò)程，是數(shù)據(jù)中心中最關(guān)鍵的部分。要在數(shù)據(jù)處理的過(guò)程中找到全礦數(shù)據(jù)之間的關(guān)聯(lián)性，對(duì)重復(fù)冗余數(shù)據(jù)進(jìn)行合并，對(duì)有效數(shù)據(jù)進(jìn)行加工等，是數(shù)據(jù)應(yīng)用的基礎(chǔ)，為對(duì)外數(shù)據(jù)接口及界面展示提供保障。數(shù)據(jù)處理主要包含數(shù)據(jù)歸類統(tǒng)計(jì)處理、數(shù)據(jù)質(zhì)量處理、數(shù)據(jù)二次加工存儲(chǔ)以及數(shù)據(jù)挖掘四大類，下面將對(duì)四大類單獨(dú)解釋。

3.2.1 數(shù)據(jù)歸類統(tǒng)計(jì)處理

數(shù)據(jù)歸類統(tǒng)計(jì)處理主要解決數(shù)據(jù)歸類問(wèn)題，對(duì)整個(gè)礦山的數(shù)據(jù)統(tǒng)一整理后，綜合考慮所屬區(qū)域及類型進(jìn)行分類，并對(duì)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系進(jìn)行確認(rèn)。

如圖4所示，我們將礦山數(shù)據(jù)類型大致劃分了六大類，包括采場(chǎng)、選廠、能源、安環(huán)、水資源以及資源管理數(shù)據(jù)，各自主要內(nèi)容包含如下：

（1）采場(chǎng)數(shù)據(jù)。即采礦場(chǎng)生產(chǎn)數(shù)據(jù)，主要包括采礦場(chǎng)所有設(shè)備的運(yùn)行數(shù)據(jù)（如運(yùn)行時(shí)間、臺(tái)效、臺(tái)時(shí)、可開(kāi)動(dòng)率等）以及產(chǎn)量數(shù)據(jù)（包括采剝量、輔助工作量、維修工作量等）。

（2）選廠數(shù)據(jù)。即選礦廠生產(chǎn)數(shù)據(jù)，主要包括選礦廠各類傳感器自動(dòng)采集數(shù)據(jù)，以DCS數(shù)據(jù)為最主要部分，并通過(guò)自動(dòng)采集的數(shù)據(jù)及質(zhì)檢相關(guān)數(shù)據(jù)反算出設(shè)備運(yùn)行臺(tái)時(shí)、產(chǎn)出量及品位等數(shù)據(jù)。

（3）能源數(shù)據(jù)。即全礦能源消耗數(shù)據(jù)，主要是全礦的電力消耗，通過(guò)可自動(dòng)采集的電表，獲取礦山總進(jìn)線及各支線每小時(shí)的耗電量及累計(jì)耗電量，在礦山成本預(yù)算中占有重要的地位。

（4）安環(huán)數(shù)據(jù)。即全礦安全排查數(shù)據(jù)，包括邊坡安全監(jiān)測(cè)、粉塵、污染物、水污染等各類安全監(jiān)測(cè)數(shù)據(jù)。

（5）水資源數(shù)據(jù)。即生產(chǎn)水消耗數(shù)據(jù)，主要是水資源在生產(chǎn)過(guò)程中的損耗及水平衡情況，回水利用比例和新水比例對(duì)生產(chǎn)成本同樣有很大的影響。

（6）資源管理數(shù)據(jù)。即全礦資源數(shù)據(jù)，主要包括固有類軟、硬件資產(chǎn)及消耗類資源損耗及進(jìn)出數(shù)據(jù)。硬件資產(chǎn)包括各類生產(chǎn)設(shè)備、過(guò)程設(shè)備、動(dòng)力設(shè)備、網(wǎng)絡(luò)設(shè)備等。軟件資產(chǎn)包括企業(yè)的控制軟件、信息化軟件、OA軟件等[1]。

六大類數(shù)據(jù)之間不存在隔離關(guān)系，互相之間有強(qiáng)相關(guān)性，主要通過(guò)時(shí)間關(guān)系進(jìn)行關(guān)聯(lián)，并對(duì)不同需求，在數(shù)據(jù)二次加工存儲(chǔ)過(guò)程中，針對(duì)性選擇六大類中的數(shù)據(jù)進(jìn)行組合，對(duì)整個(gè)礦山生產(chǎn)產(chǎn)出情況、成本消耗情況及隱性產(chǎn)出及消耗進(jìn)行計(jì)算。

3.2.2 數(shù)據(jù)質(zhì)量處理

數(shù)據(jù)質(zhì)量處理主要針對(duì)無(wú)效數(shù)據(jù)進(jìn)行處理，對(duì)長(zhǎng)期處于特定狀態(tài)不發(fā)生變化的數(shù)據(jù)，如啟停狀態(tài)、運(yùn)行信號(hào)等，采取數(shù)據(jù)變化存儲(chǔ)不變不處理的方式進(jìn)行存儲(chǔ)，保證數(shù)據(jù)不失真不丟失重要節(jié)點(diǎn)的前提下，盡量縮減內(nèi)存占用；對(duì)已知標(biāo)準(zhǔn)范圍外的數(shù)據(jù)，如負(fù)數(shù)、大于最大功率、大于一天時(shí)長(zhǎng)等明顯不符合常規(guī)條件的數(shù)據(jù)，采取保存但不統(tǒng)計(jì)的方式進(jìn)行處理，即數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫(kù)內(nèi)，在后續(xù)排錯(cuò)過(guò)程中可能應(yīng)用，但在實(shí)際計(jì)算（如求均值、求極限等）過(guò)程中不作為參數(shù)計(jì)算。

3.2.3 數(shù)據(jù)二次加工存儲(chǔ)

數(shù)據(jù)二次加工存儲(chǔ)主要是在數(shù)據(jù)歸類及數(shù)據(jù)質(zhì)量處理的基礎(chǔ)上，對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行明確的、有規(guī)則的加工計(jì)算并存儲(chǔ)的過(guò)程，主要包括以下步驟：

（1）單一變量分析。明確單一變量所表述的含義及作用，并針對(duì)需求對(duì)不同變量進(jìn)行歸類，主要?jiǎng)澐譃闋顟B(tài)量、累計(jì)量、實(shí)時(shí)量、控制變量、操作變量、系統(tǒng)變量等不同類數(shù)據(jù)。

（2）單一變量直接統(tǒng)計(jì)。在第一步明確單一變量類型基礎(chǔ)上，根據(jù)業(yè)務(wù)需求，對(duì)需要統(tǒng)計(jì)的變量進(jìn)行甄別統(tǒng)計(jì)，如累計(jì)量需要求小時(shí)累計(jì)、班累計(jì)、月累計(jì)、年累計(jì)等，根據(jù)不同礦山對(duì)報(bào)表需求的不同，進(jìn)行統(tǒng)計(jì)。

（3）變量間接統(tǒng)計(jì)。在實(shí)際生產(chǎn)中需求對(duì)某些功能進(jìn)行統(tǒng)計(jì)，如設(shè)備運(yùn)轉(zhuǎn)率、設(shè)備臺(tái)效等，這些變量在實(shí)際生產(chǎn)中非常重要，但并沒(méi)有直接的變量可供讀取，這時(shí)需要根據(jù)業(yè)務(wù)，進(jìn)行統(tǒng)計(jì)方法的設(shè)計(jì)，如運(yùn)轉(zhuǎn)率可以通過(guò)運(yùn)行時(shí)間和工作時(shí)間進(jìn)行計(jì)算，設(shè)備臺(tái)效可以根據(jù)設(shè)備運(yùn)行時(shí)間和處理量進(jìn)行計(jì)算，且在沒(méi)有單獨(dú)的設(shè)備處理量時(shí)還需要根據(jù)其他條件進(jìn)行處理量推算等，這些數(shù)據(jù)通過(guò)復(fù)雜的計(jì)算相互關(guān)聯(lián)，任何一個(gè)值的變動(dòng)都會(huì)對(duì)生產(chǎn)流程中的其他指標(biāo)帶來(lái)變動(dòng)，對(duì)產(chǎn)品質(zhì)量和生產(chǎn)效率產(chǎn)生影響[2]。

（4）二次加工數(shù)據(jù)存儲(chǔ)。進(jìn)行二次計(jì)算之前，對(duì)計(jì)算的結(jié)果要有清晰的認(rèn)識(shí)，依據(jù)計(jì)算結(jié)果之間的關(guān)聯(lián)方式方法以及時(shí)間區(qū)分等創(chuàng)建對(duì)應(yīng)的存儲(chǔ)表，進(jìn)行數(shù)據(jù)存儲(chǔ)，存儲(chǔ)表應(yīng)以滿足數(shù)據(jù)輸出及業(yè)務(wù)展示為基礎(chǔ)。

3.2.4 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘技術(shù)（Knowledge Discovery in Datebase， KKD） ， 是一種新興的信息處理技術(shù)， 它融匯了人工智能、模糊識(shí)別、模糊數(shù)學(xué)、數(shù)據(jù)庫(kù)、數(shù)理統(tǒng)計(jì)等多種技術(shù)方法， 專門用于海量數(shù)據(jù)的處理， 從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)集中， 提取隱含在其中的、人們事先不知道的、但又是潛在的有用的信息和知識(shí)， 其目的是發(fā)現(xiàn)規(guī)律而不是驗(yàn)證假設(shè)[3]。

數(shù)據(jù)挖掘可以認(rèn)為是更高層級(jí)的二次加工數(shù)據(jù)，與上述加工處理的區(qū)別主要是數(shù)據(jù)加工過(guò)程中沒(méi)有明確的、有規(guī)則的加工過(guò)程和步驟，數(shù)據(jù)之間往往處于弱關(guān)聯(lián)性，在實(shí)際操作中也處于弱相關(guān)，例采礦場(chǎng)給礦硬度變化對(duì)最終金屬量的影響。

4 數(shù)據(jù)應(yīng)用

數(shù)據(jù)應(yīng)用主要分為服務(wù)應(yīng)用和數(shù)據(jù)推送，包括數(shù)據(jù)中心平臺(tái)本身的頁(yè)面展示功能及對(duì)其他系統(tǒng)的數(shù)據(jù)對(duì)接接口，與其他系統(tǒng)的數(shù)據(jù)對(duì)接主要通過(guò)后臺(tái)網(wǎng)絡(luò)，頁(yè)面展示則直接通過(guò)數(shù)據(jù)中心平臺(tái)，對(duì)一些基礎(chǔ)數(shù)據(jù)及關(guān)鍵的二次加工數(shù)據(jù)進(jìn)行展示。

數(shù)據(jù)中心頁(yè)面展示功能主要包括：

（1）采場(chǎng)、選廠、能源、安環(huán)、水資源、資源管理六大類數(shù)據(jù)關(guān)鍵數(shù)據(jù)的展示；

（2）礦山月度、年度報(bào)表；

（3）礦山小時(shí)、班組、月度生產(chǎn)數(shù)據(jù)。

5 總結(jié)

數(shù)據(jù)中心在某銅礦現(xiàn)場(chǎng)實(shí)行邊開(kāi)的邊投入測(cè)試的方式，數(shù)據(jù)中心啟用后，對(duì)數(shù)據(jù)管理和數(shù)據(jù)利用明顯改善。

（1）生產(chǎn)中的工藝指標(biāo)優(yōu)劣可以更及時(shí)的查看，更加便捷的查看處理量、資源消耗情況。

（2）通過(guò)基礎(chǔ)生產(chǎn)數(shù)據(jù)的波動(dòng)，可以更及時(shí)的對(duì)設(shè)備做出診斷，對(duì)設(shè)備非正常運(yùn)轉(zhuǎn)情況可以更快更直觀的進(jìn)行判斷。

（3）提供了一條信息傳輸?shù)耐ǖ?，提高了全礦生產(chǎn)情況傳遞的速度。

參考文獻(xiàn)：

[1]周俊武，徐寧.智能選礦廠架構(gòu)設(shè)計(jì)[J].自動(dòng)化儀表，2016（37）：

1-5.

[2]田慶梅，李國(guó)清，侯杰等.黃金礦山選礦生產(chǎn)信息管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].有色金屬（選礦部分），2015（04）：75-79.

[3]舒正渝.淺談數(shù)據(jù)挖掘技術(shù)及應(yīng)用[J].中國(guó)西部科技，2010，9（05） ：38-39.