董錦昭　邵靖楠

摘要：大型港機(jī)的調(diào)配的數(shù)據(jù)交互系統(tǒng)較為復(fù)雜，通常需要對(duì)安全控制數(shù)據(jù)預(yù)處理。預(yù)處理將原始數(shù)據(jù)進(jìn)行集成、挑選和轉(zhuǎn)換等操作，再對(duì)數(shù)據(jù)進(jìn)行邏輯區(qū)分匯總和數(shù)據(jù)質(zhì)量準(zhǔn)確度深入控制，創(chuàng)建出適用于港機(jī)結(jié)構(gòu)控制的安全體系，建立控制系統(tǒng)數(shù)據(jù)合集。

關(guān)鍵詞：港機(jī);挖掘數(shù)據(jù);控制系統(tǒng);預(yù)處理

港機(jī)是港口物資交換的主要傳輸工具。港機(jī)的工作年限較長(zhǎng)，許多港口的港機(jī)均存在老齡化的特點(diǎn)，由于港口繁忙的運(yùn)輸工作，其工作安全性成為了較大的隱患。目前檢測(cè)的手段，具體為使材料不同位置受力，繪制各個(gè)位置的應(yīng)力應(yīng)變曲線，然后根據(jù)其強(qiáng)度和韌性，來(lái)判斷材料的使用安全性和報(bào)廢壽命。但是這種方法需要有專業(yè)的測(cè)試人員來(lái)管理設(shè)備，測(cè)試周期較長(zhǎng)、數(shù)據(jù)波動(dòng)大，同時(shí)對(duì)測(cè)試人員的專業(yè)素養(yǎng)要求較高。另外在測(cè)試過(guò)程中可以得到很多有益的信息或者規(guī)律，但缺乏專業(yè)的研究人員深入尋找規(guī)律，導(dǎo)致數(shù)據(jù)不能充分應(yīng)用。

現(xiàn)階段，大量檢測(cè)數(shù)據(jù)的處理和分析已經(jīng)逐漸得到重視，尤其是通過(guò)電氣控制模型來(lái)實(shí)現(xiàn)對(duì)于數(shù)據(jù)的控制與處理，雖然能夠達(dá)到較好的安全控制效果，但對(duì)數(shù)據(jù)處理能力依舊不足，對(duì)大型港機(jī)的檢測(cè)數(shù)據(jù)處理挖掘?yàn)楫?dāng)務(wù)之急。目前數(shù)據(jù)挖掘領(lǐng)域研究方向?yàn)橄仍O(shè)置空白對(duì)照模型，此模型為極低噪音、一致性較好的高質(zhì)量數(shù)據(jù)。但是在現(xiàn)實(shí)數(shù)據(jù)分析中，數(shù)據(jù)不可能這么完美，經(jīng)常會(huì)有噪音，甚至有不完整，不一致的情況出現(xiàn)，此時(shí)數(shù)據(jù)預(yù)處理的重要性凸顯。

1數(shù)據(jù)預(yù)處理的概念與步驟

1.1數(shù)據(jù)預(yù)處理的概念

數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘系統(tǒng)必要的一個(gè)組成模塊，它的目的為發(fā)現(xiàn)任務(wù)，通過(guò)指導(dǎo)引用相關(guān)領(lǐng)域的知識(shí)，使用全新的算法模型來(lái)重新計(jì)算原有的數(shù)據(jù)，將與目標(biāo)關(guān)系弱的部分刪除，使數(shù)據(jù)的計(jì)算更加迅速準(zhǔn)確。同時(shí)更有利于對(duì)數(shù)據(jù)的分類，有針對(duì)的處理，可以減少運(yùn)算的壓力，優(yōu)化算法內(nèi)核。數(shù)據(jù)預(yù)處理可以挖掘到更深的規(guī)律，提高港機(jī)工作效率和精準(zhǔn)度。

預(yù)處理的運(yùn)轉(zhuǎn)模式大致為理解用戶所需挖掘點(diǎn)，確定起點(diǎn)和任務(wù)。隨后將會(huì)調(diào)用數(shù)據(jù)源中與任務(wù)相關(guān)的部分，通過(guò)預(yù)先輸入的某個(gè)知識(shí)領(lǐng)域約束規(guī)則作為合法判定依據(jù)，通過(guò)對(duì)違規(guī)的操作進(jìn)行數(shù)據(jù)記錄，最終生成我們所需要的目標(biāo)數(shù)據(jù)。目標(biāo)數(shù)據(jù)即為最終處理后的二維表，其橫向閱讀為記錄和元組，縱向一般為變量，比如屬性或者字段。這就搭建了最初始的知識(shí)信息模板，該模板匯集了所有數(shù)據(jù)的總特征。

為了便于數(shù)據(jù)的匯總和此后的分析，可以通過(guò)數(shù)據(jù)預(yù)處理階段提高數(shù)據(jù)的質(zhì)量。數(shù)據(jù)的分析主要有可視化分析和數(shù)據(jù)挖掘質(zhì)量分析。由于數(shù)據(jù)并非是按照理想的規(guī)則排列，總會(huì)存在異質(zhì)性和非標(biāo)準(zhǔn)性，因此可以通過(guò)預(yù)處理對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。

1.2數(shù)據(jù)預(yù)處理的過(guò)程

（1） 數(shù)據(jù)預(yù)處理的首要工作為數(shù)據(jù)集成，基層指的是將多個(gè)文件或者是多種數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)進(jìn)行合并歸類處理。把那些遺漏、波動(dòng)異?；蛘呤钦Z(yǔ)意不明有爭(zhēng)議的數(shù)據(jù)刪除。需要注意的是，數(shù)據(jù)集成并不是數(shù)據(jù)合并，而是將單位不同字長(zhǎng)不一的數(shù)據(jù)進(jìn)行整合，將最原始的數(shù)據(jù)在低層次進(jìn)行提煉凝聚，這是屬于最初級(jí)的信息挖掘。

（2） 通過(guò)將源數(shù)據(jù)噪聲和無(wú)關(guān)的數(shù)據(jù)進(jìn)行清洗，處理掉空白數(shù)據(jù)庫(kù)中的噪點(diǎn)，通過(guò)數(shù)據(jù)選擇對(duì)數(shù)據(jù)庫(kù)中的目標(biāo)進(jìn)行檢索，數(shù)據(jù)選擇涵蓋了不同模式數(shù)據(jù)的變換、匯總和統(tǒng)一。根據(jù)時(shí)間的先后次序和數(shù)據(jù)變化的狀況，可以將數(shù)據(jù)清洗分成兩大類。一類為有監(jiān)督過(guò)程清洗，這種過(guò)程是在某領(lǐng)域?qū)I(yè)人員指導(dǎo)下，通過(guò)處理收集來(lái)的各種數(shù)據(jù)，剔掉明顯錯(cuò)誤的或者是不用重復(fù)的數(shù)據(jù)。另一類為無(wú)監(jiān)督過(guò)程清洗，這種清洗是根據(jù)大數(shù)據(jù)訓(xùn)練而得的算法，使計(jì)算更加智能化向AI方向發(fā)展，在處理過(guò)程中可以自動(dòng)的鑒別有問(wèn)題的地方進(jìn)行清洗。

（3） 在數(shù)據(jù)處理中需要有轉(zhuǎn)換環(huán)節(jié)，將不同的字段取值轉(zhuǎn)成數(shù)字格式，有利于進(jìn)行檢索，

數(shù)據(jù)變換主要是找到數(shù)據(jù)的特征表示，用維變換或轉(zhuǎn)換方法減少有效變量的數(shù)目或找到數(shù)據(jù)的不變式，包括規(guī)格化、歸約、切換、旋轉(zhuǎn)和投影等操作。

（4） 通過(guò)電氣控制的模式來(lái)達(dá)到對(duì)整個(gè)數(shù)據(jù)的預(yù)處理，主要是以人為的方式對(duì)其進(jìn)行干擾，真正實(shí)現(xiàn)預(yù)處理過(guò)程的自動(dòng)化與智能化水平，電氣控制的主要目的在于對(duì)數(shù)據(jù)中的雜點(diǎn)和亂點(diǎn)進(jìn)行清除，同時(shí)利用其自動(dòng)化水平來(lái)實(shí)現(xiàn)進(jìn)一步操作。

2數(shù)據(jù)預(yù)處理的具體流程

2.1結(jié)構(gòu)安全控制數(shù)據(jù)集成

建立模型的基礎(chǔ)為調(diào)用數(shù)據(jù)和理解數(shù)據(jù)。在進(jìn)行可視化數(shù)據(jù)分析前，一定要明確關(guān)鍵的業(yè)務(wù)問(wèn)題和目標(biāo)。確立目標(biāo)后，需要對(duì)該工作的基本特征有具體的了解，這樣才能保證數(shù)據(jù)更加真實(shí)有效。在隨后的數(shù)據(jù)抽取過(guò)程需要對(duì)數(shù)據(jù)靈活的轉(zhuǎn)化，以方便進(jìn)行數(shù)據(jù)庫(kù)的更新和管理。對(duì)于大型港口港機(jī)的檢測(cè)，主要是通過(guò)震動(dòng)信號(hào)的反饋，對(duì)支撐結(jié)構(gòu)進(jìn)行運(yùn)載大型物件時(shí)應(yīng)力應(yīng)變的情況實(shí)時(shí)采集，以此為大型港機(jī)結(jié)構(gòu)安全控制數(shù)據(jù)的原數(shù)據(jù)。隨后在數(shù)據(jù)分析前，實(shí)施數(shù)據(jù)預(yù)處理。

在港機(jī)工作時(shí)的數(shù)據(jù)中突出的字段有：載荷、時(shí)間、循環(huán)，港機(jī)的具體數(shù)據(jù)字段為：尺寸、材料和焊接狀況。因此通過(guò)這些字段的含義，可以進(jìn)行結(jié)構(gòu)疲勞分析，或穩(wěn)定安全性測(cè)試。根據(jù)不同的字段就可以提取到有效的數(shù)據(jù)，在大量數(shù)據(jù)的積累下，通過(guò)預(yù)處理刪除掉不合理的數(shù)據(jù)， 就可以得到一致性較強(qiáng)的結(jié)果，可以把不同類型的結(jié)果，存放在同一個(gè)數(shù)據(jù)庫(kù)中，以便于隨后的深入挖掘。提數(shù)據(jù)的關(guān)聯(lián)性靠時(shí)間連接，這樣可以方便后續(xù)調(diào)用數(shù)據(jù)。

之后在較高準(zhǔn)確性和一致性的基礎(chǔ)上，仍要繼續(xù)進(jìn)行檢驗(yàn)和凈化。

數(shù)據(jù)的重要部分是在機(jī)械進(jìn)行作業(yè)時(shí)，通過(guò)運(yùn)輸?shù)跹b貨物現(xiàn)場(chǎng)獲得各觀測(cè)點(diǎn)的應(yīng)力應(yīng)變情況，但由于現(xiàn)場(chǎng)的變量較多，比如干擾信號(hào)、接觸問(wèn)題或者是間隙配合歸零等誤差，因此數(shù)據(jù)的準(zhǔn)確性或有效性，將受到不同程度的干擾。因此，現(xiàn)在大多為繪制受力時(shí)的波形圖。通過(guò)對(duì)異常信號(hào)的處理，剔除掉錯(cuò)誤的無(wú)效數(shù)據(jù)。具體的分析方法如圖1圖2所示。

比如在對(duì)原始信號(hào)進(jìn)行分析的過(guò)程中，不難發(fā)現(xiàn)圖1在第5個(gè)循環(huán)處存在異常波動(dòng)現(xiàn)象，這主要是由于峰值與峰谷之間存在較大的差異性，因此造成整體傳出的信號(hào)不同，而預(yù)處理模型能夠?qū)Υ诉M(jìn)行識(shí)別，根據(jù)其預(yù)先設(shè)置的預(yù)處理電控模式將異常數(shù)據(jù)進(jìn)行刪除，進(jìn)而達(dá)到優(yōu)化整體數(shù)據(jù)的目的。通過(guò)圖2我們可知，往往很多數(shù)據(jù)的波動(dòng)現(xiàn)象都不是容易被發(fā)現(xiàn)的，而電控模型的有效應(yīng)用可以真正實(shí)現(xiàn)對(duì)噪點(diǎn)的識(shí)別，進(jìn)而對(duì)其進(jìn)行刪除和優(yōu)化。

2.2結(jié)構(gòu)安全控制數(shù)據(jù)挖掘的數(shù)據(jù)選擇

數(shù)據(jù)的收集工作較為漫長(zhǎng)，需要較多的測(cè)試，收集結(jié)束后需要進(jìn)行數(shù)據(jù)選擇，為后續(xù)的可視化數(shù)據(jù)挖掘提供基礎(chǔ)。在數(shù)據(jù)選擇的過(guò)程中包含數(shù)據(jù)的轉(zhuǎn)換和匯總。數(shù)據(jù)選擇的意義是在于縮小處理區(qū)域，提高處理效率，并且能夠更加深入的挖掘數(shù)據(jù)。

單側(cè)點(diǎn)測(cè)試數(shù)據(jù)，是在整個(gè)測(cè)試作業(yè)過(guò)程中，根據(jù)應(yīng)力應(yīng)變繪制載荷圖譜，確定臨界應(yīng)力。從而進(jìn)行材料損傷的判斷。在數(shù)據(jù)挖掘時(shí)用到的字段為：屈服強(qiáng)度、抗拉強(qiáng)度、測(cè)試時(shí)間、應(yīng)力應(yīng)變等。針對(duì)多測(cè)點(diǎn)測(cè)試數(shù)據(jù)，進(jìn)行數(shù)據(jù)的挖掘較為復(fù)雜，其主要內(nèi)容是在作業(yè)過(guò)程中，隨著時(shí)間的流逝小車位置變化，在每一時(shí)刻對(duì)應(yīng)的都有應(yīng)力應(yīng)變的不同狀況。針對(duì)強(qiáng)度峰值的指標(biāo)，分析人員可以確定出危險(xiǎn)點(diǎn)。此數(shù)據(jù)字段主要為：循環(huán)次數(shù)、測(cè)試時(shí)間、名稱、小車位置坐標(biāo)等。選擇不同的字段進(jìn)行合并和整理形成一個(gè)數(shù)據(jù)庫(kù)，以便于可視化分析的讀取。

抽取是從數(shù)據(jù)集中選擇用于分析的數(shù)據(jù)段.清洗則是在將數(shù)據(jù)加入數(shù)據(jù)集之前，對(duì)源數(shù)據(jù)進(jìn)行修改.在大型港機(jī)結(jié)構(gòu)安全控制中，如果是對(duì)單測(cè)點(diǎn)進(jìn)行分析，要對(duì)數(shù)據(jù)進(jìn)行濾波，濾掉較小的波動(dòng)，以減少不必要的計(jì)算量，簡(jiǎn)化計(jì)算過(guò)程，提高分析效率。圖3為一大型港機(jī)結(jié)構(gòu)在測(cè)試作業(yè)中原始的應(yīng)力波形圖，我們可以對(duì)重復(fù)部分進(jìn)行抽取，一般來(lái)說(shuō)只需要選用500-1500范圍內(nèi)的數(shù)據(jù)即可，這就使得原有工作量大大減少，從而有效提升了整個(gè)數(shù)據(jù)分析的工作效率。

3結(jié)束語(yǔ)

對(duì)于大型港機(jī)結(jié)構(gòu)安全控制數(shù)據(jù)挖掘中的數(shù)據(jù)預(yù)處理的論述，針對(duì)的是具體數(shù)據(jù)挖掘模型的需要，主要目的是為進(jìn)行結(jié)構(gòu)疲勞壽命的估計(jì)與分類模型以及結(jié)構(gòu)擴(kuò)展壽命的預(yù)測(cè)模型提供數(shù)據(jù)依據(jù)。隨著對(duì)數(shù)據(jù)質(zhì)量和有效數(shù)據(jù)挖掘研究工作的不斷深入，從內(nèi)容到方法將會(huì)不斷完善。

參考文獻(xiàn)：

[1] 劉園， 宓為建. 大型港口機(jī)械結(jié)構(gòu)安全控制中的數(shù)據(jù)挖掘[C]// 上海市國(guó)際工業(yè)博覽會(huì)暨上海市"工程與振動(dòng)"科技論壇. 2005.

[2] 趙蘊(yùn)華， 張靜. 基于數(shù)據(jù)挖掘的專利數(shù)據(jù)預(yù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 情報(bào)科學(xué)， 2011（12）：1851-1855.

[3] 菅志剛， 金旭. 數(shù)據(jù)挖掘中數(shù)據(jù)預(yù)處理的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)應(yīng)用研究， 2004， 21（7）：117-118.