劉佩全

紡織行業(yè)擁有經(jīng)濟(jì)運(yùn)行數(shù)據(jù)、海關(guān)進(jìn)出口數(shù)據(jù)、企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)、產(chǎn)業(yè)集群的經(jīng)濟(jì)運(yùn)行數(shù)據(jù)、市場價(jià)格數(shù)據(jù)、電商平臺以及經(jīng)濟(jì)信息資訊等各類行業(yè)數(shù)據(jù)信息，這些數(shù)據(jù)能夠從宏觀上反映行業(yè)的運(yùn)行態(tài)勢。紡織行業(yè)開展行業(yè)運(yùn)行數(shù)據(jù)的統(tǒng)計(jì)分析工作已有多年，簡單的數(shù)據(jù)統(tǒng)計(jì)分析經(jīng)驗(yàn)已經(jīng)很豐富，但要說清多種數(shù)據(jù)之間的相關(guān)性，依靠傳統(tǒng)的BI技術(shù)和統(tǒng)計(jì)分析方法相對困難。大數(shù)據(jù)技術(shù)Hadoop可以很好地解決紡織行業(yè)海量數(shù)據(jù)的處理、計(jì)算、存儲(chǔ)以及挖掘等問題，再結(jié)合隨機(jī)森林、支持向量機(jī)、樸素貝葉斯、決策樹、線性回歸等數(shù)學(xué)統(tǒng)計(jì)算法，有助于探索紡織行業(yè)大數(shù)據(jù)處理的最佳方案，在紡織大數(shù)據(jù)中找到影響市場發(fā)展、價(jià)格等的關(guān)鍵因素，從而為整合紡織行業(yè)數(shù)據(jù)提供保障，為行業(yè)發(fā)展和政策制定提供借鑒和參考。

一、紡織行業(yè)大數(shù)據(jù)技術(shù)的應(yīng)用

1.數(shù)據(jù)的抓取與清洗

紡織行業(yè)數(shù)據(jù)種類繁多，其中包括互聯(lián)網(wǎng)抓取各國海關(guān)數(shù)據(jù)、電商銷售產(chǎn)品價(jià)格數(shù)據(jù)、國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)、匯率、專業(yè)市場產(chǎn)品價(jià)格、產(chǎn)業(yè)集群企業(yè)經(jīng)營狀況數(shù)據(jù)、上市公司財(cái)務(wù)數(shù)據(jù)及經(jīng)濟(jì)運(yùn)行信息等約40大類數(shù)據(jù)，100個(gè)左右小類數(shù)據(jù)，它們統(tǒng)一存儲(chǔ)于關(guān)系型數(shù)據(jù)庫和Hadoop的HIVE中。

利用大數(shù)據(jù)Hadoop技術(shù)的MapReduce框架多實(shí)例下并行清洗紡織數(shù)據(jù)，以數(shù)據(jù)字典為基礎(chǔ)，通過對入庫語句進(jìn)行分詞或者語義分析，使得大數(shù)據(jù)的預(yù)處理得以準(zhǔn)確實(shí)現(xiàn)。MapReduce框架通過任務(wù)追蹤器啟動(dòng)“Reduce”任務(wù)，匯總Map階段存儲(chǔ)在各個(gè)節(jié)點(diǎn)上的結(jié)果數(shù)據(jù)，獲得原始查詢的“答案”，然后將“答案”加載到集群的另一個(gè)節(jié)點(diǎn)中，實(shí)現(xiàn)了多種分析環(huán)境結(jié)合的結(jié)果分析。Hadoop技術(shù)高效處理和分析數(shù)據(jù)的能力，節(jié)省了非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)處理的成本和開支。Hadoop集群可靈活增加數(shù)據(jù)節(jié)點(diǎn)，數(shù)據(jù)由TB級擴(kuò)展到EB級很方便，不必依賴樣本數(shù)據(jù)集，就可以處理和分析所有相關(guān)數(shù)據(jù)。 具體如圖 1 所示。

2.數(shù)據(jù)恢復(fù)

大數(shù)據(jù)Hadoop技術(shù)已充分考慮數(shù)據(jù)安全問題，數(shù)據(jù)至少保存 3 份，并設(shè)置回收站功能，對于誤刪除的數(shù)據(jù)可隨時(shí)恢復(fù)，只需簡單配置即可。

找到配置文件core-site.xml，在其中添加如下信息：

fs.trash.interval

9999

其中9999代表分鐘數(shù)，即代表刪除的文件或目錄在“.Trash”（回收站）中保留的時(shí)間，可自行設(shè)置。

用hadoop fs -lsr 時(shí)暫時(shí)看不到.Trash，在刪除某個(gè)文件或者目錄之后，再次用lsr即可看到所在目錄下的回收站.Trash已經(jīng)建好：再用hadoop fs -mv user/cloud/.Trash/ Current/user/cloud/123456789/user/cloud，即可恢復(fù)需修復(fù)的數(shù)據(jù)。

3.數(shù)據(jù)離散化

依托大數(shù)據(jù)技術(shù)對紡織行業(yè)數(shù)據(jù)進(jìn)行離散化處理。由于紡織行業(yè)數(shù)據(jù)中的極端值對模型效果影響較大，容易導(dǎo)致模型虛假現(xiàn)象出現(xiàn)，將原本不存在的關(guān)系作為重要關(guān)系學(xué)習(xí)，從而導(dǎo)致模型算出錯(cuò)誤的結(jié)果。為了防止此現(xiàn)象產(chǎn)生，必須對連續(xù)型數(shù)據(jù)進(jìn)行離散化處理，自變量和目標(biāo)變量之間的相對關(guān)系變得清晰。如果自變量和目標(biāo)變量之間是非線性關(guān)系，可以重新定義離散后變量取值，如采取0，1的形式，由一個(gè)變量派生為多個(gè)變量，分別確定每段和目標(biāo)變量間的聯(lián)系，雖減少了模型的自由度，但可提高模型的靈活度。

4.數(shù)據(jù)模型的選擇

大數(shù)據(jù)技術(shù)含有豐富的計(jì)算方法和數(shù)據(jù)模型，利用這些模型和算法對紡織行業(yè)數(shù)據(jù)進(jìn)行相關(guān)性分析和挖掘，分析出紡織行業(yè)數(shù)據(jù)之間潛在的關(guān)系和價(jià)值，實(shí)現(xiàn)對紡織行業(yè)發(fā)展的預(yù)測和預(yù)警。常用的分類算法有決策樹、樸素貝葉斯分類、K-近鄰、支持向量機(jī)、線性回歸、曲線擬合等，不同應(yīng)用場景應(yīng)選擇不同的應(yīng)用模型，同一應(yīng)用場景則選擇計(jì)算結(jié)果最好的模型。

5.大數(shù)據(jù)技術(shù)架構(gòu)和結(jié)果展現(xiàn)

大數(shù)據(jù)Hadoop技術(shù)集群可提供海量數(shù)據(jù)的存儲(chǔ)與處理能力，通過軟硬件優(yōu)化與整合，形成一套高性能的軟硬一體的紡織大數(shù)據(jù)解決方案，其體系架構(gòu)如圖 2 所示。

紡織數(shù)據(jù)進(jìn)入Hadoop系統(tǒng)，經(jīng)過數(shù)據(jù)處理和模型選擇之后，各類數(shù)據(jù)指標(biāo)結(jié)合各種分析模型，利用Hadoop高效處理紡織數(shù)據(jù)的能力，可秒級生成分析結(jié)果，再根據(jù)結(jié)果進(jìn)行紡織行業(yè)的研判與預(yù)測。

在紡織行業(yè)運(yùn)行指標(biāo)預(yù)測時(shí)，經(jīng)常用到線性回歸模型，以找到不同指標(biāo)之間可能存在的關(guān)系。以城鎮(zhèn)居民衣著類消費(fèi)支出和城鎮(zhèn)居民收入兩個(gè)指標(biāo)為例。多年來居民收入的快速增長帶動(dòng)了衣著類消費(fèi)的增長，2004 — 2014年，我國城鎮(zhèn)居民人均衣著類消費(fèi)增長2.08倍，年均增長11.91%，兩個(gè)指標(biāo)之間似乎存在某種動(dòng)態(tài)關(guān)系。從Hadoop中調(diào)取若干年指標(biāo)，應(yīng)用回歸模型進(jìn)行擬合運(yùn)算，得到回歸方程， Y=0.073X+30.823（Y代表城鎮(zhèn)居民衣著類消費(fèi)支出，X代表城鎮(zhèn)居民收入）。圖 3 給出了計(jì)算過程，但圖中數(shù)據(jù)不作為現(xiàn)實(shí)分析數(shù)據(jù)使用。

一是選擇模型，根據(jù)紡織行業(yè)分析需要，從模型庫調(diào)取分析模型，每種模型對應(yīng)不同的影響因素和分析算法；

二是選擇參數(shù)，調(diào)取指標(biāo)庫數(shù)據(jù)，選擇要分析的幾個(gè)指標(biāo)，并選擇合適的周期（如年、月、時(shí)間段）；

三是生成結(jié)果，根據(jù)模型運(yùn)算，生成分析結(jié)果，并可對各系數(shù)進(jìn)行手動(dòng)調(diào)整，對未來指標(biāo)進(jìn)行預(yù)測。

通過模型運(yùn)算，可發(fā)現(xiàn)不同指標(biāo)之間的關(guān)系，為紡織行業(yè)進(jìn)行運(yùn)行分析及預(yù)測提供數(shù)據(jù)參考。

二、大數(shù)據(jù)技術(shù)在紡織行業(yè)數(shù)據(jù)處理中的應(yīng)用前景

當(dāng)今，紡織行業(yè)正在采用多種方式采集行業(yè)數(shù)據(jù)及信息，以期能夠建立覆蓋紡織行業(yè)經(jīng)濟(jì)運(yùn)行、專業(yè)市場、產(chǎn)業(yè)集群、進(jìn)出口、電子商務(wù)等多方面的行業(yè)綜合數(shù)據(jù)庫系統(tǒng)，最終構(gòu)建行業(yè)大數(shù)據(jù)信息服務(wù)平臺，更好地為國家宏觀管理部門的決策服務(wù)，為企業(yè)應(yīng)對市場變化服務(wù)，促進(jìn)行業(yè)平穩(wěn)、健康、可持續(xù)發(fā)展。

大數(shù)據(jù)技術(shù)Hadoop本身是一個(gè)全新的數(shù)據(jù)處理和分析技術(shù)，擁有超過現(xiàn)有技術(shù)的強(qiáng)大處理能力和深度挖掘數(shù)據(jù)的能力，這是以往的方式所不具有的優(yōu)點(diǎn)。因此，紡織行業(yè)在利用Hadoop進(jìn)行數(shù)據(jù)處理之時(shí)，必須真正認(rèn)識并充分利用其優(yōu)點(diǎn)，根據(jù)實(shí)際情況和需求選擇合適的方式進(jìn)行數(shù)據(jù)處理。大數(shù)據(jù)技術(shù)在紡織行業(yè)數(shù)據(jù)處理中，不但能夠節(jié)約大量的時(shí)間和人工成本，更重要的是可以完成傳統(tǒng)數(shù)據(jù)庫無法完成的非結(jié)構(gòu)化數(shù)據(jù)的直接處理，在建立紡織行業(yè)大數(shù)據(jù)信息服務(wù)平臺中發(fā)揮重要作用。