生力軍

摘 要：隨著計(jì)算機(jī)技術(shù)的不斷更新與發(fā)展，大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生，應(yīng)用優(yōu)勢(shì)逐步凸顯。而企業(yè)在發(fā)展過(guò)程中，具備著豐富的客戶資源和海量的數(shù)據(jù)積累，倘若沒有做好對(duì)數(shù)據(jù)的高效化管理，就會(huì)給企業(yè)的發(fā)展帶來(lái)一定的經(jīng)濟(jì)損失。因此，如何合理的挖掘數(shù)據(jù)價(jià)值，最大化的實(shí)現(xiàn)對(duì)數(shù)據(jù)的保護(hù)，成為當(dāng)前企業(yè)所要解決的主要問(wèn)題。而基于大數(shù)據(jù)應(yīng)用體系架構(gòu)的設(shè)計(jì)，就能基于數(shù)據(jù)的特性，構(gòu)建相應(yīng)的數(shù)據(jù)模型，以此提高對(duì)數(shù)據(jù)的處理能力，進(jìn)而滿足用戶的個(gè)性化需求。

關(guān)鍵詞：大數(shù)據(jù);應(yīng)用體系;架構(gòu)設(shè)計(jì)

0 引言

信息化時(shí)代下，人們無(wú)時(shí)無(wú)刻不在產(chǎn)生數(shù)據(jù)，而數(shù)據(jù)的來(lái)源也是多種多樣。大數(shù)據(jù)應(yīng)用系統(tǒng)，主要就是建立在龐大的數(shù)據(jù)來(lái)源上產(chǎn)生的應(yīng)用系統(tǒng)，通過(guò)高效化的管理模式，使數(shù)據(jù)發(fā)揮出其強(qiáng)大的決策力、洞察力以及高流程的優(yōu)化能力，以此給系統(tǒng)使用者提供重要的數(shù)據(jù)信息參考依據(jù)。因此，應(yīng)基于大數(shù)據(jù)技術(shù)合理的設(shè)計(jì)并構(gòu)建應(yīng)用體系架構(gòu)，確保最大化的挖掘出數(shù)據(jù)所具備的價(jià)值和能力。本文就針對(duì)基于大數(shù)據(jù)的應(yīng)用體系架構(gòu)設(shè)計(jì)方法展開具體的分析與討論。

1 大數(shù)據(jù)應(yīng)用體系的架構(gòu)設(shè)計(jì)

1.1? 總體架構(gòu)的設(shè)計(jì)原則

大數(shù)據(jù)技術(shù)的出現(xiàn)，給我國(guó)傳統(tǒng)數(shù)據(jù)應(yīng)用架構(gòu)帶來(lái)了一定的挑戰(zhàn)。而基于大數(shù)據(jù)背景下，對(duì)于應(yīng)用體系架構(gòu)的設(shè)計(jì)，就應(yīng)遵循相應(yīng)的設(shè)計(jì)原則，以此確保整個(gè)體系設(shè)計(jì)的合理性。首先，體系架構(gòu)的設(shè)計(jì)應(yīng)具備較大的數(shù)據(jù)儲(chǔ)存能力，并且能夠存儲(chǔ)多種類型的數(shù)據(jù)。而傳統(tǒng)的數(shù)據(jù)體系架構(gòu)，對(duì)于數(shù)據(jù)的分析方面還稍有欠缺，無(wú)論是技術(shù)方面還是方法方面，都無(wú)法滿足當(dāng)前對(duì)龐大數(shù)據(jù)的分析。因此，在進(jìn)行具體的體系架構(gòu)設(shè)計(jì)時(shí)，就應(yīng)確保整個(gè)體系架構(gòu)能夠更加可用、可靠并且還具備較大的空間擴(kuò)展性，這樣既能完成對(duì)數(shù)據(jù)信息的高質(zhì)量存儲(chǔ)，而且還能實(shí)現(xiàn)對(duì)數(shù)據(jù)的合理化保護(hù)。此外，大數(shù)據(jù)背景下，對(duì)于數(shù)據(jù)應(yīng)用體系架構(gòu)的設(shè)計(jì)還應(yīng)始終堅(jiān)持3個(gè)統(tǒng)一原則，即：第一，具備較大的數(shù)據(jù)加載和處理分析能力，能夠應(yīng)對(duì)爆炸式的數(shù)據(jù)信息。第二，具備較強(qiáng)的應(yīng)用擴(kuò)展性，確保滿足多種數(shù)據(jù)應(yīng)用場(chǎng)景。第三，具備分析原始數(shù)據(jù)格式的能力，以此就能完成對(duì)各類型數(shù)據(jù)的精準(zhǔn)分類[1]。

1.2? 大數(shù)據(jù)應(yīng)用體系的結(jié)構(gòu)設(shè)計(jì)

數(shù)據(jù)來(lái)源的多樣化，導(dǎo)致數(shù)據(jù)類型也更加豐富。因此，大數(shù)據(jù)體系應(yīng)用結(jié)構(gòu)應(yīng)主要包含：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)3種。其中，對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言，其有明確的數(shù)據(jù)信息格式，而半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)信息和邏輯比較容易處理，但是數(shù)據(jù)類型往往摻雜在一塊，這樣就增大了對(duì)數(shù)據(jù)信息挖掘的難度。而非結(jié)構(gòu)化數(shù)據(jù)主要就是指視頻、音頻等相關(guān)數(shù)據(jù)信息，由于其缺乏完整的體系架構(gòu)，故對(duì)于數(shù)據(jù)的處理就顯得更為混亂。因此，要想最大化地發(fā)揮出數(shù)據(jù)的應(yīng)用價(jià)值，深度挖掘其所具備的能力，就應(yīng)基于大數(shù)據(jù)技術(shù)，構(gòu)建一個(gè)更加完善且科學(xué)的數(shù)據(jù)應(yīng)用體系架構(gòu)。

2 大數(shù)據(jù)應(yīng)用體系架構(gòu)的具體設(shè)計(jì)

2.1? 數(shù)據(jù)管理

數(shù)據(jù)管理應(yīng)主要包含3個(gè)方面，即：數(shù)據(jù)導(dǎo)入、數(shù)據(jù)清洗和數(shù)據(jù)治理。

其中，數(shù)據(jù)導(dǎo)入是管理數(shù)據(jù)的第一步，也是保證數(shù)據(jù)質(zhì)量的基礎(chǔ)。其中，數(shù)據(jù)的收集可以通過(guò)不同的數(shù)據(jù)源完成對(duì)指定規(guī)則數(shù)據(jù)的收取，待數(shù)據(jù)抽取完成之后，還應(yīng)實(shí)現(xiàn)對(duì)其的高效化存儲(chǔ)。對(duì)于數(shù)據(jù)的收集，一般使用多樣化的接口方式，不僅可以支持傳統(tǒng)的FTP文件接口，還可以支持實(shí)時(shí)性分析，以此就能更好地滿足對(duì)多樣化格式數(shù)據(jù)的收集[2]。數(shù)據(jù)收集完畢之后，需要對(duì)數(shù)據(jù)進(jìn)行加載，目的是能夠?qū)?shù)據(jù)源文件合理的保存至數(shù)據(jù)庫(kù)。通過(guò)提交相應(yīng)的參數(shù)設(shè)置，來(lái)規(guī)范化數(shù)據(jù)文件輸入路徑，加載文件能夠更好地匹配相關(guān)信息，以此完成對(duì)文件的發(fā)現(xiàn)、獲取以及對(duì)數(shù)據(jù)的加載和校驗(yàn)，最終促進(jìn)數(shù)據(jù)的高質(zhì)量入庫(kù)。此外，無(wú)論是數(shù)據(jù)加載的結(jié)束或者失敗，都應(yīng)在系統(tǒng)的數(shù)據(jù)日志中完成對(duì)操作日志的記錄，這樣可為后續(xù)數(shù)據(jù)問(wèn)題的排查以及數(shù)據(jù)的稽核提供重要的參考性依據(jù)。

數(shù)據(jù)清洗主要就是指：根據(jù)數(shù)據(jù)價(jià)值、數(shù)據(jù)質(zhì)量的衡量依據(jù)，通過(guò)多個(gè)維度和多個(gè)視角完成對(duì)數(shù)據(jù)的全面排查，確保及時(shí)的發(fā)現(xiàn)數(shù)據(jù)中的不良數(shù)據(jù)。其中，在具體實(shí)施時(shí)，可根據(jù)實(shí)體分析數(shù)據(jù)評(píng)估指標(biāo)，完成對(duì)存有數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)的定位，進(jìn)而根據(jù)相關(guān)規(guī)則，實(shí)現(xiàn)對(duì)存有問(wèn)題字段的探查，以此就能明確的找出存有問(wèn)題的數(shù)據(jù)。

數(shù)據(jù)清洗主要定位數(shù)據(jù)問(wèn)題存在位置，而數(shù)據(jù)治理則主要確定數(shù)據(jù)存在問(wèn)題的原因，從而使得數(shù)據(jù)質(zhì)量能夠得到顯著的提高。其中，數(shù)據(jù)質(zhì)量一般包含：數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)質(zhì)量低以及缺乏數(shù)據(jù)字典等多個(gè)問(wèn)題。因此，在構(gòu)建大數(shù)據(jù)應(yīng)用體系架構(gòu)時(shí)，就可創(chuàng)建相應(yīng)的數(shù)據(jù)分析平臺(tái)，加大對(duì)數(shù)據(jù)分析的力度，并實(shí)現(xiàn)對(duì)問(wèn)題數(shù)據(jù)的篩查，確保形成一個(gè)統(tǒng)一且高質(zhì)量的數(shù)據(jù)源，以此給后續(xù)工作的開展提供重要的數(shù)據(jù)支撐。而在具體分析數(shù)據(jù)源時(shí)，就可重點(diǎn)排查數(shù)據(jù)重復(fù)的原因，并創(chuàng)建相應(yīng)的策略模型，來(lái)獲取空值數(shù)據(jù)和缺失的數(shù)據(jù)，并讓其進(jìn)入到所創(chuàng)建的數(shù)據(jù)分析平臺(tái)中，以此也就有助于分析出數(shù)據(jù)重復(fù)的原因[3]。

2.2? 對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化建設(shè)

各數(shù)據(jù)之間都是相互獨(dú)立的，但是數(shù)據(jù)格式的不統(tǒng)一、數(shù)據(jù)建設(shè)的不規(guī)范，就在一定程度上給數(shù)據(jù)間的共享帶來(lái)了較大問(wèn)題。倘若不對(duì)此問(wèn)題進(jìn)行合理化解決，就會(huì)增大數(shù)據(jù)的錄入成本，還會(huì)造成資源的浪費(fèi)。因此，在設(shè)計(jì)數(shù)據(jù)應(yīng)用體系架構(gòu)時(shí)，還應(yīng)注重對(duì)數(shù)據(jù)的標(biāo)準(zhǔn)化建設(shè)，確保實(shí)現(xiàn)數(shù)據(jù)信息的規(guī)范性和統(tǒng)一性。在收集數(shù)據(jù)時(shí)，應(yīng)在統(tǒng)一的數(shù)據(jù)平臺(tái)上完成收集，這樣就能保證數(shù)據(jù)的來(lái)源一致。收集完數(shù)據(jù)后，還需要根據(jù)相關(guān)業(yè)務(wù)需求，將數(shù)據(jù)轉(zhuǎn)換為所要求的目的數(shù)據(jù)。最后，再對(duì)不符合規(guī)定的數(shù)據(jù)進(jìn)行清洗，以此就能保證數(shù)據(jù)的存儲(chǔ)質(zhì)量[4]。

2.3? 數(shù)據(jù)安全性設(shè)計(jì)

保障數(shù)據(jù)的安全性，是大數(shù)據(jù)應(yīng)用體系架構(gòu)的基礎(chǔ)。因此，在具體設(shè)計(jì)時(shí)，就可根據(jù)安全態(tài)勢(shì)感知模型，完成對(duì)整個(gè)系統(tǒng)安全性的分析。而安全態(tài)勢(shì)感知模型，可完成對(duì)數(shù)據(jù)收集方面的監(jiān)控，一旦發(fā)現(xiàn)所收集的數(shù)據(jù)信息不滿足相關(guān)要求時(shí)，就會(huì)發(fā)出告警信息，并且還會(huì)出具相應(yīng)的審計(jì)報(bào)告，這樣也就避免了不合格數(shù)據(jù)入庫(kù)，進(jìn)而也就提升了整個(gè)數(shù)據(jù)信息的安全性。

2.4? 平臺(tái)數(shù)據(jù)的存儲(chǔ)

數(shù)據(jù)的存儲(chǔ)，一般可采用云存儲(chǔ)技術(shù)，該種技術(shù)主要由多種設(shè)備軟件構(gòu)成。而為了實(shí)現(xiàn)對(duì)其的高效維護(hù)，一般會(huì)將數(shù)據(jù)存儲(chǔ)在存儲(chǔ)層中，并且還應(yīng)讓其兼容多種不同類型的協(xié)議，這樣就能更好的實(shí)現(xiàn)數(shù)據(jù)的高效化存儲(chǔ)。此外，云存儲(chǔ)主要利用流的方式完成對(duì)數(shù)據(jù)的傳輸，這樣就能實(shí)現(xiàn)對(duì)流媒體結(jié)構(gòu)的限制，以此也就大大地提升了整個(gè)系統(tǒng)的運(yùn)行性能[5]。

3 結(jié)語(yǔ)

不斷地研究與分析基于大數(shù)據(jù)的應(yīng)用體系架構(gòu)設(shè)計(jì)，對(duì)于有效的提升大數(shù)據(jù)應(yīng)用體系架構(gòu)設(shè)計(jì)的合理性，最大化的挖掘出數(shù)據(jù)信息的應(yīng)用價(jià)值以及實(shí)現(xiàn)對(duì)數(shù)據(jù)的合理化保護(hù)都具有至關(guān)重要的作用。因此，應(yīng)首先認(rèn)識(shí)與了解大數(shù)據(jù)應(yīng)用體系的架構(gòu)設(shè)計(jì)，進(jìn)而從數(shù)據(jù)管理、對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化建設(shè)、數(shù)據(jù)安全性設(shè)計(jì)以及平臺(tái)數(shù)據(jù)的存儲(chǔ)4個(gè)方面完成對(duì)大數(shù)據(jù)應(yīng)用體系架構(gòu)的高質(zhì)量設(shè)計(jì)，確保最大化地發(fā)揮出體系架構(gòu)的應(yīng)用價(jià)值，滿足企業(yè)的個(gè)性化需求，以此推動(dòng)我國(guó)經(jīng)濟(jì)建設(shè)的可持續(xù)發(fā)展。

[參考文獻(xiàn)]

[1]劉菱琳，周祖斌，楊志清，等.基于大數(shù)據(jù)的應(yīng)用體系架構(gòu)設(shè)計(jì)研究[J].電子設(shè)計(jì)工程，2020（23）：25-28，33.

[2]李進(jìn).試驗(yàn)數(shù)據(jù)應(yīng)用體系架構(gòu)設(shè)計(jì)[J].電子技術(shù)與軟件工程，2019（15）：123-124.

[3]葉挺.大數(shù)據(jù)平臺(tái)安全架構(gòu)體系研究與應(yīng)用[D].杭州：浙江工業(yè)大學(xué)，2019.

[4]呂登龍，朱詩(shī)兵.大數(shù)據(jù)及其體系架構(gòu)與關(guān)鍵技術(shù)綜述[J].裝備學(xué)院學(xué)報(bào)，2017（1）：86-96.

[5]王強(qiáng)，李俊杰，陳小軍，等.大數(shù)據(jù)分析平臺(tái)建設(shè)與應(yīng)用綜述[J].集成技術(shù)，2016（2）：2-18.

（編輯 何 琳）