錢翔宇，史海燕

(河北大學(xué) 管理學(xué)院，河北 保定 07100)

1 引言

隨著大數(shù)據(jù)時(shí)代的到來(lái)，各個(gè)領(lǐng)域的信息量都快速增長(zhǎng)，信息過(guò)載取代了信息貧乏成為如今大多數(shù)互聯(lián)網(wǎng)用戶的困擾。根據(jù)第46次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》，截至2020年1月，我國(guó)移動(dòng)互聯(lián)網(wǎng)接入流量消費(fèi)達(dá)745億GB，同比增長(zhǎng)34.05%[1]。對(duì)于企業(yè)而言，若能從大數(shù)據(jù)中提煉出有用信息，并通過(guò)各種模型算法為生產(chǎn)決策提供正確參考，將擁有更強(qiáng)競(jìng)爭(zhēng)力。然而由于傳統(tǒng)企業(yè)決策支持系統(tǒng)(DSS)在獲取大數(shù)據(jù)、處理大數(shù)據(jù)方面的劣勢(shì)，企業(yè)難以從各個(gè)平臺(tái)快速且準(zhǔn)確地采集出符合其發(fā)展要求的信息，也難以利用該信息實(shí)現(xiàn)精準(zhǔn)化推薦、個(gè)性化服務(wù)、市場(chǎng)趨勢(shì)預(yù)測(cè)等更符合大數(shù)據(jù)時(shí)代的功能?；诖?，本文設(shè)計(jì)并實(shí)現(xiàn)了基于數(shù)據(jù)挖掘的新型企業(yè)決策支持系統(tǒng)，在理論上為決策支持系統(tǒng)提供了新的實(shí)現(xiàn)方法；在實(shí)踐上，為處于信息化時(shí)代的企業(yè)提供更加精準(zhǔn)全面的決策支持。

2 相關(guān)研究

Simon[2]在1960提出了決策的3個(gè)階段：情報(bào)、設(shè)計(jì)、選擇，將決策行為劃分為程序化決策和非程序化決策，由此奠定了DSS的理論基礎(chǔ)。在隨后的20年內(nèi)，DSS進(jìn)入快速發(fā)展期[3]，個(gè)人決策支持系統(tǒng)(PDSS)[4]、群決策支持系統(tǒng)(GDSS)[5]與智能決策支持系統(tǒng)(IDSS)[6]等新型決策支持系統(tǒng)出現(xiàn)，為解決多人協(xié)同決策與處理復(fù)雜決策問(wèn)題提供了可能。20世紀(jì)90年代開始，數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘技術(shù)的出現(xiàn)，使傳統(tǒng)決策支持系統(tǒng)由利用模型驅(qū)動(dòng)和知識(shí)輔助決策，逐漸過(guò)渡到從數(shù)據(jù)中獲取知識(shí)和信息，很多研究者都開始注重DSS多種技術(shù)的融合，提出新型決策支持系統(tǒng)與傳統(tǒng)決策支持系統(tǒng)的結(jié)合才是未來(lái)的發(fā)展方向。

21世紀(jì)至今，在已有的理論基礎(chǔ)上，各個(gè)領(lǐng)域都發(fā)展了用于解決特定問(wèn)題的決策支持系統(tǒng)。在醫(yī)療領(lǐng)域，不同研究者在醫(yī)院人力資源管理[7]、腦卒中患者護(hù)理[8]、低血糖患者護(hù)理[9]等方向開發(fā)了醫(yī)學(xué)決策支持系統(tǒng)(MDSS)；在圖書館領(lǐng)域，陳鴻[10]基于大數(shù)據(jù)視角，解決了圖書館決策模式中決策主體的單一并且依賴主觀經(jīng)驗(yàn)等問(wèn)題，提高了圖書館決策的科學(xué)性；在環(huán)境領(lǐng)域，汪西林[11]等人利用主成分分析技術(shù)與0-1整數(shù)規(guī)劃模型等為基本農(nóng)田規(guī)劃構(gòu)建了決策支持模型。田恬[12]等人采用SOA C/S架構(gòu)，設(shè)計(jì)開發(fā)了松花江流域水污染防治規(guī)劃決策支持系統(tǒng)；同時(shí)，在水利[13]、電力[14]、食品[15]等領(lǐng)域，不同研究者也都設(shè)計(jì)開發(fā)了相應(yīng)的決策支持系統(tǒng)。

在企業(yè)決策支持系統(tǒng)領(lǐng)域，目前的大多數(shù)研究都集中在財(cái)務(wù)、會(huì)計(jì)方向。例如霍曉萍[16]等人基于雙邊匹配算法，通過(guò)構(gòu)建異質(zhì)資本雙邊匹配決策支持系統(tǒng)，為國(guó)有企業(yè)引入資本提供可實(shí)現(xiàn)信息共享、投資互選的平臺(tái)?，F(xiàn)有研究在實(shí)現(xiàn)用戶行為分析、市場(chǎng)分析以及營(yíng)銷媒介分析等方面比較匱乏。基于此，本文設(shè)計(jì)并實(shí)現(xiàn)了基于數(shù)據(jù)挖掘的新型企業(yè)決策支持系統(tǒng)，該系統(tǒng)在原有決策支持系統(tǒng)基礎(chǔ)上，不僅使用企業(yè)內(nèi)部數(shù)據(jù)，還利用網(wǎng)絡(luò)爬蟲獲取企業(yè)外部數(shù)據(jù)，結(jié)合了最新研究，加入了情感分析、傳播模式分析、用戶畫像描繪等功能，幫助企業(yè)利用網(wǎng)絡(luò)上的現(xiàn)有信息，分析企業(yè)產(chǎn)品、洞察市場(chǎng)、預(yù)測(cè)未來(lái)，進(jìn)而幫助決策者明確目標(biāo)，可為正確決策提供有力支持。

3 系統(tǒng)設(shè)計(jì)方案

為了實(shí)現(xiàn)決策支持系統(tǒng)的企業(yè)外部數(shù)據(jù)獲取、數(shù)據(jù)挖掘、可視化顯示等功能，選擇網(wǎng)絡(luò)爬蟲、機(jī)器學(xué)習(xí)等相關(guān)技術(shù)搭建決策支持系統(tǒng)，全面支撐DSS各類數(shù)據(jù)的加工管理，支撐對(duì)大規(guī)模數(shù)據(jù)進(jìn)行可視化的需求。本設(shè)計(jì)將DSS構(gòu)建劃分為4個(gè)主要任務(wù)：①根據(jù)不同的業(yè)務(wù)需求，利用網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)采集企業(yè)外部數(shù)據(jù)，獲取由合作企業(yè)提供的企業(yè)內(nèi)部數(shù)據(jù)；②根據(jù)提前設(shè)計(jì)好的數(shù)據(jù)治理體系流程，將獲得的原始數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換、裝載等一系列操作；③按照設(shè)定的功能，進(jìn)行數(shù)據(jù)挖掘的相關(guān)操作，其中包括自然語(yǔ)言處理、利用機(jī)器學(xué)習(xí)方法進(jìn)行數(shù)據(jù)預(yù)測(cè)、用戶畫像構(gòu)建等；④設(shè)計(jì)接口，使用Echarts模型將處理好的數(shù)據(jù)進(jìn)行可視化操作。

3.1 業(yè)務(wù)架構(gòu)

企業(yè)決策支持系統(tǒng)的核心是獲取企業(yè)內(nèi)外部數(shù)據(jù)進(jìn)行清洗分析，形成數(shù)據(jù)不斷更新與存儲(chǔ)的基礎(chǔ)環(huán)境，提供支撐企業(yè)決策的增值信息，輔助企業(yè)做出最優(yōu)決策。目前為止，本系統(tǒng)已經(jīng)為電商、游戲、自媒體三類企業(yè)，提供了基礎(chǔ)數(shù)據(jù)分析、面向用戶分析、面向市場(chǎng)分析、面向營(yíng)銷媒介分析四類功能，具體的業(yè)務(wù)架構(gòu)如圖1所示。

作為輔助企業(yè)進(jìn)行各項(xiàng)業(yè)務(wù)決策的數(shù)據(jù)基礎(chǔ)環(huán)境，系統(tǒng)的數(shù)據(jù)來(lái)源將嚴(yán)格遵循完整性與準(zhǔn)確性原則，并且嚴(yán)格保護(hù)用戶隱私，不違規(guī)抓取用戶手機(jī)號(hào)、住址等隱私信息，避免給企業(yè)帶來(lái)相關(guān)的法律風(fēng)險(xiǎn)。

3.2 技術(shù)架構(gòu)

基于數(shù)據(jù)挖掘的新型企業(yè)決策支持系統(tǒng)以數(shù)據(jù)抓取、數(shù)據(jù)分析、數(shù)據(jù)可視化三個(gè)環(huán)境分離為研發(fā)理念，在數(shù)據(jù)的不同流通階段對(duì)數(shù)據(jù)進(jìn)行不同的處理與完善。在數(shù)據(jù)抓取階段，系統(tǒng)使用以scrapy-redis技術(shù)為基礎(chǔ)的分布式爬蟲框架，根據(jù)不同行業(yè)與企業(yè)的需求，利用官方API或抓包工具從第三方平臺(tái)(如微博、今日頭條、bilibili等)對(duì)數(shù)據(jù)進(jìn)行大規(guī)?？焖僮ト。⑶腋鶕?jù)既定的功能，抽取不同種類數(shù)據(jù)的特征值；在數(shù)據(jù)分析階段，系統(tǒng)使用pytorch、sklearn等框架，利用隨機(jī)森林、XGBoost、卷積神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)與深度學(xué)習(xí)算法，使用數(shù)據(jù)抓取階段提供的數(shù)據(jù)，對(duì)企業(yè)目標(biāo)群體進(jìn)行挖掘、預(yù)測(cè)話題生命周期與商品銷量、實(shí)現(xiàn)精準(zhǔn)推送等功能，按照設(shè)計(jì)的可視化顯示接口，輸出相關(guān)數(shù)據(jù)；在數(shù)據(jù)可視化階段，系統(tǒng)利用echarts技術(shù)，將處理后的數(shù)據(jù)進(jìn)行可視化顯示，提供給企業(yè)相關(guān)決策人員。三個(gè)環(huán)境協(xié)同調(diào)度工作，實(shí)現(xiàn)無(wú)縫銜接。從技術(shù)層面可以分為數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)抓取層、業(yè)務(wù)層與可視化顯示層。平臺(tái)的技術(shù)架構(gòu)如圖2所示。

系統(tǒng)采用spring boot技術(shù)，結(jié)合bootstrap進(jìn)行前端頁(yè)面設(shè)計(jì)，利用Vue. js進(jìn)行前后端數(shù)據(jù)交互。系統(tǒng)將前端服務(wù)與后端服務(wù)分離，整合了mybatis一級(jí)二級(jí)緩存，增加系統(tǒng)的并發(fā)量，并且拓展了反爬及用戶權(quán)限管理功能，構(gòu)建了分布式的決策支持系統(tǒng)。

3.3 平臺(tái)構(gòu)建

系統(tǒng)構(gòu)建要從硬件設(shè)施部署與軟件設(shè)施部署展開。系統(tǒng)旨在解決企業(yè)決策時(shí)數(shù)據(jù)量少、數(shù)據(jù)不夠全面、數(shù)據(jù)分析方法較為單一的問(wèn)題，為不同行業(yè)提供內(nèi)外部數(shù)據(jù)結(jié)合的決策支持系統(tǒng)，構(gòu)建數(shù)據(jù)抓取、分析、顯示為一體的，具有用戶權(quán)限管理與反爬蟲機(jī)制的分布式系統(tǒng)。

3.3.1 硬件設(shè)施部署

基于數(shù)據(jù)挖掘的新型企業(yè)決策支持系統(tǒng)基礎(chǔ)設(shè)施硬件部署，配備6臺(tái)服務(wù)器支持?jǐn)?shù)據(jù)加工過(guò)程，注重?cái)?shù)據(jù)抓取能力，數(shù)據(jù)存儲(chǔ)能力以及數(shù)據(jù)計(jì)算能力。其中，兩臺(tái)服務(wù)器構(gòu)建分布式爬蟲子系統(tǒng)，一臺(tái)服務(wù)器進(jìn)行數(shù)據(jù)存儲(chǔ)與調(diào)度，兩臺(tái)服務(wù)器用于部署后端項(xiàng)目及數(shù)據(jù)計(jì)算框架，一臺(tái)服務(wù)器用于部署前端項(xiàng)目、集中管理工具與日志服務(wù)應(yīng)用。

3.3.2 軟件設(shè)施部署

(1) 關(guān)鍵技術(shù)選擇。DSS數(shù)據(jù)具有多種類、多來(lái)源、數(shù)據(jù)量大等特點(diǎn)，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)加工技術(shù)很難進(jìn)行高效的處理。在數(shù)據(jù)抓取階段，因?yàn)楂@取的第三方數(shù)據(jù)源分布廣，數(shù)據(jù)量大，所以選擇scrapy-redis分布式爬蟲框架。服務(wù)啟動(dòng)時(shí)，爬蟲子系統(tǒng)會(huì)依據(jù)事先設(shè)計(jì)的數(shù)據(jù)抓取方法與邏輯，在兩臺(tái)服務(wù)器上進(jìn)行聯(lián)機(jī)爬取，保證了數(shù)據(jù)獲取的時(shí)效性與穩(wěn)定性；

在數(shù)據(jù)分布式存儲(chǔ)階段，scrapy-redis框架會(huì)將抓取的數(shù)據(jù)自動(dòng)存儲(chǔ)到redis數(shù)據(jù)庫(kù)中；在數(shù)據(jù)計(jì)算階段，利用python語(yǔ)言，通過(guò)調(diào)用numpy、pytorch、sklearn等第三方框架，編寫算法對(duì)數(shù)據(jù)進(jìn)行清洗與分析，最后將處理好的數(shù)據(jù)按照既定的字段存儲(chǔ)到數(shù)據(jù)庫(kù)中；在數(shù)據(jù)輸出階段，系統(tǒng)根據(jù)用戶請(qǐng)求，利用后端服務(wù)器從數(shù)據(jù)庫(kù)中提取數(shù)據(jù)，通過(guò)Vue.js將數(shù)據(jù)傳輸?shù)角岸?，最后通過(guò)echarts框架將數(shù)據(jù)可視化顯示，供決策人員使用。

(2) 關(guān)鍵技術(shù)部署。系統(tǒng)主要從技術(shù)架構(gòu)層中的4層功能區(qū)進(jìn)行部署，即數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)抓取層、業(yè)務(wù)層與可視化顯示層。系統(tǒng)集成了Django框架、scrapy-redis框架與spring boot框架，在不同服務(wù)器上分別部署了前端與后端的項(xiàng)目，前后端分離，并且四臺(tái)服務(wù)器同時(shí)服務(wù)于爬蟲子系統(tǒng)與后端計(jì)算服務(wù)，形成小規(guī)模集群，保證了系統(tǒng)的計(jì)算效率與穩(wěn)定性。針對(duì)通用分布式技術(shù)環(huán)境部署進(jìn)行系統(tǒng)級(jí)優(yōu)化，以開源軟件官方網(wǎng)站提供的說(shuō)明為基礎(chǔ)結(jié)合集群的實(shí)際情況進(jìn)行調(diào)優(yōu)。解決包括數(shù)據(jù)抓取速度慢、響應(yīng)請(qǐng)求延遲、系統(tǒng)穩(wěn)定性不高等問(wèn)題。

圖2 技術(shù)架構(gòu)

4 結(jié)語(yǔ)

本文基于數(shù)據(jù)挖掘相關(guān)技術(shù)，利用相關(guān)算法，基于分布式系統(tǒng)開源生態(tài)圈技術(shù)，自主研發(fā)了企業(yè)決策支持系統(tǒng)，實(shí)現(xiàn)了輔助企業(yè)進(jìn)行更加精準(zhǔn)的目標(biāo)，解決了決策時(shí)數(shù)據(jù)種類及量級(jí)少的問(wèn)題，豐富了傳統(tǒng)決策支持系統(tǒng)的功能，并結(jié)合不同行業(yè)特點(diǎn)，開發(fā)了不同的功能。系統(tǒng)為用戶提供了豐富的數(shù)據(jù)可視化效果，完成實(shí)時(shí)指標(biāo)分析，節(jié)省用戶的等待時(shí)間。

目前系統(tǒng)已經(jīng)初步具備服務(wù)能力，但也存在一些問(wèn)題。例如系統(tǒng)集成了Django、spring boot與scrapy-redis框架，不同框架進(jìn)行數(shù)據(jù)傳輸時(shí)需要通過(guò)數(shù)據(jù)庫(kù)進(jìn)行緩存，需要一定時(shí)間。一種解決方案是編寫分布式程序并將它們部署在不同的服務(wù)器上，但是維護(hù)一組需要單獨(dú)開發(fā)的分布式系統(tǒng)，有一定的技術(shù)難度。同時(shí)，該系統(tǒng)在用戶個(gè)性化配置和多數(shù)據(jù)源融合分析方面仍有改進(jìn)空間。在前一階段的基礎(chǔ)上，未來(lái)將通過(guò)不斷的探索和實(shí)踐，進(jìn)一步優(yōu)化和完善系統(tǒng)。