[摘要]設計了一種基于Hive架構的異構數據整合框架，該框架以多個應用系統(tǒng)數據庫為主要研究對象，選取某物流企業(yè)供應鏈過程中的車輛調度系統(tǒng)和運力調度系統(tǒng)的車源數據作為實驗對象，通過分析、整合異構數據，搭建異構數據整合框架，進行異構數據整合研究。結果表明：該架構實現了異構數據資源共享，同時有助于實現物流行業(yè)的信息資源整合，而且可以為企業(yè)提供更加穩(wěn)定可靠的決策支持。

[關鍵詞]Hive；物流供應鏈；異構數據；ETL

[中圖分類號]F274 [文獻標識碼]A [文章編號]1005—152X（2017）03—0168—04

1引言

隨著計算機網絡的普及，數據資源的共享已經成為一個熱門話題。很多企業(yè)需要將DBMS、MIS、OA數據集成起來，構成企業(yè)的管理決策的網絡信息平臺。異構數據是一個含義豐富的概念，不僅指不同的數據庫系統(tǒng)之間的數據是異構的，如Oracle和SQL Server數據庫，而且還包括不同結構的數據之間的異構，如結構化的SQL Server數據庫數據和半結構化的XML數據。

在物流行業(yè)中，異構數據整合對提高物流供應鏈過程中的數據處理和數據共享能力，以及提供數據有效性、可用性和更加可靠穩(wěn)定的決策分析等能力有重要意義。在物流運力供應鏈中，無論是頂端的物流運輸企業(yè)還是底端的個體司機都難以實現雙方的數據共享。他們之間沒有真正意義的統(tǒng)一信息交換平臺，從而導致雙方各自為主，缺乏準確的信息交流。即使雙方進行數據交換，也可能面臨很多問題，這些問題主要集中于他們可能使用不同的信息交換平臺，平臺之間缺乏統(tǒng)一的數據格式。因此，在運力供應鏈中成員在進行數據交換時，基本都采用手工登記的方式。本文建立的基于Hive架構的物流運力供應鏈數據倉庫將建立在多個應用系統(tǒng)之上，通過數據過濾、清洗、整合，建立統(tǒng)一的數據格式，實現多個系統(tǒng)之間的運力數據整合與共享。

2多源異構數據處理技術

在物流運力供應鏈數據整合過程中，首先需要整合鏈中各成員的數據，主要包括貨主企業(yè)、物流企業(yè)、個體司機等。但是由于這些成員信息分散在不同的應用系統(tǒng)中，往往造成數據存儲格式千差萬別，所以需要將這些異構的多源運力數據實現有效整合。其次，將這些數據建立統(tǒng)一的數據格式。接著使用ETL（Extract-Trans-form-Load，抽取、轉換、加載）等傳輸工具將數據導入Hive數據倉庫，實現運力數據共享。

數據ETL主要包括三個過程：

（1）數據抽取。數據抽取是將源數據層的數據抽取到ODS或者數據倉庫中。源數據可以是傳統(tǒng)關系型數據庫中的歷史數據，也可以是文本文件，比如業(yè)務系統(tǒng)產生的日志文件以及其它文件數據；還可以是其它外部數據，如人工登記的數據。數據抽取策略一般根據具體業(yè)務需求而定，比如可以每一天抽取一次或多次，也可以每一小時或者每一分鐘進行抽取。數據抽取主要分為全局性抽取和局部抽取，局部抽取一般用于大規(guī)模的數據分析，可以明顯節(jié)約抽取時間，方便快速獲得分析結果。而全局性抽取主要用于小規(guī)模的數據分析，由于數據量不大，采用全局性抽取方式不但能節(jié)約數據的抽取時間，而且還能進行完整的數據分析。

（2）數據清洗。數據清洗主要是將沒有實際意義的數據進行清洗。數據清洗一般和數據抽取同步進行，可以為接下來數據存儲和分析節(jié)約時間。當數據源為關系型數據庫時，使用抽取的SQL語句中就可以進行數據清洗工作，比如把NULL值或空值的數據過濾掉；當數據源為文本文件時，可以進行人工清洗，比如刪除掉一些不符合規(guī)范的數據。

數據清洗一般包含以下幾個方面：

①空值NULL值處理：在實際應用程序中，會產生很多空值或NULL值的情況，所以應根據具體業(yè)務需要，把空值或NULL值的數據過濾掉或者替換為其它字符。

②檢測數據正確性：處理一些非法輸入的數據，如把一些用戶隨意輸入的數據刪除掉。

③統(tǒng)一數據格式：對多個應用系統(tǒng)中表示同一含義字段的數據類型和數據精度等進行統(tǒng)一。

④數據轉意：由于數據表中往往存在固定的編碼，這些編碼代表的含義需要在編碼表中查看。在數據清洗時，可以通過關聯編碼表，將這些編碼轉換成實際含義的數據等。

⑤根據具體業(yè)務規(guī)則進行數據清洗工作。

（3）數據轉換和加載。數據轉換和加載，又稱為數據更新，一般用來更新數據倉庫中的歷史數據。由于數據倉庫中的表都是按照具體業(yè)務邏輯設計好的，并且更新數據的操作也是固定的。所以每當更新數據倉庫中的數據時，往往只需要傳人一些參數，通過程序代碼或者存儲過程就能實現數據更新。每當插入數據到一張表，都可以稱為數據加載，至于刪除、插入、合并，這些操作是由具體業(yè)務規(guī)則決定，并且都是嵌入到數據抽取、轉換的過程中。

3運力多源異構數據在阿里云數據倉庫的搭建

3.1異構數據來源

物流異構數據源主要來自企業(yè)提供的運力數據，包括三個部分：

（1）WEB系統(tǒng)。WEB系統(tǒng)主要是由企業(yè)開發(fā)并使用的物道網和物合網。物道網是一個物流設備選型和會展平臺系統(tǒng)，主要提供物流設備選型、線上會展、專家咨詢等服務，它旨在打造物流設備行業(yè)的最佳大數據平臺。物合網是中國西部現代物流公共信息平臺，是為了打造全國最大最專業(yè)的物流資源整合網站，它主要提供貨源和車源信息等多個服務項目。它們分別提供了倉儲平臺、車源、貨源、企業(yè)、用戶、物流專線等多項數據，由于部分數據涉及個人、企業(yè)的隱私信息，企業(yè)過濾了這些隱私信息。這些數據來源于應用程序的后臺數據庫。

（2）手機APP。手機APP主要是企業(yè)正在使用和完善的某運力調度系統(tǒng)，該調度系統(tǒng)主要旨在匯聚運輸公司、個體司機和運力需求方，通過車輛監(jiān)管和集中調度，逐步建成一套自動化的、集交易、運力匹配、監(jiān)管為一身的運力綜合服務平臺。該平臺主要由交易子系統(tǒng)、運力匹配子系統(tǒng)、監(jiān)管子系統(tǒng)、客戶關系管理子系統(tǒng)、合作伙伴子系統(tǒng)五部分組成。該數據源主要來自運力匹配子系統(tǒng)中，包括司機表、客戶表、運力單明細表、車輛表等多個數據表。這些數據來源于應用程序的后臺數據庫。

（3）其它數據文件。其它文件數據主要包括一些手工登記的數據，比如個體司機登記的車輛運力需求信息。這些文件數據主要記錄在Excel、XML等工具上。

3.2數據倉庫搭建

為實現物流供應鏈過程中多系統(tǒng)車源數據整合，首先搭建Hive數據倉庫，該數據倉庫采用完全分布式管理，包括三臺阿里云服務器，一臺主節(jié)點，兩臺從節(jié)點。具體詳細搭建步驟可參考文獻[7]、[8]，阿里云配置如下圖1所示。

3.3異構數據分析與整理

對手機APP和WEB系統(tǒng)的車源數據進行分析、整理，手機APP的車源數據主要有4個表（包括車輛表，車輛常用路線表，司機信息表，車輛司機對應信息表），而WEB系統(tǒng)只有1個表（車輛詳隋表），其數據庫部署在不同的網絡節(jié)點上，且有些數據字段類型、數據精度也不一致。

具體整理過程如下：

（1）整理車牌號字段。一般是省的簡稱+城市代號+5位車牌號，共7位。但是WEB系統(tǒng)中的字段長度是20，手機APP中的字段長度是12。數據字段太長，可能造成空間浪費，綜合考慮后車牌號字段是VARCHAR類型，設置長度為10。

（2）整理車輛載重字段。WEB系統(tǒng)中的字段類型是INT型，手機APP中是DOUBLE型。考慮到有些車輛登記信息上標明2位小數，比如6.50t，所以車輛載重字段設置類型為DOUBLE，長度10位，保留2位小數。

（3）其他數據字段整理過程類似，但同時考慮適當優(yōu)化存儲結構。

（4）通過分析、整理、綜合后，選取雙方都含有實際參考價值的數據字段，在Hive數據倉庫中建立車源信息表，表結構如表1所示。

通過編寫Java程序將手機APP車源數據過濾到Hive數據倉庫中，然后再加載到WEB系統(tǒng)后臺數據庫中。同理，WEB系統(tǒng)數據也可以按相同方法加載到手機APP后臺數據庫中。這樣既實現了數據共享，同時也在Hive數據庫中整合了多個應用平臺車源數據，而且可以充分利用整合的異構數據進行分析和決策。具體框架結構圖如圖2所示。

4搭建異構數據整合系統(tǒng)

該系統(tǒng)主要采用Java開發(fā)語言、Hive數據倉庫和MySql數據庫。

首先，通過手機APP后臺車源數據整合，通過后臺管理人員按條件選擇性的將源數據加載到WEB系統(tǒng)中，建立了一個簡單的后臺數據導入功能界面，如圖3所示。

從功能界面可以看出，可以選擇某個源系統(tǒng)（這里選取的是手機APP）某一天發(fā)布的車源信息，還可以根據具體需求，比如車輛類型、車長等選擇性導入，加載到目標系統(tǒng)中去，從而實現多個系統(tǒng)之間數據資源共享，為企業(yè)接下來分析、決策提供更科學的依據。

5實驗結果

5.1手機APP數據導入WEB系統(tǒng)

通過導人功能，實現手機APP后臺車源數據在WEB系統(tǒng)中共享。比如某位司機在手機APP中發(fā)布的車輛信息，通過異構數據整合框架能夠顯示在WEB界面中，如圖4所示。

5.2 WEB系統(tǒng)數據導入手機APP

通過導入功能，實現WEB系統(tǒng)后臺車源數據在手機APP中共享。比如某位司機在WEB系統(tǒng)中發(fā)布的車輛信息，通過異構數據整合框架能夠顯示在手機APP中，如圖5所示。

5.3整合后的異構數據

通過整合兩個應用系統(tǒng)的數據不僅可以實現數據共享，而且還可以為企業(yè)提供穩(wěn)定可靠的決策分析。比如整合2015年11月16日的車源數據，如圖6所示。

6結束語

本文分析了某物流企業(yè)的兩個應用系統(tǒng)數據，提出了一種基于Hive架構的異構數據整合方案。通過搭建異構數據整合框架，實現了該企業(yè)兩個應用系統(tǒng)的車源數據共享，同時在Hive數據倉庫中積累了整合后的車源數據，為企業(yè)下一步分析預測工作提供更加科學的依據。最后通過在一個應用系統(tǒng)發(fā)布的車輛信息可以在另外一個系統(tǒng)中查看，驗證了該框架的可行性。但是，通常物流企業(yè)的應用系統(tǒng)比較多，數據涉及范圍廣，這些問題有待進一步研究。