聶萌瑤，張 峙

（1.安陽工學(xué)院 計算機(jī)科學(xué)與信息工程學(xué)院，河南 安陽 455000；2.新鄉(xiāng)縣一中，河南 新鄉(xiāng) 453731）

智能物流的發(fā)展過程概括起來經(jīng)歷了雛形階段、發(fā)展階段、成熟階段3個階段，分別對應(yīng)著粗放型物流、系統(tǒng)化物流、電子化物流，除此之外，智慧物流是智能物流的發(fā)展方向[1-2]。那么，大數(shù)據(jù)背景下的智能物流信息技術(shù)主要包括捕捉技術(shù)、傳輸技術(shù)、處理技術(shù)、分析技術(shù)、預(yù)測技術(shù)、推送技術(shù)。其中，傳輸技術(shù)完成信息傳輸?shù)墓δ?，通過Internet，WSN，MSCBSC來支撐其傳輸；處理技術(shù)中最核心的就是實時性，可以結(jié)合Hadoop技術(shù)進(jìn)行分布式處理，來提高平臺的效率；分析技術(shù)這主要是利用大數(shù)據(jù)技術(shù)對物流市場的海量數(shù)據(jù)進(jìn)行聚類分析，進(jìn)而做出合理的決策；預(yù)測技術(shù)主要對路徑、運輸和配送路線進(jìn)行預(yù)測，最主要的依據(jù)是預(yù)測客戶的需求，根據(jù)客戶的需求，將商品物流環(huán)節(jié)和客戶的需求同步進(jìn)行。

大數(shù)據(jù)處理技術(shù)涵蓋了5個方面：數(shù)據(jù)采集與預(yù)處理；存儲與管理；計算模式與處理系統(tǒng)；數(shù)據(jù)分析與挖掘；可視化分析。在數(shù)據(jù)采集與預(yù)處理上，除了從微觀、中觀、宏觀的角度捕捉信息外，還用到傳感技術(shù)、無線射頻技術(shù)等數(shù)據(jù)捕捉技術(shù)，完成數(shù)據(jù)的收集；在數(shù)據(jù)計算模式與處理系統(tǒng)上，結(jié)合分布式Hadoop技術(shù)完成數(shù)據(jù)的計算和處理；在數(shù)據(jù)可視化分析上，主要應(yīng)用大數(shù)據(jù)智能決策。依托大數(shù)據(jù)技術(shù)進(jìn)行智能物流決策，很大程度依賴于對未來業(yè)務(wù)的準(zhǔn)確性預(yù)測，未來業(yè)務(wù)的預(yù)測準(zhǔn)確性高，智能決策就容易實現(xiàn)。智能大數(shù)據(jù)決策系統(tǒng)為物流企業(yè)、運輸部門和政府部門等制定戰(zhàn)略規(guī)劃和經(jīng)營決策提供參考。

1 大數(shù)據(jù)下基于Hadoop的智能物流平臺的關(guān)鍵技術(shù)

1.1 Hadoop平臺

Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺，主要用于海量數(shù)據(jù)（大于1 TB）高效存儲、管理和分析。Hadoop是以Hadoop的分布式文件系統(tǒng)和MapReduce為核心，以及一些支持Hadoop的其他子項目的通用工具組成的分布式計算系統(tǒng)[3]。

1.1.1 HDFS

Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）中的數(shù)據(jù)具有“一次寫、多次讀”的特征，它以流式數(shù)據(jù)訪問模式來存儲超大文件，具有較高的吞吐量，部署在低價的硬件上，提供底層支持[3]。HDFS的體系結(jié)構(gòu)如圖1所示，整個文件系統(tǒng)信息節(jié)點—Namenode用于數(shù)據(jù)管理；數(shù)據(jù)節(jié)點（Datanode），用于存儲文件塊，進(jìn)行數(shù)據(jù)讀寫操作，其中，文件被劃分成多個64 MB的大塊作為獨立儲存單位。

圖1 HDFS體系結(jié)構(gòu)

1.1.2 MapReduce

MapReduce是一種思想，它是把大而重的任務(wù)拆解，分成一系列小而輕的任務(wù)并行處理，就比如學(xué)校組織秋游活動，校長要向老師們收取秋游的活動費用，告訴各學(xué)院院長讓他們執(zhí)行此任務(wù)，院長告訴教研室主任讓他們把費用收上來，最后再把收上來的費用交給院長，這個過程中院長把任務(wù)分配給教研室主任的過程稱為Map過程，教研室主任把錢收齊交給院長的過程就是Reduce過程。該框架包含了Client，JobTrack，TaskTrack和HDFS 4部分。這種分塊的思想適合物流數(shù)據(jù)錯綜復(fù)雜的特性，Map函數(shù)把數(shù)據(jù)映射成為宏觀、中觀、微觀3個不同的區(qū)塊，再通過Reduce函數(shù)將分塊分析的數(shù)據(jù)匯聚，將結(jié)果輸出，具體來看HDFS的4部分，Client負(fù)責(zé)配置任務(wù)，提交任務(wù)，就像例子中的校長；JobTrack負(fù)責(zé)初始化任務(wù)，分配任務(wù)，就像院長，并且與TaskTrack進(jìn)行通信，協(xié)調(diào)整個任務(wù)的執(zhí)行，它就像是教研室主任；TaskTrack在分配的數(shù)據(jù)片段上執(zhí)行Map（映射）和Reduce（化簡）任務(wù)；HDFS負(fù)責(zé)保存作業(yè)的數(shù)據(jù)、配置信息以及計算結(jié)果[3]。其運行流程如圖2所示。

圖2 MapReduce數(shù)據(jù)流程

1.2 大數(shù)據(jù)處理平臺

大數(shù)據(jù)處理平臺包括IaaS層、PaaS層和服務(wù)接口層，IaaS層服務(wù)由虛擬機(jī)結(jié)點構(gòu)成；PaaS層由海量數(shù)據(jù)處理和數(shù)據(jù)處理工作流構(gòu)成；服務(wù)接口層對外提供海量數(shù)據(jù)處理。

圖3 大數(shù)據(jù)處理平臺

2 大數(shù)據(jù)下基于Hadoop的智能物流平臺的實現(xiàn)

在大數(shù)據(jù)環(huán)境下，智能物流服務(wù)強(qiáng)調(diào)的是移動服務(wù)。要想提供流動服務(wù)，其中最重要的是操作框架，它從微觀層面、中觀層面和宏觀層面提出了智能物流的操作框架。首先是微觀層面，包括對貨物的運輸、貨物的存儲、貨物的分配、貨物的包裝等相關(guān)數(shù)據(jù)進(jìn)行分類。其次中觀層面，即貨物的供應(yīng)鏈、貨物的采購和生產(chǎn)產(chǎn)生的物流數(shù)據(jù)的分類。最后宏觀層面，對于商品的分類，將不同的商品分類成不同類型的數(shù)據(jù)分析。根據(jù)這3個層面對數(shù)據(jù)的分類設(shè)計了基于Hadoop的智能物流信息平臺的業(yè)務(wù)系統(tǒng)、功能系統(tǒng)和結(jié)構(gòu)[4]。

2.1 功能模塊的設(shè)計

大數(shù)據(jù)下基于Hadoop的智能物流平臺的設(shè)計模塊分成3部分：推送單元，Hadoop大數(shù)據(jù)處理和分析單元，用戶系統(tǒng)單元，如圖4所示。

各功能模塊的作用和功能如下。

（1）推送單元：該單元屬于此模型的感知層，主要功能是完成對宏觀、中觀和微觀3個層面的數(shù)據(jù)的感知、采集和回傳，包括智能運輸，自動倉儲、動態(tài)配送和信息、物流供應(yīng)鏈、供需平衡等不同信息感知系統(tǒng)。其中，網(wǎng)絡(luò)通信平臺屬于模型中的通信層，主要完成推送單元和Hadoop大數(shù)據(jù)存儲、分析、處理和計算單元的數(shù)據(jù)通信。

圖4 智能物流的架構(gòu)

（2）Hadoop大數(shù)據(jù)存儲、分析、處理和計算單元：該單元屬于模型的計算層，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行規(guī)范存儲和高效處理。用HBase進(jìn)行分布式存儲，IasS層服務(wù)搭建MS結(jié)構(gòu)模型，完成任務(wù)的分配和執(zhí)行，PasS層服務(wù)完成海量數(shù)據(jù)處理的任務(wù)。另外，依靠數(shù)據(jù)挖掘?qū)?shù)據(jù)做出合理決策，這才是此單元的主要目的。

（3）用戶應(yīng)用系統(tǒng)單元：該單元主要功能是實現(xiàn)智能化物流服務(wù)的應(yīng)用，包含了在客戶端上用戶對物流數(shù)據(jù)的查詢和瀏覽，并能夠?qū)崿F(xiàn)對貨物動向的實時監(jiān)控；比如，對路徑、運輸和配送路線來說，根據(jù)客戶的需求，將商品物流環(huán)節(jié)和客戶的需求同步進(jìn)行。因此，該單元作為用戶來說具有非常重要的作用。

2.2 平臺的設(shè)計流程

實驗準(zhǔn)備軟件：VMWare10虛擬機(jī)，CentOS，Hadoop。

具體流程如下。（1）通過物理機(jī)虛擬化4臺虛擬機(jī)：1個Master，3個Slave節(jié)點，為它們分配IP地址及角色。（2）配置平臺中用到的網(wǎng)絡(luò)。（3）創(chuàng)建平臺中新用戶組和用戶。（4）配置平臺需要的Java和Hadoop環(huán)境。（5）進(jìn)行平臺的架構(gòu)。（6）對平臺進(jìn)行模擬的測試。

3 結(jié)語

隨著大數(shù)據(jù)時代的到來，傳統(tǒng)物流走向了一個更加高端的智能物流及智慧物流的發(fā)展階段。大數(shù)據(jù)下基于Hadoop的智能物流平臺的架構(gòu)通過軟件將人員和設(shè)備連接起來，利用Hadoop技術(shù)和數(shù)據(jù)挖掘的思想，將物流系統(tǒng)的智能水平提高，用這種方式提供更方便的物流服務(wù)時，它將幫助用戶加快響應(yīng)速度，進(jìn)而減少物流成本，同時幫助公司在供應(yīng)鏈中擴(kuò)大業(yè)務(wù)，有了這些優(yōu)點這種平臺就能夠在物流行業(yè)中很好地實現(xiàn)推廣。應(yīng)當(dāng)看到，我國物流業(yè)未來的發(fā)展方向是采用智慧物流模式，并且智慧物流將會變得越來越智慧。