張柳葉 吳潔 薛遷 郭小強(qiáng)

摘 要：本文提出了以大數(shù)據(jù)為基礎(chǔ)的城市配送的動(dòng)態(tài)車輛調(diào)度平臺(tái)。首先介紹了Hadoop技術(shù)以及構(gòu)成Hadoop的兩個(gè)主要模塊，分別為HDFS和MapReduce并行運(yùn)算框架。然后根據(jù)城市配送的需求，設(shè)計(jì)了城市配送的動(dòng)態(tài)車輛調(diào)度平臺(tái)，并對(duì)數(shù)據(jù)存儲(chǔ)層、調(diào)度算法層、可視化展示層進(jìn)行具體設(shè)計(jì)。

關(guān)鍵詞：大數(shù)據(jù)；城市配送；Hadoop技術(shù)

0 引言

隨著電子商務(wù)越來越深入影響人們的生活方式，物流行業(yè)得到了飛躍式發(fā)展。物流行業(yè)一直都是國民經(jīng)濟(jì)發(fā)展的重要環(huán)節(jié)，也被人們譽(yù)為“企業(yè)第三利潤源”。2017年中國社會(huì)物流總額達(dá)252.8萬億元，同比增長6.7%[1]。同時(shí)，中國2017年社會(huì)物流總額占GDP總量的14.6%，約為12.1萬億[2]，而發(fā)達(dá)國家的物流總額占GDP的11%，中等發(fā)達(dá)國家的物流成本占比不到13%[3]。因此中國的物流業(yè)還有很大的發(fā)展空間。降低物流成本不僅能提高企業(yè)的經(jīng)濟(jì)效益，還能改善社會(huì)物流運(yùn)行效率。

城市配送是整條物流鏈的最后一個(gè)環(huán)節(jié)，也是物流配送的“最后一公里”。傳統(tǒng)的靜態(tài)車輛調(diào)度已經(jīng)無法滿足如今的物流配送需求。動(dòng)態(tài)車輛調(diào)度受時(shí)間因素制約，隨著時(shí)間的推移，輸入信息可能發(fā)生改變。一旦數(shù)據(jù)發(fā)生改變，必須在短時(shí)間內(nèi)獲得新的調(diào)度方案。

為了解決上述問題，本文提出了以大數(shù)據(jù)為基礎(chǔ)的車輛調(diào)度平臺(tái)，研究動(dòng)態(tài)車輛路徑調(diào)度方案及對(duì)應(yīng)的調(diào)度智能算法。

1 大數(shù)據(jù)概述

大數(shù)據(jù)處理需要強(qiáng)勁的數(shù)據(jù)處理能力，提升處理能力有兩種方式：第一是提升處理器的計(jì)算性能，但成本高。第二是采用并行計(jì)算技術(shù)?；贖adoop的應(yīng)用可以快速、便捷地處理海量數(shù)據(jù)的分布式并行程序，并運(yùn)行于大規(guī)模的由廉價(jià)PC端組成的集群中，成本低。因此動(dòng)態(tài)車輛調(diào)度平臺(tái)基于Hadoop平臺(tái)實(shí)現(xiàn)車輛調(diào)度。

1.1Hadoop技術(shù)

Hadoop一個(gè)開源的、可靠的、分布式計(jì)算框架， 主要用于大數(shù)據(jù)的高效存儲(chǔ)、管理和分析。Hadoop將硬件故障視為常態(tài)，保證了軟件的可靠性。Hadoop主要包括兩個(gè)主核心模塊：HDFS以及MapReduce。HDFS分布式文件系統(tǒng)用于存儲(chǔ)海量數(shù)據(jù)，并為網(wǎng)絡(luò)中的大量客戶端提供數(shù)據(jù)訪問。MapReduce實(shí)現(xiàn)任務(wù)分解和調(diào)度[4]。

1.2 HBase

HBase 是一個(gè)高性能、分布式、面向列、多維度的存儲(chǔ)系統(tǒng)。在設(shè)計(jì)上具備高性能和高可用性。HBase表是一個(gè)稀疏的、持久化的多維度有序映射表。HBase對(duì)HBase表中的數(shù)據(jù)實(shí)現(xiàn)下面4種操作[7]：獲?。℅et），存入（Put），掃描（San），刪除（Delete），

由于HDFS只支持在文件上做少數(shù)的操作，但不包括任何更新的操作，不提供數(shù)據(jù)的本地緩存機(jī)制，而車輛調(diào)度需要實(shí)時(shí)更新。因此本文結(jié)合HBase與HDFS進(jìn)行數(shù)據(jù)存儲(chǔ)。HDFS作為HBase持久的數(shù)據(jù)存儲(chǔ)，HBase對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)更新。

1.3 MapReduce

MapReduce框架是Google提出的一個(gè)軟件框架。MapReduce編程模型由Mapper階段和Reducer階段。Map（）函數(shù)以為輸入，產(chǎn)生一系列作為中間輸出。MapReduce 框架自動(dòng)對(duì)中間數(shù)據(jù)按照key值分區(qū)，相同key交給同一Reduce（）函數(shù)進(jìn)行處理。經(jīng)過Reduce（）函數(shù)對(duì)中間值的處理，經(jīng)過合并后，產(chǎn)生一系列作為最終輸出結(jié)果，并寫入HDFS進(jìn)行存儲(chǔ)。

2 基于Hadoop的城市配送中動(dòng)態(tài)車輛調(diào)度平臺(tái)構(gòu)建

借助于Hadoop強(qiáng)大的云計(jì)算能力，協(xié)同統(tǒng)一物流企業(yè)的信息流及物流，使物流的各個(gè)環(huán)節(jié)、各個(gè)對(duì)象功能需求和信息需求得到充分滿足，為城市配送提供實(shí)時(shí)、準(zhǔn)確的配送路線，提高配送效率，實(shí)現(xiàn)所有物流相關(guān)信息、企業(yè)資源得到高效利用，增強(qiáng)企業(yè)的核心競爭力。

在城市配送過程中存在較多的重復(fù)性資源浪費(fèi)，如：車輛空載率高、大范圍跨區(qū)配送、配送路線隨意性大[9]。物流行業(yè)在新形勢(shì)的要求下需要提高配送效率、降低企業(yè)成本，傳統(tǒng)的物流配送模式難以適應(yīng)行業(yè)未來的發(fā)展。而以Hadoop為基礎(chǔ)建立一個(gè)城市配送的動(dòng)態(tài)車輛調(diào)度平臺(tái)具有及時(shí)搜索元數(shù)據(jù)能力，存儲(chǔ)和管理海量運(yùn)單數(shù)據(jù)的能力，分布式計(jì)算最佳配送路徑的能力，以及數(shù)據(jù)可視化的能力。

2.1 城市配送的動(dòng)態(tài)車輛調(diào)度平臺(tái)設(shè)計(jì)

顧客在購物平臺(tái)上提交訂單信息后跳轉(zhuǎn)至物流配送環(huán)節(jié)，由商家上傳運(yùn)單信息，然后物流企業(yè)對(duì)運(yùn)單信息進(jìn)行分類、整合。但是電子商務(wù)的快速發(fā)展，導(dǎo)致每天有數(shù)以萬計(jì)的運(yùn)單信息，傳統(tǒng)的信息處理方式已經(jīng)無法處理這些海量的運(yùn)單數(shù)據(jù)。因此，本文設(shè)計(jì)的車輛調(diào)度平臺(tái)分為數(shù)據(jù)存儲(chǔ)層、調(diào)度算法層、可視化展示層。

2.1.1數(shù)據(jù)存儲(chǔ)層

電商提供的運(yùn)單、收件人居住地的地理信息以及收件人的接收狀態(tài)是調(diào)度系統(tǒng)的主要數(shù)據(jù)來源。數(shù)據(jù)寫入HDFS的過程包括以下七步：①當(dāng)需要向HDFS寫入數(shù)據(jù)時(shí)，物流企業(yè)整合信息后統(tǒng)一向NameNode發(fā)送數(shù)據(jù)寫入請(qǐng)求；②NameNode先判斷傳送地址的合法性和數(shù)據(jù)文件的大小，若合法，則NameNode向物流企業(yè)發(fā)送指令，允許寫入數(shù)據(jù)；③然后，企業(yè)客戶端收到允許指令后，將文件分為128MB大小的塊（block），并向NameNode申請(qǐng)第一個(gè)block的存儲(chǔ)位置；④接著，NameNode經(jīng)過計(jì)算后將對(duì)應(yīng)的DateNode節(jié)點(diǎn)返回客戶端，假設(shè)返回3個(gè)DateNode；⑤物流企業(yè)客戶端開始分別向3個(gè)DateNode請(qǐng)求建立傳輸通道；⑥D(zhuǎn)ateNode依次返回連接成功的應(yīng)答，然后開始傳輸數(shù)據(jù)。⑦傳輸結(jié)束后，由企業(yè)客戶端返回NameNode寫入成功的信息，NameNode將相關(guān)數(shù)據(jù)保存到元數(shù)據(jù)中。

而HBase的客戶端則通過RPC調(diào)用將put、delete的數(shù)據(jù)請(qǐng)求提交到對(duì)應(yīng)的Regionserver，Regionserver對(duì)兩種數(shù)據(jù)請(qǐng)求進(jìn)行處理，并將數(shù)據(jù)寫入Hfile中，最后將HFile和WAL 日志存儲(chǔ)到HDFS。

2.1.2可視化展示層

可視化展示層主要是配送者設(shè)計(jì)最優(yōu)配送路線。當(dāng)配送者查詢某區(qū)域的配送路線時(shí)，經(jīng)過客戶端查詢?cè)?HBase 系統(tǒng)中運(yùn)單數(shù)據(jù)，進(jìn)而讓算法調(diào)度層生成的調(diào)度路線、實(shí)時(shí)變化的運(yùn)單信息、運(yùn)輸車輛位置及載貨余量等信息反饋至主界面呈現(xiàn)給使用者。

3 總結(jié)

本文在大數(shù)據(jù)的基礎(chǔ)上，運(yùn)用Hadoop計(jì)算框架設(shè)計(jì)了城市配送的動(dòng)態(tài)車輛調(diào)度平臺(tái)。并提出Hadoop計(jì)算框架提高了算法實(shí)時(shí)動(dòng)態(tài)處理能力和尋優(yōu)能力，能夠快速制定車輛調(diào)度路線，滿足城市配送的動(dòng)態(tài)車輛調(diào)度平臺(tái)對(duì)時(shí)效性的要求。在后期的研究中，將研究基于MapReduce的量子蟻群算法處理大數(shù)據(jù)物流問題，從而制定出最優(yōu)的車輛調(diào)度路線，為決策者提供多種決策方案。

參考文獻(xiàn)：

[1]《2017年前三季度物流運(yùn)行穩(wěn)中有進(jìn)》[J].中國物流與采購，2017.

[2]崔曉迪.對(duì)社會(huì)物流成本與競爭力衡量指標(biāo)的新思考[J].中國流通經(jīng)濟(jì)，2018，32（09）：11-19.