李鵬濤/文

大數(shù)據(jù)與智慧物流概述
——“大數(shù)據(jù)與智慧物流”連載之一

李鵬濤/文

智慧物流就是以大數(shù)據(jù)處理技術(shù)為基礎(chǔ)，利用軟件系統(tǒng)把人和設(shè)備更好地結(jié)合起來，系統(tǒng)不斷提升智能化水平，讓人和設(shè)備能夠發(fā)揮各自的優(yōu)勢，達到系統(tǒng)最佳的狀態(tài)，并且不斷進化。

在“互聯(lián)網(wǎng)+”的大環(huán)境下，智慧物流成為業(yè)界一致追求，智慧物流的基礎(chǔ)就是大數(shù)據(jù)相關(guān)的技術(shù)。以大數(shù)據(jù)為基礎(chǔ)的智慧物流，在效率、成本、用戶體驗等方面將具有極大的優(yōu)勢，也將從根本上改變目前物流運行的模式，“雙11”就是典型的案例。

大數(shù)據(jù)的發(fā)展過程及價值

大數(shù)據(jù)的發(fā)展可以分為三個階段。

首先是數(shù)的產(chǎn)生，早在公元前8000年，兩河流域的蘇美爾人將各種形狀的小的粘土記號像珠子一樣串在一起，保留記數(shù)實物來記數(shù)信息。

第二階段是產(chǎn)生于近代的數(shù)據(jù)科學(xué)，是以統(tǒng)計學(xué)作為基礎(chǔ)，一個重要的假設(shè)就是采樣遵守獨立同分布，其中很大的原因就是當(dāng)時的技術(shù)對于巨量的數(shù)據(jù)無法進行計算，或者成本無法承受。2014年，隨著技術(shù)的發(fā)展，特別是云計算等技術(shù)的成熟，巨量數(shù)據(jù)的計算存儲都不再是問題，并且大數(shù)據(jù)應(yīng)用顯現(xiàn)出巨大價值的時候。

第三階段，大數(shù)據(jù)時代就到來了。大數(shù)據(jù)時代的顯著特征之一就是可以利用數(shù)據(jù)的相關(guān)性來解決問題，而不只是依賴因果關(guān)系，創(chuàng)新的數(shù)據(jù)應(yīng)用開始層出不窮。而基于大數(shù)據(jù)技術(shù)的深度學(xué)習(xí)等人工智能的發(fā)展，特別是谷歌AlphaGo的成功，是個標志性事件，讓我們更加認識到大數(shù)據(jù)技術(shù)可以突破人的認知能力極限，因此，一個真正革新的時代來臨了。

大數(shù)據(jù)的價值不僅在于其原始價值，更在于數(shù)據(jù)之間的連接、大數(shù)據(jù)擴展、再利用和重組。例如，京東利用物流大數(shù)據(jù)加上用戶交易數(shù)據(jù)，推出的移動商店就大受歡迎。另外，大數(shù)據(jù)開放對于提升整個社會的發(fā)展水平具有重要作用。大數(shù)據(jù)作為數(shù)字資產(chǎn)，可以重復(fù)利用，不像資源類的零和游戲，政府、協(xié)會等社會組織可以收集數(shù)據(jù)脫敏后對社會開放，為社會服務(wù)，創(chuàng)造出更大的社會價值。

圖1：大數(shù)據(jù)的應(yīng)用

圖2：大數(shù)據(jù)應(yīng)用場景的維度

大數(shù)據(jù)是構(gòu)建智慧物流的基礎(chǔ)

京東商城依托物流的優(yōu)勢，快速崛起，目前已經(jīng)成為自營B2C電商的領(lǐng)頭羊。其整個物流系統(tǒng)日處理數(shù)量達到百萬級，大促銷期間甚至高達上千萬，物流操作人員多達數(shù)十萬，龐大的業(yè)務(wù)規(guī)模下，智慧化物流系統(tǒng)成為迫切需求。青龍系統(tǒng)作為支撐京東物流的核心系統(tǒng)，不僅保證了京東物流的準時高效，同時保證了極高的用戶體驗，在京東的不斷發(fā)展過程中，青龍系統(tǒng)也逐漸為外界矚目，從2012年研發(fā)版本1.0到目前的6.0的演進過程中，我們逐步認識到，以大數(shù)據(jù)處理為核心的系統(tǒng)是構(gòu)建智慧物流的關(guān)鍵。

“大數(shù)據(jù)”的經(jīng)典定義可以歸納為4個V：海量的數(shù)據(jù)規(guī)模（volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類型（variety）和巨大的數(shù)據(jù)價值（value）。從青龍系統(tǒng)看，每天處理億級數(shù)據(jù)，具有海量信息的數(shù)據(jù)規(guī)模；支持快速的數(shù)據(jù)流轉(zhuǎn)，實現(xiàn)了物流各個節(jié)點實時數(shù)據(jù)監(jiān)控優(yōu)化；系統(tǒng)處理各種各樣的信息，包含了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)具有極大的價值，如推動系統(tǒng)成本和效率優(yōu)化1%，則可以節(jié)約上億成本。因此，青龍系統(tǒng)具有顯著的大數(shù)據(jù)特征。

我們在實戰(zhàn)中認識到，把大數(shù)據(jù)轉(zhuǎn)化為智慧系統(tǒng)，需要具備兩個基礎(chǔ)。

第一，業(yè)務(wù)數(shù)據(jù)化，并且具有數(shù)據(jù)質(zhì)量保障。京東物流在青龍系統(tǒng)的支撐下，實現(xiàn)了所有物流操作的線上化，也就數(shù)據(jù)化，并且，對每個操作環(huán)節(jié)都可以進行實時分析，這就奠定了很好的數(shù)據(jù)基礎(chǔ)。如果業(yè)務(wù)都是線下操作，或者系統(tǒng)無法準確及時收集數(shù)據(jù)，那么，即使數(shù)據(jù)量夠大，缺乏關(guān)鍵數(shù)據(jù)和數(shù)據(jù)不準確，也會給大數(shù)據(jù)處理帶來很大的困難。

第二，大數(shù)據(jù)處理技術(shù)，包括數(shù)據(jù)收集、傳輸、存儲、計算、展示等一系列技術(shù)。青龍系統(tǒng)在數(shù)據(jù)處理技術(shù)上也踩過很多坑，最早我們用數(shù)據(jù)庫生產(chǎn)庫做一些數(shù)據(jù)的分析，發(fā)現(xiàn)很快性能就跟不上了，因為數(shù)據(jù)分析SQL（結(jié)構(gòu)化查詢語言）一執(zhí)行，生產(chǎn)庫性能急劇下降；隨后又開始利用讀庫，并結(jié)合MQ（程序化交易平臺），也就是操作數(shù)據(jù)庫的時候，會發(fā)出一個MQ，數(shù)據(jù)分析處理系統(tǒng)接收MQ重新解析，但是也不能很好解決問題；最后，我們總結(jié)發(fā)現(xiàn)，作為傳統(tǒng)的技術(shù)人員，我們是試圖用OLTP（聯(lián)機事務(wù)處理）的方法來解決OLAP（聯(lián)機分析處理）的問題，這在方向上就存在問題。

最后我們總結(jié)發(fā)現(xiàn)，當(dāng)做大數(shù)據(jù)應(yīng)用時，首先是要分清企業(yè)的應(yīng)用場景，至少需要考慮兩個維度：一是實時性維度，大數(shù)據(jù)分析是秒級的還是離線的，也就是24小時以后拿到也沒問題；二是一致性維度，即對一致性到底是什么樣的要求，是否要求100%一致。由此可以劃分四個場景。當(dāng)企業(yè)重新做數(shù)據(jù)系統(tǒng)或者大數(shù)據(jù)應(yīng)用時，肯定要考慮所用的業(yè)務(wù)場景到底如何，再加上數(shù)據(jù)量維度（從現(xiàn)在新系統(tǒng)發(fā)展來看，企業(yè)架構(gòu)支撐業(yè)務(wù)兩年發(fā)展已經(jīng)足夠）。這幾個維度確定以后，從ETL（數(shù)據(jù)倉庫技術(shù)）數(shù)據(jù)抽取到數(shù)據(jù)傳輸?shù)綌?shù)據(jù)存儲，包括數(shù)據(jù)計算，技術(shù)相對來講比較成熟了，從而可以選擇合適的技術(shù)。

京東在大數(shù)據(jù)處理技術(shù)上也做了很多工作，現(xiàn)在對于實時數(shù)據(jù)、離線數(shù)據(jù)，都有完整的解決方案，這樣對于青龍系統(tǒng)來講，可以基于公司大數(shù)據(jù)平臺，進行對應(yīng)的實時數(shù)據(jù)處理和離線數(shù)據(jù)分析。大數(shù)據(jù)平臺技術(shù)棧其實非常重要，因為它從技術(shù)上提供了一個基礎(chǔ)數(shù)據(jù)質(zhì)量保障。如果數(shù)據(jù)質(zhì)量得不到保障的，那么后面所進行的分析就不靠譜；整個系統(tǒng)都是不可靠的。

以大數(shù)據(jù)為基礎(chǔ)構(gòu)建智慧物流系統(tǒng)的步驟

傳統(tǒng)物流系統(tǒng)的數(shù)據(jù)處理，也被稱為BI（商業(yè)智能）分析，往往是事后進行的。而我們認為的智慧物流系統(tǒng)，不同于傳統(tǒng)物流系統(tǒng)，它是以數(shù)據(jù)作為開始，數(shù)據(jù)的應(yīng)用貫穿其中，并且是以數(shù)據(jù)為終點的一個循環(huán)上升過程。在可靠的數(shù)據(jù)源和處理技術(shù)基礎(chǔ)上，我們就可以以大數(shù)據(jù)為基礎(chǔ)逐步構(gòu)建智慧物流系統(tǒng)，這個構(gòu)建過程主要分為以下四步。

第一步，通過大數(shù)據(jù)技術(shù)準確及時還原業(yè)務(wù)，也就是及時準確地采集業(yè)務(wù)運行的數(shù)據(jù)，并分不同層次需求展示出來。業(yè)務(wù)日報、周報、月報等離線數(shù)據(jù)都是業(yè)務(wù)管理的基礎(chǔ)，如果不能做到及時準確，數(shù)字化運營是無法進行的，更不用說智慧化了。

對于物流系統(tǒng)來講，進行圖形化展示非常重要，通常一圖勝千言。在時間維度，實時展示各個節(jié)點的生產(chǎn)量，相鄰節(jié)點間的差異，可以很好地把控業(yè)務(wù)。我們還發(fā)現(xiàn)，移動端的開發(fā)，對業(yè)務(wù)非常有幫助。物流是商品流、實物流、資金流、信息流的結(jié)合，因此，地理維度展示也非常有幫助。

圖3：京東大數(shù)據(jù)平臺架構(gòu)

圖4：單量建模預(yù)測

圖5：數(shù)據(jù)決策模型

第二步，通過大數(shù)據(jù)評估業(yè)務(wù)。在大數(shù)據(jù)時代，我們可以依據(jù)社會化的數(shù)據(jù)，進行業(yè)務(wù)評估，并且可以利用互聯(lián)網(wǎng)灰度測試的方法，進行流程優(yōu)化的評估，這些方法可以讓我們對業(yè)務(wù)有更深刻的理解。對于物流這種勞動密集型行業(yè)，利用實時數(shù)據(jù)進業(yè)內(nèi)排名對現(xiàn)場也能起到很好的激勵作用。

第三步，在對業(yè)務(wù)進行實時監(jiān)控和準確評估后，利用大數(shù)據(jù)對業(yè)務(wù)進行預(yù)測。預(yù)測一直是大數(shù)據(jù)應(yīng)用的核心，也是最有價值的地方。預(yù)測的準確度，也就是傳統(tǒng)統(tǒng)計學(xué)中的置信度，是預(yù)測的一個重要衡量。大數(shù)據(jù)的預(yù)測，很多是利用到相關(guān)性，因此，完全準確的預(yù)測是非常困難的，如果應(yīng)用對于準確度的容忍度越高，就越容易進行預(yù)測。對于物流行業(yè)而言，如果能夠提前進行業(yè)務(wù)量預(yù)測，那么，對于資源調(diào)度等非常有意義，不僅能夠?qū)崿F(xiàn)更好的時效，而且能夠避免浪費。

第四步，依托大數(shù)據(jù)進行智能決策。這很大程度上依賴預(yù)測的準確性和業(yè)務(wù)對準確性的包容性，這樣可以得出四個象限，對于預(yù)測準確性高并且包容性強的業(yè)務(wù)，越容易實現(xiàn)智能決策，目前最好的方式依然是人機結(jié)合，能夠利用大數(shù)據(jù)和人工智能的技術(shù)，為人工提供輔助決策，讓人工決策更加合理。當(dāng)前，基于大數(shù)據(jù)的深度學(xué)習(xí)技術(shù)，在人工智能領(lǐng)域取得突破，例如谷歌AlphaGo的案例，從而為智能決策提供了非常大的想象空間。

具體分成了兩個維度，一個維度是構(gòu)建系統(tǒng)的難度，另一個維度則是構(gòu)建系統(tǒng)的價值。首先，要選擇應(yīng)用場景，選擇合適的大數(shù)據(jù)技術(shù)架構(gòu)，把數(shù)據(jù)質(zhì)量能夠做好。然后，要對業(yè)務(wù)進行分析，第一步主要進行業(yè)務(wù)還原，包括業(yè)務(wù)節(jié)點，環(huán)比、同比，環(huán)節(jié)差異，最好用圖形化的方式展示出來。之后可以進行下一步，做業(yè)務(wù)評估，評估業(yè)務(wù)健康度，這也有很多的方法：如同比、環(huán)比，以及和業(yè)界平均指標對標的方法。如果能通過大數(shù)據(jù)做到和友商實時對標，就能發(fā)現(xiàn)自己的薄弱點，從而進行改進和優(yōu)化，優(yōu)化后再將系統(tǒng)指標運行一下，檢驗是否真的改進了；利用灰度的方法，也可以對業(yè)務(wù)改進進行效果評估。大數(shù)據(jù)最核心的是預(yù)測，業(yè)務(wù)負責(zé)人如果能夠提前知道業(yè)務(wù)情況，現(xiàn)場的管理就能處理得更好。再往上走就是業(yè)務(wù)決策系統(tǒng)，Google的AlphaGo就是一個典型例子，但是實際的業(yè)務(wù)可能更加復(fù)雜。

大數(shù)據(jù)在智慧物流中的應(yīng)用

在大數(shù)據(jù)技術(shù)和物流大數(shù)據(jù)本身的保障下，我們可以開展多種應(yīng)用，如從物流網(wǎng)點的智能布局，到運輸路線的優(yōu)化；從裝載率的提升，到最后一公里的優(yōu)化；從公司層面的決策，到配送員的智能推薦等，從點到面，逐步提升智能化水平，智慧物流將顯示出在效率、成本、用戶體驗方面不可比擬的優(yōu)勢，我們會在后面的連載中進行深入解密。

總結(jié)起來，我們認為智慧物流就是以大數(shù)據(jù)處理技術(shù)為基礎(chǔ)，利用軟件系統(tǒng)把人和設(shè)備更好地結(jié)合起來，系統(tǒng)不斷提升智能化水平，讓人和設(shè)備能夠發(fā)揮各自的優(yōu)勢，達到系統(tǒng)最佳的狀態(tài)，并且不斷進化。

智慧物流作為一個新的社會基礎(chǔ)設(shè)施，一端連接著消費者，通過滿足消費者更加多樣化的需求，提供更好的消費體驗，不斷促進消費升級；另外一端連接著供應(yīng)商，使得供應(yīng)鏈深入優(yōu)化，所以智慧物流向前發(fā)展，有著廣闊的前景，我們將看到越來越多基于大數(shù)據(jù)的精彩應(yīng)用。

作者為京東商城運營研發(fā)部總監(jiān)