高煒 周鑫
摘? 要:煙草信息化建設(shè)一直都有一個難以突破的點,那就是信息資源共享,如今信創(chuàng)及X86多云平臺為這一難點的突破提供了機會,云平臺是信息資源共享的一大渠道,煙草公司各部門都可以在這一平臺上進(jìn)行資源分享與獲取,這樣可以有效打破資源隔閡,提高煙草信息管理效能,倘若信創(chuàng)及X86多云平臺可以廣泛的應(yīng)用到煙草行業(yè)當(dāng)中,那么煙草行業(yè)就可以實現(xiàn)數(shù)據(jù)共享,一個公司當(dāng)中從生產(chǎn)到銷售的各個管理數(shù)據(jù)都可以明確的展示出來,也可以通過信創(chuàng)及X86多云平臺進(jìn)行數(shù)據(jù)分析,如此一來,煙草公司面對煙草生產(chǎn)與銷售決策可以得到充分的現(xiàn)實數(shù)據(jù)支持,有利于煙草公司的科學(xué)管理,從而推動煙草行業(yè)各公司實現(xiàn)共收共贏。
關(guān)鍵詞:信創(chuàng)云平臺;X86多云平臺;數(shù)據(jù)整合技術(shù);煙草信息化;應(yīng)用探究;時間戳;數(shù)據(jù)抽象層應(yīng)用
一、引言
我國經(jīng)濟飛速發(fā)展,這使信息化技術(shù)也水漲船高,相關(guān)的科技水平不斷進(jìn)步,直接推動了各種行業(yè)之中的信息化技術(shù)朝著十分喜人的方向發(fā)展,為了進(jìn)一步推進(jìn)煙草行業(yè)信息化的進(jìn)程,使得煙草行業(yè)管理模式更適合二十一世紀(jì)的發(fā)展需求,特別提出煙草行業(yè)運用云平臺進(jìn)行數(shù)據(jù)整合。這是由于當(dāng)今信創(chuàng)及X86多云平臺發(fā)展非常迅速,提供基于“云”的服務(wù),供開發(fā)者創(chuàng)建應(yīng)用時采用。顧名思義,信創(chuàng)及X86多云平臺允許開發(fā)者們或是將寫好的程序放在“云”里運行,或是使用“云”里提供的服務(wù),或二者皆是。而現(xiàn)在許多煙草行業(yè)經(jīng)過幾年的信息化建設(shè),已經(jīng)基本實現(xiàn)煙草行業(yè)的信息化應(yīng)用,但是由于煙草行業(yè)這一行業(yè)特殊性,各個部門在正常工作當(dāng)中,由于煙草生產(chǎn)鏈、業(yè)務(wù)對接和其他相關(guān)業(yè)務(wù)處理,導(dǎo)致煙草公司系統(tǒng)當(dāng)中存在許多積累數(shù)據(jù),這些數(shù)據(jù)主要有兩種,第一種是生產(chǎn)數(shù)據(jù),第二種是管理數(shù)據(jù),無論是哪種數(shù)據(jù)由于存在量巨大而且紛繁復(fù)雜,導(dǎo)致數(shù)據(jù)分析工作雖然可以按部分順利完成,但是缺少對于整個煙草公司的分析。導(dǎo)致這一現(xiàn)象發(fā)生有多種因素:第一種因素就是最初為了快速推進(jìn)信息化建設(shè),所以在初始建設(shè)階段,只求速度,沒有考慮之后發(fā)展,缺乏統(tǒng)一的規(guī)劃與設(shè)計,第二種因素就是煙草公司雖然信息化建設(shè)并不落后,但是由于存在多個系統(tǒng),系統(tǒng)與系統(tǒng)之間信息共享能力差,導(dǎo)致存在信息孤島問題,許多有價值的原始煙草信息資料由于以上原因無法被整合利用,許多可以進(jìn)行清理的原始煙草信息資料,也由于以上原因無法得到徹底清理,進(jìn)一步加重了煙草信息系統(tǒng)的負(fù)擔(dān),為了解決這一問題,可以將信創(chuàng)及X86多云平臺引入到煙草公司工作系統(tǒng)之中,不僅可以解決以上問題,還可以幫助煙草公司更便捷的查詢與統(tǒng)計全轄區(qū)生產(chǎn)數(shù)據(jù),進(jìn)一步輔助煙草公司進(jìn)行宏觀決策。
二、數(shù)據(jù)整合存在的問題
相對其他行業(yè),煙草行業(yè)信息化程度較高,但是數(shù)據(jù)整合問題還有幾方面叩待解決,可以大概概括為五點:
第一點是跨系統(tǒng)的數(shù)據(jù)共享問題。煙草公司由于業(yè)務(wù)需要一般都會擁有多個系統(tǒng),但是系統(tǒng)之間的數(shù)據(jù)如果無法順利共享的話,那么會給煙草公司數(shù)據(jù)資源的整理與分析,帶來很大的弊端目前繼續(xù)解決就是不同系統(tǒng)之間數(shù)據(jù)邏輯如何形成正確性校驗,如何更好的在不同系統(tǒng)之間對于數(shù)據(jù)進(jìn)行監(jiān)控。
第二點是不同軟件重復(fù)采集相同數(shù)據(jù)。煙草公司由于業(yè)務(wù)需要,往往會開設(shè)多個相應(yīng)軟件,但是應(yīng)用軟件的用戶可能存在重復(fù)問題,于是對于用戶信息的采集經(jīng)常會出現(xiàn)重復(fù)現(xiàn)象,對于煙草業(yè)務(wù)的記錄,也會出現(xiàn)重復(fù)記錄的情況,不僅如此對于信息的采集,還會出現(xiàn)一致性差的問題。
第三點是用戶查詢實時數(shù)據(jù)困難。一般煙草用戶在煙草公司的軟件或者系統(tǒng)上無法直接查詢實時系統(tǒng),而且無法得到需要查詢的數(shù)據(jù)全貌,這給煙草銷售業(yè)務(wù)帶來了很大的影響。
第四點是煙草公司進(jìn)行決策時缺少系統(tǒng)分析支撐。因為目前許多煙草公司都沒有建設(shè)綜合管理系統(tǒng),這一系統(tǒng)的作用就是輔助決策,可以對煙草公司的許多數(shù)據(jù)資源進(jìn)行綜合分析,從而得出結(jié)果支持公司決策。
第五點是數(shù)據(jù)聚合困難。因為煙草行業(yè)的公司由于業(yè)務(wù)需要通常會應(yīng)用多個系統(tǒng),但是系統(tǒng)之間由于體系和架構(gòu)不同,相互之間存在隔閡,而且物理設(shè)計上也有阻礙系統(tǒng)共享的設(shè)計,因此往往會存在數(shù)據(jù)聚合實現(xiàn)困難的問題。
面對以上五點問題,煙草行業(yè)在急需一個解決辦法,最好是有一個平臺幫助煙草行業(yè)各系統(tǒng)之間的數(shù)據(jù)進(jìn)行統(tǒng)一的處理與分析,另外,煙草公司也由于存在許多系統(tǒng)導(dǎo)致共享信息資源性能較差,許多有效數(shù)據(jù)難以利用,海量數(shù)據(jù)無法清理、整合與匯總。與此同時,信創(chuàng)及X86多云平臺擁有較為先進(jìn)的數(shù)據(jù)整合技術(shù),可以幫助煙草公司分析利用已有的海量數(shù)據(jù),將不同系統(tǒng)之中的數(shù)據(jù)進(jìn)行篩選與整理,雖然許多應(yīng)用系統(tǒng)都是面對不同業(yè)務(wù)進(jìn)行特殊建造的,因此許多管理系統(tǒng)和數(shù)據(jù)結(jié)構(gòu)與代碼都存在差異,但是信創(chuàng)及X86多云平臺數(shù)據(jù)整合技術(shù)可以將這些差異進(jìn)行簡化,從而高效的利用已有數(shù)據(jù)資源,綜合分析,從而輔助公司進(jìn)行決策,也便于煙草公司對數(shù)據(jù)資源的統(tǒng)一管理。
三、數(shù)據(jù)整合技術(shù)中的數(shù)據(jù)抽取研究
煙草公司由于存在許多系統(tǒng),所以數(shù)據(jù)整合當(dāng)中對于數(shù)據(jù)抽取技術(shù)要求是非常重要的,為了更好的實現(xiàn)數(shù)據(jù)抽取,從而更好的利用數(shù)據(jù)資源,一般來說會采用仿照數(shù)據(jù)倉庫建設(shè)的步驟進(jìn)行數(shù)據(jù)抽取與利用,首先將目標(biāo)系統(tǒng)當(dāng)中的數(shù)據(jù)進(jìn)行抽取,其次,對于抽取的數(shù)據(jù)進(jìn)行再次清洗,最后得到的數(shù)據(jù),結(jié)果就是可以直接利用的數(shù)據(jù)。一般要實現(xiàn)這兩個步驟需要應(yīng)用ETL工具進(jìn)行操作,在這一過程當(dāng)中,面對不同的系統(tǒng)、不同的數(shù)據(jù)來源都要依照相同的操作標(biāo)準(zhǔn)進(jìn)行抽取、清洗與轉(zhuǎn)換操作。同時還要注意的一點就是對于數(shù)據(jù)的增量抽取。也是非常重要的,因為一般來說,煙草公司的數(shù)據(jù)信息量是非常巨大的,面對如此多的數(shù)據(jù)量,常見的很多數(shù)據(jù)庫信都是無法完成數(shù)據(jù)處理的,創(chuàng)及X86多云平臺為了解決這一問題特意提出了三種應(yīng)對方式:
第一種應(yīng)對方式是對于數(shù)據(jù)增量的抽取無論是哪個系統(tǒng)、哪個來源都采用基于時間戳抽取的方式。
第二種應(yīng)對方式是對于數(shù)據(jù)增量文件進(jìn)行掃描,在這一過程當(dāng)中可以建設(shè)關(guān)于關(guān)系數(shù)據(jù)庫的歸檔日志。
第三種應(yīng)對方式就是在數(shù)據(jù)增量的處理前后對于映象進(jìn)行對比操作。
當(dāng)然以上幾種方法各有利弊,創(chuàng)及X86多云平臺在實際應(yīng)用過程之中,主要考慮的是基于時間戳的數(shù)據(jù)增量抽取,想要實現(xiàn)基于時間戳的數(shù)據(jù)增量抽取,那么在數(shù)據(jù)處理之前就應(yīng)當(dāng)保證以下四點不會影響數(shù)據(jù)抽取:
第一點影響因素是增量抽取的標(biāo)識唯一性,如果抽取數(shù)據(jù)增量過程之中有多個標(biāo)識,那么對于數(shù)據(jù)抽取來說是混亂的抽取方式,為了避免這種問題的產(chǎn)生,只將時間屬性作為抽取唯一標(biāo)識。
第二點影響因素是索引字段,索引字段可以有效避免遭遇性能瓶頸,抽取過程中,我們也盡可能的對于大事務(wù)從大化小的處理,然后對于數(shù)據(jù)總量進(jìn)行抽取。
第三點影響因素是數(shù)據(jù)庫和數(shù)據(jù)倉庫的連接,為了順利的將抽取到的喲數(shù)據(jù)進(jìn)行存儲,應(yīng)當(dāng)在抽取之前建立好數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)存儲,而且應(yīng)當(dāng)采取直接的連接方式,以免在數(shù)據(jù)儲存過程中產(chǎn)生誤差。
第四點影響因素就是盡力減少對于數(shù)據(jù)的操作處理,因為一般原始數(shù)據(jù)是最能反映煙草公司業(yè)務(wù)情況的數(shù)據(jù),如果對于抽取到點數(shù)據(jù)進(jìn)行多次的轉(zhuǎn)換和清洗動作,那么難免會產(chǎn)生誤差。
四、云原生
(一)云原生存儲
云原生存儲在數(shù)據(jù)、控制雙平面提升存儲使用效率與安全性。云原生存儲是指通過整合多種云存儲形態(tài),完整匹配 Kubernetes 環(huán)境下的存儲聲明機制,提升存儲的質(zhì)量、穩(wěn)定性及安全等能力,以滿足不同應(yīng)用場景下的存儲使用需求的新型存儲解決方案。當(dāng)前主要有兩種方式來構(gòu)建云原生存儲能力:
一是對已有存儲系統(tǒng)的對接改造。這種構(gòu)建方法適用于已經(jīng)具備可用存儲系統(tǒng)的公有云或私有云環(huán)境,通過標(biāo)準(zhǔn)的CSI接口來對接各類存儲,通過完善聲明式接口和增強原有存儲系統(tǒng)能力(擴展性、性能、安全性、穩(wěn)定性等)來構(gòu)建云原生存儲系統(tǒng)。這種構(gòu)建方式可以復(fù)用云計算基礎(chǔ)設(shè)施,無需重復(fù)發(fā)明輪子。二是面向云原生場景設(shè)計全新的存儲系統(tǒng),云原生存儲系統(tǒng)通?;诰唧w平臺存儲層(塊或者文件)再構(gòu)建一層分布式存儲層,屏蔽了不同平臺的存儲層差異,提高了應(yīng)用部署的靈活性,使存儲系統(tǒng)可以像云原生應(yīng)用一樣能被部署到任意平臺上。
煙草行業(yè)公司由于業(yè)務(wù)需要,往往存在許多應(yīng)用,應(yīng)用與應(yīng)用之間如果要實現(xiàn)通信信息集成那么就需要中間連接器,可以在創(chuàng)及X86多云平臺之中的消息中間件平臺身上連接連接器,這樣做的目的是將稅務(wù)內(nèi)部不同系統(tǒng)進(jìn)行連接。如果要實現(xiàn)在不同企業(yè)之間的稅務(wù)部門連接,那么就應(yīng)當(dāng)增加B2Bi建立連接,B2Bi是應(yīng)用在不同企業(yè)之間特殊的連接器,可以有效的建立企業(yè)間聯(lián)系,也可以在同一企業(yè)內(nèi),不同部門間建立上下級聯(lián)系,同時在消息傳輸過程中,數(shù)據(jù)幾乎零誤差,可以有效避免因為數(shù)據(jù)傳輸問題帶來的數(shù)據(jù)損耗或者誤差缺陷,避免數(shù)據(jù)丟失。同時創(chuàng)及X86多云平臺的連接器也可以保證應(yīng)用之間同步通信,沒有延時誤差,傳輸效率高,應(yīng)用間異步通信也可以得到很好的保障,系統(tǒng)之間的耦合度弱,可以支持并發(fā)數(shù)據(jù)的良好傳輸,數(shù)據(jù)一致性和完整性不會被破壞。最后應(yīng)用層之間的通信集成還可以支持集群服務(wù),系統(tǒng)容錯性能好,負(fù)載均衡不會產(chǎn)生偏差。
(二)云原生服務(wù)器
云原生服務(wù)器是指基于專用硬件、芯片,利用軟硬融合虛擬化等技術(shù)將負(fù)載或任務(wù)轉(zhuǎn)移,提升資源使用效率、用戶體驗和整體性能的新型服務(wù)器。云原生服務(wù)器采用軟硬一體的硬件卸載和加速技術(shù),通過專用的硬件,將原來在物理機上運行的網(wǎng)絡(luò)、磁盤、管控等負(fù)載,完全下沉到定制的硬件上,物理服務(wù)器上的資源可以被最大程度的釋放出來,從而提升資源的使用效率,降低成本。同時,通過使用 ASIC或者 FPGA 等專用芯片來處理存儲、網(wǎng)絡(luò)等任務(wù),可以使用較低的成本將性能提升數(shù)倍甚至一兩個數(shù)量級。此外,軟硬融合的虛擬化技術(shù)能夠支持裸金屬形態(tài)的計算產(chǎn)品,使其同時具備虛擬機的使用體驗和物理機的強大性能。
云原生服務(wù)器不僅具有虛擬機的靈活性和彈性,同時具備物理機的一切特性和優(yōu)勢,因此也具備再次虛擬化的能力,而不用擔(dān)心嵌套虛擬化帶來的性能開銷。
(三)云原生技術(shù)架構(gòu)
云原生技術(shù)架構(gòu)目前看來是較為先進(jìn)的技術(shù)加購形式,有如下特點:
(1)服務(wù)自制與故障自愈能力:云平臺的服務(wù)形式如果全部依靠工作人員維護的話是非常龐大的一個工作量,為此實現(xiàn)服務(wù)自制即是云原生技術(shù)的一個技術(shù)提升,另外又是減輕維護與運行人員的有效革新。
(2)極致的彈性能力:不同于虛擬機分鐘級的彈性響應(yīng),以容器技術(shù)為基礎(chǔ)的云原生技術(shù)架構(gòu)可實現(xiàn)秒級甚至毫秒級的彈性響應(yīng)。
(3)大規(guī)??蓮?fù)制能力:可實現(xiàn)跨區(qū)域、跨平臺甚至跨服務(wù)商的規(guī)?;瘡?fù)制部署能力。
五、煙草行業(yè)應(yīng)用云原生未來發(fā)展趨勢
(一) 應(yīng)用服務(wù) Serverless 化,更加聚焦業(yè)務(wù)的核心價值
作為云原生技術(shù)未來的演進(jìn)方向,無服務(wù)器架構(gòu)技術(shù)(Serverless)也從觀望逐漸落地,據(jù)Gartner 的過往預(yù)測數(shù)據(jù)顯示到2020年全球?qū)⒂?0%的企業(yè)部署無服務(wù)器架構(gòu)。Serverless 將進(jìn)一步釋放云計算的能力,將安全、可靠、可伸縮等需求交由基礎(chǔ)設(shè)施實現(xiàn),使用戶僅需關(guān)注業(yè)務(wù)邏輯而無需關(guān)注具體部署和運行極大地提高應(yīng)用開發(fā)效率。同時這個方式促進(jìn)了社會分工協(xié)作,云商可以進(jìn)一步通過規(guī)?;?、集約化實現(xiàn)計算成本大幅優(yōu)化。
(二) 從資源云化到業(yè)務(wù)云化,最終趨于全面云原生化
企業(yè)上云的初期階段是把現(xiàn)有 IT 系統(tǒng)搬遷到云上,更多在虛擬化層面的改造工作,隨著云計算生態(tài)的蓬勃發(fā)展,原有的應(yīng)用架構(gòu)陳日,在擴展性、適配性、彈性伸縮、資源調(diào)度、開發(fā)運維等方面與云計算架構(gòu)的優(yōu)勢不四配,無法真正發(fā)揮云的價值。云原生技術(shù)通過標(biāo)準(zhǔn)化資源,輕量化彈性調(diào)度等特征,應(yīng)用場景較為廣泛,隨著技術(shù)和生態(tài)不斷成熟和完善,有效緩解企業(yè)上云顧慮,拉動全行業(yè)的上云程度。
六、結(jié)語
通過創(chuàng)及X86多云平臺可以有效完成我國煙草信息系統(tǒng)數(shù)據(jù)整合問題,無論是客觀影響還是建設(shè)規(guī)劃造成的數(shù)據(jù)共享困難,專網(wǎng)系統(tǒng)過強,煙草公司橫行系統(tǒng)薄弱都可以得到有效的解決,煙草公司專網(wǎng)之間數(shù)據(jù)隔閡現(xiàn)象將會被打破,我國煙草行業(yè)應(yīng)用創(chuàng)及X86多云平臺將會在數(shù)據(jù)處理與決策方面得到更進(jìn)一步的發(fā)展,決策結(jié)構(gòu)將會變得更加科學(xué)化,動力結(jié)構(gòu)將會變得更加生動化,信息結(jié)構(gòu)將會變得更加嚴(yán)謹(jǐn)化,共同協(xié)作可以促進(jìn)煙草行業(yè)信息管理的統(tǒng)一化,這樣做不僅可以提高煙草公司近期局部效益,而且從煙草行業(yè)信息化發(fā)展的整體來看,使用創(chuàng)及X86多云平臺可以促進(jìn)煙草行業(yè)長遠(yuǎn)發(fā)展。
參考文獻(xiàn):
[1] 苑志剛.空間信息大數(shù)據(jù)管理及其可視化技術(shù)在地下管線管理平臺中的應(yīng)用[J].價值工程,2020:245-246.
[2] 黃彬.大數(shù)據(jù)技術(shù)在計算機網(wǎng)絡(luò)信息管理中的應(yīng)用研究[J].衛(wèi)星電視與寬帶多媒體,2020:77-78.
[3] 葉峰,張一揚.質(zhì)量管理信息化平臺在再造煙葉行業(yè)的應(yīng)用研究[J].中國管理信息化,2020:86-91.
[4] 尹鵬程,凌海峰,李淑貞,陳新偉,馬艾平.時空信息云平臺技術(shù)在國土資源信息化中的應(yīng)用探討[J].國土資源信息化,2017
[5] 尹鵬程,凌海峰,李淑貞,陳新偉,馬艾平.時空信息云平臺技術(shù)在國土資源信息化中的應(yīng)用探討[J].國土資源信息化,2017