鄭 忻，馬英奕

（江西銅業(yè)集團有限公司 貴溪冶煉廠，江西 貴溪 335424）

1 引言

隨著工業(yè)4.0概念以及《中國制造2025》的出臺，以及互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算等新型技術(shù)的涌現(xiàn)，使得傳統(tǒng)工廠管理模式受到了巨大挑戰(zhàn)，數(shù)字化生產(chǎn)制造逐漸成為工廠生產(chǎn)的主要模式，傳統(tǒng)的工廠運營模式也在向數(shù)字化工廠轉(zhuǎn)型。數(shù)字化工廠將生產(chǎn)數(shù)據(jù)透明化，通過三維技術(shù)把生產(chǎn)資料及因素在特定空間做全方位的“呈現(xiàn)”， 形成nD（nDimension 多維）信息處理的核心。是構(gòu)建數(shù)字虛擬工廠的一個重要應(yīng)用方向。貴溪冶煉廠“智能工廠”一期建設(shè)中因此專門設(shè)置了“廠區(qū)實景虛擬化三維建模項目”。

近年來，得益于BIM（建筑信息模型）技術(shù)的廣泛應(yīng)用，三維廠房模型構(gòu)建的技術(shù)難度、構(gòu)建周期大為降低，但流行的BIM軟件大都需要將工程項目在全生命周期中各個不同階段的工程信息、過程和資源集成在一個模型中，也就是說，從設(shè)計階段就要執(zhí)行復(fù)雜的設(shè)計標(biāo)準(zhǔn)，存在一定的技術(shù)門檻，且操作、維護較專業(yè)，具體到貴溪冶煉廠的廠房建模，就存在以下困難：

（1）二維圖紙資料多按建設(shè)子項交圖，圖紙資料難以支持高精度的實景復(fù)制。

（2） 反復(fù)改擴建，圖紙與現(xiàn)場實際情況脫節(jié)，即便建成也難以維護。

（3） 大部分商業(yè)軟件偏向設(shè)計環(huán)節(jié)，操作復(fù)雜，動態(tài)展示效果不理想。

受上述條件制約，本項目設(shè)計了一種全新的構(gòu)建方法，旨在輔助以航拍、激光測繪等先進手段，通過三維實景復(fù)制技術(shù)，構(gòu)建數(shù)字化工廠三維載體；將工廠內(nèi)部的物聯(lián)網(wǎng)、生產(chǎn)資料等信息進行融合，并結(jié)合人工智能以及大數(shù)據(jù)技術(shù)，進行工廠數(shù)據(jù)挖掘分析，實現(xiàn)工廠日常管理的輔助決策；最終將特定的業(yè)務(wù)場景以虛擬現(xiàn)實的數(shù)字化方式進行展現(xiàn)和操作，建立起以實際生產(chǎn)數(shù)據(jù)驅(qū)動的三維可交互數(shù)字化工廠管理數(shù)據(jù)承載平臺和業(yè)務(wù)流程管理信息的窗口，可以實時、直觀地了解工廠的各類信息，形成實際生產(chǎn)過程的“數(shù)字雙胞胎”。

2 系統(tǒng)框架設(shè)計

本系統(tǒng)的實現(xiàn)整體采用Unity3d引擎開發(fā)，前期由專業(yè)虛擬仿真軟件Autodesk3ds Max-MultiGen-Paradigm Creator建模制作3D模型，現(xiàn)場采用專業(yè)3D勘測設(shè)備采集點云、采集真實設(shè)備照片視頻加施工圖制作整體車間模型，即保證數(shù)據(jù)的真實性同時也保證數(shù)據(jù)的美觀度。最終基于Unity3dy引擎構(gòu)建三維實景數(shù)字化貴溪冶煉廠熔煉車間系統(tǒng)。

基于實景虛擬化三維建模的數(shù)字化工廠系統(tǒng)結(jié)構(gòu)主要有三個部分（圖1）。

（1）通過無人機傾斜攝影以及三維激光掃描等多維一體化工廠實景重建，實現(xiàn)廠區(qū)外部地空大場景快速高精度三維模型建立［1］，同時也可以保證廠區(qū)內(nèi)部精細(xì)結(jié)構(gòu)場景的三維重建，利用上述三維實景重建技術(shù)構(gòu)建數(shù)字化工廠的三維載體。

（2）通過獲取車間實時機器狀態(tài)以及物聯(lián)網(wǎng)、業(yè)務(wù)信息等多源數(shù)據(jù)，與三維虛擬場景深度融合，實現(xiàn)管理運營數(shù)據(jù)的整合、生產(chǎn)進度和質(zhì)量情況的查看，使用數(shù)據(jù)驅(qū)動基于三維實景復(fù)制的數(shù)字化工廠載體［2］，為數(shù)字化工廠系統(tǒng)提供血液。

（3）基于深度學(xué)習(xí)以及數(shù)據(jù)挖掘智能決策方法［3］，將工廠制造領(lǐng)域內(nèi)知識、經(jīng)驗與系統(tǒng)有機融合，結(jié)合機器學(xué)習(xí)技術(shù)為工廠管理者從海量管理和操作數(shù)據(jù)中，模擬抽取最關(guān)鍵信息作為決策依據(jù)，提供系統(tǒng)的輔助決策打造數(shù)字化工廠大腦。

圖1 廠區(qū)實景虛擬化三維建設(shè)框架

基于以上三點的系統(tǒng)結(jié)構(gòu)設(shè)置數(shù)字化工廠的系統(tǒng)框架如圖2所示。

該系統(tǒng)框架從下至上依次為感知層、計算機網(wǎng)絡(luò)層、計算平臺層、應(yīng)用層以及門戶層［4］。

感知層位于數(shù)字化工廠系統(tǒng)的底層，它包括多種傳感設(shè)備（攝像機、編碼器、車間設(shè)備、機械臂、工業(yè)相機、環(huán)境監(jiān)測、身份識別、UWB定位以及RFID）,主要功能是直接采集廠區(qū)內(nèi)動態(tài)變化數(shù)據(jù)和信息傳輸給該區(qū)域內(nèi)嵌入式控制器或直接控制廠區(qū)內(nèi)設(shè)備的運行。在基于Unity3d引擎搭建的工廠三維實景環(huán)境中要將該感知層的硬件也做相應(yīng)的位置部署。

網(wǎng)絡(luò)層包含視頻監(jiān)控網(wǎng)絡(luò)、基礎(chǔ)網(wǎng)絡(luò)和物聯(lián)網(wǎng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)傳輸結(jié)構(gòu)負(fù)責(zé)數(shù)字化工廠系統(tǒng)的數(shù)據(jù)融合，直接將感知層感知到的多元數(shù)據(jù)經(jīng)過TCP/IP協(xié)議經(jīng)網(wǎng)絡(luò)層傳輸給數(shù)據(jù)處理平臺。

平臺層實現(xiàn)三維虛擬場景掛載多源數(shù)據(jù)，通過將感知層感知數(shù)據(jù)進行數(shù)據(jù)接入、計算以及管理，將感知層感知到的、可以用于模型驅(qū)動的信息用統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)進行描述，實現(xiàn)針對三維實景模型現(xiàn)場信息的集成，并將該信息傳輸至應(yīng)用層，作為Unity3D各場景的驅(qū)動信息，同時把應(yīng)用層返回的決策信息解析成控制指令隊列，向下分發(fā)。

應(yīng)用層通過接受從平臺層傳輸?shù)亩嘣磾?shù)據(jù)集成信息利用虛擬現(xiàn)實技術(shù)進行三維數(shù)據(jù)的可視化、通過打破信息孤島實現(xiàn)生產(chǎn)流程全周期管理、對集成數(shù)據(jù)進行分析為生產(chǎn)過程做輔助決策。

門戶層包含展廳、監(jiān)控中心和運維中心，展廳主要是基于虛擬現(xiàn)實對數(shù)字化工廠模型的展示，使用戶體驗到與數(shù)字化工廠的交互式界面交流。監(jiān)控中心負(fù)責(zé)呈現(xiàn)該系統(tǒng)下每個模塊的運作狀態(tài)，對于錯誤情況及時進行預(yù)警，運維中心即對整個數(shù)字化工廠模塊產(chǎn)生的錯誤情況及時進行維修保證系統(tǒng)的正常運作。

該系統(tǒng)框架通過以上五個層級的功能結(jié)合實現(xiàn)了三維實景復(fù)制模型作為數(shù)字化工廠載體，掛載多源集成數(shù)據(jù)作為數(shù)字化工廠的血液，并實現(xiàn)對數(shù)據(jù)的操作實現(xiàn)工廠生產(chǎn)運作的輔助決策，打造數(shù)字化工廠的大腦，最終以虛擬現(xiàn)實的方式為用戶提供了數(shù)字化工廠運用的交互式界面，實現(xiàn)廠區(qū)實景虛擬三維系統(tǒng)建設(shè)。

圖2 廠區(qū)實景虛擬化三維系統(tǒng)框架

3 廠區(qū)實景虛擬化三維系統(tǒng)項目的實施

3.1 快速高精度三維模型構(gòu)建

為探究針對貴溪冶煉廠的外部地空大規(guī)模場景的高精度快速三維建模方式和工廠內(nèi)部局部精細(xì)建模方法，本項目研究了三維激光掃描技術(shù)和無人機傾斜攝影技術(shù)相結(jié)合的方式，實現(xiàn)貴溪冶煉廠的外部大規(guī)模場景和內(nèi)部局部精細(xì)場景的三維重建。利用激光掃描技術(shù)實現(xiàn)工廠實景三維建模是一種新型的建模方式，該方式為結(jié)合LiDAR技術(shù)的多站式三維實景建模方案，能夠?qū)崿F(xiàn)室內(nèi)直觀地、高精度地三維場景重建。傾斜攝影技術(shù)是國際攝影測量領(lǐng)域近十幾年發(fā)展起來的一項高新技術(shù)，該技術(shù)通過從一個垂直、四個傾斜、五個不同視角同步采集影像獲取到豐富的建筑物頂面及側(cè)視的高分辨率紋理，實現(xiàn)工廠外部大規(guī)模場景重建。本項目中結(jié)合了兩種建模方式的原理并克服各自優(yōu)缺點，將兩種方式進行融合，有效解決了貴溪冶煉廠的三維場景重建工作的難點。

3.1.1 基于三維激光掃描技術(shù)數(shù)據(jù)采集

（1）掃描站點布設(shè)研究［5］。

本項目采用三維激光掃描技術(shù)對貴溪冶煉廠內(nèi)部場景和設(shè)備進行掃描，激光掃描設(shè)備采用先進的徠卡P20激光掃描儀，其掃描精度足以支撐獲取與建筑實景高度一致的點云數(shù)據(jù)。

考慮到廠區(qū)的占地面積，采用多站式三維激光掃描儀進行冶煉廠區(qū)內(nèi)部場景的掃描和三維數(shù)據(jù)匹配重建。掃描站點的布設(shè)要考慮覆蓋整個廠區(qū)，同時保證每個站點之間的互補性、通視性保證掃描過后零部件的近似完整性。同時由于多站位數(shù)據(jù)間的高精度快速拼接是整體數(shù)據(jù)的重要保證，因此需要對參考站點進行靶標(biāo)布設(shè)，從而獲得良好的數(shù)據(jù)匹配精度（圖3）。

圖3 激光掃描儀站點分布

（2）掃描所得點云數(shù)據(jù)處理。

利用多站式激光掃描儀對冶煉廠區(qū)內(nèi)部進行掃描獲得大量的點云數(shù)據(jù)需要處理，因此要合理控制點云數(shù)據(jù)的密度進而提高軟件對數(shù)據(jù)的處理速度，實現(xiàn)快速測量。同時為了更好的進行冶煉廠區(qū)內(nèi)部三維精細(xì)化模型的建模，在獲取了廠區(qū)內(nèi)部三維點云數(shù)據(jù)后需要對海量的原始數(shù)據(jù)進行包括點云拼接、點云去噪、點云簡化的預(yù)處理操作，實現(xiàn)成像結(jié)果的清晰化，采用分布式站位激光掃描儀掃描廠區(qū)內(nèi)部并最終實現(xiàn)高精度高速度的三維點云數(shù)據(jù)獲取的結(jié)果如圖4所示。

圖4 三維激光掃描廠區(qū)內(nèi)部點云模型

3.1.2 基于無人機傾斜攝影技術(shù)數(shù)據(jù)采集

地面激光掃描數(shù)據(jù)可以實現(xiàn)廠區(qū)底部表面模型以及廠區(qū)內(nèi)部模型高精度地重建，而針對貴溪冶煉廠區(qū)外部的大規(guī)模場景，需要對廠區(qū)高處特別是建筑頂部保證掃描的完備性，只通過地面三維激光掃描儀無法達到要求，同時考慮到激光掃描數(shù)據(jù)得到的紋理失真較為嚴(yán)重，因此本項目中采用無人機傾斜攝影方式進行冶煉廠的外部場景重建。無人機從空中多角度地進行俯拍得到圖像，對圖像進行特征提取、紋理映射，以及數(shù)據(jù)的處理最終得到具有高真實感、高分辨率的廠區(qū)外部景觀三維重建模型。見圖5。

圖5 傾斜攝影成果展示

3.2 三維車間設(shè)備模型的動態(tài)映射

與工廠現(xiàn)有的生產(chǎn)管控系統(tǒng)等對接實現(xiàn)數(shù)據(jù)集成，實現(xiàn)對于現(xiàn)場視頻監(jiān)控、設(shè)備狀態(tài)、生產(chǎn)配套、生產(chǎn)進度和質(zhì)量情況等相關(guān)數(shù)據(jù)的集成，將虛擬與現(xiàn)實深度融合，確定信息數(shù)據(jù)與三維車間設(shè)備的映射關(guān)系，以現(xiàn)實數(shù)據(jù)驅(qū)動虛擬三維設(shè)備，實現(xiàn)三維動態(tài)行為監(jiān)控。

3.2.1 建立實時數(shù)據(jù)庫

在數(shù)字化廠房運行過程中，有大量數(shù)據(jù)需要處理，因此本項目中采用實時數(shù)據(jù)庫存儲數(shù)據(jù)和信息實現(xiàn)廠區(qū)內(nèi)數(shù)據(jù)與三維模型之間的掛接。實時數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫具有以下幾點特性區(qū)別：其支持?jǐn)?shù)據(jù)庫的隨時改變、支持事務(wù)的定時限制、支持?jǐn)?shù)據(jù)庫的邏輯一致性以及支持實時驅(qū)動的優(yōu)先級事務(wù)調(diào)度。對于采集到的智能設(shè)備和工件信息，均通過接收并存儲在該實時數(shù)據(jù)庫中。

3.2.2 數(shù)據(jù)的性能優(yōu)化

在進行三維場景與多源數(shù)據(jù)融合掛接時，海量的數(shù)據(jù)處理需要占用CPU的大部分存儲和計算，場景的渲染需要占用GPU的存儲和計=算。因而本項目對存儲和處理的數(shù)據(jù)進行了全局性能優(yōu)化，加快數(shù)據(jù)處理速度減小CPU/GPU運行壓力。以適應(yīng)不同性能檔次終端設(shè)備的瀏覽順暢性的要求。

3.2.3 實時數(shù)據(jù)映射結(jié)構(gòu)［6］

目前，廣泛采用的數(shù)據(jù)映射方式是將廠區(qū)內(nèi)定時采集的數(shù)據(jù)和信息存儲在數(shù)據(jù)庫中，如果想要查看廠區(qū)內(nèi)某個設(shè)備的狀態(tài)信息，需從數(shù)據(jù)庫內(nèi)調(diào)用采集時間最晚的信息，不難發(fā)現(xiàn)以上方式的信息顯示實時性很難滿足。本項目基于介入式技術(shù)開發(fā)了一種新的3D即時信息呈現(xiàn)框架，以滿足高實時性訪問的需求。該框架的實時數(shù)據(jù)映射結(jié)構(gòu)如下：由基層到頂層依次為感知層、計算機網(wǎng)絡(luò)支持層和系統(tǒng)功能層。感知層包含各種冶煉設(shè)備、各種傳感器、質(zhì)量檢測系統(tǒng)等，主要功能就是直接采集廠區(qū)內(nèi)動態(tài)變化的數(shù)據(jù)和信息傳輸給該區(qū)域內(nèi)的嵌入式控制器或直接控制廠區(qū)內(nèi)的設(shè)備運行。計算機網(wǎng)絡(luò)層負(fù)責(zé)系統(tǒng)內(nèi)的信息傳輸，是不同系統(tǒng)和不同網(wǎng)絡(luò)之間實現(xiàn)高可靠性、高安全性和無障礙的通信是數(shù)據(jù)和信息共享的基礎(chǔ)支撐。系統(tǒng)功能層負(fù)責(zé)廠區(qū)內(nèi)采集到的數(shù)據(jù)和信息進行分類、整理和分析，通過圖表顯示關(guān)鍵數(shù)據(jù)和信息，存儲備份數(shù)據(jù)和信息，最終實現(xiàn)用集成數(shù)據(jù)和信息來驅(qū)動廠區(qū)內(nèi)設(shè)備映射的三維模型的運作。

3.3 數(shù)據(jù)智能分析決策

在建立了冶煉廠的三維模型并與多源數(shù)據(jù)掛載后，需要對采集的數(shù)據(jù)進行分析運用從而實現(xiàn)工廠生產(chǎn)運作過程中的輔助決策?；谏疃葘W(xué)習(xí)及數(shù)據(jù)挖掘智能決策方法，將工廠內(nèi)部專業(yè)生產(chǎn)制造領(lǐng)域的知識、經(jīng)驗與系統(tǒng)有機融合，結(jié)合機器學(xué)習(xí)和人工智能為工廠管理者從海量數(shù)據(jù)中模擬推演并抽取最關(guān)鍵的信息作為決策依據(jù)，從而構(gòu)架基于信息系統(tǒng)的高效反應(yīng)和決策體系，為工廠的管理提供輔助決策支持。

3.3.1 實時數(shù)據(jù)顯示功能

將冶煉廠區(qū)內(nèi)物聯(lián)網(wǎng)傳感器數(shù)據(jù)與三維場景相關(guān)聯(lián)，在三維傳感器模型上進行實時數(shù)據(jù)展示，實現(xiàn)全天數(shù)據(jù)的三維可視化展示，為系統(tǒng)的業(yè)務(wù)管理功能提供支撐。將傳感器實時回傳的檢測數(shù)據(jù)從數(shù)據(jù)庫中讀取，進行設(shè)備的實時監(jiān)控，遇到超出預(yù)設(shè)值時進行警告和提醒。見圖6。

圖6 廠區(qū)數(shù)據(jù)實時顯示

3.3.2 設(shè)備管理功能

通過對設(shè)備歷史故障幾率、維修成本、業(yè)務(wù)影響程度分析，結(jié)合設(shè)備屬性，對設(shè)備進行分類排序；根據(jù)設(shè)備歷史故障大數(shù)據(jù)的分析，建立設(shè)備預(yù)知性模型，對設(shè)備健康性實時分析，提前知曉設(shè)備狀態(tài)參數(shù)的微小變動，避免帶來不易察覺的質(zhì)量隱患。

3.3.3 監(jiān)控視頻數(shù)據(jù)智能分析功能

基于視頻智能識別、室內(nèi)高精度定位、獲取人員與重要設(shè)備的歷史軌跡數(shù)據(jù)，對軌跡數(shù)據(jù)進行分析，得到異常狀態(tài)識別結(jié)果，確保人員安全、產(chǎn)品安全和財產(chǎn)安全等。實現(xiàn)更加直觀的管理數(shù)據(jù)可視化過程，輔助完成設(shè)備的日常管理及監(jiān)測，確保重要設(shè)備的運行狀態(tài)和制造過程的實時監(jiān)控。見圖7。

圖7 工廠實時監(jiān)控功能顯示

通過以上多種基于深度學(xué)習(xí)的模擬冶煉工藝流程分析，對貴溪冶煉廠熔煉車間進行三維輔助決策平臺開發(fā)建設(shè)，將車間三維高精度模型、工藝流程、傳感器實時數(shù)據(jù)、設(shè)備屬性以及運營管理數(shù)據(jù)等進行融合，可以直觀地展示冶煉車間的生產(chǎn)流程，實現(xiàn)車間生產(chǎn)的遠(yuǎn)程化管理控制，提高車間的運營管理效率。

3.4 基于XR的虛擬可視化

為實現(xiàn)突破傳統(tǒng)的數(shù)據(jù)瀏覽方式，本項目中對于數(shù)字化工廠的最終呈現(xiàn)方式采用VR、AR、MR等多種虛擬技術(shù)。

首先確定使用VMware虛擬現(xiàn)實軟件應(yīng)用平臺，掌握VMware產(chǎn)品的工作站，并在物理機上創(chuàng)建新虛擬機，及其模板部署、克隆、上傳、遷移、鏡像以及虛擬機的配置管理功能搭建基于虛擬現(xiàn)實技術(shù)的DCS仿真系統(tǒng)平臺，同時要掌握了解虛擬現(xiàn)實技術(shù)框架結(jié)構(gòu)，目前可以實現(xiàn)的控制軟件有艾默生、ABB控制軟件。最終開展智能虛擬化桌面和云桌面系統(tǒng)的平臺搭建，通過實驗比較、驗證和確定虛擬化桌面系統(tǒng)傳輸協(xié)議，來確定采用虛擬桌面系統(tǒng)的終端設(shè)備來接管現(xiàn)有的操作站、并投入到現(xiàn)場運行，并最終驗證測試基于多種虛擬現(xiàn)實數(shù)字化工廠可視化效果。

采用虛擬現(xiàn)實的可視化效果給用戶提供一種具有沉浸性、交互性和構(gòu)想性的多維信息空間，實現(xiàn)高效人機交互，使用戶能身臨其境地感受三維數(shù)字化帶來的可視化效果。能夠在遠(yuǎn)程指揮控制室真實感受到熔煉車間的真實生產(chǎn)運行狀況，真正實現(xiàn)遠(yuǎn)程輔助決策。

4 結(jié)束語

本文概要介紹了貴冶智能工廠建設(shè)中三維智能化管控平臺的設(shè)計方法和構(gòu)建過程，通過項目建設(shè)，探索了一種結(jié)合激光掃描儀和無人機傾斜攝影技術(shù)采集廠房內(nèi)外部實景數(shù)據(jù)的新穎技術(shù)，用以實現(xiàn)高質(zhì)量的廠區(qū)三維實景復(fù)制，該技術(shù)同時為未來模型空間的擴建、維護提供了代價較低的解決方案；以三維實景模型為基礎(chǔ)開發(fā)的智能化管控平臺采用介入式技術(shù)融合多源實時信息，實現(xiàn)了二、三維數(shù)據(jù)信息的一體化和各虛擬場景的實時動態(tài)驅(qū)動。作為基礎(chǔ)平臺，進一步導(dǎo)入其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)后，結(jié)合多場景融合、大數(shù)據(jù)融合、云端應(yīng)用融合等技術(shù)手段，能夠同時支撐地理信息、業(yè)務(wù)辦公、地上/地下建筑規(guī)劃管理和輔助決策，以多元數(shù)據(jù)驅(qū)動三維載體，為數(shù)字化工廠提供血液，打造數(shù)字化工廠的大腦。