陳友玲，張 哲，劉 艦，呂松洋，段克華

(重慶大學(xué) 機(jī)械傳動(dòng)國家重點(diǎn)實(shí)驗(yàn)室，重慶 400044)

0 引言

隨著經(jīng)濟(jì)的飛速發(fā)展，傳統(tǒng)制造企業(yè)急需加速轉(zhuǎn)型，云制造作為一種新型的智能制造模式，為傳統(tǒng)企業(yè)的轉(zhuǎn)型需要提供了新的思路，但云制造模式對(duì)企業(yè)信息共享程度要求較高，從而對(duì)企業(yè)資源的準(zhǔn)確描述提出了挑戰(zhàn)。因此，如何快速準(zhǔn)確地對(duì)企業(yè)現(xiàn)有資源進(jìn)行描述，已經(jīng)成為大多數(shù)轉(zhuǎn)型企業(yè)需要解決的問題。

由李伯虎院士等[1-2]提出的云制造是基于互聯(lián)網(wǎng)的一種旨在提供制造服務(wù)、效率高且耗能低的新型智能制造模式，具備虛擬化、物聯(lián)化等典型的技術(shù)特征;Fisher等[3]重新定義了云制造的新概念，認(rèn)為云制造是一種面向服務(wù)的業(yè)務(wù)模型，用戶可在云平臺(tái)上共享制造資源和能力，分析并總結(jié)了其靈活、可擴(kuò)展、多租戶等特性。云制造憑借“分散資源的集中管理和集中資源的分散服務(wù)”的思想實(shí)現(xiàn)了“制造即服務(wù)”的目標(biāo)，在該制造模式中，首先需要解決的是原始資源的語義描述。

目前，有關(guān)云制造資源的語義描述大多以本體為基礎(chǔ)。楊琛等[4]采用本體技術(shù)對(duì)制造云進(jìn)行描述并創(chuàng)立了復(fù)合制造本體，此外基于此建立了服務(wù)發(fā)現(xiàn)模型，推理了制造云的分解與組合，完成了制造云的智能搜索和自動(dòng)匹配；Taieb等[5]基于本體和深度分布量化給定概念的下位子圖，并使用一些與之相關(guān)的拓?fù)鋮?shù)，提出了一種量化概念之間語義相似度的新方法，為人類判斷和計(jì)算量度之間的相關(guān)系數(shù)提供了一種新的解決方法。在基于服務(wù)本體描述語言(Ontology Web Language for Services, OWL-S)的語義描述云制造服務(wù)方面，江萍等[6]基于本體描述邏輯提出了一種新的匹配方案，并詳細(xì)闡述了該方案的各階段，使查全率和查準(zhǔn)率得到有效提升；Sánchez等[7]基于本體分析了適用于信息內(nèi)容(Information Content, IC)計(jì)算的方法，并提出旨在更好地捕獲語義的若干改進(jìn)證據(jù)，以便在特定概念的本體論中進(jìn)行建模；此外,江萍[8]建立了與導(dǎo)彈相關(guān)的領(lǐng)域本體，對(duì)比Web服務(wù)語義描述技術(shù)介紹了OWL-S技術(shù)；李孝斌等[9]針對(duì)現(xiàn)代智能匹配的需求，構(gòu)建了基于服務(wù)建模本體的資源描述框架，并研究了該框架的支撐技術(shù)；Sánchez等[10]根據(jù)分類學(xué)的開發(fā)特征，提出一種新的基于本體的測(cè)量方法，并在一個(gè)通用環(huán)境下對(duì)該方法進(jìn)行驗(yàn)證，結(jié)果表明該測(cè)量方法不僅提高了測(cè)量的精度，而且降低了測(cè)量的局限性；湯華茂等[11]通過構(gòu)建資源的分布式語義描述模型，實(shí)現(xiàn)了對(duì)資源粒子的虛擬描述，同時(shí)創(chuàng)建了集成智能化的服務(wù)模型；薛建勛[12]創(chuàng)新性地從廣義上重新定義了制造能力和制造資源，借助OWL本體語言設(shè)計(jì)了描述云制造資源的本體模型，并用實(shí)例驗(yàn)證了該模型的靈敏度和柔性；王海丹等[13]嘗試提供一種云制造服務(wù)分類及描述的方法，從不同方面對(duì)云制造服務(wù)資源進(jìn)行描述，并設(shè)計(jì)了本體模型；常關(guān)羽等[14]面向企業(yè)的需求，綜合本體語義和Petri-net技術(shù)對(duì)業(yè)務(wù)流程進(jìn)行了建模和驗(yàn)證。

此外，還有一些采用創(chuàng)新性的模型研究，楊琨等[15]由創(chuàng)新認(rèn)知激勵(lì)機(jī)理將設(shè)計(jì)方法語義化描述的服務(wù)和知識(shí)資源所形成的知識(shí)服務(wù)進(jìn)行組織，完成了產(chǎn)品概念設(shè)計(jì)的輔助、激勵(lì)作業(yè)；蔡敏等[16]基于語義描述構(gòu)建了工作流過程模型，強(qiáng)調(diào)過程的影響，從而達(dá)到了全面增強(qiáng)時(shí)間管理的目的；Song等[17]提出了一種基于本體的自組織遺傳算法用于進(jìn)行文本聚類，并將聚合后的本體集合作為基于語料庫的本體論依據(jù)，結(jié)合本體策略驗(yàn)證該算法能有效提高性能；秦飛巍等[18]針對(duì)特征模型不易檢索重用的難題，基于本體提出了特征表示模型和新型本體映射方法，通過對(duì)特征信息進(jìn)行語義描述，建立了基于本體的特征模型庫，以支持參數(shù)化特征模型的檢索重用；張星[19]分析了云制造環(huán)境下生產(chǎn)加工云的基本信息，建立了語義描述機(jī)制和模型，著重研究了服務(wù)體系架構(gòu)，實(shí)現(xiàn)了服務(wù)的智能搜索和自動(dòng)匹配；Sánchez等[20]針對(duì)云制造環(huán)境下語義描述的經(jīng)典措施存在的過分依賴于分類學(xué)/本體論結(jié)構(gòu)和適用性的問題，提出基于上下文和可擴(kuò)展版本分類學(xué)知識(shí)進(jìn)行IC計(jì)算，以避免措施的依賴性并最大限度地減少語言歧義；林廷宇等[21]對(duì)交互情景的各個(gè)事件進(jìn)行了語義描述，解決了組合中的冗余和互斥的問題，實(shí)現(xiàn)了動(dòng)態(tài)的組合；馮建周等[22]通過構(gòu)建語義關(guān)系圖，結(jié)合組合結(jié)構(gòu)模型、搜索算法、最優(yōu)的服務(wù)組合路徑，解決了因圖搜索中存在的搜索空間大導(dǎo)致的組合結(jié)構(gòu)不易表達(dá)的難題；周競(jìng)濤等[23]提出語義網(wǎng)格服務(wù)的集成方法，完成了從網(wǎng)絡(luò)語義互聯(lián)邏輯集成架構(gòu)向網(wǎng)格語義物理集成架構(gòu)的映射。

上述文獻(xiàn)均對(duì)云制造環(huán)境下的語義描述進(jìn)行了深度探究，而且頗有成果。但目前語義描述的重點(diǎn)依然在本體模型上，基于本體的語義描述研究旨在對(duì)資源、服務(wù)進(jìn)行高度的概括，并在概括的基礎(chǔ)上逐層分解并進(jìn)行詳細(xì)的解釋。雖然不乏相應(yīng)的改進(jìn)，但不難發(fā)現(xiàn)，依然存在資源描述實(shí)時(shí)更新緩慢和后續(xù)匹配的查全率、查準(zhǔn)率及效率低下的問題。

為了更快、更準(zhǔn)確地對(duì)資源和服務(wù)進(jìn)行描述，本文首次引入環(huán)境視頻(envideo)的概念，環(huán)境視頻意指包含所處環(huán)境空間內(nèi)容信息的視頻數(shù)據(jù)。因此，相對(duì)傳統(tǒng)的云制造資源的語義描述，環(huán)境視頻的多地關(guān)聯(lián)表示也為相似的環(huán)境場(chǎng)景的表達(dá)降低了工作量，且提高了云制造環(huán)境下資源匹配的效率。此外，視頻語義描述意在對(duì)視頻內(nèi)容涉及的資源進(jìn)行描述，具有對(duì)既定環(huán)境空間動(dòng)態(tài)、實(shí)時(shí)和真實(shí)感進(jìn)行表達(dá)的優(yōu)勢(shì)，不但符合現(xiàn)代人們直觀感知和認(rèn)知特點(diǎn)，而且在后續(xù)匹配方面更為客觀、全面，對(duì)于智慧城市的建造及云制造的廣泛推行具有重要意義。

1 環(huán)境視頻語義模型的層次結(jié)構(gòu)

環(huán)境視頻內(nèi)容變化的顯示表示的重點(diǎn)在于將環(huán)境視頻場(chǎng)景變化中的載體、驅(qū)動(dòng)力和呈現(xiàn)模式3個(gè)關(guān)鍵因素及其相互關(guān)系具體化為具有關(guān)聯(lián)性的環(huán)境實(shí)體和場(chǎng)景、對(duì)象行為和多層次事件對(duì)象，并依次抽象為相互關(guān)聯(lián)的特征域、行為過程域和結(jié)果域3個(gè)層次。為使復(fù)雜環(huán)境視頻中的不同視頻能關(guān)聯(lián)表示和推理，本文提出統(tǒng)一環(huán)境框架下的視頻語義，該框架如圖1所示。

(1)特征域(feature-domain) 環(huán)境實(shí)體和場(chǎng)景(Oen)作為特征對(duì)象，是環(huán)境變化的載體，環(huán)境實(shí)體既可以是具有改變自身狀態(tài)能力的對(duì)象，也可以是不具有主動(dòng)能力的對(duì)象，而場(chǎng)景通常表示為由各個(gè)不同的對(duì)象組成的狀態(tài)相對(duì)不變的對(duì)象組，由條件(C)、實(shí)例(I)、語義(Sen)和關(guān)系(R)4種元素描述，即Oen=({C},{I},{Sen}，{R})。其中：{C}約束表達(dá)Oen的環(huán)境范圍、結(jié)構(gòu)類型、狀態(tài)等性質(zhì)條件(二維圖像、三維模型)；{I}為{C}范圍下的對(duì)象結(jié)構(gòu)(柵格結(jié)構(gòu)、真三維幾何模型等)；{Sen}表示Oef的語義描述所需的特征參量與附加屬性，表達(dá)了Oen的變化條件和能力，通常由對(duì)象的特征語義和環(huán)境實(shí)現(xiàn)框架下的位置語義組成，位置語義由位置的相對(duì)或絕對(duì)描述、方位、拓?fù)浼岸攘康戎饕貥?gòu)成，而范圍、組成、色調(diào)、目的等位置的外延約束由此產(chǎn)生，在位置語義描述對(duì)象的空間分布及其關(guān)聯(lián)表達(dá)的基礎(chǔ)上，外延約束為事件的判斷提供依據(jù)；{R}表示Oen和行為與多層次事件映射關(guān)系(state mapping)。

(2)行為過程域(behavior process-domain) 對(duì)象行為(Oob)是視頻內(nèi)容變化的主要來源，與環(huán)境實(shí)體的空間關(guān)系、狀態(tài)等屬性的變化相適應(yīng)，也是視頻語義解析與分析的元單元，包括關(guān)鍵狀態(tài)(key state)、變化流程(variation process)、語義(semantics)及關(guān)系(relationship)4元素，即Oob=(KS(Oob),VP(Oob),{Sob},{R})。其中：KS(Oob)表示一系列生命周期關(guān)鍵狀態(tài)的顯形表達(dá)(開始、變化、停止?fàn)顟B(tài)等)；VP(Oob)指實(shí)體對(duì)象行為產(chǎn)生的環(huán)境單元描述、表達(dá)式或有序離散點(diǎn)描述的對(duì)象運(yùn)動(dòng)軌跡、對(duì)象內(nèi)部或?qū)ο箝g的關(guān)系變化軌跡，記為連續(xù)變化的非線性模型或離散變化的線性時(shí)間戳模型；{Sob}指Oob的行為變化、結(jié)果和影響的語義描述，由動(dòng)作語義和軌跡語義組成，動(dòng)作語義旨在描述對(duì)象行為類型和特點(diǎn)，強(qiáng)調(diào)特征如無參照的機(jī)加工件的切換、旋轉(zhuǎn)等及操作人員的動(dòng)作等動(dòng)作描述，有參照的其他操作人員的靠近、通過、離開等動(dòng)作描述；軌跡語義著重描述了行為的結(jié)果和影響，由軌跡特征語義(如車床的車削、鉆頭、車絲、滾花等)、軌跡地理語義(如加工對(duì)象、操作人員的移動(dòng)路線)以及軌跡關(guān)系(如相交、平行等)組成。在視頻對(duì)象依賴環(huán)境實(shí)體和場(chǎng)景的同時(shí)，環(huán)境實(shí)體和場(chǎng)景的特征語義描述也表現(xiàn)了對(duì)應(yīng)實(shí)體的行為能力，因此需對(duì)實(shí)際應(yīng)用中涉及的對(duì)象行為進(jìn)行定義和分類。{R}指Oob和多層次事件間的聚合關(guān)系，聚合作用表現(xiàn)為：對(duì)象行為需按自身滿足的語義關(guān)聯(lián)要素推理并構(gòu)建語義關(guān)聯(lián)關(guān)系行為鏈，為多層次事件表達(dá)的實(shí)現(xiàn)提供理論基礎(chǔ)。

相對(duì)于傳統(tǒng)語義描述時(shí)僅針對(duì)單個(gè)的實(shí)體和場(chǎng)景來說，多層環(huán)境視頻語義資源描述框架旨在對(duì)整個(gè)制造資源、制造流程及制造結(jié)果進(jìn)行描述，對(duì)整個(gè)制造過程的把控較強(qiáng)，后續(xù)基于語義相似度對(duì)制造過程中的實(shí)體和階段進(jìn)行相似排序，一旦中間環(huán)節(jié)出現(xiàn)問題能靈敏感知，在現(xiàn)有情況下迅速啟動(dòng)最優(yōu)方案，因此適用于時(shí)限要求精確和制造環(huán)境及制造流程相似的制造場(chǎng)景。與其優(yōu)勢(shì)對(duì)應(yīng)，多層環(huán)境視頻語義資源描述方法在存儲(chǔ)環(huán)節(jié)之前增加了語義相似度排序的過程，因此會(huì)相對(duì)增加計(jì)算量。此外，對(duì)于制造流程相差較大的某些制造場(chǎng)景來說，相似性較低，發(fā)生事故時(shí)匹配替代的可能性較小，其中間環(huán)節(jié)替代性較差，優(yōu)勢(shì)不明顯。

2 環(huán)境視頻數(shù)據(jù)的多層次表達(dá)

按視頻內(nèi)容的改變、對(duì)象行為的改變及對(duì)應(yīng)環(huán)境的改變劃分基礎(chǔ)研究對(duì)象，可將環(huán)境視頻分為環(huán)境視頻幀、環(huán)境視頻鏡頭和環(huán)境視頻鏡頭組3個(gè)層次，其中各層次的定義范圍和結(jié)構(gòu)特點(diǎn)如下：

(1)環(huán)境視頻幀(Oef) 是環(huán)境視頻數(shù)據(jù)最基礎(chǔ)的結(jié)構(gòu)和數(shù)據(jù)變更的分析單元，表示為Oef=({I}，{C}，{Sef}，{R})。其中：{I}為靜態(tài)圖像中和編碼格式相對(duì)應(yīng)的實(shí)體對(duì)象，分別分離提取相對(duì)動(dòng)態(tài)變化的環(huán)境實(shí)體和相對(duì)靜態(tài)不動(dòng)的場(chǎng)景實(shí)例化為前景和背景圖像；{C}為數(shù)據(jù)的基本屬性(分辨率、幀率、碼率、編碼格式等)；{Sef}主要負(fù)責(zé)對(duì)圖像的物理特征(成像參數(shù)、時(shí)刻、姿態(tài)、攝像方位等)及可選相關(guān)圖像的分離規(guī)則等的語義描述，與特征域內(nèi)各對(duì)象的相對(duì)應(yīng)；{R}為環(huán)境視頻鏡頭和環(huán)境視頻鏡頭組與Oef間狀態(tài)的映射關(guān)系。

(2)環(huán)境視頻鏡頭(Oes) 令環(huán)境視頻數(shù)據(jù)結(jié)構(gòu)化的動(dòng)態(tài)單元。過程域中的Oes表達(dá)式為Oes=(AP(Oef)，KS(Oef)，{Ses}，{R})。式中：AP(Oef)為基于狀態(tài)映射關(guān)系與相似性劃分后數(shù)據(jù)的環(huán)境視頻幀的有序序列，且該序列中的幀的語義項(xiàng){Sef}和實(shí)例化條件{C}的取值相似；KS(Oef)是AP(Oef)中語義項(xiàng)極值的一個(gè)環(huán)境視頻幀或具有相互不相關(guān)性最大的多個(gè)環(huán)境視頻幀；{Ses}包含對(duì)攝像機(jī)鏡頭外部以及解析出的鏡頭內(nèi)容中一系列對(duì)象行為的語義描述，與行為過程域中對(duì)象相對(duì)應(yīng)；{Ses}為在時(shí)間的約束下Oef能夠表現(xiàn)出更高維度信息的語義描述，如某時(shí)間段內(nèi)的語義等；{R}體現(xiàn)環(huán)境視頻鏡頭組與Oef在由AP(Oef)規(guī)定的聚合規(guī)則下的聚合關(guān)系。

(3)環(huán)境視頻鏡頭組(Oesg) 表現(xiàn)為特定規(guī)則下動(dòng)態(tài)發(fā)展形成的有序視頻鏡頭集。與傳統(tǒng)單攝像頭存儲(chǔ)的物理上連續(xù)的視頻場(chǎng)景實(shí)體對(duì)比，環(huán)境視頻鏡頭組為一組支持不同攝像機(jī)記錄實(shí)體對(duì)象及其運(yùn)動(dòng)軌跡的連續(xù)動(dòng)態(tài)且符合邏輯規(guī)律的環(huán)境視頻鏡頭[24]。針對(duì)事件域的Oesg表示為：Oesg=({RL}，{P(Oef)}，{Sesg}，{R})。式中：{RL}為支持關(guān)聯(lián)多地環(huán)境視頻鏡頭規(guī)則庫的子集；{P(Oef)}表示{RL}條件約束下遵循Oes-Oesg及Oes-Oesg遞歸嵌套聚合規(guī)則的環(huán)境視頻鏡頭集合，與基于相似性數(shù)據(jù)Oef與Oes間劃分不同的是Oes與Oesg間的聚合借助于環(huán)境視頻語義的關(guān)聯(lián)推理得以實(shí)現(xiàn)；{Sesg}綜合描述了Oesg內(nèi)容語義，表現(xiàn)了{(lán)P(Oes)}中{Ses}的關(guān)聯(lián)表示所能表達(dá)到的更高層次的含義，與事件域的對(duì)象對(duì)應(yīng)；{R}體現(xiàn)了Oesg對(duì)Oes的控制約束，這些約束大體分為兩大類：①環(huán)境視頻各場(chǎng)景間的時(shí)空約束(多分辨率、多視角和多視點(diǎn)等)；②環(huán)境視頻場(chǎng)景對(duì)象間的時(shí)空約束(對(duì)象間的時(shí)空拓?fù)潢P(guān)系以及事件間語義關(guān)系(原因影響、反饋與包含等))。至于實(shí)例應(yīng)用方面，語義關(guān)聯(lián)關(guān)系需要通過對(duì)各環(huán)境視頻鏡頭、環(huán)境視頻鏡頭組的視頻內(nèi)容進(jìn)行推理和判斷獲得。此外，將環(huán)境視頻鏡頭與環(huán)境視頻鏡頭組進(jìn)行關(guān)聯(lián)映射是對(duì)實(shí)體資源進(jìn)行多層次的語義描述的前提，換而言之，在實(shí)例應(yīng)用中環(huán)境鏡頭組實(shí)例取決于多層次描述實(shí)例。特定結(jié)果語義描述涉及的一組鏡頭對(duì)象聚合表示的內(nèi)容與儲(chǔ)存該結(jié)果鏡頭組相對(duì)應(yīng)，聚合后的環(huán)境鏡頭組不僅可以用于實(shí)現(xiàn)對(duì)各時(shí)空尺度內(nèi)不同實(shí)體資源進(jìn)行動(dòng)態(tài)實(shí)時(shí)的語義描述，還可以實(shí)現(xiàn)不同時(shí)空尺度的相同實(shí)體資源進(jìn)行相同的表達(dá)，有助于實(shí)現(xiàn)異地資源的無差異描述。此外，因時(shí)空分辨率不同，攝像機(jī)對(duì)同一資源內(nèi)容細(xì)節(jié)的層次表達(dá)的多鏡頭組的成像會(huì)有所不同。

多層次環(huán)境視頻語義模型結(jié)構(gòu)借助統(tǒng)一建模語言(Unified Modeling Language，UML)[25]進(jìn)行構(gòu)建。其中，環(huán)境視頻數(shù)據(jù)中3個(gè)遞進(jìn)聚合的粒度(環(huán)境視頻幀、環(huán)境視頻鏡頭及環(huán)境視頻鏡頭組)分別表達(dá)從EnvideoStructure衍生來的3個(gè)重要成員CEnvideoFrame、CEnvideoShot和CEnvideoGroup。為了成功對(duì)這些對(duì)象類成像信息和實(shí)際數(shù)據(jù)進(jìn)行描述，攝像機(jī)元數(shù)據(jù)和實(shí)際圖像編碼的附加類(CSimpleImage、CViewpoint、CCanera等)需明確定義，相關(guān)信息不僅是體現(xiàn)實(shí)際環(huán)境視頻數(shù)據(jù)的基礎(chǔ)，而且是后續(xù)推理判斷各環(huán)境視頻場(chǎng)景關(guān)聯(lián)表示的基礎(chǔ)。其中至關(guān)重要的是，為對(duì)環(huán)境視頻進(jìn)行語義描述，將已有的環(huán)境視頻數(shù)據(jù)映射出的視頻語義層次(環(huán)境實(shí)體和場(chǎng)景、實(shí)體對(duì)象行為和多層次資源描述)分別表示為從InnerSemanticObject[26]衍生來的3個(gè)重要成員CEnEntity、CObject Behavior、CHierarchical Result。此外，對(duì)環(huán)境場(chǎng)景內(nèi)對(duì)象內(nèi)容進(jìn)行語義描述的特征語義類(CProperty Semantic)、位置語義類(CLocation Semantics)、動(dòng)作語義類(CAction Semantics)及軌跡語義類(CTrajectory Sementics)進(jìn)行規(guī)范描述是描述環(huán)境視頻語義的前提。為此，本文重新設(shè)計(jì)了支持多環(huán)境視頻內(nèi)容和環(huán)境語義，以CEnReference Trans為母類的統(tǒng)一時(shí)空語義框架作為環(huán)境視頻語義類的關(guān)鍵變量。

傳統(tǒng)云制造環(huán)境下的資源語義描述是針對(duì)單個(gè)實(shí)體的逐層抽象映射，而環(huán)境視頻語義是對(duì)整個(gè)資源環(huán)境的描述，數(shù)據(jù)規(guī)模大幅增長，對(duì)相應(yīng)的技術(shù)也提出了較高要求，該語義描述方法涉及的應(yīng)用技術(shù)主要包括視頻分析技術(shù)和儲(chǔ)存技術(shù)。

視頻分析技術(shù)分為特征處理、語義分析、信息描述和視頻檢索4個(gè)主要部分。特征處理用以分析視頻的特點(diǎn)以及組成結(jié)構(gòu)，系統(tǒng)地選擇、建立、論證能夠有效反映視頻內(nèi)容的低層特征，從而能夠?qū)σ曨l內(nèi)的對(duì)象、場(chǎng)景以及高級(jí)情感語義進(jìn)行分析，可以采用顏色特征、紋理特征以及形狀特征進(jìn)行處理；語義分析是基于圖像理解、計(jì)算機(jī)視覺、模式識(shí)別等基礎(chǔ)算法，采用適合視頻語義的識(shí)別及理解模式，可以在低層與高層語義之間建立合理、普適的映射關(guān)系模型；視頻信息描述與編碼是基于已有標(biāo)準(zhǔn)進(jìn)行視頻的描述編碼，并在評(píng)價(jià)標(biāo)準(zhǔn)的基礎(chǔ)上進(jìn)行標(biāo)注；視頻檢索是視頻語義分析的主要應(yīng)用之一，視頻檢索工具的選擇范圍也比較廣泛。

目前普遍通用的是精確識(shí)別且儲(chǔ)存較大的視頻識(shí)別攝像頭，不同于更新滯后需對(duì)某一信息長時(shí)間儲(chǔ)存的語義描述信息，視頻語義信息的基本特點(diǎn)是動(dòng)態(tài)實(shí)時(shí)更新，在規(guī)定的任務(wù)時(shí)限內(nèi)及時(shí)更新，基本滿足數(shù)據(jù)存儲(chǔ)需求。因此，相關(guān)主要技術(shù)已較為成熟，可以為本文描述方法提供技術(shù)支撐。

3 實(shí)例分析

本文以實(shí)例場(chǎng)景作為視頻數(shù)據(jù)來源進(jìn)行視頻語義的模擬分析，采用所提的環(huán)境視頻語義模型實(shí)現(xiàn)對(duì)特定的視頻數(shù)據(jù)的實(shí)時(shí)動(dòng)態(tài)元數(shù)據(jù)描述和關(guān)聯(lián)表達(dá)。實(shí)例數(shù)據(jù)選用Flexsim7.5模擬的簡化某生產(chǎn)車間場(chǎng)景的實(shí)體對(duì)象，采用編號(hào)依次為O-01至O-17的實(shí)體對(duì)象，分別代表整個(gè)實(shí)體場(chǎng)景中的各設(shè)備及工作人員。

生產(chǎn)車間視頻數(shù)據(jù)的多層語義描述要素主要由3部分構(gòu)成：①特征域，以環(huán)境視頻幀為基本分析單元，將3大類特征要素，即人員(管理者、操作者及后勤保障者等)、設(shè)備(加工設(shè)備、移動(dòng)設(shè)備和倉儲(chǔ)設(shè)備等)和環(huán)境構(gòu)成(空間大小和結(jié)構(gòu))從動(dòng)態(tài)實(shí)時(shí)變化的環(huán)境視頻中解析出來。依據(jù)開放地理空間信息聯(lián)盟(Open Geospatial Consortium，OGC)中室內(nèi)多維位置信息標(biāo)識(shí)語言(Indoor Geospatial Multidimensional Language，IndoorGML)標(biāo)準(zhǔn)對(duì)場(chǎng)景環(huán)境單元進(jìn)行描述，囊括了特定時(shí)間內(nèi)室內(nèi)各物體的位置、聯(lián)通等三維關(guān)系及室內(nèi)各物體的包含關(guān)系等語義關(guān)系，為后續(xù)各實(shí)物的位置和軌跡語義的表達(dá)提供可靠來源。②行為過程域，按圖像像素域的物理特征(光學(xué)和視覺等)及圖像壓縮域編碼規(guī)則的相似性閾值分解出特定實(shí)物行為改變的環(huán)境視頻鏡頭，并解析該實(shí)物的“合法”性行為(符合既定命令及要求的行為域)和“非法”性行為(不符合既定命令及要求的行為域)。③結(jié)果域，針對(duì)整個(gè)場(chǎng)景的緊急命令和緊急事件等，將與該命令和事件有關(guān)的鏡頭聚合成符合特定邏輯關(guān)系的環(huán)境視頻鏡頭組。具體結(jié)構(gòu)如表1所示。

表1 生產(chǎn)車間模擬視頻監(jiān)控三要素

表2所示為該生產(chǎn)車間模擬視頻監(jiān)控場(chǎng)景在某一時(shí)段內(nèi)可能的包含人員活動(dòng)的若干車間內(nèi)的環(huán)境視頻鏡頭，主要描述了該場(chǎng)景涉及的實(shí)體對(duì)象關(guān)聯(lián)分析所需的位置和軌跡語義。由表2描述可得：該組環(huán)境視頻鏡頭主要保留了該生產(chǎn)車間內(nèi)兩名操作員工和若干操作設(shè)備的生產(chǎn)環(huán)境所涉及的行為，其中搬運(yùn)工07和搬運(yùn)工08的軌跡語義表明他們的工作活動(dòng)范圍、生產(chǎn)產(chǎn)品種類及工作量等。對(duì)于設(shè)備來說，自身的工作情況則由產(chǎn)出物品的位置語義和軌跡語義來體現(xiàn)，同時(shí)可以根據(jù)操作員和各設(shè)備的工作量來預(yù)測(cè)任務(wù)的分配情況與執(zhí)行情況的匹配程度，進(jìn)而為云制造環(huán)境下各種資源匹配的合理性和精確性提供實(shí)時(shí)動(dòng)態(tài)可靠的數(shù)據(jù)來源。

結(jié)合表2中生產(chǎn)車間內(nèi)場(chǎng)景在統(tǒng)一時(shí)空框架下的位置語義，該組環(huán)境視頻鏡頭中生產(chǎn)車間環(huán)境場(chǎng)景視頻局部圖如圖2所示。模擬監(jiān)控視頻描述了一段時(shí)間內(nèi)某一生產(chǎn)車間內(nèi)的3種產(chǎn)品經(jīng)由分配后先暫存于03號(hào)暫存區(qū)，再經(jīng)由兩名搬運(yùn)工搬運(yùn)至各自對(duì)應(yīng)的處理器上，進(jìn)而經(jīng)過傳送帶傳送至13號(hào)暫存區(qū)，最后通過叉車移至各自貨架上的活動(dòng)過程。環(huán)境視頻鏡頭記錄的各場(chǎng)景實(shí)體、位置及軌跡數(shù)據(jù)，是對(duì)任務(wù)命令的執(zhí)行、完成情況以及現(xiàn)有可用資源進(jìn)行實(shí)時(shí)有效語義描述的主要依據(jù)。本案例通過對(duì)動(dòng)態(tài)實(shí)時(shí)的各環(huán)境視頻數(shù)據(jù)進(jìn)行處理，模擬描述了某一時(shí)間段生產(chǎn)車間內(nèi)不同實(shí)體對(duì)象的生產(chǎn)活動(dòng)。

表2 生產(chǎn)車間模擬視頻實(shí)例的語義描述

實(shí)際應(yīng)用中的制造資源構(gòu)成的場(chǎng)景涉及到的實(shí)體單元通常較多，因此，視頻規(guī)模一般也較大。針對(duì)該情況下的計(jì)算效率本文分兩個(gè)角度解釋：

(1)對(duì)視頻語義描述的結(jié)果而言，該描述方法意在對(duì)視頻內(nèi)部的所有制造資源進(jìn)行描述，但對(duì)特定企業(yè)來說，并不是所有企業(yè)的制造資源都參與制造任務(wù)，觸發(fā)制造事件。針對(duì)閑置的資源，狀態(tài)較單一，可以保留其更新狀態(tài)直至其狀態(tài)發(fā)生改變。因此，為降低計(jì)算效率，在中間過程環(huán)節(jié)可以截取部分必需的制造過程進(jìn)行計(jì)算，盡可能地減少無效計(jì)算。

(2)該描述方法適用于多地視頻的關(guān)聯(lián)統(tǒng)一表達(dá)。在對(duì)異地實(shí)體資源進(jìn)行視頻語義描述的基礎(chǔ)上，各環(huán)境視頻幀、環(huán)境視頻鏡頭和鏡頭組由空間、時(shí)間、對(duì)象(人、設(shè)備及環(huán)境單元等)等多維語義信息靈活地運(yùn)用于時(shí)空語義一體化的高維索引構(gòu)建中，有助于建立動(dòng)態(tài)實(shí)時(shí)的資源云池及海量監(jiān)控視頻搜索任務(wù)的關(guān)聯(lián)約束。在后續(xù)存儲(chǔ)環(huán)節(jié)會(huì)將關(guān)聯(lián)約束的視頻統(tǒng)一儲(chǔ)存組成具有某種特定功能的視頻集，在既定的任務(wù)需求下，匹配時(shí)僅需搜索既定的視頻集，以避免整個(gè)資源池的匹配搜索，極大地縮小資源云池內(nèi)的搜索范圍，顯著提高后續(xù)云環(huán)境下視頻語義的計(jì)算和資源匹配的效率。

4 結(jié)束語

本文針對(duì)傳統(tǒng)云制造環(huán)境下資源語義描述方法單一且靜態(tài)的局限性，創(chuàng)新性地提出一種基于視頻特征提取的特征—行為過程—結(jié)果的多層次環(huán)境視頻語義描述模型，該模型的創(chuàng)新點(diǎn)包括：①通過對(duì)環(huán)境視頻內(nèi)容變化的表達(dá)，綜合考慮環(huán)境視頻數(shù)據(jù)和內(nèi)容變化的基本維度，實(shí)現(xiàn)了視頻數(shù)據(jù)和場(chǎng)景的描述與映射規(guī)則的統(tǒng)一；②打破了傳統(tǒng)云制造環(huán)境下的現(xiàn)有資源“理想最優(yōu)”的局限，為匹配計(jì)劃的可靠執(zhí)行提供了支撐，為云制造的后續(xù)各環(huán)節(jié)的有序高效進(jìn)行提供了保障；③將環(huán)境資源語義與視頻內(nèi)容語義有效結(jié)合起來，支持多地視頻數(shù)據(jù)語義描述的關(guān)聯(lián)表示，降低資源語義描述工作量的同時(shí)，提高了語義描述的效率。通過實(shí)例表明：模型不僅實(shí)現(xiàn)了多地環(huán)境視頻內(nèi)容和環(huán)境的語義映射，而且實(shí)現(xiàn)了視頻面向云制造環(huán)境下動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)特征和多視頻間的關(guān)聯(lián)性表達(dá)的功能，并基于此完成了對(duì)全生命周期內(nèi)多階段任務(wù)完成情況的感知和理解，進(jìn)而建立視頻語義資源云池及視頻搜索任務(wù)的關(guān)聯(lián)約束，從而提高了各云制造單元的動(dòng)態(tài)實(shí)時(shí)描述的復(fù)雜關(guān)系的計(jì)算能力與表達(dá)效率。此外，環(huán)境視頻語義描述的實(shí)行將大大降低云制造資源云池的構(gòu)建難度，為云制造在廣大企業(yè)的推廣運(yùn)用奠定了基礎(chǔ)。

未來將在現(xiàn)有模型的基礎(chǔ)上，綜合考慮云制造環(huán)境下各用戶間環(huán)境視頻語義關(guān)聯(lián)表示的各項(xiàng)指標(biāo)、閾值和計(jì)算模型，為云制造環(huán)境下分布式環(huán)境視頻大數(shù)據(jù)的語義關(guān)聯(lián)的自適應(yīng)、高效存儲(chǔ)管理及關(guān)聯(lián)檢索等進(jìn)一步的實(shí)際應(yīng)用提供定量的基礎(chǔ)理論支撐。