王耀南　陳鐵健

摘要：認為發(fā)展智慧工廠和智能制造裝備的關鍵技術是環(huán)境感知和智能控制技術。結合智慧工廠特點，提出了一種機器視覺感知控制系統(tǒng)原理方案，并對各個關鍵核心技術進行分析。還提出了一種基于云計算的機器視覺感知控制系統(tǒng)方案，用于解決各種視覺控制應用的高實時性需求與計算復雜度極高之間的矛盾。該方案中還有一些技術需要進一步研究，包括先進工業(yè)成像技術、云計算平臺負載平衡技術、云計算平臺中的自動化圖像處理流程設計等。

關鍵詞：智慧工廠；機器視覺；感知控制；云計算

Abstract： The key technology in smart factory and intelligent manufacturing is environment sensing and autonomous control. In this paper， a machine vision perception and control system design is proposed， and key technologies are also analyzed. Additionally， the cloud computing-based machine vision perception and control system design is also proposed， which is utilized to solve the conflicts between real-time requirements and high computing complexity of image processing. In this design scheme， some techniques need to be further studied， including advanced industrial imaging technology， cloud computing platform load balancing technology， process design of automated image in cloud computing platform and so on.

Key words： smart factory； machine vision； perception and control； cloud computing

當前，全球制造業(yè)格局面臨著重大調整，新一代信息技術與制造業(yè)深度融合，正在引發(fā)影響深遠的產(chǎn)業(yè)變革，形成新的生產(chǎn)方式、產(chǎn)業(yè)形態(tài)、商業(yè)模式和經(jīng)濟增長點。

各國都在加大科技創(chuàng)新力度，制訂了多個智能制造產(chǎn)業(yè)發(fā)展計劃，包括德國的“工業(yè)4.0”計劃[1]，美國的“制造業(yè)回歸”計劃，中國的“中國制造2025”計劃[2]，日本的“2015制造白皮書”等。在最具代表性的“工業(yè)4.0”計劃中，提出了第4次工業(yè)革命的概念。在該智能制造模式中，信息物理系統(tǒng)（CPS）[3-5]通過將物聯(lián)網(wǎng)、服務網(wǎng)絡、社會網(wǎng)絡有機結合，實現(xiàn)智能機器、存儲系統(tǒng)、生產(chǎn)設施、物流和定制服務等各個生產(chǎn)-消費要素相互獨立地自動交換信息、觸發(fā)動作和控制，從根本上改善包括制造、工程、材料使用、供應鏈和生命周期管理的工業(yè)過程，生產(chǎn)出智能產(chǎn)品，大幅度提高服務質量，降低設備閑置率、生產(chǎn)時間、能源消耗和制造成本。

工業(yè)4.0的核心在于智慧工廠，它是實現(xiàn)高質量定制產(chǎn)品和智能產(chǎn)品的關鍵[6]。在工業(yè)4.0框架下，發(fā)展智慧工廠和智能制造裝備需要解決多個關鍵技術難題，諸如精密機構設計、高性能材料、高速網(wǎng)絡通信、云計算平臺、環(huán)境感知和智能控制等信息處理方法、系統(tǒng)可靠性等。其中，環(huán)境感知和智能控制技術作為智慧工廠高適應性、高精度、智能化作業(yè)的根本保障，是必須首先解決的關鍵技術難題。在工業(yè)4.0框架下，智慧工廠的感知和控制技術必須具備高速、高精度、模塊化、智能化、無損感知等特點，能夠根據(jù)不同的任務實現(xiàn)自主配置和自適應調節(jié)，滿足定制和個性化產(chǎn)品的自適應制造，然而傳統(tǒng)的感知控制技術無法滿足上述需求，因此研究適應智慧工廠需求的新型環(huán)境感知和智能控制技術十分必要。

1 機器視覺感知與控制

關鍵技術

機器視覺感知與控制技術是解決智慧工廠環(huán)境感知和自主控制這一技術難題的關鍵。機器視覺檢測與控制技術是采用機器視覺、機器手代替人眼、人腦、人手來進行檢測、測量、分析、判斷和決策控制的智能測控技術[9]，是人類模仿自身視覺感知能力實現(xiàn)自動化測量和控制的重要手段，能夠同時滿足智慧工廠環(huán)境感知和自主控制的多項需求。機器視覺感知控制技術可用于智慧工廠中的精密制造自動化生產(chǎn)線、智能機器人、在線檢測裝備[10]、細微操作、工程機械、虛擬現(xiàn)實產(chǎn)品設計[11]等多個領域，在提高航空航天[12]、軍工、汽車、電子、精密儀器等行業(yè)自動化加工制造水平，保障產(chǎn)品質量等方面發(fā)揮巨大作用。因此，機器視覺感知控制技術是工業(yè)4.0框架中不可或缺的重要組成部分。

1.1 智慧工廠中的機器視覺感知控制

系統(tǒng)方案

智慧工廠屬于復雜系統(tǒng)，應用環(huán)境特殊，對機器視覺感知控制技術的準確率、實時性、重復性有著極高的要求。針對這一難題，我們提出了如圖1所示的智慧工廠機器視覺感知控制系統(tǒng)方案。在該系統(tǒng)方案中，根據(jù)應用需求，首先設計智能視覺成像系統(tǒng)和自動化圖像獲取機構，自動獲取檢測對象的高質量圖像；獲取的圖像經(jīng)過去噪增強、分割、配準融合、拼接等圖像預處理步驟，改善獲取圖像質量；然后采用目標定位與分割算法、目標檢測與識別算法，智能分類與判別等圖像處理過程，實現(xiàn)對檢測對象的識別、檢測、分析、測量。同時，從圖像處理中得到的目標位姿信息可用于基于視覺的高速運動精確位置與恰當力的優(yōu)化控制。

1.2 工業(yè)成像系統(tǒng)的關鍵技術

工業(yè)成像系統(tǒng)包括光學、成像、處理3部分。其中，光學部分由光源、光學系統(tǒng)構成，光源主要用于在成像對象表面上產(chǎn)生光場，常用的光源包括發(fā)光二級管（LED）光源、結構光等；光學系統(tǒng)主要實現(xiàn)光路控制，并將光信號聚焦到成像平面上。成像部分主要由圖像傳感器構成，將入射光轉化為電信號，并經(jīng)過放大、調理、A/D轉換和讀出，就可以得到數(shù)字圖像[13]。處理部分由通信電路、圖像處理器和處理算法構成，獲取的圖像通過通信電路和協(xié)議傳輸?shù)綀D像處理器中，并采用圖像處理算法進行實時處理，提取出視覺信息用于智能制造裝備的檢測和控制。

1.3 自動圖像獲取的關鍵技術

精密成像機構是自動圖像獲取的關鍵，它可以實現(xiàn)對成像位置、視角、分辨率、質量、數(shù)量等參數(shù)的精密控制。為適應不同成像對象和裝備機械結構，多種自動圖像獲取方法和精密成像機構被提出，主要包括：高速運動序列圖像獲取、位置觸發(fā)成像、顯微成像、眼手圖像獲取、全方位圖像獲取、立體視覺成像[14]、線掃描成像、點云成像等關鍵技術。

1.4 圖像預處理的關鍵技術

圖像預處理方法主要包括去噪、增強、配準、融合、拼接，通過圖像預處理可提高圖像質量，降低圖像識別和分類的難度，從而保證檢測控制的精度。

圖像去噪增強主要用于消除獲取圖像中包含的鹽椒、高斯等多種噪聲，并通過特征結構增強改善可能存在的對比度低，邊界模糊和運動模糊等現(xiàn)象[15]。常用的去噪方法包括空間域濾波方法、變換域濾波方法、基于偏微分的圖像去噪方法、 基于相似性的圖像去噪方法、全變分圖像去噪等。常用的圖像增強方法包括直方圖均衡化、匹配、校正，圖像銳化方法[16]，基于視覺模型的增強方法[17]，運動模糊去除方法等。

多源圖像融合可以去除冗余信息，提高單幅圖像所包含的信息量。圖像融合[18]主要基于圖像分解和重構，其中多分辨率圖像分析是最常用的圖像分解方法，包括小波變換、金字塔形或樹狀小波幀變換、幾何分析小波，以及稀疏表示等；在重構過程中，根據(jù)統(tǒng)計模型或其他融合規(guī)則對圖像分解系數(shù)進行融合，經(jīng)過逆變換得到融合圖像。

對不同位姿獲取的圖像進行配準，可以將多幅圖像對齊到單個圖像坐標系下，實現(xiàn)多幅圖像拼接，還可以實現(xiàn)圖像偏差測量。在圖像配準過程中，輸入多源圖像經(jīng)過特征檢測、匹配、變換模型估計、圖像重采樣和空間變換，得到相同目標在不同圖像中的匹配關系，最后根據(jù)變換模型對圖像進行空間變換和重采樣，獲得配準后的圖像。

1.5圖像定位分割的關鍵技術

在成像過程中由于運動控制方式和機械電氣誤差，圖像中對象位置并不固定，因此需要進行目標定位和檢測區(qū)域分割。

對于背景簡單、特征明顯對象，可以利用目標邊界、幾何形狀特征等先驗知識， 實現(xiàn)目標定位和檢測區(qū)域提取。對于復雜背景下且特征模糊對象，可采用基于圖像分割的定位和檢測區(qū)域提取方法[19]，如閾值分割方法、區(qū)域生長法、分水嶺分割算法、聚類分割方法、基于圖的分割方法、基于主動輪廓的分割方法、神經(jīng)網(wǎng)絡圖像分割方法等關鍵技術。

1.6 圖像識別檢測的關鍵技術

通過圖像識別檢測，可實現(xiàn)目標識別和分類、缺陷檢測、視覺測量等功能，從而滿足智慧工廠多樣化的應用需求。

圖像識別可通過對分割后圖像特征分析，序列圖像運動分析和模式匹配等方法實現(xiàn)。識別目標多表現(xiàn)為灰度或紋理均勻的閉合區(qū)域，利用檢測對象輪廓等不變性特征和形狀、面積、灰度、紋理等先驗信息，對分割后圖像進行特征分析，即可實現(xiàn)圖像識別。在基于模式匹配的識別方法中，模式可以用點集、輪廓、骨架來表示[20]，匹配過程可采用動態(tài)規(guī)劃、最優(yōu)化、最大似然、圖匹配方法、Patmax方法等[21]，得到對象位移、旋轉、尺度、形變等參數(shù)。

圖像檢測可實現(xiàn)對缺陷、特定結構及特征的檢測，由于檢測目標在尺寸、灰度、紋理等特征方面與背景差異較大，因此圖像檢測主要通過特征分析實現(xiàn)。針對不同應用，多種特征分析方法被提出，主要包括基于紋理分析的檢測方法、基于局部特征的檢測算法、基于模板匹配的缺陷檢測方法等。

圖像分類是實現(xiàn)圖像識別、檢測、決策的關鍵，其精度直接決定最終檢測識別結果。常用的分類方法包括模糊方法、神經(jīng)網(wǎng)絡方法、支持向量機、極限學習機、深度學習等機器學習方法。機器學習方法能夠模仿人的學習能力，處理非線性等復雜問題，提高圖像分類決策的智能化程度。然而當前主要問題在于圖像分類精度不理想，特別是對于復雜高維數(shù)據(jù)、非均衡數(shù)據(jù)集等，同時圖像空間域與特征域的建模也是一大難點。

1.7 視覺伺服與優(yōu)化控制的關鍵技術

智慧工廠根據(jù)視覺檢測識別和位姿測量結果，引導精密伺服運動控制系統(tǒng)可控制機器人完成定位、抓取、分揀、組裝、灌裝、裝配等復雜自適應作業(yè)。視覺伺服運動控制基本原理如圖2所示，視覺控制率根據(jù)視覺誤差產(chǎn)生控制量，驅動機器人的關節(jié)運動，完成給定作業(yè)。其中視覺誤差定義為給定特征向量和視覺信息反饋之間的差值。

在反饋環(huán)節(jié)，通過成像參數(shù)、控制對象模型等信息，將當前圖像特征的測量值轉化為與給定特征向量同類型的測量值。根據(jù)特征向量類型，可分為基于位置的視覺伺服（PBVS）、基于圖像的視覺伺服（IBVS）、混合視覺伺服和直接視覺伺服等[22-23]。其中PBVS采用機器人末端空間位姿作為反饋，IBVS將圖像特征作為反饋，而混合視覺伺服則將一種擴展圖像坐標特征作為反饋。針對傳統(tǒng)方法未充分利用圖像信息這一不足，直接視覺伺服方法將整幅圖像作為反饋，通過最優(yōu)化方法得到視覺伺服中的位姿信息，改善視覺伺服的精度和魯棒性。與其他控制方法相比，視覺伺服控制的主要難點在于視覺反饋信息的測量和視覺控制率的確立。

在智慧工廠中，智能制造系統(tǒng)需要自動化生產(chǎn)線上多種智能制造裝備協(xié)同工作，是一種典型的高階、非線性、強耦合的多變量系統(tǒng)。針對這一難題，可采用多機器人手眼協(xié)調控制，將機器人逆運動學分析、軌跡規(guī)劃、多機器人協(xié)同控制、力/位混合控制、多感知控制等智能控制技術用于視覺伺服中，實現(xiàn)多機器人關節(jié)空間的協(xié)同視覺伺服控制，提高控制精度和智能化程度。

2 智慧工廠機器感知控制

的云計算平臺設計

在智慧工廠中，機器感知控制技術主要用于解決特定的制造作業(yè)，如目標識別和位姿測量，產(chǎn)品質量和缺陷檢測、物理量測量、目標三維建模、視覺伺服作業(yè)等。在這些應用中，由于實時獲取的圖像本身數(shù)據(jù)量較大，且圖像處理過程通常較為復雜，導致整個信息處理過程計算量復雜度極高，采用傳統(tǒng)的裝備側運算資源難以滿足上述應用對于實時性的要求。針對這一難題，在工業(yè)4.0框架下，智能制造過程中獲取的實時圖像數(shù)據(jù)通過高速通信網(wǎng)絡傳輸?shù)皆朴嬎闫脚_中，利用云端極強的運算能力和計算負載平衡方法，可以滿足各種機器感知控制算法應用的實時性、檢測控制精度、穩(wěn)定性極高的需求。

智慧工廠中的機器視覺感知控制的云計算平臺可采用如圖3所示的系統(tǒng)方案，該云平臺主要有3部分構成[23]，分別為裝備抽象層、機器視覺感知控制算法層和智能制造數(shù)據(jù)庫。裝備抽象層主要對各種制造裝備進行抽象，得到裝備的成像系統(tǒng)模型、控制系統(tǒng)模型等，作為環(huán)境感知和自主控制的基礎。算法層主要包括各種圖像去噪增強、配準融合、目標定位、檢測區(qū)域分割、目標識別、特征檢測、機器學習、視覺伺服控制等信息處理方法，實現(xiàn)從獲取的圖像中提取出目標的位姿、特征、類型等信息，滿足智慧工廠各種應用對于信息服務的需求。智能制造數(shù)據(jù)庫主要包括感知和控制目標數(shù)據(jù)庫、圖像處理流程數(shù)據(jù)庫等，主要用于存儲、配置和統(tǒng)計制造過程中的物流、制造參數(shù)、信息處理流程等，是實現(xiàn)柔性制造和高質量定制產(chǎn)品制造的關鍵。

與傳統(tǒng)的機器視覺感知控制系統(tǒng)相比，上述基于云平臺的實現(xiàn)可以大幅度提高系統(tǒng)的可擴展性、可重構性等，同時也降低了系統(tǒng)開發(fā)的難度和成本，有利于在智慧工廠中普遍推廣應用機器視覺感知控制技術，提高環(huán)境感知和自主控制的智能化程度。

3 總結與展望

智慧工廠是一個復雜系統(tǒng)，通過智能制造裝備、大數(shù)據(jù)、云計算平臺和信息物理系統(tǒng)的應用，可滿足極其復雜的制造過程協(xié)同控制的需求，大幅度提高制造過程的智能化和自主化程度。機器視覺感知控制技術是解決智慧工廠環(huán)境感知和自主控制這一難題的關鍵，而云計算技術則能夠解決各種視覺應用高實時性需求與圖像運算復雜度極高之間的矛盾，因此發(fā)展機器視覺感知控制云計算平臺對于智慧工廠來說十分重要。針對這一難題，我們分別對機器視覺感知控制技術進行綜述，并提出了一種機器視覺感知控制云計算平臺設計方案，在該方案中有以下關鍵技術難題有待進一步研究：

（1）先進工業(yè)成像技術。當前采用的成像技術大多局限于可見光成像，導致在某些應用中獲得的圖像特異性差，不能夠全面體現(xiàn)被檢對象特征。為此需要從光源頻譜控制、先進陣列感知、信號調理等方面全面研究成像技術，探索不同類型對象與電磁波相互作用和成像的新現(xiàn)象、新原理、新方法。將多種先進成像技術，如高光譜成像、激光掃描成像、干涉/衍射成像、層析成像、太赫茲成像、電容成像等應用于工業(yè)視覺檢測和控制，豐富視覺感知手段。

（2）云計算平臺負載平衡技術。圖像大數(shù)據(jù)與其他信息不同，具有流數(shù)據(jù)的特點，如何在云計算平臺中實現(xiàn)對制造過程獲取的圖像大數(shù)據(jù)進行實時處理一直是困擾智能制造的一個技術難題。因此，研究云計算平臺中的負載平衡技術，將圖像處理步驟分散到各個節(jié)點中，結合流數(shù)據(jù)處理特點，實現(xiàn)并行圖像處理，成為解決這一難題的關鍵。

（3）云計算平臺中的自動化圖像處理流程設計。圖像處理過程通常由多個圖像處理步驟構成，而每個步驟都可以采用多種處理算法，同時由于不同應用圖像特征和任務目標各異，造成圖像處理流程設計困難。為解決這一難題，需研究自動化圖像處理流程設計方法，首先分析不同圖像處理算法的特點，以及達到的處理效果，并分析參數(shù)對于圖像處理結果的影響，然后根據(jù)任務、先驗知識和圖像特征，選擇最優(yōu)圖像處理算法和參數(shù)，實現(xiàn)自動化圖像處理流程設計。

（4）智慧工廠機器魯棒感知控制的高穩(wěn)定性、高可靠性和適應性研究。由于機器感知圖像信息屬于非線性多維信息，在應用中存在多種不確定性，限制了智慧工廠制造裝備的穩(wěn)定性和可靠性。為此需要研究機器感知應用的穩(wěn)定性、可靠性控制方法，以及誤差控制方法，消除不確定性，提高智慧工廠的自適應能力。

（5）智慧工廠機器深度學習技術研究。建立智能化工廠是企業(yè)未來發(fā)展的需要。不論是食品行業(yè)還是其他行業(yè)，最初的生產(chǎn)都是大批量生產(chǎn)，隨著技術及時代的發(fā)展，市場上產(chǎn)品同質化越來越嚴重；另一方面客戶的個性化需求逐漸增強，迫使企業(yè)由大批量生產(chǎn)轉向多品種小批量生產(chǎn)，更進一步，將逐步轉向個性化定制生產(chǎn)。市場需求的變化使得各行各業(yè)逐步開始進行轉型升級，要求生產(chǎn)線具有高度的柔性，能夠進行模塊化的組合，以滿足生產(chǎn)不同產(chǎn)品的需求。與此同時，為了響應客戶的需求，需要及時對客戶的信息進行收集、處理及反饋，也促使企業(yè)開始關注自己的數(shù)字化、信息化建設，各種實用的系統(tǒng)逐步上線；更進一步為了提升生產(chǎn)效率，使得設備與設備之間、設備與人之間要有信息互通和良好的交互，又要求利用相關技術實現(xiàn)互聯(lián)。在工業(yè)4.0概念中對于智能化要求的描述是設備自適應柔性制造、信息感知及端到端溝通，并具有預警和自診斷能力。為此需研究深度學習的機器感知、機器認知，以提高智慧工廠的自適應柔性制造能力。

參考文獻

[1] 德國聯(lián)邦教育研究部. 德國工業(yè)4.0戰(zhàn)略計劃實施建議[R]. 2013

[2] 中國國務院. 國務院關于印發(fā)《中國制造2025》的通知[R/OL].（2015-05-19）[2016-05-09].http：//www.mof.gov.cn/zhengwux inxi/zhengcefabu/201505/t20150519_1233751.htm， 2015. Online； accessed 19-Mar.-2016

[3] SHETH A， ANANTHARAM P， HENSON C. Physical-Cyber-Social Computing： An Early 21st Century Approach [J]. IEEE Intelligent Systems， 2013， 28（1）：78-82. DOI： 10.1109/MIS.2013.20

[4] ILIC M D， XIE L， KHAN U A， et al. Modeling of Future Cyber-Physical Energy Systems for Distributed Sensing and Control[J]. IEEE Transactions on Systems， Man， and Cybernetics-Part A： Systems and Humans， 2010， 4（40）：825-838. DOI： 10.1109/TSMCA.2010.2048026

[5] DERLER P， LEE E A， VINCENTELLI A S. Modeling Cyber-Physical Systems [J]. Proceedings of the IEEE， 2012， 100（1）：13-28. DOI： 10.1109/JPROC.2011.2160929

[6] PEREZ F， IRISARRI E， ORIVE D， et al. A CPPS Architecture Approach for Industry 4.0[C]// Proceeding of Emerging Technologies & Factory Automation （ETFA）， 2015 IEEE 20th Conference on. USA： IEEE， 2015， 1-4

[7] WANG F Y. The Emergence of Intelligent Enterprises： From CPS to CPSS [J]. IEEE Intelligent Systems， 2010， 25（4）：85-88. DOI： 10.1109/MIS.2010.104

[8] CHENG F T， TIENG H， YANG H C， et al. Industry 4.1 for Wheel Machining Automation [J]. IEEE Robotics and Automation Letters， 2016， 1（1）：332-339.DOI： 10.1109/LRA.2016.2517208

[9] 王耀南， 陳鐵健， 賀振東，等. 智能制造裝備機器視覺感知控制方法綜述[J]. 控制理論與應用. 2015： 32（3）： 273-286

[10] 張輝， 王耀南， 周博文. 基于機器視覺的液體藥品異物檢測系統(tǒng)研究[J]. 儀器儀表學報， 2009， 30（3）：548-553

[11] SAMPIGETHAYA K， POOVENDRAN R. Aviation Cyber-Physical Systems： Foundations for Future Aircraft and Air Transport [J]. Proceedings of the IEEE， 2013， 101（8）：1834-1855. DOI： 10.1109/JPROC.2012.2235131

[12] GATTULLO M， UVAA E， FIORENTINO M， et al. Legibility in Industrial AR： Text Style， Color Coding， and Illuminance [J]. IEEE Computer Graphics and Applications， 2015， 35（2）：52-61. DOI： 10.1109/MCG.2015.36

[13] YADID P O， ETIENNE C R. CMOS Imagers： from Photo Transduction to Image Processing [M]. Germany： Kluwer Academic Publishers， 2004

[14] 余洪山， 趙科， 王耀南， 等. 融合2D/3D 攝像機的方法與獲取高精度三維視覺信息的裝置[J]. 控制理論與應用， 2014， 31（10）：1383-1392

[15] BUADES A， COLL B， MOREL J M. A Review of Image Denoising Algorithms， with a New One [J]. Multiscale Modeling & Simulation， 2005， 4（2）：490-530

[16] POLESEL A， RAMPONI G， MATHEWS V J， et al. Image Enhancement via Adaptive Unsharp Masking [J]. IEEE Transactions on Image Processing， 2000， 9（3）：505-510

[17] RAHMAN Z U， JOBSON D J， WOODELL G A. Retinex Processing for Automatic Image Enhancement [J]. Journal of Electronic Imaging， 2004， 13（1）：100-110

[18] 王耀南， 李樹濤. 多傳感器信息融合及其應用綜述[J]. 控制與決策， 2001，16（5）：518-522

[19] SEERHA G K， KAUR R. Review on Recent Image Segmentation Techniques [J]. International Journal on Computer Science and Engineering， 2013， 5（2）：109

[20] SILVER W M， MCGARRY E J， HILL M L， et al. Method for Fast， Robust， Multi-Dimensional Pattern Recognition [P]： 7016539. 2006-03-21

[21] CHAUMETTE F， HUTCHINSON S. Visual Servo Control. I. Basic Approaches [J]. IEEE Robotics &Automation Magazine， 2006， 13（4）：82-90

[22] CHAUMETTE F， HUTCHINSON S. Visual Servo Control. II. Advanced Approaches [J]. IEEE Robotics & Automation Magazine， 2007， 14（1）：109-118

[23] DRATH R， HORCH A. Industrie 4.0： Hit or hype？[J]. IEEE Industrial Electronics Magazine， 2014， 8（2）：56-58