茅靳豐 朱國棟 張虎 宋威

解放軍理工大學(xué)國防工程學(xué)院

風(fēng)管清掃機(jī)器人智能清潔度評估系統(tǒng)的研究

茅靳豐 朱國棟 張虎 宋威

解放軍理工大學(xué)國防工程學(xué)院

本文首先簡單介紹了風(fēng)管機(jī)器人視覺檢測系統(tǒng)的組成，包括照明系統(tǒng)、攝像頭、圖像采集卡、圖像采集軟件以及圖像分析軟件。隨后重點(diǎn)介紹對基于Matlab的風(fēng)管清潔度評估進(jìn)行介紹，利用Matlab的圖像處理功能對采集到的風(fēng)管內(nèi)部圖像進(jìn)行預(yù)處理，并依據(jù)特定的算法對其清潔度進(jìn)行評估。

Matlab風(fēng)管 視覺檢測系統(tǒng) 清潔度 圖像處理

0 引言

風(fēng)管智能清掃機(jī)器人的視覺檢測系統(tǒng)主要功能是完成視頻實(shí)時監(jiān)控和圖像采集分析，并得出清掃效果的定量評價指標(biāo)。其系統(tǒng)主要由照明系統(tǒng)、攝像頭、圖像采集卡、圖像采集軟件以及圖像分析軟件組成。照明系統(tǒng)是機(jī)器人在黑暗環(huán)境下作業(yè)的唯一光源，其是否可靠、光通量是否滿足作業(yè)要求都至關(guān)重要；攝像頭是機(jī)器人的“眼睛”，將工作人員的視線延伸到風(fēng)管內(nèi)，實(shí)時監(jiān)控和記錄著機(jī)器人在風(fēng)管內(nèi)作業(yè)的情況；圖像采集卡是圖像傳感器的配套設(shè)備，將圖像傳感器傳出的視頻信號轉(zhuǎn)換為數(shù)字圖像信號，并顯示在PC圖像終端上；而圖像采集軟件和圖像分析軟件是最終得出清掃效果定量評價指標(biāo)的重要工具。

風(fēng)管智能清掃機(jī)器人的視覺檢測系統(tǒng)以風(fēng)管壁面圖像為研究對象，首先通過攝像頭對風(fēng)管壁面的清掃情況進(jìn)行采集抽樣，采集的圖像進(jìn)行預(yù)處理后，通過兩種算法分析得出圖像的量化評價指標(biāo)，然后根據(jù)得出的結(jié)果決定是否繼續(xù)清掃，該系統(tǒng)的總體工作流程如圖1所示。

圖1 視覺檢測系統(tǒng)的總體工作流程

1 視覺檢測系統(tǒng)的圖像預(yù)處理

由于攝像頭從風(fēng)管中采集的圖像質(zhì)量參差不齊，將直接影響到圖像分析結(jié)果的準(zhǔn)確性，所以在對圖像進(jìn)行量化評價前，需要對原始圖像進(jìn)行相應(yīng)預(yù)處理。預(yù)處理能夠很好地消除無用信息和增強(qiáng)有用信息，從而達(dá)到提高量化評價準(zhǔn)確性。下面對預(yù)處理中運(yùn)用到圖像灰度化、除噪、銳化三部分進(jìn)行詳細(xì)介紹[1]。

1.1 圖像灰度化

旋轉(zhuǎn)攝像頭采集的風(fēng)管壁面圖像是彩色圖片，其信息量大，降低了圖像分析軟件的處理速度。圖像的灰度化處理是指將彩色圖像轉(zhuǎn)化成為灰度圖像的過程。R、G、B三個分量共同決定了彩色圖像的每個像素點(diǎn)，而灰度圖像是三個分量相等的一類特殊彩色圖像?；叶然幚矸椒ǔＳ凶畲笾捣?、平均值法和加權(quán)平均法[2]。

本視覺檢測系統(tǒng)采用加權(quán)平均法來對攝像頭采集的彩色圖像進(jìn)行灰度化處理，加權(quán)平均法是根據(jù)顏色的重要性及其它指標(biāo)，將三個分量以不同的權(quán)值來進(jìn)行加權(quán)平均。在MATLAB中按式（1），對R、G、B三個分量進(jìn)行加權(quán)平均能得到較合理的灰度圖像。

1.2 圖像除噪

攝像頭在黑暗的風(fēng)管中，僅依靠LED光源來輔助攝像頭進(jìn)行圖像采集，圖片難免會存在一些噪聲，從而影響圖像的后期處理效果，所以在圖像分析前需要對原始圖像進(jìn)行除噪。圖像的噪聲通常情況下是不可預(yù)測的隨機(jī)信號，常見的噪聲有隨機(jī)噪聲、高斯噪聲、椒鹽噪聲。根據(jù)噪聲頻譜分布的規(guī)律和統(tǒng)計特征以及圖像的特點(diǎn)，出現(xiàn)了多種多樣的除噪方法。如：均值濾波法、中值濾波法、低通濾波法、維納濾波法、最小失真法等[3]。本文選用中值濾波法對圖像進(jìn)行除噪。

該方法能夠很好地克服線性濾波器引起的圖像細(xì)節(jié)模糊，并且在濾除圖像掃描的噪聲和脈沖的干擾方面特別有效[4]。中值濾波的基本原理就是用數(shù)字序列或數(shù)字圖像中任一點(diǎn)的特定領(lǐng)域內(nèi)所有點(diǎn)的中值來替代該點(diǎn)的值。

對于一維序列f1，f2，…，fn的中值濾波，首先取長度m的窗口（m取奇數(shù)），再從序列內(nèi)抽取m個數(shù)，fi-v，…，fi-1，fi，fi+1，…，fi+v，其中i是窗口中心點(diǎn)，最后將取出的m數(shù)按大小進(jìn)行排列，取排列后中心位置的數(shù)作為中值，公式如下：

對于二維序列｛Xi｝j，即濾波窗口也取二維。其方法與一維的類似，公式如下：

式

中：A為濾波窗口。

實(shí)際的取窗口過程中，窗口尺寸取值從3×3到5× 5逐漸擴(kuò)大，最終得到濾波滿意的效果為止。二維的中值濾波不僅能夠較好地保留原始圖像內(nèi)有效的細(xì)線狀物體，而且能夠很好地保持圖像躍變的部分。

1.3 圖像銳化

風(fēng)管壁面的圖像經(jīng)過除噪后，圖像邊緣和圖像輪廓會有模糊的情況出現(xiàn)。如果不加以處理就會使得在檢測時分不清楚圖像的邊緣。而圖像銳化技術(shù)的使用能很好地克服這些問題，使得圖像邊界更加清晰，灰塵的特征也更加明顯。常用的圖像銳化方法有：空域法、頻域法、模板卷積法等，其中常用的銳化算子有Roberts算子、Prewitt算子、Sobel算子和Laplacian算子等。根據(jù)不同銳化方法的處理效果來選用適應(yīng)于清掃機(jī)器人視覺檢測系統(tǒng)的方法[5～8]。

本系統(tǒng)的銳化處理選用拉普拉斯（Laplacian）算子，拉普拉斯算子是一個與邊緣方向無關(guān)的邊緣點(diǎn)檢測算子。假設(shè)一個連續(xù)二元函數(shù)f(x,y)，此算法的運(yùn)算公式如下：

在數(shù)字圖像處理中，拉普拉斯算子能簡化成為：

式（5）可以表示為卷積的形式：

表達(dá)式中的i,j=0,1,2,…N-1；k=1；l=1；H（r,s）取樣如下：

拉普拉斯算子應(yīng)用到圖像的銳化處理時，模板的取樣會直接影響到處理效果，處理效果比較好的常用模板有：

1.4 預(yù)處理效果分析

旋轉(zhuǎn)攝像頭采集的風(fēng)管壁面圖像通過灰度化、除噪和銳化一系列處理后，得到的圖像更符合后續(xù)分析的需要，整個預(yù)處理過程的效果如圖2所示。其中圖2（a）和圖2（b）是原始圖像以及原始圖像中R分量直方圖；圖2（c）和圖2（d）是采用加權(quán)平均法對原始圖像進(jìn)行灰度化處理后圖像和對應(yīng)直方圖，從圖2（b）和圖2（d）的直方圖對比可以看出，灰度化處理后基本上保留了原始圖像的色度和亮度分布特征；圖2（e）和圖2（f）是采用中值濾波法對圖2（c）進(jìn)行除噪處理后圖像和對應(yīng)直方圖，從圖2（f）和圖2（d）對比可以看出直方圖左右兩端的噪聲像素點(diǎn)相對減少；圖2（g）和圖2（h）是采用拉普拉斯算法對圖2（e）進(jìn)行銳化處理后圖像和相應(yīng)的直方圖，從預(yù)處理后最終圖像圖2（g）與原始圖像圖2（a）對比，明顯發(fā)現(xiàn)灰塵的輪廓更加明顯，更好地體現(xiàn)了風(fēng)管壁面圖像的特征。

2 視覺檢測系統(tǒng)的圖像清潔度量化評價

圖像預(yù)處理之后，下一步就進(jìn)行圖像分析，最終得出清潔度的量化評價指標(biāo)，以此來判斷風(fēng)管清掃機(jī)器人的清掃效果。本文通過實(shí)驗(yàn)對比摸索出一種比較符合本課題圖像分析的算法，即紋理匹配中的共生矩陣法，紋理是圖像的重要特征之一，大多數(shù)的圖像分析也是基于此特征，該方法是將機(jī)器人清掃風(fēng)管的實(shí)時圖像與干凈風(fēng)管的模板圖像進(jìn)行相似度匹配，得出的相似度值越大表明圖像相似程度越高，即風(fēng)管清掃越干凈[9]。

由于圖像粗糙度的標(biāo)準(zhǔn)差判斷算法是基于風(fēng)管壁粗糙程度來判別風(fēng)管是否清掃干凈，其局限性在于灰塵過多且平整時容易引起誤判斷。基于上述情況，本文在紋理匹配的基礎(chǔ)上提出了共生矩陣相似度匹配算法[10]。

2.1 算法研究

設(shè)有一幅圖像I，行和列的像素數(shù)分別為M、N，灰度等級為（通常為256，在不影響人眼判斷的情況下，為了減少計算量，可以降低灰度等級），利用平行45°搜索算法，記錄圖像中出現(xiàn)的不同像素對，由此組成共生矩陣。具體算法如下：

①生成共生矩陣A，大小為Q×Q，元素值全部初始化為0。

圖2 圖像預(yù)處理效果

②設(shè)循環(huán)變量m、n(m=1，…，M-1，n=1，…，N-1)。從圖像第一個像素點(diǎn)出發(fā)（m=1，n=1），將共生矩陣A中元素值A(chǔ)(I(m，n)，I(m+1，n+1))加1，即第I(m，n)行、第I(m+1，n+1)列的元素值加1。其中I(m，n)和I(m+1，n+1)為圖像I中第m行、第n列的元素值和第m+1行、第n+1列的元素值。循環(huán)，直至圖像I中所有像素搜索完畢。

③通過上述方法，提取清掃中的風(fēng)管壁面實(shí)時圖像和干凈風(fēng)管的模板圖像，假設(shè)都為N×M，可以分別獲得實(shí)時圖像、模板圖像的共生矩陣Am和Ab。將共生矩陣歸一化，即分別除以各自所有元素值的總和。顯然，這個總和的值為（M-1）×（N-1）。

④計算共生矩陣的相似度。相似度S定義為：

在這里，相似度S表征了實(shí)時圖像與模板圖像的相似程度。S的值越高，表示實(shí)時圖像與模板圖像的特征越接近，即風(fēng)管清掃得越干凈。整個算法的大致流程如圖3：

圖3 共生矩陣相似度匹配流程圖

2.2 算法檢驗(yàn)

本文取1張干凈的壁面以及3張清潔程度不同的壁面圖像進(jìn)行實(shí)驗(yàn)分析，圖4是壁面通過預(yù)處理后的圖像以及相應(yīng)直方圖。其中圖4（a）為干凈壁面圖像，即模板圖像；而圖4（c）、圖4（e）、圖4（g）分別是粘有不同程度灰塵的壁面1、2、3，即實(shí)時圖像。

通過MATLAB編程計算，壁面1、2、3分別與模板圖像進(jìn)行灰度共生矩陣的相似度匹配，得出的相似度結(jié)果如表1所示。

表1 實(shí)時圖像與模板圖像匹配結(jié)果

本文同樣取樣多組清潔程度不同的風(fēng)管壁面圖像進(jìn)行計算，綜合其結(jié)果，將風(fēng)管清潔情況大致分為四類：干凈、較干凈、較臟、很臟，得出經(jīng)驗(yàn)值如表2所示。

圖4 不同壁面及相應(yīng)直方圖

表2 風(fēng)管清潔情況的分類

在分析實(shí)驗(yàn)數(shù)據(jù)中得出該方法的一些優(yōu)缺點(diǎn)，具體如表3所示。

表3 灰度共生矩陣相似度匹配算法優(yōu)缺點(diǎn)

3 結(jié)語

本文介紹了風(fēng)管智能清掃機(jī)器人的視覺檢測系統(tǒng)，首先對視覺檢測系統(tǒng)的組成部分進(jìn)行了簡介，其中包括照明系統(tǒng)、攝像頭和圖像采集卡；然后對采集到的風(fēng)管壁面圖像進(jìn)行預(yù)處理，其中包括灰度化、除噪和銳化處理；最后運(yùn)用共生矩陣匹配算法對圖像進(jìn)行清掃效果的量化評價，得出了客觀的量化評價指標(biāo)。

[1]陳會鴿.基于機(jī)器視覺的中央空調(diào)風(fēng)管清潔機(jī)器人測控系統(tǒng)研究[D].鄭州:河南工業(yè)大學(xué),2010

[2]張鵬,鐘俊,郭安明,等.設(shè)備監(jiān)控圖像預(yù)處理算法改進(jìn)及其FPGA實(shí)現(xiàn)[J].計算機(jī)應(yīng)用,2011,31(6):1706-1708

[3]章霄,董艷雪,趙文娟,等.數(shù)字圖像處理技術(shù)[M].北京:冶金工業(yè)出版社,2005

[4]路陽,關(guān)海鷗,趙斌,等.水稻病害圖像預(yù)處理及其特征提取方法研究[J].農(nóng)機(jī)化研究,2011,(8):27-30

[5]胡學(xué)龍,許開宇.數(shù)字圖像處理[M].北京:電子工業(yè)出版社, 2006

[6]劉榴娣,劉明奇.實(shí)用數(shù)字圖像處理[M].北京:北京理工大學(xué)出版社,2005

[7]Gonzalez R,Woods R.數(shù)字圖像處理[M].北京:電子工業(yè)出版社,2003

[8]吳海波,劉釗.基于拉普拉斯算子的彩色圖像銳化處理[J].電腦開發(fā)與應(yīng)用,2008,21(9):27-28

[9]秦襄培,鄭賢中.MATLAB圖像處理寶典[M].北京:電子工業(yè)出版社,2011

[10]許衛(wèi)東,呂緒良.一種基于紋理分析的偽裝器材效果評價模型[J].兵工學(xué)報,2002,23(3):329-331

Re s e a rc h of Inte llige nt Cle a nline s s As s e s s m e nt Sys te m of Air Duc t Cle a ning Robot

MAO Jin-feng,ZHU Guo-dong,ZHANG Hu,SONG Wei
National Defense Engineering Institute,PLA University of Science and Technology

Firstly,this paper describes the air duct cleaning robot vision inspection system,including lighting systems, cameras,frame grabbers,image acquisition software and image analysis software.Subsequently,based on Matlab software,the duct cleanness assessment are introduced,using Matlab image processing functions to process duct internal image,and according to a specific algorithm to evaluate its cleanliness.

Matlab,air duct,vision inspection system,cleanness grade,image processing

1003-0344（2015）01-037-5

2013-10-9

茅靳豐（1962～），男，教授；江蘇省南京市光華路海福巷一號國防工程學(xué)院軍環(huán)系暖通教研室（210007）；E-mail:631758157@qq.com