顧凌云

（上海冰鑒信息科技有限公司，上海 200120）

機(jī)器人視覺(jué)是智能機(jī)器人的重要組成結(jié)構(gòu)之一，在機(jī)器人移動(dòng)過(guò)程中需要利用視覺(jué)傳感器獲取環(huán)境圖像，通過(guò)圖像處理方法對(duì)一幅或多幅圖像進(jìn)行處理、分析與理解，根據(jù)圖像處理與分析結(jié)果產(chǎn)生任務(wù)指令[1]。由此可見(jiàn)，圖像處理是機(jī)器人工作過(guò)程中的重要環(huán)節(jié)。

為減少機(jī)器人對(duì)實(shí)時(shí)采集圖像的存儲(chǔ)空間，提高圖像分析與處理速度，提高機(jī)器人的工作效率，采用壓縮感知理論對(duì)外界圖像進(jìn)行采集。壓縮感知是一種新的取樣方法，利用信號(hào)稀疏性，以比Nyquist取樣速率低得多的條件下，利用隨機(jī)取樣獲得離散的信號(hào)，再利用非線性重構(gòu)的方法對(duì)信號(hào)進(jìn)行精確重構(gòu)[2-3]。由于機(jī)器人的圖像采樣方式發(fā)生改變，導(dǎo)致圖像內(nèi)容以及格式發(fā)生相應(yīng)變化，給圖像的處理工作帶來(lái)較大挑戰(zhàn)。

現(xiàn)階段發(fā)展較為成熟的機(jī)器人圖像處理方法包括：基于生成對(duì)抗網(wǎng)絡(luò)的圖像處理方法、基于形態(tài)學(xué)算法的處理方法以及基于自適應(yīng)閾值的圖像處理方法，然而將上述圖像處理方法應(yīng)用到對(duì)壓縮感知圖像的處理工作中，存在明顯的處理效果不佳的問(wèn)題，主要體現(xiàn)在圖像質(zhì)量方面，其主要原因?yàn)闄C(jī)器人采集圖像較多，且圖像采樣角度存在差異，為此引入多傳感器融合技術(shù)，以期能夠提高機(jī)器人壓縮感知圖像的最終處理結(jié)果，間接地提高機(jī)器人對(duì)外界環(huán)境的識(shí)別精準(zhǔn)度。

1 機(jī)器人壓縮感知圖像處理方法設(shè)計(jì)

1.1 利用多傳感器生成機(jī)器人壓縮感知圖像

在保證機(jī)器人感知的外部環(huán)境信號(hào)具有稀疏性和可壓縮性的前提下，利用圖1 表示的壓縮感知數(shù)學(xué)模型，將多個(gè)傳感器設(shè)備作為硬件支持進(jìn)行壓縮感知圖像的采集。

圖1 機(jī)器人壓縮感知數(shù)學(xué)模型Fig.1 Mathematical model of robot compression sensing

假設(shè)長(zhǎng)度為L(zhǎng) 的視覺(jué)感知信號(hào)λ 在支撐框架上具有稀疏特性，則該信號(hào)可以表示為

式中：變量εm（τ）和γm（τ）分別為信號(hào)的正交基及其在列向量基矩陣中的等價(jià)表示[4]。遵循約束等距原則選取測(cè)量矩陣，選取結(jié)果可以表示為

式中：變量χ 為［0，1］區(qū)間范圍內(nèi)的隨機(jī)數(shù)；E 為最終選取的測(cè)量矩陣。利用測(cè)量矩陣對(duì)機(jī)器人所處外界環(huán)境中的視覺(jué)信號(hào)進(jìn)行采樣，采樣結(jié)果表示為

式中：f 為視覺(jué)信號(hào)采樣結(jié)果。將得出的結(jié)果經(jīng)過(guò)稀疏化轉(zhuǎn)換后，并將所有的圖像按照時(shí)序順序進(jìn)行連接，即可得出機(jī)器人單一傳感器壓縮感知圖像的采樣結(jié)果，按照上述方式驅(qū)動(dòng)機(jī)器人設(shè)備上所有的圖像傳感器裝置，得出多傳感器壓縮感知圖像的采樣結(jié)果[5]。

1.2 融合機(jī)器人壓縮感知圖像

采用加權(quán)融合的方式對(duì)多傳感器初始采集的機(jī)器人壓縮感知圖像進(jìn)行融合處理，得到一幅完整圖像[6]，其融合原理如圖2 所示。

圖2 機(jī)器人壓縮感知圖像融合原理圖Fig.2 Schematic diagram of robot compression sensing image fusion

選擇線性加權(quán)融合規(guī)則作為融合規(guī)則，假設(shè)任意2 個(gè)傳感器生成機(jī)器人壓縮感知源圖像分別為fA和fB，則線性加權(quán)融合規(guī)則用方程為

式中：變量κA和κB分別為2 個(gè)待融合圖像的加權(quán)系數(shù)，所有待融合圖像加權(quán)系數(shù)之和為1；變量δ1和δ2為壓縮感知源圖像的行和列。對(duì)壓縮感知源圖像進(jìn)行稀疏分解處理后，得出壓縮感知投影值分別記為φA和φB，之后對(duì)投影矩陣中的各列作為一個(gè)整體來(lái)選取最佳的匹配位置[7]。同一目標(biāo)在不同的來(lái)源圖像上會(huì)呈現(xiàn)出不同的特點(diǎn)，根據(jù)壓縮感知投影值計(jì)算出每一列的加權(quán)系數(shù)值為

本模型基于2016年美國(guó)預(yù)防服務(wù)工作組（USPSTF）匯總分析[9]以及PLATO研究[10]獲得的數(shù)據(jù)進(jìn)行模型假設(shè)以及模型構(gòu)建，利用TreeAge Pro 2011軟件，采用長(zhǎng)期Markov模型對(duì)沒(méi)有確診或缺乏CVD癥狀的患者服用或不服用阿司匹林進(jìn)行CVD一級(jí)預(yù)防這兩種干預(yù)措施作10年期成本-效用分析。長(zhǎng)期Markov模型氣泡圖見(jiàn)圖1（圖中，單向箭頭表示只能從該狀態(tài)轉(zhuǎn)移至另一狀態(tài)但無(wú)法逆向轉(zhuǎn)移；雙向箭頭表示兩個(gè)狀態(tài)間可以相互轉(zhuǎn)移；弧形箭頭表示該狀態(tài)可自身轉(zhuǎn)移）。

式中：參數(shù)i 的取值區(qū)間為［0，N］，N 為壓縮感知圖像的像素值。在此基礎(chǔ)上，根據(jù)預(yù)先設(shè)定的標(biāo)準(zhǔn)，對(duì)數(shù)據(jù)進(jìn)行優(yōu)化處理，經(jīng)過(guò)加權(quán)融合處理后壓縮感知融合圖像對(duì)應(yīng)的稀疏系數(shù)為

式中：X（φ）為圖像壓縮投影值集合，最終得出的機(jī)器人壓縮感知圖像融合結(jié)果及其灰度值為

式中：σ（Gfuse）和σi分別為機(jī)器人壓縮感知圖像及其內(nèi)部第i 個(gè)像素的灰度值；κ 為圖像的綜合權(quán)重系數(shù)；nimage為圖像中包含的像素?cái)?shù)量[8]。按照上述流程對(duì)所有采集的機(jī)器人壓縮感知圖像進(jìn)行處理，得出最終的融合結(jié)果。

1.3 修正壓縮感知圖像亮度與飽和度

以融合處理結(jié)果為處理對(duì)象，調(diào)整與修正圖像亮度。機(jī)器人視覺(jué)圖像的采集模擬了人眼視覺(jué)特征，對(duì)垂直和水平方向的感知能力較強(qiáng)，所以在估算背景亮度時(shí)，提高垂直和水平方向上的權(quán)重，削弱傾斜方向權(quán)重[9]。機(jī)器人壓縮感知圖像任意像素點(diǎn)的平均背景亮度可以表示為

式中：C1和C2為壓縮感知圖像像素點(diǎn)的上下左右鄰域和對(duì)角線領(lǐng)域；和ω 為C1，C2的權(quán)值系數(shù)；l（x，y）為背景亮度相關(guān)系數(shù)。壓縮感知圖像亮度和飽和度的修正過(guò)程分別如式（9）、式（10）表示：

式中：φ 為亮度修正系數(shù)；Lpixel（x，y）和L0分別為機(jī)器人壓縮感知圖像任意像素的亮度值以及設(shè)置的亮度閾值[10]。

式中：μ（x，y）為圖像的相關(guān)系數(shù)；b（x，y）和bcorrect（x，y）為修正前后的圖像飽和度[11]。經(jīng)過(guò)修正后，可使圖像亮度與機(jī)器人的視覺(jué)特征相吻合。

1.4 抑制壓縮感知圖像噪聲

針對(duì)圖像中包含的不同類型的噪聲構(gòu)建濾波器，以此作為圖像中噪聲抑制處理的硬件支持[12]，圖像噪聲濾波器基本結(jié)構(gòu)如圖3 所示。

圖3 機(jī)器人壓縮感知圖像噪聲濾波器結(jié)構(gòu)圖Fig.3 Structure diagram of noise filter for compressed sensing image of robot

圖3 中R（n）和W（n）分別為正交濾波模塊和中值濾波模塊，具體的噪聲濾波抑制過(guò)程可以表示為

式中：ψ 為濾波器的頻率響應(yīng)系數(shù)；y（n）為映射函數(shù)；H 和ξ 分別為濾波模板及其執(zhí)行系數(shù)[13]。在實(shí)際的執(zhí)行中，根據(jù)機(jī)器人壓縮感知圖像的結(jié)構(gòu)調(diào)整頻率響應(yīng)系數(shù)和濾波模板大小，完成機(jī)器人壓縮感知圖像的噪聲抑制處理。

1.5 機(jī)器人壓縮感知圖像增強(qiáng)

為實(shí)現(xiàn)對(duì)目標(biāo)的精準(zhǔn)定位，需要在初始圖像去噪處理完成后，進(jìn)行圖像增強(qiáng)處理。利用空域法對(duì)鄰域內(nèi)像素點(diǎn)直接作出增強(qiáng)處理，處理結(jié)果如下：

式中：z（x，y）為空間轉(zhuǎn)換函數(shù)；G（x，y）和P（x，y）分別為增強(qiáng)前后的圖像。

1.6 實(shí)現(xiàn)機(jī)器人壓縮感知圖像處理

完成對(duì)機(jī)器人壓縮感知圖像的處理與重構(gòu)后，對(duì)圖像處理結(jié)果進(jìn)行平滑處理，調(diào)整直方圖的均衡度[14]。利用Jaccard 相似系數(shù)放大機(jī)器人壓縮感知圖像中的各元素的作用效果，使重構(gòu)圖像及圖像處理結(jié)果更加精準(zhǔn)。最終將處理結(jié)果通過(guò)機(jī)器人終端輸出，得出圖像處理的可視化結(jié)果。

2 圖像處理質(zhì)量測(cè)試實(shí)驗(yàn)分析

為了測(cè)試所提方法的效果，測(cè)試處理前后的圖像質(zhì)量，得出對(duì)應(yīng)方法在處理效果方面的優(yōu)勢(shì)。此次實(shí)驗(yàn)選擇OpenCV 作為實(shí)驗(yàn)工具，OpenCV 為函數(shù)數(shù)據(jù)庫(kù)，由專門針對(duì)圖像處理、模式識(shí)別和機(jī)器視覺(jué)領(lǐng)域的C++類和C 函數(shù)組成，實(shí)現(xiàn)這些領(lǐng)域中的大量算法，為濾波、增強(qiáng)等圖像處理程序的實(shí)現(xiàn)提供支持[15]。編寫優(yōu)化設(shè)計(jì)的圖像處理方法的運(yùn)行程序代碼，將其導(dǎo)入到OpenCV 中，完成優(yōu)化設(shè)計(jì)方法的開(kāi)發(fā)。

2.1 安裝與調(diào)試多傳感器

由于所提方法應(yīng)用了多傳感器融合技術(shù)，因此需要在實(shí)驗(yàn)環(huán)境中安裝多個(gè)傳感器設(shè)備。此次實(shí)驗(yàn)以某自動(dòng)化機(jī)械生產(chǎn)工廠作為實(shí)驗(yàn)環(huán)境，實(shí)驗(yàn)共準(zhǔn)備5 個(gè)圖像傳感器設(shè)備，傳感器設(shè)備型號(hào)包括FSI335 和BSI290 兩種，分別為前兆式和背照式，僅留下部分感光器件的邏輯電路，使得光能更直接地進(jìn)入感光元件層，降低光的損耗。多個(gè)移動(dòng)機(jī)器人的傳感器安裝完后，設(shè)置傳感器的工作參數(shù)，將傳感器調(diào)整至工作狀態(tài)，觀察傳感器設(shè)備是否能正常完成圖像采集任務(wù)，若終端設(shè)備能夠成功接收到傳感器采集到的圖像，證明調(diào)整成功，否則需更換傳感器。

2.2 準(zhǔn)備機(jī)器人壓縮感知圖像樣本

分別在日間和夜間收集機(jī)器人壓縮感知圖像，以此作為實(shí)驗(yàn)的圖像樣本，其中部分壓縮感知日間圖像樣本的準(zhǔn)備情況如圖4 所示。

圖4 機(jī)器人壓縮感知日間圖像樣本Fig.4 Daytime image sample of robot compression sensing

準(zhǔn)備的圖像樣本大小相同，均為131×276。采集的圖像樣本共1600 幅，日間和夜間圖像各800 幅。

2.3 設(shè)置圖像質(zhì)量測(cè)試指標(biāo)

設(shè)置信噪比作為圖像處理質(zhì)量的測(cè)試指標(biāo)，信噪比是指圖像信號(hào)與噪聲信號(hào)的比例，其數(shù)值結(jié)果為

式中：NumValid和NumNoise分別為圖像處理結(jié)果中有效像素點(diǎn)數(shù)量和噪聲像素點(diǎn)數(shù)量。計(jì)算得出峰值信噪比越大，證明該圖像質(zhì)量越好，即對(duì)應(yīng)圖像處理方法的處理效果越優(yōu)。

2.4 實(shí)驗(yàn)過(guò)程與結(jié)果分析

將樣本逐一輸入到圖像處理程序中，由于所提方法應(yīng)用了多傳感器融合技術(shù)，執(zhí)行該技術(shù)得出初始采集圖像的融合處理結(jié)果，圖5 表示的是R_img1樣本的融合處理結(jié)果。

圖5 機(jī)器人壓縮感知圖像融合結(jié)果Fig.5 Image fusion results of robot compression sensing

然后分別執(zhí)行圖像降噪、圖像增強(qiáng)等處理任務(wù)，得出的處理結(jié)果如圖6 所示。

圖6 機(jī)器人壓縮感知圖像處理結(jié)果Fig.6 Image processing results of robot compression sensing

為了體現(xiàn)所提方法的優(yōu)勢(shì)，實(shí)驗(yàn)中設(shè)置傳統(tǒng)的基于生成對(duì)抗網(wǎng)絡(luò)的圖像處理方法作為對(duì)比方法。統(tǒng)計(jì)所有方法對(duì)不同圖像樣本的基本屬性參數(shù)數(shù)據(jù)，其中信噪比指標(biāo)的測(cè)試結(jié)果如表1 所示。

表1 機(jī)器人壓縮感知圖像信噪比測(cè)試數(shù)據(jù)表Tab.1 Signal to noise ratio test data of robot compressed sensing image

表1 中R，Y 類圖像分別為日間、夜間圖像。將表1 中的數(shù)據(jù)代入到式（13）中，可以得出初始機(jī)器人壓縮感知圖像的平均信噪比為3.50 dB，通過(guò)2 種圖像處理方法的運(yùn)行得出處理結(jié)果圖像的平均信噪比分別為55.03 dB 和873.88 dB，由此可見(jiàn)與傳統(tǒng)圖像處理方法相比，優(yōu)化設(shè)計(jì)方法得出圖像的信噪比得到明顯提升。

3 結(jié)語(yǔ)

圖像處理是機(jī)器人目標(biāo)定位、目標(biāo)跟蹤以及移動(dòng)任務(wù)執(zhí)行的重要環(huán)節(jié)，通過(guò)多傳感器融合技術(shù)的應(yīng)用解決同一場(chǎng)景的異源圖像在壓縮及融合過(guò)程中存在的計(jì)算量和存儲(chǔ)量大的問(wèn)題。從實(shí)驗(yàn)結(jié)果中可以看出，優(yōu)化設(shè)計(jì)的機(jī)器人壓縮感知圖像處理方法有效地提高了機(jī)器人壓縮感知圖像的信噪比，然而由于實(shí)驗(yàn)中設(shè)置的圖像質(zhì)量測(cè)試指標(biāo)較少，因此得出的實(shí)驗(yàn)結(jié)果存在一定的局限性，針對(duì)這一問(wèn)題還需要在今后的研究工作中進(jìn)一步補(bǔ)充。