盧應(yīng)虎 張青春 王勁堯 楊 陽

（1.淮陰工學(xué)院研究生院 淮安 223003）（2.淮陰工學(xué)院自動(dòng)化學(xué)院 淮安 223003）

1 引言

移動(dòng)監(jiān)控是電子巡邏機(jī)器人最基本的智能行為。如何在移動(dòng)過程中有效地采集高質(zhì)量的畫面、識(shí)別運(yùn)動(dòng)中的目標(biāo)并對(duì)目標(biāo)進(jìn)行跟蹤，是電子巡邏機(jī)器人領(lǐng)域研究的關(guān)鍵問題之一。

在此背景下，基于Visual Studio 2017作為開發(fā)環(huán)境，使用Opencv3.4.1強(qiáng)大的函數(shù)庫，Python作為編程語言，通過移動(dòng)機(jī)器人搭載網(wǎng)絡(luò)攝像頭對(duì)監(jiān)控區(qū)域進(jìn)行實(shí)時(shí)監(jiān)控，并完成圖像去除光照、噪聲等影響因素以及監(jiān)控內(nèi)移動(dòng)目標(biāo)的檢測(cè)、識(shí)別。

2 系統(tǒng)設(shè)計(jì)要求與方案

2.1 設(shè)計(jì)要求

監(jiān)控設(shè)備能夠清晰地采集圖像；監(jiān)控?cái)z像頭能夠自由旋轉(zhuǎn)角度［1］；對(duì)于圖像處理可以分為圖像的前期處理與后期處理，前期處理主要是圖像的預(yù)處理，包括對(duì)圖像作去噪聲、圖像增強(qiáng)等處理［2］，后期處理主要是對(duì)監(jiān)控內(nèi)移動(dòng)目標(biāo)進(jìn)行檢測(cè)、目標(biāo)的識(shí)別，對(duì)可疑對(duì)象跟蹤［3］。

機(jī)器人為四層，由上到下的順序，第一層為LCD顯示屏，第二層為核心板區(qū)域，第三層為擴(kuò)展板區(qū)域，第四層為帶電機(jī)的底板。

2.2 方案設(shè)計(jì)

選擇使用螢石C6C攝像頭。它的感光元件為COMS傳感器，該攝像頭的云臺(tái)可實(shí)現(xiàn)不同位置不同角度的旋轉(zhuǎn)，監(jiān)控范圍更大。

使用Opencv進(jìn)行圖像處理。Opencv是一個(gè)跨平臺(tái)的計(jì)算機(jī)視覺庫［4］。它是一個(gè)開放源代碼可視化庫，它為開發(fā)者提供了許多常規(guī)的圖像處理或計(jì)算機(jī)視覺算法［5］。Opencv庫包括CV、CVAUX、CVCORE、HIGHGUI和CVAM。這里的CV模塊主要用于圖像處理、動(dòng)態(tài)分析、目標(biāo)跟蹤等。CVAUX模塊是額外的庫，在概括實(shí)驗(yàn)函數(shù)后形成。CXCORE模塊包含幾套基本結(jié)構(gòu)和算法，以便對(duì)不同的數(shù)據(jù)類型進(jìn)行基本運(yùn)算處理。HIGHGUI是glji庫，包括用戶互動(dòng)部分。CVAM是Opencv中使用相機(jī)的重要模塊。

3 圖像處理的算法研究

由于氣候、照明、傳感器和系統(tǒng)的非線性，目標(biāo)快速移動(dòng)等原因，監(jiān)測(cè)系統(tǒng)中圖像質(zhì)量不高，圖像需要進(jìn)行事前的處理，能有效地清除噪音，改善圖像質(zhì)量，使圖像清晰［6］，并能提供對(duì)目標(biāo)識(shí)別和跟蹤的可靠保證。

3.1 圖像增強(qiáng)算法

圖像增強(qiáng)是數(shù)碼圖像處理的基本方法［7］。空間域方法和頻域方法是圖像增強(qiáng)技術(shù)的兩種方法［8］。對(duì)空間域中灰度值直接計(jì)算的方法為空間域方法［9］。圖像增強(qiáng)技術(shù)提供的公式（1）來描述處理過程。

圖1 空間域增強(qiáng)模型

f（x，y）表示圖像處理前的函數(shù)，g（x，y）是圖像經(jīng)增強(qiáng)后的圖像［10］。h（x，y）為計(jì)算處理圖像的相關(guān)函數(shù)。

頻率區(qū)域的方法意味著將現(xiàn)有的域名轉(zhuǎn)換為其他域名。如果在現(xiàn)有的域名中計(jì)算或分類不順利時(shí)，則轉(zhuǎn)換成更高水平的域名，計(jì)算量就會(huì)減少，計(jì)算工作就會(huì)簡單化。圖2為頻域變換增強(qiáng)的流程圖。

圖2 頻域的變換增強(qiáng)

F（u，v）為頻率域增強(qiáng)處理之前的圖像函數(shù)，G（u，v）是處理后圖像的函數(shù)，f（x，y）經(jīng)過傅里葉正變換變成F（u，v）［11］，再經(jīng)修正變換為G（u，v）。H（u，v）是關(guān)于修正方法的一個(gè)濾波數(shù)。

圖3 圖像強(qiáng)化效果圖

3.2 圖像二值化算法

圖像的灰度化，就是將圖像中各個(gè)位置的像素值用0和1兩個(gè)值來表示［12］，圖像的二值化在移動(dòng)目標(biāo)檢測(cè)中被用來分離檢測(cè)目標(biāo)和非檢測(cè)目標(biāo)［13］，在移動(dòng)目標(biāo)檢測(cè)中，在目標(biāo)被檢測(cè)出來后，我們通常將檢測(cè)出的目標(biāo)與背景進(jìn)行二值化，通過設(shè)置合適的閾值，將背景與檢測(cè)的移動(dòng)目標(biāo)分離開來［14］。式（3）給出了圖像二值化的表達(dá)式。

上式中，T是我們選定的閾值，圖像中處于位置（x，y）的像素的值Dk（x，y）大于等于閾值T時(shí)，則將該點(diǎn)的像素值賦值為1，當(dāng)像素值小于閾值T時(shí)將該點(diǎn)的像素值賦值為0。在計(jì)算機(jī)屏幕顯示中，像素值為1的像素點(diǎn)顯示為白色，像素值為0的像素點(diǎn)顯示為黑色，這樣二值化后的圖像，將由彩色圖像或者灰度圖像轉(zhuǎn)換為黑白圖像，能夠更加突出我們檢測(cè)出的目標(biāo)。圖4為圖像二值化效果圖。

圖4 圖像二值化

3.3 圖像濾波算法

圖像噪音是由于拍攝過程中出現(xiàn)失誤而晃動(dòng)以及拍攝環(huán)境等原因?qū)е屡臄z圖像模糊的現(xiàn)象。另外，在傳輸過程中，由于外部的干涉或者多媒體等問題，產(chǎn)生了椒鹽噪聲和高斯噪音。過濾器可以用來過濾噪音，過濾噪聲的光譜一般位于高頻部分，因此要過濾高頻部分，保留低頻組件，這樣可以大大提高圖像的質(zhì)量，過濾高頻并在光滑的圖像中運(yùn)行，使用低回放過濾器可以過濾高頻，以下公式是空間單位脈沖響應(yīng)矩陣設(shè)計(jì)的系統(tǒng)。

式中，g（i，j）是經(jīng)過卷積變化之后得到的結(jié)果，f（m，n）為初始的灰度值，H是低通卷積因子。

圖5 濾波效果對(duì)比圖

3.4 運(yùn)動(dòng)目標(biāo)檢測(cè)算法

移動(dòng)目標(biāo)將會(huì)對(duì)圖像中的關(guān)鍵幀和圖像框進(jìn)行比較，以確認(rèn)圖像是否會(huì)被更改。視頻流由三個(gè)類型的編碼框架、預(yù)測(cè)框架和可持續(xù)性雙向框架組成，以框架間的差異為例，分析標(biāo)準(zhǔn)檢測(cè)原理。框架之間的差異算法是指對(duì)兩個(gè)或三個(gè)框架的連續(xù)的兩個(gè)框架進(jìn)行差異對(duì)比，去除有差異的像素，判斷差異的絕對(duì)值是否超過了臨界值，如果超過了，就可以決定移動(dòng)對(duì)象達(dá)到目標(biāo)探測(cè)功能。

本文采用三幀差別化方案，減少了視頻捕捉的重影現(xiàn)象，核心是選擇合適的臨界值。如果選擇的臨界值太小，則無法抑制差異圖像的噪音。如果將臨界值選得過大，就能分辨出差異圖片的部分信息。選擇固定臨界值時(shí)，框架之間不可能存在差異。取判決條件為

其中N是檢測(cè)的區(qū)域中的像素總數(shù)，并且A可以被設(shè)置為整個(gè)幀圖像。最后一項(xiàng)的數(shù)值用來表示整個(gè)幀圖像中的照明變化情況，數(shù)值越大明亮變化越大。可以看出，添加項(xiàng)減輕了光變化造成的影響。

幀間差分可以快速檢測(cè)目標(biāo)，三幀比兩幀效果更好，前者解決后者因緩慢移動(dòng)引起的“重影”現(xiàn)象。

3.5 運(yùn)動(dòng)目標(biāo)的跟蹤算法

本文使用了基于活動(dòng)輪廓模式的移動(dòng)目標(biāo)追蹤算法，原理是將目標(biāo)的輪廓信息連續(xù)用曲線表示，設(shè)定具有能量的函數(shù)，設(shè)定該函數(shù)的參數(shù)之一的曲線，用函數(shù)解決最小值的方法代替圖像的分割過程，把函數(shù)最小化，作出相應(yīng)的變化，解函數(shù)方程的數(shù)值計(jì)算。模式的進(jìn)化遵循拉格朗州力學(xué)法則，當(dāng)各種力量達(dá)到平衡狀態(tài)時(shí)，進(jìn)化就停止，函數(shù)達(dá)到最小，在這種狀態(tài)下曲線進(jìn)化到目標(biāo)的輪廓——最佳位置。

在實(shí)平面內(nèi)定義活動(dòng)輪廓曲線：

活動(dòng)輪廓模型能量函數(shù)表示為

其中，I表示圖像，▽是梯度算子，其它各項(xiàng)分別表示如下：

根據(jù)上述算法，將矩形框與運(yùn)動(dòng)目標(biāo)的輪廓優(yōu)化，使得輪廓逼近，從而得到目標(biāo)輪廓，檢測(cè)物體檢測(cè)是否結(jié)束，如果沒有，就預(yù)測(cè)下一幀運(yùn)動(dòng)目標(biāo)大概位置，重復(fù)之前的步驟繼續(xù)對(duì)目標(biāo)跟蹤。

4 軟件設(shè)計(jì)

4.1 目標(biāo)識(shí)別部分設(shè)計(jì)

目標(biāo)的識(shí)別主要對(duì)物體目標(biāo)類型的具體識(shí)別，包括人、動(dòng)物、書等各種類型的識(shí)別，并對(duì)物體置信度進(jìn)行評(píng)估，將低于5.0評(píng)分的物體不進(jìn)行顯示，下面將具體介紹識(shí)別的具體工作過程。

圖6 目標(biāo)識(shí)別具體步驟圖

在這個(gè)過程中，可以通過非最大抑制函數(shù)得到一系列的矩形，并對(duì)這些得到的矩形按置信度評(píng)分排序，消除低于置信度的矩形，我們還需要定義一個(gè)FLANM匹配器函數(shù)，最后通過數(shù)據(jù)的關(guān)聯(lián)實(shí)現(xiàn)識(shí)別的功能。

4.2 目標(biāo)的跟蹤部分設(shè)計(jì)

目標(biāo)跟蹤是對(duì)視頻中的移動(dòng)目標(biāo)進(jìn)行位置的跟蹤［15］。本文用到了Opencv中提供的cv2.findContours和cv2.boundinRect函數(shù)，cv2.findContours主要是計(jì)算圖像中目標(biāo)的輪廓，cv2.boundinRect主要計(jì)算矩形的邊界框，利用YOLOv3算法預(yù)測(cè)出邊界框，通過對(duì)剩余的邊界框使用非最大抑制算法，去除重疊的邊界框，再對(duì)圖片的尺寸進(jìn)行設(shè)計(jì)，通過以上操作就可以實(shí)現(xiàn)了對(duì)目標(biāo)跟蹤的功能。

通過上述程序介紹，首先需要獲取輸出層的名稱，繪制預(yù)測(cè)的邊界框，獲取物體類型的標(biāo)簽和置信度，然后將較低的置信度的矩形框刪除。最終實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的識(shí)別與跟蹤。

5 系統(tǒng)調(diào)試

通過打開Visual Studio 2017軟件，打開所屬程序文件，點(diǎn)擊運(yùn)行按鈕，等待程序的運(yùn)行，等待大約1min，視頻圖像就可以通過調(diào)取本地?cái)z像頭顯示出來了，可以看到視頻中識(shí)別出的人、動(dòng)物和物體，因?yàn)檐浖膯栴}，只能通過英文顯示物體的類型?？梢园l(fā)現(xiàn)在物體名稱后面有一個(gè)小數(shù)，每一個(gè)物體都有，這就是置信度，最高的置信度為1，最低的0.5，低于0.5的不予顯示。調(diào)試結(jié)果如圖7～8所示。

圖7 圖像識(shí)別調(diào)試

圖8 目標(biāo)跟蹤

6 結(jié)語

本文的研究主要是基于Visual Studio 2017作為系統(tǒng)的開發(fā)環(huán)境，利用Opencv與Python對(duì)圖像進(jìn)行處理，主要分為對(duì)圖像采集以及圖像處理方面的研究，在圖像采集方面，我們根據(jù)了用戶所需的要求，保證實(shí)時(shí)數(shù)據(jù)的采集，在圖像處理方面，首先本文對(duì)圖像先進(jìn)行了圖像增強(qiáng)、圖像灰度變換以及圖像濾波的處理，通過特定的算法進(jìn)行預(yù)處理，然后研究了圖像中運(yùn)動(dòng)目標(biāo)的跟蹤，利用Opencv中的函數(shù)庫進(jìn)行檢測(cè)圖像中的目標(biāo)類型，然后進(jìn)行目標(biāo)的跟蹤，在此過程中，如果檢測(cè)出異常行為，系統(tǒng)會(huì)立即發(fā)送信息給巡視機(jī)器人的控制端，保持異常行為或者可疑目標(biāo)一直出去鏡頭內(nèi)，如果不在鏡頭內(nèi)，機(jī)器人自動(dòng)尋找目標(biāo)并繼續(xù)檢測(cè)。