楊 會

(宿遷學院 信息工程學院，江蘇 宿遷 223800)

基于螳螂眼算法無人礦車圖像處理系統(tǒng)研究

楊 會

(宿遷學院 信息工程學院，江蘇 宿遷 223800)

為了提高礦下惡劣環(huán)境中無人車圖像處理的時效性和準確性，設計了一種基于螳螂眼算法的圖像處理系統(tǒng)。采用專用數字圖像處理芯片CV220x作為無人礦車圖像處理系統(tǒng)的核心處理器，并運用基于螳螂眼算法擴展的邊緣檢測技術、圖像形態(tài)運算以及神經元學習算法對礦下拍攝的視頻流進行實時、高效的處理。最后通過MATLAB對算法進行仿真，并以礦下實時拍攝的視頻數據為實驗對象，實驗結果表明此算法適用于礦下無人車安全運行所需的固件控制模塊，能夠對車前人員進行明確的檢測并及時做出安全警報。

無人礦車；圖像處理；螳螂眼算法

0 引言

中國工業(yè)界高危操作的存在導致對無人機的需求增加，其中礦下作業(yè)事故頻發(fā)引起了人們越來越多的關注，為了解決礦下作業(yè)由礦車引起的人員死傷問題，國內很多煤礦企業(yè)把礦車改造成無人礦車，減少了人員的使用也就減少了危險性。但是亟需解決的關鍵問題就是對于惡劣礦下環(huán)境中無人車圖像處理的時效性和準確性[1-2]，具體來講是對硬件上圖像處理芯片的處理速度的需求以及軟件上圖像處理算法是否可以與之高效匹配的問題。

當前的無人機圖像處理大多采用嵌入式DSP處理器[3-4]、嵌入式微處理器ARM[5]等來實現(xiàn)高速數字圖像處理?；谶@些普通的圖像處理芯片處理速度和效率的限定，與之相應的圖像處理算法也得到了相當大的限制，因此只能以優(yōu)化算法的方法來提高圖像處理的效率和質量[6]。已有研究中有采用整數小波變換(IWT)和改進 SPIHT 的圖像壓縮編碼、級聯(lián)格狀編碼和正交頻分復用調制(OFDM)的方案來實現(xiàn)無人機載圖像的實時傳輸[7]；也有基于 SIFT 算法對無人機影像進行特征點的提取，并采用最小二乘算法對影像進行精準匹配[8-9]等。但是這種優(yōu)化對圖像處理效率來說只是從某種程度上有所改善。

因而這雙重限制導致現(xiàn)有圖像處理固件很難做到對實時視頻流的準確信息分析，而本文中所描述的基于螳螂眼算法的無人礦車圖像處理系統(tǒng)就解決了這一問題。本文首先介紹了基于螳螂眼算法的無人車圖像處理系統(tǒng)的設計原理，然后分析了本系統(tǒng)中運用的相關算法并對這些算法進行優(yōu)化，最后通過MATLAB對以上算法進行仿真，實現(xiàn)了對實時的礦下拍攝的視頻數據分幀解析、背景切割、彩色圖像分割、神經元學習算法訓練等。

1 無人礦車圖像處理系統(tǒng)設計

無人礦車圖像處理系統(tǒng)原理框圖如圖1所示。系統(tǒng)通過攝像頭檢測礦工身上穿著的反光背心的反光條，拍攝到的視頻流數據經過傳感器接口輸入到圖像處理芯片內部，經過內部的視頻/圖像處理單元進行圖像處理，處理數據存儲到相應的數據存儲單元；另一方面利用激光測距傳感器檢測曠工與無人車之間的距離，距離數據通過UART接口輸入到圖像處理芯片內部，經過ARM處理器處理后，將該數據傳給視頻/圖像處理單元。該圖像處理單元集成有ARM96內核處理器，并且可以嵌入基于螳螂眼算法擴展的相關算法，比如利用神經元學習算法對反光條的大小與所對應的礦車與人距離的比例尺進行學習，另外當距離小于安全距離時通知ARM處理器給出控制信號。該控制信號一方面控制報警器報警以警示前方的曠工進行躲避，另一方面給無人機的運動控制器發(fā)送規(guī)避信號進行障礙物的規(guī)避。

圖1 無人礦車圖像處理系統(tǒng)原理圖

本系統(tǒng)采用Cognivue公司的CV220x圖像處理芯片，該芯片集成了兩個ARM96 核處理器，使用單指令多數據的并行處理，使得圖像處理能夠達到非常快的處理速度。這款芯片的優(yōu)勢是對視頻流信息的及時高效處理，而能將它的優(yōu)勢發(fā)揮到很高水準的就是本文算法中選取的螳螂眼算法。

螳螂眼算法是仿照螳螂眼的工作原理，螳螂有一對復眼和三只單眼，根據兩種眼睛的不同特性，螳螂眼算法也有兩個不同特性的部分。螳螂的復眼所進行的是圖像分割并行處理工作，眼睛提取到的信息是傳輸到大腦進行信息處理的，而螳螂的單眼進行的是圖像分幀對比工作，圖像信息直接提交到腿部神經進行處理，因此螳螂單眼一旦捕捉到物體的變化，腿部神經就會直接帶動螳螂跳離危險區(qū)域，遠比大腦反應速度要快。

螳螂單眼每秒處理30幀圖像，圖像變化的計算是通過計算幀與幀之間的最小方差獲得的。運算方程如下：

(1)

式中m是指圖像幀數，i的取值是1，2，3，…m。

當螳螂單眼捕捉到在5幀內有10個及以上像素點發(fā)生了變化，就說明目標物體進行了移動。

2 無人礦車圖像處理算法

本系統(tǒng)采用與圖像處理芯片完全匹配的基于螳螂眼算法擴展的邊緣檢測技術、圖像形態(tài)運算以及神經元學習算法等。算法處理流程如圖2所示。

圖2 算法處理流程圖

首先對攝像頭錄入的視頻進行分幀解析處理，然后利用Sobel算子對圖像進行邊緣檢測，計算其動心、亮心以及中心并對圖像進行初步背景切割；在初步處理后的幀中選取模板幀和測試幀，分別對模板幀和測試幀利用基于HSV模型的彩色圖像分割、腐蝕、膨脹等處理方法進行進一步識別；在此基礎上采用基于B-P模型的神經元學習算法對模板幀進行學習，生成學習結果，用學習結果對測試幀進行安全距離判定，最后生成判定結果。

2.1 Sobel邊緣檢測算法

該算子是由兩個卷積核g1(x,y)與g2(x,y)對原圖像f(x,y)進行卷積運算而得到的。其數學表達式為：

(2)

實際上Sobel邊緣算子所采用的算法是先進行加權平均，然后進行微分運算，此處可以用差分代替一階偏導，算子的計算方法如下：

(3)

Sobel算子垂直方向和水平方向的模板如圖3所示，圖3(a)可以檢測出圖像中的水平方向的邊緣，圖3(b)則可以檢測圖像中垂直方向的邊緣[10]。

圖3 Sobel算子模板

實際應用中，圖像中的每一個像素點都用這兩個卷積核進行卷積運算，取其最大值作為輸出。

2.2基于HSV模型的彩色圖像分割

HSV模型是用于描述顏色的一種色彩空間模型，如圖4所示，類似的還有 RGB、HIS、HSB 模型，而相比之下，HSV 更加接近于人類感知色彩的方式。在該模型中，顏色的參數分別是色相(H)、色彩飽和度(S)和色彩灰度(V)。

圖4 HSV色彩空間模型

H(hue)是色相，用于表示色彩的基本色調，在HSV色彩空間模型中，H表現(xiàn)為 360°的圓周，紅色為 0°；S(saturation)是色彩飽和度，用于表示色彩的濃淡，在HSV 色彩空間模型中，S 表現(xiàn)為橫向的百分比，飽和度最低(白色)為0%，飽和度最高為100%；V(value)是指色彩灰度，在 HSV 色彩空間模型中，V 表現(xiàn)為縱向的百分比，灰度最低(黑色)為0%，灰度最高為100%[11]。

2.3基于B-P模型的神經元學習算法

B-P模型是一種利用誤差反向傳播訓練算法的前饋神經網絡模型，是目前應用最廣泛的神經網絡模型之一，該網絡模型包含3個神經元層：輸入層、隱含層和輸出層，是一種含有隱含層的多層前饋網絡[12]。

該神經元學習算法需要利用輸入和輸出樣本集對網絡進行訓練，也就是對網絡的權值和偏差進行學習和修正，以使網絡的給定輸入和輸出實現(xiàn)預期響應的關系。學習分為兩個階段：

第一個階段是把已知的學習樣本輸入，借助設計好的網絡結構和前一次迭代的權值和偏差，從網絡的首層開始逐層向后計算各神經元的輸出。

第二個階段是修改權值和偏差，從尾層開始逐層向前計算每個權值和偏差對總誤差的梯度，據此修改各個權值和偏差。

以上兩個過程循環(huán)進行，直到誤差達到要求為止。B-P算法的基本原理是梯度最速下降法，即通過調整權值使網絡總誤差最小?；贐-P模型的神經元學習算法的具體流程如圖5所示。

圖5 基于B-P模型的神經元學習算法流程圖

3 仿真結果及分析

本文主要通過MATLAB編程處理圖像并模擬安全距離判定過程來驗證礦下無人車圖像處理算法的可行性。

3.1視頻流的分幀以及初步背景切割

對采集到的視頻流進行分幀處理，同時用Sobel 算子以及中心分析對圖像進行切割。首先讀入一個視頻流，對視頻流計算大小，一幀一幀地進行Sobel算子處理，然后對每幀進行中心計算，在動心、亮心以及中心的基礎上去除背景，最后輸出處理過的每一幀。

本文通過在MATLAB中編寫相關算法的代碼來進行測試，獲得的仿真結果如圖6所示。

圖6 初步背景切割圖

圖6(a)為每一幀的原始圖像。圖6(b)為進行 Sobel 算子處理前的已進行灰度處理過的灰度圖像。圖6(c)為灰度圖像經梯度邊緣算子Sobel濾波，并計算標明動心、亮心以及中心的梯度值圖像，動心是攝像機的鏡頭中心，亮心是圖中高亮處的中心，中心是指檢測物體的中心。圖6(d)是根據三心進行背景切割后的圖像，從圖中可以

圖7 基于HSV模型色彩圖片處理算法的運行結果圖

看出成功濾除了背景雜音。

3.2基于HSV模型彩色圖像分割算法實現(xiàn)

首先定義 H、S、V數值存儲空間，對應背心反光條進行 HSV 的值范圍限定，并在這些限定值內進行像素點掃描對準，最后點亮在取值范圍內的像素點。圖像處理結果如圖7所示。

HSV模型在MATLAB 中的取值范圍與一般認為的取值范圍有所不同，所以在限定范圍時需要特別注意。處理結果的邊上還有些細小的像素點，那是沒能處理掉的噪音，后面會進行降噪處理。

3.3圖像形態(tài)運算算法實現(xiàn)

直接調用MATLAB中常用的算法對圖像進行降噪等處理，然后框出最終的識別目標。對上述經彩色圖像分割處理后的圖像進行開操作、腐蝕、膨脹等圖像形態(tài)運算處理，處理過程如圖8所示。

圖9 識別的圖像切塊

圖8 圖像形態(tài)運算處理過程

首先對在 HSV 模型基礎上切割點亮的圖像進行像素點補全操作，這是為了保證圖像的完整性和連續(xù)性，然后進行開操作、腐蝕操作、膨脹操作，最后給出識別目標的邊界，框選出目標圖像。圖9是框選出的目標圖像，從圖中可以看出算法成功地捕捉到了曠工身上穿著的反光背心的反光條。

3.4神經元學習算法的實現(xiàn)

首先從經過初步背景切割的視頻幀中選出模板幀和測試幀。選取20組清晰可行的幀作為神經元學習的模板幀，并選取20組幀作為測試幀，以便對訓練過的神經元進行測試。模板幀需要選取兩個相似的為一組，這樣能使神經元學習更加精確，測試幀沒有選取標準。

接下來需要先定義訓練數據量并對訓練樣本圖像命名，從模板幀目錄讀入訓練樣本圖像，然后用上述HSV 模型彩色圖像切割算法、開運算、腐蝕算法以及膨脹算法對圖像進行處理，再根據 HSV 模型為基礎的直方圖進行神經元訓練，最后根據訓練結果對測試組進行對比識別，對對比結果進行分析，并指出安全系數(危險、警示、安全)。

對神經元學習算法編寫MATLAB代碼并進行仿真，在訓練成功以后對測試幀進行測試，得到結果如表1所示。其中R表示危險，Y表示警示，G表示安全，從中可以看出不同序號的測試幀其安全系數不同。

表1 神經元學習算法訓練結果

4 結論

本文設計的礦下無人車圖像處理系統(tǒng)，硬件上使用了

國內外最先進的專用數字圖像處理芯片CV220x，軟件上運用螳螂眼算法對Sobel邊緣檢測算法、圖像形態(tài)運算算法以及神經元學習算法等進行了優(yōu)化，實現(xiàn)了惡劣環(huán)境中視頻數據的實時、高效處理。運用MATLAB進行算法的仿真，實驗結果表明該算法有較好的精度和較快的識別速度。從而也表明該系統(tǒng)能夠實現(xiàn)對無人機前方工作人員警示的作用，保障礦下無人機安全運行。

[1] 曹清梅. 基于WSN的金屬礦井礦車定位及安全監(jiān)測系統(tǒng)研究[D]. 贛州：江西理工大學, 2015.

[2] 楊臣. 金屬礦山中無人駕駛礦車控制系統(tǒng)的研究[D]. 昆明：昆明理工大學, 2012.

[3] 劉天奇. 無人機視覺穩(wěn)定避障系統(tǒng)的設計與實現(xiàn)[D]. 北京：北京工業(yè)大學, 2015.

[4] 魯劍鋒. 無人機光電載荷圖像處理器的設計[J]. 中國光學, 2011, 4(5):448-452.

[5] 陸興華. 基于嵌入式的無人機勘察系統(tǒng)設計[J]. 電子設計工程, 2015(24):170-172.

[6] 尹珠,黃友銳,陳珍萍.煤礦井下壓縮感知圖像處理算法[J].工礦自動化,2016,42(11):38-41.

[7] 劉榮科, 張曉林. 無人機載圖像實時傳輸方案的研究[J]. 北京航空航天大學學報, 2002, 28(2):208-212.

[8] 趙啟兵, 王養(yǎng)柱, 胡永浩. 基于改進SIFT算法的無人機遙感影像匹配[J]. 電光與控制, 2012, 19(3):36-39.

[9] 索效榮, 齊苑辰. 基于SIFT算法的無人機航空遙感影像匹配[J]. 測繪科學, 2012, 37(1):92-94,106.

[10] 鄭英娟. 基于八方向Sobel算子的邊緣檢測算法研究[D]. 石家莊：河北師范大學, 2014.

[11] 郭楠.彩色圖像分割技術在農作物測量系統(tǒng)中的應用[D]. 北京：首都師范大學, 2005.

[12] 孫慧穎, 林中鵬, 黃燦,等. 基于改進BP神經網絡的礦用通風機故障診斷[J]. 工礦自動化,2017,43(4):37-41.

Research on unmanned mine car image processing system based on algorithm of mantis eyes

Yang Hui

(Institute of Information Engineering, Suqian College, Suqian 223800, China)

In order to improve the timeliness and accuracy of the unmanned mine car image processing under the bad environment, an image processing system based on mantis eyes algorithm is designed. Using digital image processing dedicated chip CV220x as the core processor of the unmanned mine car image processing system, and applying edge detection technology, image morphology operation and neuron learning algorithm extended by mantis eyes algorithm, this image processing system can process video streaming from the mine real-timely and efficiently. At last, simulating the algorithm by MATLAB and using the real-time video streaming data from the mine as experimental object. The experimental result verifies that the algorithm is suitable for the firmware control module of the unmanned mine car and can carry on the test to the front of personnel and make security alert in a timely manner.

unmanned mine car; image processing; mantis eyes algorithm

TP75

：A

10.19358/j.issn.1674- 7720.2017.17.027

楊會.基于螳螂眼算法無人礦車圖像處理系統(tǒng)研究[J].微型機與應用，2017,36(17)：92-95.

2017-04-07)

楊會(1989-)，女，助理實驗師，碩士，主要研究方向：動態(tài)測試與智能儀器。