袁永寧， 宋利明， 高德偉， 王 杰， 王 正

(1.南京林業(yè)大學機械電子工程學院，江蘇 南京 210037；2.江蘇金迪木業(yè)股份有限公司，江蘇 泗陽 2237000；3.南京林業(yè)大學材料科學與工程學院，江蘇 南京 210037)

林業(yè)害蟲的治理可促進森林健康及人與自然的和諧發(fā)展，也是當代林業(yè)發(fā)展的時代重任。培育和保護森林可取得木材和其他林產品、利用林木的自然特性可發(fā)揮生態(tài)防護作用，林業(yè)是國民經(jīng)濟的重要組成部分之一[1-4]。多年來，我國森林病蟲害頻繁發(fā)生，由于受自然環(huán)境或地域等因素的影響，在對森林蟲害的治理和預防上依然存在諸多問題[5，6]，導致森林資源損失依舊嚴重，使我國成為受到有害昆蟲危害最為嚴重的國家之一[7-9]。為確保我國林業(yè)可持續(xù)發(fā)展，對森林蟲害的有效治理工作顯得尤為重要[10，11]。要具體深入分析森林蟲害發(fā)生的原因，需從害蟲的自身行為出發(fā)，通過研究害蟲的行為特征對森林蟲害進行有效防治與災害預測。如藥物防治、生物防治、自滅防治等方法都是通過觀察有害昆蟲的行為，根據(jù)害蟲的活動時間、發(fā)育周期、生態(tài)行為可有效治理蟲害。防治森林病蟲害是國家減災工程中必不可少的一部分。只有準確地掌握昆蟲行為和習性，才能采用正確方法和有效措施對森林蟲害進行防治[12-14]。目前國內外機器視覺系統(tǒng)研究較為成熟，國外早在20世紀70年代就將機器視覺廣泛應用于半導體行業(yè)，機器視覺也被廣泛應用于質量檢測方面，此類產品在生活與生產中均具有至關重要的用途[15]；我國機器視覺的應用始于20世紀90年代初期[16]，目前已在機器視覺領域發(fā)展為世界最活躍的國家之一，技術亦在不斷成熟。在昆蟲學方面，機器視覺主要用來自動識別昆蟲[17]，基于機器視覺的害蟲監(jiān)測由害蟲誘捕、圖像獲取、圖像傳輸、圖像處理、害蟲識別與計數(shù)等部分組成[18-20]。機器視覺在害蟲自動檢測上具有高效、無接觸、簡便以及識別精度高等優(yōu)點，可簡便有效地滿足昆蟲學研究方面的需求[21，22]。為了有效治理森林蟲害，將機器視覺技術與昆蟲學和林學相結合，利用OpenCV和基于camshift、meanshift等跟蹤算法，本文設計與制作了一套昆蟲行為跟蹤記錄儀，實現(xiàn)了對花絨寄甲活體爬行昆蟲的自動跟蹤觀察，可為我國開展林業(yè)森林病蟲害的有效防治工作提供有益借鑒。

1 系統(tǒng)組成與總體設計

本跟蹤記錄系統(tǒng)采用高倍攝像頭對準昆蟲進行實時跟蹤，時刻讓昆蟲的蟲體顯示在計算機視頻中，無需通過手動調節(jié)，只需將昆蟲置于球體載物臺即可。在觀察活體昆蟲同時還實時記錄并顯示活體昆蟲行為等一系列數(shù)據(jù)，如：實時坐標、實時偏移、實時速度等。系統(tǒng)還設有一鍵錄制視頻功能，可在無人操作情況下對活體昆蟲進行持續(xù)運行觀察，并可對近期觀察結果進行對比研究。

圖1為昆蟲行為跟蹤記錄系統(tǒng)，主要包括：高倍攝像頭、步進電機、球體載物臺、控制箱和軟件操作界面等。該系統(tǒng)主要實施步驟為：首先，當攝像頭捕獲目標并將視頻傳入計算機中，通過灰度化、二值化等預處理可獲得圖像的基本信息；然后，進一步提取目標輪廓，求出目標實時的中心點坐標和質心坐標，并根據(jù)坐標信息獲得前一幀與后一幀的位移偏差，進而得到目標的速度、加速度和方向等；最后，通過PI控制將運動方向的偏差轉化為頻率，并發(fā)送至單片機中使其精確地控制步進電機轉動，從而抵消昆蟲爬行產生的位移偏差。

圖1 昆蟲行為跟蹤記錄系統(tǒng)

本系統(tǒng)整體構思方案是通過攝像頭來捕捉活體昆蟲畫面并傳輸?shù)接嬎銠C中，并通過單片機驅動X-Y方向的兩路步進電機來控制球體滾動，讓昆蟲始終保持在球體的中心點。

2 系統(tǒng)硬件設計

為了使觀察昆蟲行為的效果變得更為明晰，本系統(tǒng)采用HVS430W高倍攝像頭，最高放大倍數(shù)為20倍，其整個裝置結構如圖2所示。

圖2 裝置結構圖

利用3D打印技術打印出裝置的支撐與底座，圖2中的藍色圓環(huán)為球體載物臺的周邊支撐，上面三等分放置三個萬向球以起到支撐球體載物臺作用，同時也可盡量減少球體與支撐間的摩擦力，使球體轉動時更為流暢，從而減少系統(tǒng)可能產生的誤差。另外，對于攝像頭模塊中，光源可能對跟蹤系統(tǒng)產生影響，本設計從物理學的角度為裝置設計了一個遮光罩(圖3)，阻止外界光源的干擾。

圖3 遮光罩

3 系統(tǒng)軟件設計

當攝像頭將采集的視頻流傳入計算機后，程序將通過灰度化、幀差法等對每一幀圖像預處理，將處理后的圖像進行輪廓提取后，再進一步篩選，然后求出輪廓實時的中心點坐標，本次試驗中還求出了實時的中心坐標從而使目標跟蹤更加準確。通過以上方式初步實現(xiàn)對目標的跟蹤與識別。系統(tǒng)軟件執(zhí)行的流程依次為：載入視頻流→灰度化→幀差處理→二值化→腐蝕→膨脹→形態(tài)學處理→輪廓提取→輪廓篩選→實時獲取中心坐標→實現(xiàn)跟蹤。而單目標跟蹤流程為：輸入初始化目標框→候選框→提取候選框特征→候選框評分→預測目標。

該系統(tǒng)軟件設計的兩個最重要算法有Meanshift算法和 Camshift算法。Meanshift算法又被稱為“均值漂移”，在聚類、圖像平滑、圖像切割和跟蹤方面具有廣泛的應用。

首先，meanshift目標模型的數(shù)學公式如式(1)：

q={qu}，u∈[1，……，m]

i∈[1，……，n]

(1)

式中：X0表示窗口中心點的向量值(可以是RGB向量或灰度值)，Xi表示窗口內第i點的向量值。C表示歸一化常數(shù)，保證q1+q2+q3+…+qm=1，其中，H表示核函數(shù)的帶寬向量。m表示特征值的數(shù)量，其可以被理解為對應于圖像處理灰度等級劃分的數(shù)量，使得特征值u表示對應的灰度級。b函數(shù)表示脈沖函數(shù)，確保只具有u特征值的像素有助于概率分步。

其次，Meanshift匹配對象的數(shù)學公式如式(2)所示。

i∈[1，……，nh]

(2)

式中：Y表示匹配對象的中心，Xi表示匹配窗口內第i點的向量值，Hh表示匹配窗口的核函數(shù)帶寬向量。Ch表示匹配窗口特征向量的歸一化常數(shù)。

匹配對象與目標模型具有相似性，相似的函數(shù)可采用Bhattacharyya函數(shù)，如式(3)：

(3)

匹配過程就是找到相似函數(shù)最大值的優(yōu)化過程，Meanshift算法利用梯度下降法。首先將ρ(Y)在ρ(Y0)附近通過泰勒級數(shù)進行展開，取前兩項，如式(4)：

(4)

定義：

(5)

從而：

(6)

因此：

(7)

為了讓ρ(Y)向最大值迭代，Y的梯度方向和搜索方向需要一致，Y0的梯度方向可通過求導獲得，如式(8)：

(8)

權值為：

(9)

上述為Meanshift算法的數(shù)學原理。Meanshift算法相對于粒子濾波器來說具有更好的實時性，其本質就是通過對應的模板來確定目標的下一個位置，再通過迭代找尋新的中心點。

Camshift算法是由Meanshift算法作為基礎演變而來的一種新的算法?；具^程就是將視頻上每一幀的圖像結果作為下一幀Meanshift算法的Search Window的初始值，再進行迭代。Camshift流程為：初始目標→計算H通道分量的直方圖→根據(jù)直方圖計算反向投影圖→MeanShif算法→迭代搜索→將上一幀結果作為下一幀初始窗口。

4 系統(tǒng)功能測試

本設計中主控制芯片采用的是STC15W4K 48S4，使用KEIL開發(fā)環(huán)境，上位機部分使用VS(Visual Stdio)開發(fā)環(huán)境，需配置OpenCV庫。本系統(tǒng)功能測試主要針對各模塊硬件是否契合，能否實現(xiàn)自動跟蹤，步進電機能否在接收到反饋量后成功運轉，上位機界面上能否正常顯示視頻，界面上能否實現(xiàn)基本功能，從而達到設計要求。

當按下參數(shù)調整按鈕時，出現(xiàn)參數(shù)設置窗口。在此窗口可對閾值、圖像輪廓的長寬以及X、Y軸的偏移進行設置。默認參數(shù)不用進行修改。當參數(shù)設置完成后，點擊啟動跟蹤按鈕，跟蹤系統(tǒng)開啟。

圖4 運動前狀態(tài)

圖4為所需觀察的活體昆蟲-花絨寄甲運動前狀態(tài)。本文將所需觀察的活體昆蟲-花絨寄甲放置于球體載物臺，其平均爬行速度為0.005 m/s。圖4(a)顯示的是昆蟲實時的運動狀況，圖4(b)顯示的是昆蟲實時的輪廓狀況。昆蟲運動后狀態(tài)如圖5所示。

圖5 運動后狀態(tài)

由調試結果得知，當爬行昆蟲花絨寄甲運動后，其坐標、偏移和速度均發(fā)生明顯變化。通過10 s測試過程，得其x軸方向和y軸方向的期望位置和實際位置。

圖6 X軸方向期望位置與實際位置

圖7 Y軸方向期望位置與實際位置

x軸方向的期望位置為320，y軸方向的期望位置為240。由圖7可知，y軸方向的實際位置與期望位置偏差均不超過30個像素點。其偏差較小，可趨于期望位置，系統(tǒng)跟蹤穩(wěn)定。當花絨寄甲活體昆蟲產生明顯偏移后，本系統(tǒng)使其與下位機建立協(xié)議，將偏移量轉化為調校反饋量發(fā)送至下位機。當下位機接收到反饋調校量后，驅動X-Y軸兩路步進電機進行精確轉動，從而抵消爬行昆蟲的運動量，使其始終在視野中央運動。顯然，本系統(tǒng)設計功能滿足其使用要求。

5 結論與展望

我國森林面積廣闊，各種病蟲害和復雜的環(huán)境給防治工作帶來了諸多困擾。本文通過基于機器視覺的森林有害昆蟲行為自動跟蹤記錄系統(tǒng)的設計與測試研發(fā)，實現(xiàn)了對不具備飛行能力與跳躍能力的活體昆蟲的行為跟蹤觀察和實時錄制，且能實時顯示昆蟲的位置坐標、偏移距離以及速度等參數(shù)功能，可對森林有害昆蟲進行有效的防治或對有益昆蟲進行保護。

與此同時，隨著系統(tǒng)的不斷完善，以期可研究其他動物的行為，為研究自然，調節(jié)自然生態(tài)，保護動物和地球資源提供行之有效的解決途徑和方法。