張 超，王 正，姚 青，楊保軍，唐 健

（1.浙江理工大學信息學院，浙江杭州 310016；2.中國水稻研究所水稻生物學國家重點實驗室，浙江杭州 311400）

便攜式農業(yè)病蟲害圖像采集儀設計與應用

張 超1，王 正1，姚 青1，楊保軍2，唐 健2

（1.浙江理工大學信息學院，浙江杭州 310016；2.中國水稻研究所水稻生物學國家重點實驗室，浙江杭州 311400）

針對目前農業(yè)病蟲害圖像采集設備便捷性差和圖像質量不高等問題，通過利用無線傳輸、視頻解碼和HTTP通信等技術，設計并實現了一種便攜式農業(yè)病蟲害圖像采集儀。該采集儀由W iFi鏡頭相機、Android手機或平板、可伸縮手持桿組成。農技人員通過可伸縮手持桿，將安裝在手持桿一端的鏡頭相機推送到農業(yè)病蟲害圖像采集部位，通過手機或平板App實時預覽相機端視頻流，調整相機位置，控制相機的拍照。該采集儀特別有助于農業(yè)現場中人手或視線難以達到的病蟲害部位的圖像采集。測試結果表明，該采集儀可便捷地采集到各種農業(yè)病蟲害圖像，操作簡單，手機或平板端視頻預覽畫面延時低，采集圖像質量高，可滿足后續(xù)農業(yè)病蟲害智能識別與診斷。該采集儀可廣泛應用于農業(yè)、林業(yè)等病蟲害圖像的采集。

W iFi鏡頭相機；Android手機/平板；農業(yè)病蟲害；圖像采集；視頻解碼；HTTP通信

隨著機器視覺的發(fā)展及其在各領域的應用，基于圖像的農業(yè)病蟲害智能識別與診斷技術成為研究熱點［1-14］，可減輕基層農技人員的勞動量，實現農業(yè)病蟲害測報的智能化，提高測報的精準性。利用圖像處理技術實現農業(yè)病蟲害智能識別與和診斷的首要前提是獲取高質量的圖像。目前，應用于農業(yè)現場的病蟲害圖像采集工具或儀器主要包括數碼相機［4-8］、手機［9-13］及架設在農業(yè)現場的網絡攝像頭等［14-19］，也有使用專業(yè)的便攜式圖像采集儀［20-22］。農業(yè)病蟲害主要包括作物、蔬菜和果樹等病蟲害，不同農作物病蟲害發(fā)生的位置不盡相同。如有些水稻病蟲害發(fā)生在水稻基部，有些果樹病蟲害發(fā)生在較高位置的枝葉上，利用上述設備很難便捷地采集到這些部位高質量的病蟲害圖像。為了解決上述問題，通過利用無線傳輸、視頻解碼、HTTP通信等技術，設計并建立實現一種便攜式農業(yè)病蟲害圖像采集儀，將該采集儀應用到農業(yè)現場進行病蟲害圖像的采集，測試該采集儀的便捷性和穩(wěn)定性。

1 圖像采集儀硬件組成

便攜式農業(yè)病蟲害圖像采集儀硬件由W iFi鏡頭相機、可伸縮手持桿和裝載控制相機App的手機/平板組成（圖1）。W iFi鏡頭相機使用Sony DSC-QX100，支持W iFi控制功能，有效像素2020萬，凈重179 g；手持桿為輕質可伸縮桿，鏡頭相機固定在手持桿的一端；移動設備采用Android平板/手機，搭載的可控制鏡頭相機的App。農技人員利用可伸縮的手持桿將其前端的鏡頭相機便捷地送到人手或視線難以到達的農業(yè)病蟲害圖像采集部位，根據手機/平板App預覽相機視頻，調整鏡頭相機位置，控制相機拍照。

圖1 便攜式農業(yè)病蟲害圖像采集儀

2 手機平板App的設計

手機/平板端App需要實現相機中視頻流在手機/平板上可以實時預覽、通過W iFi無線控制相機拍照、拍照位置GPS信息的采集等功能。手機/平板端App功能模塊主要包括網絡模塊、視頻流預覽模塊和相機控制模塊，具體實現流程見圖2。

2.1 網絡模塊

網絡模塊主要負責手機/平板和W iFi鏡頭相機間的網絡管理，提供網絡搜索、設備發(fā)現、網絡連接等服務。

圖2 手機/平板App功能模塊實現流程

訪問相機功能之前首先要建立手機/平板端與W iFi鏡頭之間的網絡連接（圖3）。

圖3 W iFi鏡頭相機與手機/平板的遠程連接

W iFi鏡頭相機具有無線接入（Access point）功能，手機/平板端先利用無線搜索功能連接鏡頭機W iFi，建立雙端點對點的無線連接。圖4顯示，鏡頭相機內建SSDP（Simple Service Discovery Protocol）服務，手機/平板端發(fā)起設備查詢請求，請求消息中包含廣播地址和端口（HOST）、查詢的類型（MAN）、設備響應最短時間（MX）、服務查詢的目標（ST），鏡頭監(jiān)聽到的發(fā)現請求與此服務相匹配后，以單播方式響應。返回的響應消息包括根設備（LOCATION）、通知消息存活時間（CACHECONTROL）、操作系統(tǒng)和產品版本信息（SERVER）、服務查詢的目標（ST），其中LOCATION返回鏡頭設備描述的xm l文件HTTP URL，用戶可發(fā)起HTTP GET請求獲取設備描述詳細信息。

圖4 SSDP設備的發(fā)現

2.2 視頻流預覽模塊

視頻流預覽模塊內建實時視頻流數據接收和解析的客戶端。WiFi鏡頭端的視頻編碼為JPEG格式，手機/平板端根據網絡模塊設備發(fā)現過程獲取的HTTP URL發(fā)起視頻流數據的GET請求，來獲取自定義的視頻幀數據包。

自定義的視頻流數據包結構如圖5所示。最小單元為Packet，數據為網絡字節(jié)序，一個單元包包括公共頭（Common Header）和有效荷載（Payload）。其中，有效荷載包括包頭（Payload Header）和荷載數據（Payload Data），荷載數據包括JPEG數據或流媒體播放信息和數據補全位。

圖5 視頻流的格式

手機/平板端根據上述數據格式和結構解析出JPEG數據并播放實時幀畫面，視頻幀數據解析流程如圖6所示。

2.3 圖像瀏覽器模塊

圖像瀏覽器模塊是方便預覽已經拍攝好的圖像。在預覽視頻過程中，當用戶需要拍攝照片，通過HTTP POST請求控制W iFi鏡頭機完成拍攝命令，并根據鏡頭機內HTTP服務器的響應給出的拍攝圖片的URL通過POST請求下載至手機/平板端，實現圖片的傳輸。

圖6 視頻幀數據的解析流程

2.4 GPS信息采集及寫入模塊

GPS信息由后臺服務定時采集，服務將定時獲取更新當前GPS的經度、緯度、速度、高度及GPS時鐘信息。當手機/平板端發(fā)出拍照命令并下載W iFi鏡頭相機的響應圖像數據后，GPS信息采集及寫入模塊將把當前的GPS信息遵照EXIF格式連同編碼后的JPEG數據寫入文件內。GPS信息為農業(yè)病蟲害圖像提供了其拍攝的地理位置。

2.5 相機控制模塊

相機控制模塊主要實現手機/平板控制相機拍照、錄像、觸點對焦、變焦、拍攝參數設置等功能。

以觸點對焦命令為例，在手機/平板端App啟動后，允許用戶開啟線程發(fā)起觸點對焦的HTTP POST命令，命令格式為Json字符串，包括字段id、method、version和數組params。W iFi鏡頭機端收到請求并響應，再將命令處理結果返回給手機/平板端，告知App端控制命令是否完成，即完成一個流程的控制命令。

3 系統(tǒng)實驗

以水稻基部和果樹中上部病蟲害圖像采集進行測試。

手機/平板端與W iFi鏡頭相機建立的無線接入點直連，利用SSDP服務發(fā)現設備獲取鏡頭機HTTP服務器的URL。對系統(tǒng)進行視頻流實時預覽測試和相機控制命令測試。

3.1 視頻流實時預覽測試

設定W iFi鏡頭視頻預覽分辨率為1280×720，幀率為30 fps，視頻幀格式為JPEG編碼，手機/平板端視頻幀的阻塞隊列緩沖空間大小為2。手機/平板端發(fā)起HTTP GET請求獲取視頻流數據包，根據給定的視頻幀格式解包獲取一幀JPEG數據并解碼為Bitmap格式并繪制。圖7是圖像采集與視頻預覽圖，測試表明手機/平板端能實現對前端相機的低延時的畫面顯示。

圖7 農業(yè)病蟲害圖像采集與視頻流預覽測試

3.2 相機控制命令測試

控制命令通信協(xié)議為HTTP，數據格式為Json字符串，手機/平板端以POST請求方式發(fā)送控制命令至W iFi鏡頭。圖8是控制命令數據包。以拍照命令為例，method字段為actTakePicture，params字段為空的數組，id字段為1，version字段為1.0；拍照返回命令result字段為當前拍攝照片的URL，id字段為1。測試表明，手機/平板端能實現對前端W iFi相機的控制。

圖8 相機控制的命令數據包

4 小結

本研究設計并實現便攜式農業(yè)病蟲害圖像采集儀，進行農業(yè)現場病蟲害圖像采集的測試。農技人員可通過可伸縮手持桿將其前端的鏡頭相機送到人手或視線難以達到的農業(yè)病蟲害圖像采集部位，裝載控制相機的App的手機/平板可實時預覽前端W iFi鏡頭相機拍攝的畫面，并控制其完成對焦、拍照等一系列操作。測試結果表明，本文實現的圖像采集儀可便捷地采集到農業(yè)病蟲害，操作簡單、手機/平板端視頻預覽畫面延時低、通信連接穩(wěn)定，采集的圖像質量較高，可滿足后續(xù)農業(yè)病蟲害智能識別與診斷。該采集儀可廣泛應用于農業(yè)、林業(yè)等病蟲害圖像的采集。

［1］ TAN W，ZHAO C，WU H，et al.A Deep learning network for recognizing fruit pathologic images based on flexible momentum［J］.Transactions of the Chinese Society of Agricultural Machinery，2015，46（1）：20-25.

［2］ ARRIBAS J I，SáNCHEZ-FERRERO G V，RUIZ-RUIZ G，et al.Leaf classification in sunflower crops by computer vision and neural networks［J］.Computers&Electronics in Agriculture，2011，78（1）：9-18.

［3］ 王美麗，牛曉靜，張宏鳴，等.小麥葉部常見病害特征提取及識別技術研究［J］.計算機工程與應用，2014，50（7）：154-157.

［4］ 李震，洪添勝，曾祥業(yè)，等.基于K-means聚類的柑橘紅蜘蛛圖像目標識別［J］.農業(yè)工程學報，2012（23）：147-153.

［5］ 劉濤，仲曉春，孫成明，等.基于計算機視覺的水稻葉部病害識別研究［J］.中國農業(yè)科學，2014，47（4）：664-674.

［6］ 許良鳳，徐小兵，胡敏，等.基于多分類器融合的玉米葉部病害識別［J］.農業(yè)工程學報，2015，31（14）：194-201.

［7］ 張建華，孔繁濤，李哲敏，等.基于最優(yōu)二叉樹支持向量機的蜜柚葉部病害識別［J］.農業(yè)工程學報，2014，30（19）：222-231.

［8］ WANG H，LIG，MA Z，et al.Application of neural networks to image recognition of plant diseases［C］∥International Conference on Systems and Informatics，2012：2159-2164.

［9］ 陳桂鵬，嚴志雁，瞿華香，等.基于Android手機的農業(yè)環(huán)境信息采集系統(tǒng)設計與實現［J］.廣東農業(yè)科學，2014，41（13）：178-181.

［10］ 楊林楠，郜魯濤，林爾升，等.基于Android系統(tǒng)手機的甜玉米病蟲害智能診斷系統(tǒng)［J］.農業(yè)工程學報，2012， 28（18）：163-168.

［11］ 李宗儒.基于圖像分析的蘋果病害識別技術研究［D］.楊凌：西北農林科技大學，2010.

［12］ 姜慧.基于Android的水稻害蟲圖像采集與識別系統(tǒng)研究［D］.杭州：浙江理工大學，2013.

［13］ 韓殿元.基于手機圖像分析的葉片及立木測量算法研究［D］.北京：北京林業(yè)大學，2013.

［14］ 鄒修國，丁為民，陳彩蓉，等.基于改進灰度共生矩陣和粒子群算法的稻飛虱分類［J］.農業(yè)工程學報，2014，30（10）：138-144.

［15］ 熊迎軍，沈明霞，孫玉文，等.農田圖像采集與無線傳輸系統(tǒng)設計［J］.農業(yè)機械學報，2011，42（3）：184-187.

［16］ 沈明霞，叢靜華，張祥甫，等.基于ARM和DSP的農田信息實時采集終端設計［J］.農業(yè)機械學報，2010，41（6）：147-152.

［17］ GARCIA-SANCHEZ A J，GARCIA-SANCHEZ F，GARCIAHARO J.W ireless sensor network dep loyment for integrating video-surveillance and data-monitoring in precision agriculture over distributed crops［J］.Computers&Electronics in Agriculture，2011，75（2）：288-303.

［18］ WANG P，SUN P，NIU L，et al.Research of real-time image acquisition system based on ARM 7 for agricultural environmental monitoring［C］∥International Conference on Remote Sensing，Environment&Transportation Engineering. 2011：6216-6220.

［19］ 熊迎軍，沈明霞，孫玉文，等.農田圖像采集與無線傳輸系統(tǒng)設計［J］.農業(yè)機械學報，2011，42（3）：184-187.

［20］ 李偉，王庫，王冬，等.基于DM355的便攜式農作物圖像采集儀的實現［C］∥中國農業(yè)工程學會電氣信息與自動化專委會、中國電機工程學會農村電氣化分會科技與教育專委會2010年學術年會論文集，北京，2010.

［21］ 張宜君.農作物蟲害圖像采集與處理手持設備的設計［D］.保定：河北農業(yè)大學，2014.

［22］ 吳健.基于ARM的嵌入式USB圖像采集與處理系統(tǒng)［D］.合肥：合肥工業(yè)大學，2012.

（責任編輯：張瑞麟）

S126

：A

：0528-9017（2016）12-2077-05

文獻著錄格式：張超，王正，姚青，等.便攜式農業(yè)病蟲害圖像采集儀設計與應用［J］.浙江農業(yè)科學，2016，57（12）：2077-2081.

10.16178/j.issn.0528-9017.20161249

2016-09-10

國家高技術研究發(fā)展計劃（2013AA102402）；浙江理工大學521人才培養(yǎng)計劃；浙江理工大學研究生創(chuàng)新項目（2014G0604022）

張 超（1991—），男，浙江紹興人，在讀碩士，農業(yè)病蟲害智能診斷專業(yè)，E-mail：czhang-zstu@163.com。