趙 旭,耿瑞煥

(鶴壁汽車工程職業(yè)學院,河南 鶴壁 458030)

0 引言

水果表皮的色彩度和瑕疵度是判斷水果等級的重要指標。一直以來,水果種植農(nóng)戶都是采取人工識別的方式對水果進行分級,分級結果一致性差。隨著自動化、圖像處理和機器視覺的發(fā)展,使得采摘機器人實現(xiàn)水果自動識別和分級成為可能。為此,在視頻監(jiān)控的基礎上,結合DSP和幀內(nèi)編碼技術,提出了一種采摘機器人數(shù)字視頻監(jiān)控系統(tǒng),旨在實現(xiàn)對水果的自動分級功能。

1 幀內(nèi)編碼算法概述

1.1 幀內(nèi)編碼原理

視頻編碼的過程是提取視頻中有效數(shù)據(jù),處理掉冗余的信息。在視頻樣本采樣中,各個空間位置的像素點都是采用相同的信息量表示,而各空間位置的有效信息不一樣,采用該方法會導致視頻信息的多次采樣,引起信息冗余問題。

幀內(nèi)編碼是視頻處理的一種算法,可根據(jù)前一解碼視頻區(qū)塊和空間樣本進行視頻圖像的處理,對處理效率要求較高的編碼技術一般采用該技術。幀內(nèi)編碼和一般視頻編碼標準差異不大,一般采用預測、變換及高效熵編碼技術的混合處理框架。編碼混合處理框架主要有預測編碼、變換量化編碼技術、離散余旋變換和熵編碼等流程步驟。幀內(nèi)編碼流程框架如圖1所示。

圖1 幀內(nèi)編碼流程框架圖Fig.1 The frame flow chart of intra coding。

幀內(nèi)編碼的流程為:采樣到的視頻樣本的每一幀圖像,經(jīng)過預測環(huán)節(jié)的運動估計和補償后,得到預測殘差數(shù)據(jù);預測殘差數(shù)據(jù)經(jīng)過變換量化過程,再進行熵編碼,最后生成碼流;解碼端經(jīng)過反量化和反變換的解析過程,經(jīng)過環(huán)路濾波、預測殘差數(shù)據(jù)和參考圖像求和,得到重構的完成圖像,并保存在解碼緩存中。

1.2 幀內(nèi)編碼圖像塊處理

幀內(nèi)編碼的最大優(yōu)勢是采用較大的塊結構對圖像進行編碼,且采用相對靈活的塊劃分,提高了編碼的效率。在幀內(nèi)編碼圖像塊處理處理過程中,最初的編碼單元(LCU)可以遞歸等分,構成編碼單元樹(CTU)結構,而CTU又可以遞歸等分為預測單元(PU)和變換單元(TU)。幀內(nèi)編碼圖像塊處理主要包括編碼、預測和變換3個單元。

1)編碼單元。在幀內(nèi)編碼中,編碼單元是幀處理的最小單元宏塊Macroblock (MB),編碼單元(CU)可以被分為若干個64×64、32 ×32、16×16等宏塊,而每個宏塊還可以繼續(xù)被劃分。在幀內(nèi)編碼圖像塊處理中,編碼單元采用四叉樹劃分策略,最大的64×64單元劃分為8×8單元,因此幀內(nèi)編碼提供了靈活的塊劃分方法。編碼單元四叉樹劃分策略如圖2所示。

圖2 編碼單元四叉樹劃分策略圖Fig.2 The four-tree partition strategy diagram of coding unit。

2)預測單元。預測單元是幀預測處理中必須的最小單元。預測單元是在編碼單元的基礎上進行劃分的,最大可與編碼單元一樣大,形狀不一定是正方形,可以是幾個小正方形組成的矩形。預測單元主要包括跳過(Skip)、幀內(nèi)(Intra)和幀間(Inter)3種模式。預測單元劃分策略如圖3所示。

圖3 預測單元劃分策略圖Fig.3 The strategy chart of prediction unit partition。

在預測單元劃分中,Skip包含2N×2N唯一一種模式;Intra包含2N×2N和N×N兩種模式;Inter則包含2N×2N、N×N、2N×N、N×2N、2N×nU、2N×nD、nL×2N和nR×2N等8種模式。

3)變換單元。幀內(nèi)編碼圖像塊處理的變換單元為正方形,其單元大小和編碼單元類似,采用64×64、32 ×32、16×16和4×4。變換單元是在編碼單元的基礎上劃分的,對于幀內(nèi)預測,變換單元不得大于預測單元的大小,但對于幀間預測沒有特殊要求。變換單元劃分策略如圖4所示。

圖4 變換單元劃分策略圖Fig.4 The strategy chart of transformation unit partition。

2 DSP高速視頻圖像處理系統(tǒng)總體設計

本文研究基于DSP和幀內(nèi)編碼的采摘機器人數(shù)字視頻監(jiān)控系統(tǒng),主要任務是讓采摘機器人在作業(yè)過程中采用幀內(nèi)編碼和圖像處理技術對視頻圖像進行分析與處理,對待采摘果實進行分類判別和采摘。

視頻圖像的處理具有數(shù)據(jù)量大、精度高和耗時長的特點,需要具有強大運算能力的處理器進行圖像處理。為此,采用了TI公司生產(chǎn)的TMS320DM643處理器作為處理核心。該芯片專用于數(shù)字媒體和圖像處理應用,工作主頻可達600MHz,處理性能高達4 800MIPS,2個20位的視頻口,具有8路同步串行輸入/輸出的McASP端口,可實時實現(xiàn)多路音頻/視頻信號的輸入/輸出及編解碼運算,如MPEG4、H.264、G.729等各種視/音頻算法。其芯片支持MMU和內(nèi)存映射管理,具有更高的主頻和更豐富的外設,且穩(wěn)定性強、可靠性高,能適用于對性能和處理能力有更高要求的嵌入式系統(tǒng)應用場合,被廣泛應用于高清電視、視頻服務器、網(wǎng)絡攝像機、智能交通、工業(yè)視頻檢測、視頻監(jiān)控、安防監(jiān)控等行業(yè)中。DSP高速視頻圖像處理系統(tǒng)框架如圖5所示。

圖5 嵌入式高速數(shù)字圖像處理系統(tǒng)框圖Fig.5 The block diagram of embedded high speed digital image processing system。

3 DSP高速視頻圖像處理系統(tǒng)軟硬件設計

3.1 系統(tǒng)硬件設計

DSP高速視頻圖像處理系統(tǒng)的核心是DSP處理器單元和圖像采集單元。其中,圖像采集單元包括Camera和視頻解碼器兩部分,作用是將從Camera采集來的視頻圖像數(shù)據(jù)進行采樣、量化處理,為視頻解碼器提供原始樣本。DSP處理器和視頻解碼器連接的示意如圖6所示。

圖6 DSP處理器和視頻解碼器連接圖Fig.6 The connection diagram between DSP processor and video decoder。

視頻解碼模塊使用TI公司生產(chǎn)的TVP5150A芯片作為系統(tǒng)的視頻解碼器。該芯片是TI推出的一款超低功耗的高性能混合信號視頻解碼芯片,具有功耗低、使用簡單、支持兩路復合視頻或一個S端子的輸入,以及可自動識別NTSC/PAL/SECAM制式的模擬信號等優(yōu)點。TVP5150A將Camera的模擬信號按照YCbCr 4∶2∶2的格式轉化成數(shù)字信號,輸出格式為內(nèi)嵌 8 位同步信號的 ITU-RBT.656碼流。視頻碼流隨后進入嵌入式計算機上SOC提供的視頻接口。TVP5150A功能框架如圖7所示。

Fig.7 TVP5150A functional framework diagram。

3.2 系統(tǒng)軟件設計

軟件設計主要考慮圖像處理和幀內(nèi)編碼算法的精確性和可靠性。軟件的開發(fā)設計采用TI公司推出的用于開發(fā)DSP芯片的集成開發(fā)環(huán)境CCS。軟件完成對DSP處理器外設、工作方式和相關寄存器的配置等設置后,會開啟視頻圖像采集線程;視頻圖像采集完成后,會根據(jù)需求將圖像進行幀內(nèi)編碼處理,然后DSP處理器對目標果實進行等級分類。軟件算法流程如圖8所示。

圖8 軟件算法流程圖Fig.8 The flow chart of software algorithm。

4 果實成熟度判斷

在進行圖像處理后,便可以對目標果實進行成熟度判斷。在果實的成熟度方面,利用果實在不同時期所呈現(xiàn)的顏色變化,人們可以通過肉眼來判斷水果的成熟度。在圖像處理領域,直方圖是一個非常強大的工具,其基本原理就是對顏色像素的統(tǒng)計,將統(tǒng)計值放入不同的bin中。在直方圖中,bin的含義是指將顏色空間分為若干個較小的區(qū)間,統(tǒng)計區(qū)間內(nèi)不同像素值的個數(shù),若bin越多,則直方圖分辨率越強。本文研究中bin值設置為256。

顏色直方圖分為兩種,即灰度直方圖和RGB三色直方圖?；叶戎狈綀D表示是不同亮度區(qū)間的像素值得個數(shù),通常用來檢測圖像的曝光水平和漸變;而RGB三色直方圖則表示在R、G、B等3個通道上,不同亮度區(qū)間上分布的相應顏色像素值,可用來檢查色調(diào)。三色直方圖繪制過程為導入原圖,配置相關直方圖變量(如通道、維度柱條、bin數(shù)目等),計算直方圖及顯示直方圖等。其中,計算直方圖主要函數(shù)為calcHist,顯示直方圖主要函數(shù)為rectangle()。得到的RGB三色直方圖如圖9所示。

圖9 RGB直方圖Fig.9 RGB histogram。

不同程度的水果三色圖的顏色占比不同,可以通過其顏色分布的占比大致的判斷出水果的成熟度。果實在不同時期所呈現(xiàn)的顏色不同,通過采集不同時期的果實圖片,對其進行RGB三色直方圖分析,不僅可以實時跟蹤到水果的成長歷程,還能對果實的采摘及腐爛進行一定的數(shù)據(jù)化分析,便于后續(xù)的處理。但此方法易受光線的影響,得出的圖像結果與判斷的水果等級有時會存在一定的差異,所以此評價指標具有一定的參考價值,但權重較低。

5 試驗與結果分析

為了驗證采摘機器人數(shù)字視頻監(jiān)控系統(tǒng)對水果分級的可行性及其有效性,以蘋果等級識別為例,在某蘋果種植示范基地進行了實際的識別試驗。為了讓試驗正常進行,試驗前對遮擋比較嚴重的果實進行了一定的整理;試驗中分別以水果的瑕疵占比、RGB三色為參照,主要依據(jù)為RGB三色維度值。標準的蘋果色度RGB維數(shù)表如表1所示,試驗結果如表2所示。

表1 標準的蘋果色度RGB維數(shù)表Table 1 RGB dimension table of standard apple chroma。

表2 目標果實分類結果Table 2 The classification results of target fruit。

由試驗結果可以看出:采摘機器人識別和判定結果與市場分級結果一致,系統(tǒng)檢測精度高,性能可靠,可以滿足水果識別分級的設計需求。

6 結論

針對采摘機器人對目標水果分級難度高、誤差大等問題,設計了一套基于DSP和幀內(nèi)編碼的采摘機器人數(shù)字視頻的監(jiān)控系統(tǒng)。首先,簡要介紹了幀內(nèi)編碼算法的原理和特點;然后,設計了DSP高速視頻圖像處理系統(tǒng)總體結構,并從軟硬件兩方面對整個系統(tǒng)進行了實現(xiàn);最后,依據(jù)RGB三色直方圖分析,對果實成熟度進行判斷。在果園實際的試驗中,系統(tǒng)識別和分析結果準確,性能可靠,可以滿足水果識別分級的設計需求,對于采摘機器人自動采摘作業(yè)具有重要意義。