李巧蘭,盧榮輝,盧永祥
(武夷學院 信息技術與實驗室管理中心,福建 龍巖 354300)
圖像分割是圖像處理領域內的經(jīng)驗研究方向,更是計算機視覺中的關鍵技術之一。對視頻圖像中的人物進行分割對于視頻監(jiān)控、事件推斷等許多任務都很重要,因為人類是人們感興趣的日?;顒拥闹饕獏⑴c者[1]。視頻圖像人物分割的精準度關系到圖像識別的有效性,受到了學者們的高度重視。
現(xiàn)今,關于視頻圖像人物分割的研究很多,并取得了一定的成果。視頻圖像人物分割方法主要分為三類:基于邊緣的視頻圖像人物分割方法[2]、基于區(qū)域的視頻圖像人物分割方法[3]以及基于Canny算子的視頻圖像人物分割方法[4]。使用頻率最高的是基于閾值的視頻圖像人物分割方法,該方法的關鍵是如何確定閾值,閾值的選取直接決定著圖像分割的精確度。
為了滿足計算機視覺的需求,尋找最佳閾值,提出基于最大熵閾值處理算法的視頻圖像人物分割方法研究。最大熵閾值處理算法是基于分割后圖像熵最大化來確定最佳閾值,符合視頻圖像人物分割的需求,能夠提升圖像分割的精準度。
在視頻圖像人物處理的過程中,直方圖是一種簡單有效的手段,是對圖像像素的一種統(tǒng)計表達,包含著非常豐富的信息?;叶戎狈綀D只對像素灰度值大小進行統(tǒng)計,與圖像像素間的相關性無關,因此不同圖像可能存在著相同的灰度直方圖[5]。
設圖像尺寸為M×N,灰度級為0,1,…,L-1,像素點(m,n)對應的灰度值采用f(m,n)表示,則鄰域平均灰度值表示為:
(1)
式(1)中,g(m,n)表示鄰域平均灰度值;N1表示鄰域D中像素點數(shù)量,鄰域D通常取像素點(m,n)周圍3×3、5×5或者7×7的區(qū)域;(m1,n1)表示鄰域D內的某一像素點;f(m1,n1)表示像素點(m1,n1)的灰度值。
圖像灰度直方圖直接利用像素灰度統(tǒng)計,獲取公式為:
(2)
式(2)中,z的取值范圍為0,1,…,L-1;δ()表示灰度級判斷函數(shù)。
依據(jù)上述流程獲取視頻圖像人物的灰度直方圖,如圖1所示。
圖1 灰度直方圖
分析圖1可知,圖像中不同灰度級出現(xiàn)的次數(shù)存在著較大的差異,并且并沒有鋪滿整個灰度級。圖像灰度直方圖容易受到噪聲的干擾,導致直方圖波形、數(shù)值的改變,從而影響最佳閾值的計算[6]。為此,均衡化、歸一化處理圖像灰度直方圖,具體處理過程如下。
均衡化處理是將圖像劃分為多個區(qū)間子圖像,分別求取每個區(qū)間像素的映射灰度值,計算公式為
f′=flower+(fupper-flower)*Cz[flower,fupper]
(3)
式(3)中,f′表示像素映射灰度值;flower與fupper分別表示映射區(qū)間內灰度的最小值與最大值;Cz[flower,fupper]表示z級灰度值在[flower,fupper]區(qū)間內的累積概率密度。
為了進一步保障圖像灰度直方圖處理前后的穩(wěn)定性,歸一化處理灰度直方圖,對圖像的每個像素灰度值乘以一個偏移系數(shù),計算公式為:
(4)
式(4)中,O(m,n)為歸一化處理后的灰度直方圖;mi與mo分別為均衡化處理前后的圖像灰度均值。
以上述獲取的視頻圖像人物灰度直方圖為基礎,設定未知閾值為t,計算圖像總熵值[7]。
假設視頻圖像人物中像素值共有Q個,依據(jù)信息熵的概念,每個像素點對應的信息熵表示為:
(5)
式(5)中,H表示像素點對應的信息熵;pz表示各灰度級z在視頻圖像人物中出現(xiàn)的概率;qz表示灰度值為z的像素數(shù)量。
對于待分割的視頻圖像人物來說,設定未知閾值t將圖像劃分為A與B兩部分,視頻圖像人物劃分示意圖如圖2所示。
圖2 視頻圖像人物劃分示意圖
如圖2所示,每個區(qū)域內各個像素點的概率分布情況如公式(6)所示:
(6)
則區(qū)域A與區(qū)域B信息熵總和計算公式為:
(7)
式(7)中,HA(t)與HB(t)分別表示區(qū)域A與區(qū)域B信息熵的總和。
將公式(7)中的結果相加則得到視頻圖像人物的總熵值,表示為:
(8)
通過上述過程完成了視頻圖像人物總熵值的計算,為下述最佳閾值的求解做了準備。
以上述圖像總熵值公式為依據(jù),以圖像總熵值H(t)的最大值為目標,求解的閾值t即為視頻圖像人物分割的最佳閾值[8]。由此可見,最佳閾值的求解過程相當于函數(shù)優(yōu)化問題,存在著計算過程復雜的特點,為了簡化最佳閾值的求解過程,引入粒子群算法,求解視頻圖像人物分割的最佳閾值[9]。
通過研究發(fā)現(xiàn),粒子群算法能夠解決連續(xù)優(yōu)化問題,并具備較高的精準度與效率,可以極大地減少計算最佳閾值消耗的時間,提升視頻圖像人物分割方法的性能[10]。
基于粒子群算法的圖像分割最佳閾值求解步驟如下所示:
步驟一:初始化粒子群算法參數(shù)。粒子群算法參數(shù)包括粒子個數(shù)、粒子最大迭代次數(shù)、粒子飛行速度最大值、粒子飛行速度最小值、粒子移動位置邊界值等;
步驟二:將最大熵閾值處理算法得到的視頻圖像人物總熵值公式(公式(8))作為粒子群算法的適應度函數(shù),在搜索區(qū)域內隨機初始化粒子位置xi,將其作為粒子i的最佳位置,記為Pij;
步驟三:依據(jù)公式(8)計算每個粒子的適應度值,選取最大適應度值Pgj作為粒子群算法的全局最優(yōu)解;
步驟四:將粒子位置適應度值與上一次迭代最佳位置適應度值作比較[11],若粒子當前適應度值較大,更新粒子位置,將粒子當前位置作為粒子最佳位置;
步驟五:將每個粒子最佳位置與全局最優(yōu)位置Pgj的適應度值作比較,若當前粒子最佳位置適應度值較大,更新全局最優(yōu)位置;若Pgj適應度值較大,保持全局最優(yōu)位置;
步驟六:依據(jù)位置更新公式、速度更新公式迭代更新;
步驟七:判斷算法是否達到最大迭代次數(shù)。若達到最大迭代次數(shù),算法結束,輸出全局最優(yōu)解;若未達到最大迭代次數(shù),返回步驟二;
步驟八:步驟七搜索得到的全局最優(yōu)解即為視頻圖像人物分割的最佳閾值,以此為基礎,分割視頻圖像人物。
為了衡量視頻圖像人物分割方法的優(yōu)劣,選取適當?shù)膱D像分割質量評價指標。實驗所用數(shù)據(jù)庫為PASCAL VOC 2012 dataset 圖像數(shù)據(jù)庫,選取100張含有人物的圖像進行仿真實驗。此研究選取區(qū)域間對比度、區(qū)域內一致性以及圖像分割合理性作為評價指標,具體指標定義如下所示。
2.1.1區(qū)域間對比度
對于原始視頻圖像人物來說,通過分割可以得到若干個區(qū)域,不同區(qū)域之間的特征存在著較大的差異,通過對比區(qū)域間的對比度大小即可判斷方法分割圖像質量的好壞,從而衡量方法的優(yōu)劣。
區(qū)域間對比度定義為:
(9)
式(9)中,GC表示相鄰區(qū)域之間的灰度對比度;f1與f2分別表示相鄰兩個區(qū)域各自的平均灰度值。
常規(guī)情況下,區(qū)域間對比度值越大,表明區(qū)域之間差異更明顯,圖像分割質量越好。
2.1.2區(qū)域內一致性
依據(jù)圖像分割定義可知,分割后圖像是若干個具備相似特征的區(qū)域,可以用各個分割區(qū)域內部特征的均勻程度描述圖像分割質量,即區(qū)域內一致性。
區(qū)域內一致性測度定義為:
(10)
式(10)中,UM表示區(qū)域內一致性測度值;C表示歸一化參數(shù);f(x,y)表示原始視頻圖像人物;A1表示Ri區(qū)域內像素數(shù)量;Ri表示分割后圖像的第i個區(qū)域。
常規(guī)情況下,區(qū)域內一致性測度值UM越大,表明分割后圖像目標區(qū)域與背景區(qū)域內部一致性越好,設定的標準值為4.00,則圖像分割質量越好。
2.1.3圖像分割合理性
圖像分割所得目標數(shù)目與實際存在目標數(shù)目的差值可以在一定程度上評價圖像分割方法的優(yōu)劣。
圖像分割合理性測度定義為:
(11)
式(11)中,F(xiàn)表示圖像分割合理性測度值;α與β表示尺度參數(shù);Tn表示原始圖像目標數(shù)目;Sn表示分割所得圖像目標數(shù)目。
區(qū)域間對比度取值范圍為[0,1],標準值為0.61。該評價指標容易受到高斯噪聲的影響,為了衡量視頻圖像人物分割方法的優(yōu)劣,在無噪與加噪兩種情況下,分別進行10次視頻圖像人物分割實驗,得到的區(qū)域間對比度結果如表1與表2所示。
表1 無噪情況下區(qū)域間對比度結果表
表2 加噪情況下區(qū)域間對比度結果表
表1與表2數(shù)據(jù)顯示,圖像加噪后,閾值搜索時間大幅增加,在第1次和第7次實驗中,閾值出現(xiàn)較大的偏差,區(qū)域間對比度也呈現(xiàn)下降的趨勢。無噪情況下,區(qū)域間對比度范圍為0.79-0.89;加噪情況下,區(qū)域間對比度范圍為0.69-0.79,均大于標準值0.61。
區(qū)域內一致性測度取值范圍為[0,10],標準值為4.00。該評價指標也會受到高斯噪聲的影響,為了衡量視頻圖像人物分割方法的優(yōu)劣,在無噪與加噪兩種情況下,分別進行100次視頻圖像人物分割實驗,得到的區(qū)域內一致性測度結果如圖3與圖4所示。
圖3 無噪情況下區(qū)域內一致性測度結果
圖4 加噪情況下區(qū)域內一致性測度結果
圖3與圖4顯示,偏離區(qū)域內一致性測度平均值曲線的測度值為異常測度值,計算過程中需要將其刪除。通過對比研究發(fā)現(xiàn),無噪情況下區(qū)域內一致性測度平均值均高于加噪情況,并普遍高于標準值4.00,說明該方法的區(qū)域內一致性測度結果。
通過實驗得到圖像分割合理性測度值結果如表3所示。
表3 圖像分割合理性測度結果
表3數(shù)據(jù)顯示,圖像分割合理性測度平均值為0.8,本文方法在歸一化處理灰度直方圖的基礎上,為后續(xù)圖像總熵值的計算及最大閾值的求解提供了支撐,提高了該方法圖像人物分割的合理性。
為了進一步驗證本文提出方法的視頻人物圖像分割質量,將文獻[2]方法(神經(jīng)網(wǎng)絡與邊緣檢測相結合的人體前景分割算法)與文獻[3]方法(基于區(qū)域信息主動輪廓模型的圖像分割)作為實驗對照組。在上文提出的圖像數(shù)據(jù)庫中隨機選取三幅人物圖像,利用三種方法對圖像進行人物分割,獲得的實驗結果如圖5所示。
圖5 圖像分割質量
由圖5可知,文獻[2]及文獻[3]方法人物分割結果存在劃分邊界模糊、劃分區(qū)域偏差較大的問題,而本文提出方法可以較為精準地劃分圖像人物,可以有效區(qū)分人像與物體之間的邊界,并且人物的邊緣細節(jié)保留得更完整。因為本文引入粒子群算法簡化了最大閾值求解過程,可以對分割過程進行連續(xù)優(yōu)化,從而提高了圖像的分割質量。
本研究提出的基于最大熵閾值處理算法的視頻圖像人物分割方法,利用信息熵理論計算圖像總熵值最大值,引入粒子群算法尋找圖像分割最大閾值,依據(jù)最大閾值進行圖像分割。實驗證明,該方法在圖像加噪與無噪的情況下,圖像人物的分割合理性測度值均符合標準。對比傳統(tǒng)方法的圖像分割質量,本文方法的人物分割效果更佳,可以為計算機視覺技術的發(fā)展提供有力的支撐。