竇國賢,周 偉,喻成琛,郭力旋
(安徽繼遠軟件有限公司,合肥 230088)
在信息化高速發(fā)展背景下,人們對圖像分辨率的要求越來越高,超分辨率圖像應運而生,在生產加工、衛(wèi)星遙感等諸多領域發(fā)揮著重要作用。在生產加工中,由于攝像裝置自動化采集到圖像可能會受環(huán)境及其自身條件的影響,使采集到的圖像上存在大量噪聲,無法提供有效信息,此時需要將圖像上的噪聲[1-2]識別出來,恢復圖像真實模樣,進而識別出目標對象。為此,諸多學者對超分辨率圖像噪聲識別方法進行研究。文獻[3]采用稀疏表示和全局集成方法提取超分辨率圖像特征,采用支持向量機將像素點與噪聲分類,進而識別出圖像噪聲點;文獻[4]建立注意力模型與Transformer 模型獲得圖像特征,根據特征選擇和多元損失函數完成特征分類,確定噪聲位置;文獻[5]首先對圖像進行灰度化處理,借助孿生網絡對圖像訓練,獲得圖像特征,按照非對稱預測算子和線性分類器得出噪聲特征,實現噪聲識別。
稀疏表示方法、Transformer 模型、非對稱預測算子方法都能完成超分辨率圖像噪聲識別,但識別過程中易將正常像素錯誤識別成噪聲點,影響超分辨率圖像識別效果。因此,設計一種基于K 均值的超分辨率圖像噪聲識別方法。
由于自動化采集到的圖像基本為彩色圖像,在圖像預處理過程中,為了提升處理速度,減少圖像上信息,降低計算難度,此時就需要將彩色圖像進行灰度轉換[6-7]。
設定A 表示自動化采集到的色彩圖像,其含有M×N 個像素點,可將其看成含有M×N×3 個元素集合,A 上任意像素點都是由3 亮度值構成,即R、G、B,采用加權均值算法轉換色彩圖像,轉換過程為
式中:R、G、B 用于描述RGB 色彩空間下各通道的像素值;F 即A 的灰度圖像。
經過式(1)轉換后,將M×N×3 個集合元素轉化成M×N×1 個,也就是將圖像的3 通道變換成1 通道的灰度圖像[8],這大大降低后面超分辨率噪聲識別的難度。
通過灰度差分統(tǒng)計求解超分辨率灰度圖像[9-10]的對比度、平均值及其熵,進而提取出圖像特征,詳細求解過程如下:假設(a,b)描述灰度圖像上任意像素點;(a+Δa,b+Δb)描述(a,b)和鄰近點的灰度差分值;l 描述灰度差分取值等級;gΔ(a,b)描述(a,b)取值的次數,P(x)即為gΔ(a,b)的概率,x 取值范圍為(0,l)。通過灰度差分[11-12]求解圖像的對比度,即:
熵求解過程為
平均值求解過程為
通過式(2)~式(4)得出像素點(a,b)的紋理特征,計算過程為
根據式(5)獲得圖像特征集合,如式(6)所示:
式中:m 表示像素點行數;n 表示像素點列數。通過式(6)得出超分辨率圖像灰度化后的各像素點特征向量。
1.3.1 K 均值計算原理
K 均值屬于一種聚類算法,在最小誤差函數的理論上將圖像特征劃分成預定的類數K,其計算原理簡便,利于處理海量圖像特征數據。
根據聚類特征集H、K 個初始聚類中心初值、迭代次數或者收斂條件,按照相似性度量原理,把圖像各特征分配到相似的聚類中心,構成聚類。再將各類特征的平均向量當作此類聚類的中心,進行重新分配,反復該過程,直到此類收斂,完成最終分類。該過程也就是將圖像特征劃分成4 個部分,即正常特征、噪點異常、雪花異常、條紋異常,進而完成超分辨率圖像噪聲識別。
通過式(6)確定圖像特征集合H={h1,h2,…,hi,…,hn},將其分成K=1、2、3、4 類,C={c1,c2,c3,c4}描述聚類中心,cj表示這4 個聚類中心任意值,Dij(hi,cj)描述特征hi與其對應的中心cj的間距,特征空間內所有特征與所屬聚類中心距離的總和采用目標函數J 進行表述,如式(7)所示:
通過式(7)可知,J 能夠表現出其聚類效果的質量。J 越小,代表此類聚類密度越大,聚類效果越佳。因此,可通過減小J 值,提升聚類策略。當目標函數值最小時,此聚類策略效果最佳。
采用歐式距離衡量hi與cj之間的相似性指標時,假設表示j 類的特征樣本,nj表示j 類的特征數量,其對應的目標函數為
聚類過程就是為了找出最優(yōu)的中心cj,以達到J最小的目標,即:
最優(yōu)聚類中心求解過程為
K 均值超分辨率圖像噪聲識別詳細過程如下:
步驟一初始化,輸入超分辨率圖像特征集H,確定聚類K 類別,在H 中任意選取K 個特征作為聚類中心,設定計算終止條件;
步驟二把H 中各特征根據最小距離理論分配到恰當的聚類中心,進行初始聚類;
步驟三根據式(10)求解最佳聚類中心;
步驟四基于最小距離理論重新分類超分辨率圖像特征樣本,反復步驟三、步驟四,直到符合終止條件;
步驟五輸出聚類結果。
但K 均值聚類過程中,易陷入局部最優(yōu)解,找出最佳聚類中心不是全局最優(yōu)聚類中心。因此,采用粒子群(PSO)優(yōu)化方法進行完善,找出全局最優(yōu)聚類中心。
1.3.2 K 均值噪聲識別流程
在PSO 中,可將聚類中心最佳解問題抽象成1個在E 維空間中游離的粒子,詳細過程:s 表示d 維解空間中存在的粒子,Xs=(xs1,xs2,…,xsd)與Vs=(vs1,vs2,…,vsd)分別表示s 空間位置及其速度。當s 迭代時,s 本體經歷局部最優(yōu)空間位置為Ps=(ps1,ps2,…,psd),全局最優(yōu)空間位置為Pg=(pg1,pg2,…,pgd),則s 的速度、空間位置求解過程為
式中:ω 表示慣性因子;c1、c2表示2 個不同的學習因子,即學習能力與集體學習能力,這2 個值介于0~4 之間;r1、r2表示0~1 分布的2 個任意數值。為了找到最佳聚類中心,就需要找出參數最佳值,下文對式(11)參數進行求解計算。
(1)慣性因子求解
在K 均值-粒子群計算中,通過線性遞減降低ω計算難度,提升收斂速度和優(yōu)化質量。ω 求解過程如式(12)所示:
式中:ωmax、ωmin分別表示ω 的2 個極限值;tmax表示允許最多迭代計算次數;t1表示正在進行的迭代次數。
通過式(12)計算可知固定ω 值會導致算法收斂于局部最優(yōu)解,影響超分辨率圖像噪聲識別結果,為解決此問題,自適應調整ω 值,即:
式中:fs表示適應值;f1與fmin分別表示全部粒子的適應均值與最小適應值。
(2)學習因子求解
根據式(11)可知,c1、c2取值不當直接影響輸出結果。由此,聚類中心求解中選擇恰當的學習因子十分關鍵,即:
式中:c1,int、c1,fin分別表示c1兩個邊界值;c2,int、c2,fin分別表示c2兩個邊界值。且滿足c1,int>c2,int、c1,fin>c2,fin。
通過式(14)自適應調整,選出最佳c1、c2,進而有效提升s 學習能力與集體學習能力。
(3)適應度求解
在超分辨率圖像噪聲識別時,從特征集H 中選取K 個特征作為初始化聚類中心,形成優(yōu)化問題的解空間。當聚類中心確定后,再按照K 均值算法把H 中其他特征進行分類。
若‖bi-cj‖=min‖bi-cK‖,K=1,2,3,4 時,將bi分配到第j 類。用s 的fs進行描述,即:
所有粒子適應均值計算過程為
種群的f 情況直接表現出群體的收斂程度。設定σ2描述群體的適應度方差,則:
K 均值聚類中心時,種群每個粒子的適應度值通過迭代計算都會趨于一致。當算法收斂時,每個粒子適應度都不會發(fā)生改變。當σ2值在設定區(qū)間內,代表其為全局最佳解,該解即為超分辨率圖像噪聲識別結果。
超分辨率圖像噪聲識別具體流程如圖1 所示。
圖1 超分辨率圖像噪聲識別流程Fig.1 Flow chart of super resolution image noise recognition
由圖1 可知,超分辨率圖像噪聲識別主要分為2 個部分,即:采用PSO 查找全局最佳聚類中心,提升尋優(yōu)能力;當確定聚類中心時,采用K 均值算法、歐式距離將圖像特征進行分類,確定具有噪聲特征的類別,完成超分辨率圖像噪聲識別。
實驗選取3 組不同類型超分辨率噪聲圖像,即噪點異常圖像、雪花異常圖像與條紋異常圖像。采用稀疏表示方法、Transformer 模型、非對稱預測算子與所提方法對噪聲圖像進行識別,識別結果如圖2~圖4 所示。
圖2 不同方法的噪聲點識別結果Fig.2 Noise point recognition results by different methods
通過圖2 的結果可以明顯看出,所提出的方法在噪點識別方面表現最佳。這是因為所提方法借助粒子群算法找到了最佳聚類中心,從而大大提高了噪點異常識別的精度,因此在噪點異常識別區(qū)域的數量最多。對比方法在識別過程中容易將噪點識別成正常像素點,這會嚴重影響噪點異常識別的精度,因此識別出的噪點區(qū)域數量遠少于所提出的方法。
圖3 中,所提方法能夠識別出超分辨率圖像上所有雪花異常區(qū)域,而對比方法只能識別出部分雪花異常區(qū)域,故所提方法優(yōu)于對比方法。
圖3 不同方法的雪花噪聲識別結果Fig.3 Snowflake noise recognition results using different methods
圖4 中,超分辨率噪聲圖像上含有5 個條紋異常區(qū)域,所提方法可識別5 個異常區(qū)域;對比方法在識別過程中,會丟失一部分噪聲,進而只能識別出4 個異常區(qū)域,識別結果略差于所提方法。
圖4 各方法下條紋噪聲識別結果Fig.4 Fringe noise recognition results under various methods
通過噪點異常、雪花異常、條紋異常3 種不同類型的噪聲圖像識別,均能證實所提方法噪聲識別性能良好。
實驗設定100 張含有噪聲的超分辨率圖像,分別采用稀疏表示方法、Transformer 模型、非對稱預測算子與所提方法進行噪聲識別,識別耗時情況如圖5 所示。
圖5 超分辨率圖像噪聲識別耗時分析Fig.5 Time consuming analysis of noise recognition in super resolution images
由圖5 可知,所提方法超分辨率圖像噪聲識別耗時最少,這是因為所提方法采用加權均值算法將超分辨率色彩圖像轉換為灰度圖像,大大降低噪聲識別難度,并通過離散粒子群算提升算法收斂速度,進一步提升識別速度,14 s 內就能完成100 張噪聲圖像識別。
針對超分辨率圖像噪聲識別效率低的問題,設計了一種基于K 均值的超分辨率圖像噪聲識別方法。該方法利用加權均值算法將自動抓取的彩色圖像轉換為灰度圖像,然后利用灰度差分統(tǒng)計提取圖像特征。接著,采用離散粒子群算法確定最佳聚類中心,并利用歐式距離衡量目標函數,將圖像特征進行聚類處理,從而識別出圖像上的噪聲。實驗結果表明,所提出的方法能夠高效地識別出超分辨率圖像上的噪聲,優(yōu)于稀疏表示方法、Transformer 模型和非對稱預測算子。