俞文靜，張明軍，王 影

(廣州大學(xué)華軟軟件學(xué)院，廣東 廣州 510990)

0 引 言

視頻序列圖像超分辨率重建[1-5]是指已知同一場(chǎng)景下的多幅具有互補(bǔ)信息的模糊、變形以及噪聲污染的低分辨率圖像，來重建一幅較清晰的高分辨率圖像的過程。這一技術(shù)在現(xiàn)實(shí)應(yīng)用中有很大的應(yīng)用價(jià)值，在安保監(jiān)控、交通監(jiān)控檢測(cè)、衛(wèi)星遙感、醫(yī)療等領(lǐng)域都具有較好的應(yīng)用前景。

基于序列的超分辨率重建是在1984年由Tsai和Huang[1-3]提出的，經(jīng)過多年研究，各種思想、算法及技術(shù)不斷改進(jìn)，已經(jīng)形成一套較完整的研究理論，也取得了一些重要的研究成果。這些理論大多是在圖像的運(yùn)動(dòng)估計(jì)和圖像重建角度實(shí)現(xiàn)視頻圖像的超分辨率，從圖像像素優(yōu)化的角度解決超分辨率重建的研究還比較少。文中從像素優(yōu)化的角度，針對(duì)標(biāo)準(zhǔn)粒子群優(yōu)化算法的缺點(diǎn)進(jìn)行了改進(jìn)研究，并將該算法應(yīng)用到視頻超分辨率重建問題的求解，并通過仿真實(shí)驗(yàn)進(jìn)行驗(yàn)證。

1 超分辨率圖像重建的模型

1.1 一般視頻超分辨率重建模型

(1)

由以上表達(dá)的觀測(cè)模型可以得出，視頻序列圖像超分辨率重建模型可以看作是圖像觀測(cè)模型的逆過程[6]，如圖1所示。

圖1 視頻超分辨率重建模型

1.2 視頻超分辨率重建數(shù)學(xué)優(yōu)化目標(biāo)函數(shù)

根據(jù)以上的分析，文中將視頻序列超分辨率重建的過程，看作是對(duì)一組低分辨率視頻序列進(jìn)行優(yōu)化而獲得一個(gè)高分辨率視頻序列的過程。文中算法將視頻超分辨率問題轉(zhuǎn)換為：以多幀低分辨率圖像經(jīng)過插值放大后的圖像像素序列作為初始化粒子,從所求高分辨率最左上角[0,0]像素點(diǎn)出發(fā)，依次在不同放大后圖像幀間對(duì)應(yīng)位置像素中選擇一個(gè)或者多個(gè)像素進(jìn)行優(yōu)化組合，適當(dāng)時(shí)進(jìn)行像素變異，以達(dá)到圖像清晰度函數(shù)值最大化的優(yōu)化目標(biāo)。因此圖像的優(yōu)化目標(biāo)函數(shù)為[7-8]：

(2)

其中，I為重建后的圖像，大小尺寸為m×n。

2 改進(jìn)的MPSO(mixed PSO)算法

2.1 基本PSO算法

粒子群算法(particle swarm optimization，PSO)是一種受鳥群活動(dòng)規(guī)律啟發(fā)設(shè)計(jì)的群進(jìn)化優(yōu)化算法，適用于多約束的目標(biāo)優(yōu)化問題，其公式如下[7-13]：

(3)

(4)

其中，t表示粒子的進(jìn)化代數(shù)；vi表示粒子速度；xi表示粒子位置；pid為單個(gè)粒子迄今為止搜索到的最佳位置；pgd為整個(gè)粒子群迄今為止搜索到的最佳位置；c1和c2為算法學(xué)習(xí)因子，為非負(fù)常數(shù)；r1和r2為獨(dú)立在[0,1]之間的隨機(jī)數(shù)。

2.2 算法改進(jìn)思想

2.3 粒子交叉操作

MPSO為種群間的交互設(shè)計(jì)了一個(gè)交叉池，經(jīng)過若干次優(yōu)化依然沒有發(fā)現(xiàn)更好解的粒子，將以一定隨機(jī)概率加入交叉池中等待雜交。在粒子優(yōu)化初期，由于粒子能夠獨(dú)立進(jìn)化并建立模式庫(kù)，因此很少進(jìn)入交叉池。而當(dāng)粒子群收斂到一定程度，優(yōu)化的速度降低，粒子將逐步進(jìn)入交叉完成粒子間信息的交換。

2.4 粒子變異操作

在視頻圖像超分辨率問題的求解中，變異操作用來改善算法全局收斂性并增加群體多樣性。文中的變異策略依據(jù)蟻群算法的就近原則思想：計(jì)算節(jié)點(diǎn)之間的連接代價(jià)權(quán)值，權(quán)值越小的鄰接點(diǎn)將被選為下一訪問點(diǎn)的概率越大。

設(shè)d(i,j)表示節(jié)點(diǎn)i與節(jié)點(diǎn)j之間的度量值，那么離i1節(jié)點(diǎn)最遠(yuǎn)的節(jié)點(diǎn)度量值為：

dmax=maxd(i1,j)

(5)

為避免下一個(gè)訪問點(diǎn)為自身，令d(i1,i1)=dmax，則下一訪問點(diǎn)為節(jié)點(diǎn)j的概率為：

(6)

2.5 粒子速度與位置更新策略

在式3粒子速度矢量更新過程中[13]，由于r1和r2為彼此獨(dú)立的兩個(gè)0～1之間的隨機(jī)數(shù)，因此就有可能會(huì)遇到r1和r2同大或同小的情況。如果r1和r2同大，粒子個(gè)體認(rèn)知和社會(huì)經(jīng)驗(yàn)的作用就被夸大；如果r1和r2同小，粒子個(gè)體認(rèn)知和社會(huì)經(jīng)驗(yàn)都沒有得到充分的利用。

(7)

(8)

在改進(jìn)算法的粒子速度和位置更新策略中，若新值大于設(shè)定的最大值，則取最大值；若小于設(shè)定的最小值，則取最小值。

2.6 改進(jìn)MPSO算法流程

改進(jìn)MPSO算法的流程描述如下[13]：

步驟1：初始化和參數(shù)設(shè)定。

步驟2：產(chǎn)生原始粒子群規(guī)模以及粒子序列。

步驟3：根據(jù)式7和式8進(jìn)行粒子速度更新和位置更新。

步驟4：粒子遺傳操作。

正由于生源質(zhì)量下降導(dǎo)致目前高職院校的學(xué)生基礎(chǔ)較差，對(duì)學(xué)習(xí)缺乏熱情，也沒有好的學(xué)習(xí)方法和習(xí)慣。除了學(xué)習(xí)不好這一缺點(diǎn)外，他們也有許多優(yōu)點(diǎn)如思維活躍，喜歡表現(xiàn)自己，動(dòng)手能力較強(qiáng)等。此外現(xiàn)在的學(xué)生是生活在通信技術(shù)快速發(fā)展的時(shí)代，各種技術(shù)及運(yùn)用層出不窮，特別是智能手機(jī)應(yīng)用的普及化，學(xué)生人人一部智能手機(jī)，幾乎機(jī)不離手。

步驟5：適應(yīng)度評(píng)估策略。

步驟6：終止條件判斷。

如果滿足終止條件，程序迭代結(jié)束，輸出結(jié)果；如果不滿足終止條件，跳轉(zhuǎn)到步驟3，繼續(xù)執(zhí)行。

3 基于改進(jìn)PSO算法的視頻超分辨率問題的求解

3.1 改進(jìn)PSO重建超分辨率圖像的步驟

超分辨率圖像最優(yōu)化問題可描述為：將一組低分辨率視頻圖像像素序列作為輸入，優(yōu)化出一組高分辨率圖像像素序列，為了簡(jiǎn)化問題，文中采用灰度圖像，只考慮圖像像素點(diǎn)上的灰度值優(yōu)化。設(shè)圖像是按照先行后列的方式排列的灰度像素序列，低分辨率圖像表示為一維向量L=[l1,l2,…,lm]，m表示低分辨率圖像像素個(gè)數(shù)，高分辨率圖像表示為一維向量H=[h1,h2,…,hn]，n表示最終放大后的高分辨率圖像像素個(gè)數(shù)，也是MPSO算法要求解的個(gè)體。

MPSO算法重建超分辨率圖像的具體步驟如下[13-15]：

(1)依據(jù)式1的模型，選取視頻成像中連續(xù)i幀圖像序列為低分辨率圖像序列向量L1=[l11,l12,…,l1m]，L2=[l21,l22,…,l2m]，…，Li=[li1,li2,…,lim]。

(2)初始化粒子群群體規(guī)模和種群個(gè)體的值，取i個(gè)初始種群個(gè)體值為L(zhǎng)i經(jīng)過多倍插值放大后高分辨率圖像序列：H1=[h11,h12,…，h1m]，H2=[h21,h22,…，h2m]，…，Hi=[hi1,hi2,…，him]。

(3)初始化參數(shù)，依據(jù)適應(yīng)度函數(shù)計(jì)算適應(yīng)值，找出初始化粒子群中i個(gè)種群個(gè)體中適應(yīng)度最大的粒子，作為全局最優(yōu)解pgd，個(gè)體最優(yōu)解pid為第一幀高分辨率圖像序列H1。

(4)依據(jù)式7和式8更新粒子速度與位置。

(5)依據(jù)遺傳操作，將粒子進(jìn)行交叉和變異求解。

(6)根據(jù)適應(yīng)度評(píng)估策略以及適應(yīng)度評(píng)估函數(shù)，檢查迭代的終止條件，若滿足終止條件，則停止迭代輸出，否則回到步驟4。

(7)輸出重建的高分辨率圖像。

3.2 圖像超分辨率優(yōu)化適應(yīng)度函數(shù)設(shè)置

將MPSO算法應(yīng)用到視頻序列超分辨率問題求解中，一個(gè)最關(guān)鍵的問題就是迭代過程中超分辨率適應(yīng)度函數(shù)的設(shè)置。文中采用灰度直方圖頻率的統(tǒng)計(jì)策略，計(jì)算低分辨圖像的灰度直方圖頻率與放大后的高分辨直方圖256級(jí)灰度頻率之差的總和，當(dāng)這個(gè)取值達(dá)到最小時(shí)，代表求得的高分辨率圖像是最優(yōu)的，適應(yīng)度函數(shù)表示為：

(9)

其中，mi、ni分別為低分辨率圖像與高分辨率圖像中灰度級(jí)別為i的像素統(tǒng)計(jì)個(gè)數(shù)；m、n分別為低分辨率圖像與高分辨率圖像的像素個(gè)數(shù)。

3.3 圖像超分辨率優(yōu)化交叉變異操作準(zhǔn)則

在MPSO算法對(duì)高分辨率圖像尋優(yōu)過程中，當(dāng)適應(yīng)度函數(shù)取值較大，而粒子多次飛行的結(jié)果又沒有大的變化時(shí)，需要進(jìn)行交叉操作。交叉準(zhǔn)則是提取該粒子對(duì)應(yīng)圖像的相鄰幀圖像的對(duì)應(yīng)粒子進(jìn)行局部范圍內(nèi)交叉。同樣，變異操作準(zhǔn)則也是利用粒子節(jié)點(diǎn)間的連接代價(jià)權(quán)值，文中認(rèn)為越相鄰的幀對(duì)應(yīng)的粒子之間連接代價(jià)權(quán)值越高。

4 仿真實(shí)驗(yàn)

仿真實(shí)驗(yàn)環(huán)境為：處理器Intel Core i7 920 2.67 GHz，內(nèi)存8 GB，仿真平臺(tái)為Matlab R2010b。采用某室內(nèi)監(jiān)控視頻中某一時(shí)刻一組連續(xù)的3幀視頻圖像作為實(shí)驗(yàn)初始的圖像數(shù)據(jù)，如圖2所示。

圖2 獲取的視頻連續(xù)3幀原始圖像

利用BPSO算法和提出的改進(jìn)MPSO算法對(duì)圖2中的三張序列圖像進(jìn)行視頻圖像超分辨率重建，并對(duì)算法在算法性能以及應(yīng)用效果上進(jìn)行比較。圖3顯示了BPSO算法及MPSO算法優(yōu)化過程動(dòng)態(tài)變化曲線。從曲線圖可以得到，在進(jìn)化后期MPSO比BPSO的收斂度高。然而，為了克服BPSO算法早熟、容易陷入局部極值點(diǎn)的缺陷，MPSO對(duì)BPSO做了許多調(diào)整，加入了很多新的算子，從而增大了算法的計(jì)算量，算法的復(fù)雜度也有所增加，粒子同樣進(jìn)化500代，MPSO的運(yùn)行時(shí)間明顯比BPSO長(zhǎng)。

圖3 算法優(yōu)化動(dòng)態(tài)曲線

在仿真實(shí)驗(yàn)中，文中利用基本BPSO以及MPSO分別對(duì)以上3幀圖像進(jìn)行超分辨率放大3倍優(yōu)化，并將兩種算法的結(jié)果進(jìn)行比較，分別如圖4和圖5所示。

圖4 BPSO超分辨重建優(yōu)化3倍效果

圖5 MPSO超分辨重建優(yōu)化3倍效果

從實(shí)驗(yàn)結(jié)果可以得到，改進(jìn)MPSO算法與基本BPSO算法在視頻序列超分辨率重建應(yīng)用中，算法的執(zhí)行后期的收斂性有很大的提高，除此之外，重建圖像像素效果也有很大的改善，在圖像重建清晰度以及圖像細(xì)節(jié)表現(xiàn)上有了較明顯的提高，尤其是圖像重建倍數(shù)越大時(shí)，效果對(duì)比越明顯。

5 結(jié)束語(yǔ)

建立了一種有效的視頻超分辨率重建數(shù)學(xué)優(yōu)化模型，將多幀視頻超分辨率重建問題轉(zhuǎn)化為從低分辨率圖像到高分辨率圖像的算法尋優(yōu)問題。針對(duì)BPSO算法易陷入局部極值的缺陷，對(duì)其進(jìn)行改進(jìn)，將遺傳算法原理、蟻群機(jī)制引入基本PSO算法中，并結(jié)合問題設(shè)計(jì)了適應(yīng)度評(píng)估方法，提出了一種改進(jìn)的MPSO算法。仿真實(shí)驗(yàn)驗(yàn)證了提出的模型和算法對(duì)于解決視頻超分辨率問題的可行性和有效性。