郝貴舉,楊洪臣,顏瑞彬
(1.中國刑事警察學(xué)院,沈陽 110035;2.中國人民公安大學(xué),北京 100038)
超分辨率技術(shù)(super-resolution)就是將低分辨率(low-resolution)的單幅或同一場景的多幅圖像經(jīng)過一定的算法提升到高分辨率(high-resolution),增加圖像的像素密度,豐富細(xì)節(jié)信息,增強(qiáng)視覺效果。在公安刑偵工作中,高分辨率的視頻圖像對于后期進(jìn)行針對性視頻分析工作至關(guān)重要。這項(xiàng)技術(shù)能夠克服硬件系統(tǒng)、拍攝環(huán)境的局限,能夠低成本、高效率為公安偵查工作提供可靠方向。
隨著圖像處理技術(shù)的發(fā)展,超分辨技術(shù)逐步得到國內(nèi)外學(xué)者的廣泛探索與深入研究,取得了豐碩的成果。目前,超分辨算法大致可以分為基于插值、基于重建以及基于學(xué)習(xí)三種[1]。基于插值的方法就是通過低分辨率的像素點(diǎn)與周圍的信息進(jìn)行插值,重構(gòu)圖像,以達(dá)到高分辨重建的效果,是最傳統(tǒng)也是最簡單的方法。然而,放大倍數(shù)較大時(shí),圖像出現(xiàn)明顯的邊緣模糊化,視覺效果較差?;谥亟ǖ姆椒ǎ褪且罁?jù)低分辨率圖像的退化模糊的先驗(yàn)原理,逆向推斷成像過程,進(jìn)行超分辨重建?;趯W(xué)習(xí)的方法就是通過訓(xùn)練數(shù)據(jù),使機(jī)器學(xué)習(xí)高分辨率和低分辨率圖像的映射關(guān)系,然后針對低分辨率圖像,依據(jù)建立的映射關(guān)系獲得高分辨率圖像。目前,基于學(xué)習(xí)的方法結(jié)合神經(jīng)網(wǎng)絡(luò)對低分辨率圖像做處理,在重建質(zhì)量和速度方面表現(xiàn)出強(qiáng)大的優(yōu)勢,得到廣大學(xué)者的關(guān)注和認(rèn)可。2016年香港中文大學(xué)Dong等[2]提出卷積神經(jīng)網(wǎng)絡(luò)模型(super-resolution convolutional neural network, SRCNN),首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單幅圖像的超分辨率重建上,與傳統(tǒng)算法相比,SRCNN客觀性能指標(biāo)和主觀視覺評價(jià)上有了很大的提高。為了達(dá)到實(shí)時(shí)超分辨效果,Dong 等[3]在改進(jìn)SRCNN基礎(chǔ)上提出了一種更加緊湊的深度卷積神經(jīng)網(wǎng)絡(luò)模型(fast super-resolution convolutional neural network, FSRCNN),在網(wǎng)絡(luò)的最后引入反卷積層。為了提高超分辨質(zhì)量,Wang[4]和Liu[5]提出了將稀硫編碼與深度學(xué)習(xí)相結(jié)合實(shí)現(xiàn)快速訓(xùn)練,提升了圖像的魯棒性能。此外,在視頻超分辨研究領(lǐng)域,Liao[6]提出將光流方法與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合獲得高分辨率視頻幀,加快視頻重建速度。Caballero[7]提出了一種基于空間變壓器網(wǎng)絡(luò)的運(yùn)動補(bǔ)償機(jī)制的時(shí)空亞像素卷積網(wǎng)絡(luò)(VESPCN),減少了時(shí)空網(wǎng)絡(luò)計(jì)算,提高了重建的準(zhǔn)確度。Wang等[8]提出了一種結(jié)合殘差塊的增強(qiáng)型視頻超分辨網(wǎng)絡(luò)(EVSR),利用時(shí)空信息獲取連續(xù)幀之間運(yùn)動關(guān)系,結(jié)合殘差學(xué)習(xí)提升網(wǎng)絡(luò)收斂速度,預(yù)測高頻細(xì)節(jié) 信息。
本文提出將視頻中相近時(shí)段的兩幀圖像代替雙目圖像,即截取視頻中同一運(yùn)動物體不同時(shí)間的兩幀圖像作為視差不同的雙目圖像,輸入網(wǎng)絡(luò)模型中,利用雙目圖像的較大視差,結(jié)合殘差網(wǎng)絡(luò)結(jié)構(gòu),視差注意力機(jī)制,對輸入的低分辨率的圖像進(jìn)行超分辨率重建,獲取高頻信息。與傳統(tǒng)方法相比,本文使用的網(wǎng)絡(luò)模型在客觀性能上和主觀視覺效果上均有顯著提升,為基于學(xué)習(xí)提升視頻圖像超分辨率提供一種思路,在公安實(shí)踐中有較大的運(yùn)用前景。
1.2治療方法:兩組患者均進(jìn)行血尿常規(guī)、肝腎功能、電解質(zhì)、心肌酶譜等常規(guī)檢查,記錄18導(dǎo)聯(lián)心電圖,查血型配血備用。嚼服阿司匹林300mg,以后改為75~150 mg/d,同時(shí)口服300mg氯吡格雷;結(jié)合患者病情給予患者合并癥進(jìn)行對癥治療。
人眼從兩個(gè)不同角度觀察相同物體,會得到不同的物體信息,再經(jīng)過大腦進(jìn)行處理可以獲得空間物體的三維信息。根據(jù)人眼原理,在計(jì)算機(jī)中建立雙目立體視覺系統(tǒng),運(yùn)用三維重建技術(shù),對輸入物體的雙目圖像進(jìn)行處理,得到物體空間信息。
2.2.4 反卷積
對極幾何就是表示兩幅圖像間的內(nèi)部射影關(guān)系,與外部環(huán)境無關(guān)。它表示圖像平面與平面束相交構(gòu)成的幾何。
目前,超分辨評價(jià)準(zhǔn)則標(biāo)準(zhǔn)包括主觀評價(jià)和客觀評價(jià)。主觀評價(jià)依據(jù)人眼的視覺感受,對圖像的優(yōu)劣作出主觀的評價(jià)??陀^的量化方法包括峰值信噪比(PSNR)以及結(jié)構(gòu)相似性(SSIM)。PSNR是計(jì)算圖像內(nèi)像素最大值與加性噪聲功率的比值,它基于處理后的圖像與原圖像對應(yīng)像素點(diǎn)間誤差,PSNR值越高,表示圖像失真越小,說明超分辨重建圖像的質(zhì)量與高分辨圖像的質(zhì)量越接近,圖像效果越好,其計(jì)算方法如公式(1)所示:
如圖1a所示,如果得到三維空間點(diǎn)P在圖像I1上的投影點(diǎn)是P1,則這個(gè)點(diǎn)在圖像I2上的投影一定會在l2這條極線上。當(dāng)P1在O1P向量上,其在I2的投影都在l2這條極線上,根據(jù)這個(gè)幾何特性,當(dāng)已知P1時(shí),可以在l2上找到P2。反之同理,這就是對極約束。將對極幾何中的極線約束應(yīng)用在圖像超分辨的重建中,可以集成低分辨率雙目圖像的有效信息,但拍攝立體圖像對時(shí),對環(huán)境光照非常敏感,受光照角度、強(qiáng)度變化的影響,拍攝的兩張圖片亮度差別會比較大,而且兩臺攝像機(jī)的位置要水平放置在同一基準(zhǔn)面上,且需要同時(shí)拍攝,并保證兩臺攝像機(jī)的光軸是平行的,無疑為雙目圖像的獲取增加了難度。因此,提出截取視頻中同一運(yùn)動物體相近時(shí)段的兩幀圖像作為雙目立體圖像的方法。
如圖1b所示,監(jiān)控視頻的攝像機(jī)固定在一點(diǎn)o,運(yùn)動物體從P運(yùn)動到P’,先截取運(yùn)動物體在P點(diǎn)的圖像相當(dāng)于傳統(tǒng)雙目立體圖像中右視角拍攝圖像,再截取物體運(yùn)動到P’點(diǎn)處的圖像相當(dāng)于傳統(tǒng)雙目立體圖像中左視角圖像,因此得到視差不同的雙目圖像。圖像點(diǎn)X和X’和攝像機(jī)中心o以及空間點(diǎn)P和P’五個(gè)點(diǎn)是共面的,構(gòu)成平面π,是最本質(zhì)的約束。當(dāng)已知圖像點(diǎn)X,由于X和X’一定在平面π上,π可以利用圖像點(diǎn)的反投影射線以及空間點(diǎn)運(yùn)動基線PP’確定,圖像點(diǎn)X’是右側(cè)圖像平面上的點(diǎn),因此,X’一定位于平面π與右側(cè)圖像平面的交線l2上,因此構(gòu)成約束。
如圖2所示,所采用的總體方案主要由四部分構(gòu)成,分別為多尺度特征提取、視差注意模塊、殘差學(xué)習(xí)、反卷積。
圖1 對極幾何(a)與仿對極幾何(b)約束圖Fig. 1 Illustration of constraint relationship about epipolar geometry (a) and its imitating alternative (b)
增值稅費(fèi)用的發(fā)生導(dǎo)致相關(guān)資產(chǎn)的減少或負(fù)債的增加,所以,增值稅費(fèi)用=當(dāng)期發(fā)生的應(yīng)交增值稅+遞延增值稅負(fù)債的增加-遞延增值稅資產(chǎn)的減少。
為了給人們創(chuàng)造更好的生活,給社會生產(chǎn)帶來更大的效益,同時(shí)滿足國家發(fā)展綠色經(jīng)濟(jì)的戰(zhàn)略目標(biāo),利用太陽能光伏發(fā)電已成為必然趨勢。如何實(shí)現(xiàn)對太陽能光伏發(fā)電過程的監(jiān)控和管理,促進(jìn)太陽能光伏發(fā)電系統(tǒng)的穩(wěn)定運(yùn)行,電氣自動化成為不可或缺的技術(shù)。本文探索了電氣自動化與太陽能光伏發(fā)電存在的密不可分的聯(lián)系,實(shí)踐證明,電氣自動化可以推動可再生能源的發(fā)展,也有利于生態(tài)環(huán)境的保護(hù),促進(jìn)綠色產(chǎn)業(yè)經(jīng)濟(jì)的發(fā)展。
實(shí)驗(yàn)所采用的仿真平臺為pycharm,硬件設(shè)備為Intel Core i5 型號的處理器和NVIDIA GeForce GTX 1080 Ti GPUFR 計(jì)算機(jī),內(nèi)存為32 GB。CUDA Toolkit的版本為9.0,訓(xùn)練數(shù)據(jù)集采用雙目圖像公開數(shù)據(jù)集Flickr1024數(shù)據(jù)集中的800張多場景圖像。
SSIM是評價(jià)原始圖像與處理圖像之間的結(jié)構(gòu)度、亮度和對比度的相似性,SSIM值趨近于1,說明兩幅圖像相似,重建效果越好。其計(jì)算公式如下:
其中,μX和μY為圖像X、Y的像素均值,σX和σY為圖像X、Y的像素標(biāo)準(zhǔn)值,σXY表示圖像X和圖像Y的協(xié)方差。C1、C2、C3為常數(shù)。C1=(K1×L)2,,一 般 的,K1=0.01,K2=0.03,L=255。
網(wǎng)絡(luò)的訓(xùn)練樣本包括輸入圖像的低分辨率以及高分辨率的標(biāo)簽圖兩部分組成。首先要對原始樣本集進(jìn)行下采樣,使用雙三次插值法獲取低分辨圖像集。其次,對原始樣本集和低分辨圖像集擴(kuò)充,采用不同尺寸的滑動窗口對圖像切割,得到若干90×30的低分辨率圖像塊和360×120高分辨率圖像塊作為訓(xùn)練集。
該方法相對于傳統(tǒng)運(yùn)用兩臺攝像機(jī)拍攝雙目圖像的方法,可以保證兩張圖像拍攝的相機(jī)內(nèi)部參數(shù)完全相同,可以更好地控制拍攝條件,確保拍攝環(huán)境的相對一致性,雙目圖像的獲取更加便利。
在加快融媒體融合改革的過程中,一些地市媒體大膽創(chuàng)新,實(shí)行采編與經(jīng)營分開、事業(yè)產(chǎn)業(yè)分開,打破僵化的用人和分配制度,激發(fā)全體員工的積極性,內(nèi)部活力顯著增強(qiáng)。浙江省余杭晨報(bào)社規(guī)范新媒體管理體制,并建立績效評估機(jī)制,在原有的機(jī)制及體制上進(jìn)行創(chuàng)新,與時(shí)俱進(jìn),提出了新的思路,同時(shí)從制度上給予保障。福建省閩南日報(bào)社對報(bào)紙記者與網(wǎng)站記者實(shí)行統(tǒng)一招聘、統(tǒng)一培訓(xùn)、統(tǒng)一發(fā)證,定期輪崗交。用人制度的創(chuàng)新,既推動了采編人員觀念上的融合,也提高了報(bào)網(wǎng)采編人員的業(yè)務(wù)能力,有力地推進(jìn)了“全媒體人才”的培養(yǎng)。
2.2.1 多尺度特征提取
提取圖像的上下文信息在圖像的超分辨重建過程中至關(guān)重要,是有效恢復(fù)高頻信息的關(guān)鍵。Chen等[9]對空洞空間金字塔池化(atrous spatial pyramid pooling,ASPP)結(jié)構(gòu)進(jìn)行了改進(jìn),這樣可以更好處理特征大小的問題。
本文將改進(jìn)的ASPP思路運(yùn)用到圖像的超分辨的特征提取過程中,可以表達(dá)圖像的多尺度特征。
改進(jìn)的ASPP模塊包括一個(gè)核為1×1的卷積層,三個(gè)核為3×3的卷積層,以及一個(gè)全局平均池化層。增加的1×1卷積層可以提取圖像的大范圍特征,這樣防止3×3卷積層的膨脹率過大丟失邊緣特征的信息;三個(gè)3×3的卷積通過采用不同的膨脹率(膨脹率分別采用1、4、8),得到圖像的多尺度特征;平均池化層可以獲取圖像的全局特征。這樣就可以獲取圖像的局部特征以及背景全局特征,為下一層網(wǎng)絡(luò)提供了圖像的多尺度特征信息。圖3為多尺度特征提取模塊流程圖。
圖2 總體設(shè)計(jì)方案流程圖Fig. 2 Flow chart of overall scheme about super-resolution into image
圖3 多尺度特征提取模塊流程圖Fig. 3 Operational mode of multi-scale feature extraction module
2.2.2 視差注意模塊
其中,x和y分別為殘差塊的輸入和輸出向量,Wi表示第i層卷積的權(quán)重(圖5示意為兩層),σ表示Relu激活函數(shù),為方便起見,表達(dá)式中省略了偏置,采用恒等映射,這樣沒有引進(jìn)額外參數(shù)。F(x,Wi)是要學(xué)習(xí)的殘差映射。為實(shí)現(xiàn)輸入與輸出同等映射,應(yīng)使殘差趨近于0,這樣可以表示在深度網(wǎng)絡(luò)下,網(wǎng)絡(luò)的權(quán)重訓(xùn)練已經(jīng)達(dá)到最優(yōu),其余的網(wǎng)絡(luò)的層數(shù)不會使網(wǎng)絡(luò)的學(xué)習(xí)精度下降。因此,采用兩個(gè)卷積層組成一個(gè)殘差塊,每一層卷積由64個(gè)3×3的濾波器構(gòu)成,激活函數(shù)采用LeakyRelu。圖5所示為殘差學(xué)習(xí)的基本思路。
針對雙目圖像,PASSRnet模型中提出一種視差注意力機(jī)制,其中視差提取模塊沿極線具有全局感受野,然后運(yùn)用對極幾何中的極線約束,獲取雙目圖像之間無遮擋的有效信息[10]。如圖4是視差注意模塊的流程圖。
干氣密封二次密封氣和隔離氣采用0.6 MPa的低壓氮?dú)猓蛪旱獨(dú)饨?jīng)過濾后,再經(jīng)自力式控制閥控制壓力在0.4 MPa后分為兩路,一路作為二級密封氣再分為三路分別進(jìn)入低壓缸、中壓缸、高壓缸的干氣密封的二級密封腔中。其中大部分通過梳齒密封進(jìn)入主密封氣泄漏至火炬系統(tǒng),少部分二級密封氣通過二級密封的動靜環(huán)之間的空隙進(jìn)入二級密封氣泄漏至大氣;另一路作為隔離氣分為三路進(jìn)入壓縮機(jī)低壓缸、中壓缸、高壓缸兩端的軸承與干氣密封之間的腔體中,部分隔離氣通過梳齒密封進(jìn)入二級密封氣泄漏至大氣,部分隔離氣通過梳齒密封進(jìn)入軸承箱中,通過呼吸閥排至大氣。
將獲取的特征圖左圖(ML)與右圖(MR)通過一個(gè)過渡殘差塊,得到ML’和MR’,再將ML’輸入1×1的卷積層得到L,MR’輸入1×1卷積層轉(zhuǎn)置后得到R。將L和R進(jìn)行批次化矩陣相乘,得到視差注意力圖M。同時(shí)MR通過1×1卷積層得到A,再將M與A進(jìn)行批次化矩陣相乘得到O。將左右圖交換,重復(fù)上述過程,最終將得到的特征圖通過1×1卷積融合,得到最終左右圖特征融合后的結(jié)果。
參觀完柏林的博物館島,稍稍休息一下,我們就啟程前往下一站——魯爾區(qū)。魯爾區(qū)曾經(jīng)是德國重工業(yè)集聚的地區(qū)。得益于魯爾區(qū)豐富的煤礦,這里上演過德國的工業(yè)神話,其單日產(chǎn)煤量曾居世界第一。隨著更清潔的油氣能源得到推廣,煤礦業(yè)衰落,魯爾區(qū)的煤礦也被廢棄。魯爾區(qū)的工業(yè)遺跡如今被改造成了公園,還被聯(lián)合國教科文組織指定為世界文化遺產(chǎn)之一呢!如今我們漫步其中,一座座巨大的工業(yè)機(jī)械如同雄偉的紀(jì)念碑,給人恍若隔世的感覺。
圖4 視差注意模塊流程圖Fig. 4 Work route of parallax attention module
2.2.3 殘差學(xué)習(xí)
超分辨重建過程采用了4個(gè)殘差模塊對特征融合后的張量進(jìn)行卷積操作。由于神經(jīng)網(wǎng)絡(luò)的深度對圖像的重建效果會產(chǎn)生較大的影響,并不是神經(jīng)網(wǎng)絡(luò)的深度越深,結(jié)果越好。對于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)隨著深度的不斷加深,梯度消失現(xiàn)象出現(xiàn),數(shù)據(jù)訓(xùn)練的準(zhǔn)確性趨于平緩,訓(xùn)練誤差會變大。為了解決這種退化現(xiàn)象,Kim等[11]提出了殘差學(xué)習(xí)(ResNet)。殘差學(xué)習(xí)的數(shù)學(xué)表達(dá)式如下:
深度學(xué)習(xí)中注意力機(jī)制是借鑒人類的注意力機(jī)制,關(guān)注所需要的目標(biāo)區(qū)域,獲取圖像重點(diǎn)信息,抑制無關(guān)信息。注意力機(jī)制一般通過掩碼實(shí)現(xiàn)。掩碼(mask)就是利用一層新的權(quán)重,標(biāo)識出圖片中重點(diǎn)細(xì)節(jié)信息,機(jī)器學(xué)習(xí)訓(xùn)練后,使網(wǎng)絡(luò)模型學(xué)習(xí)到圖片中重點(diǎn)關(guān)注目標(biāo)區(qū)域。
雙目立體視覺的原理就是將兩臺攝像機(jī)放置在不同位置,以不同視角同時(shí)拍攝同一空間物體,根據(jù)成像原理獲得兩個(gè)二維平面圖像,計(jì)算空間點(diǎn)映射到左圖與右圖像素上坐標(biāo)偏差,獲得物體的三維空間信息。
“此在”之本真生存,是對本己能在的先行籌劃,是對身體本能需求的滿足,是不帶功利目的的生存活動。在有限的生命中,技術(shù)對人類自身所蘊(yùn)含的內(nèi)在潛力進(jìn)行揭示,承擔(dān)下“此在”之生存的意義去通達(dá)“存在”。隨著時(shí)代的發(fā)展,手工勞動被機(jī)器的大批量生產(chǎn)所取代,身體的能量因失去了勞動的排泄路徑而堆積體內(nèi),過剩的能量沒有與自然及時(shí)地進(jìn)行物質(zhì)交換,淤堵于身體之中以肥胖等病態(tài)面貌示之。人類需要體育技術(shù)技能找回原本的動物屬性,在體育的技術(shù)合理化使用的幫助之下呼喚“此在”之為生存的本真狀態(tài)。
反卷積也稱為轉(zhuǎn)置卷積。輸入圖像通過卷積網(wǎng)絡(luò)提取特征,輸入的尺寸會變小,圖像經(jīng)過超分辨重建后,輸出圖像需要將圖像恢復(fù)到原來的尺寸以便進(jìn)行對比觀察,因此利用反卷積層將卷積過程可視化。反卷積過程首先對輸出圖像自動填充補(bǔ)0,增大圖像尺寸,再將卷積核旋轉(zhuǎn),最后正向卷積。因此,通過反卷積層對特征張量進(jìn)行反卷積操作,反卷積層由64個(gè)3×3的濾波器構(gòu)成。反卷積層可以將特征張量映射到RGB空間,擴(kuò)大圖像尺寸,最終得到可視化的輸出圖像。
圖5 殘差學(xué)習(xí)網(wǎng)絡(luò)圖Fig. 5 Convolutional evolution with residual learning network
其中,MAX1表示圖像中像素值的最大值,MSE表示原始圖像X與處理后圖像Y之間的均方誤差,其公式計(jì)算如下:
測試數(shù)據(jù)集選用KITTI2012測試集中的100幅圖像、KITTI2015 測試集中的20幅圖像以及真實(shí)視頻中截取的20幅圖像。
采用Adam優(yōu)化函數(shù)對網(wǎng)絡(luò)進(jìn)行優(yōu)化,迭代次數(shù)為90次,初始學(xué)習(xí)率設(shè)置為0.000 2,當(dāng)訓(xùn)練每間隔30次,學(xué)習(xí)率降低為原來的一半。
現(xiàn)將本文算法分別與Bicubic算法、SRCNN算法、VSRnet[12]算法以及VESPCN算法進(jìn)行主觀與客觀比較,驗(yàn)證其有效性。將測試數(shù)據(jù)集圖像尺寸分別放大2倍和4倍后,圖像超分辨客觀比較結(jié)果如表1所示。
第一,樹立黨章意識,自覺尊崇黨章。十九大新修訂的黨章是推動全面從嚴(yán)治黨向縱深發(fā)展的根本遵循,要教育引導(dǎo)黨員干部自覺學(xué)習(xí)黨章、遵守黨章、貫徹黨章、維護(hù)黨章,深入學(xué)習(xí)新修訂黨章的新內(nèi)容,深刻領(lǐng)會新黨章的理論創(chuàng)新、思想創(chuàng)新和精神實(shí)質(zhì),推動新黨章各項(xiàng)新思想、新要求、新規(guī)定在全面從嚴(yán)治黨中落細(xì)落實(shí)。
表1 測試集的平均PSNR(dB)和SSIM的比較Table 1 Comparison of different algorithms with test set about their resultant mean PSNRs (dB) and SSIMs
從表1中可以看出,本文方法對視頻圖像的超分辨重建中,放大倍數(shù)增大,PSNR和SSIM指標(biāo)降低,重建質(zhì)量下降。與SRCNN方法比較,圖像放大2倍時(shí)PSNR提升1.27 dB,SSIM提升0.004,主要原因?yàn)橄啾扔赟RCNN針對單幅圖像進(jìn)行超分辨,本文采用雙目圖像作為輸入圖像,可以充分利用左右目圖像信息,使特征更為豐富。相比于VSRnet和VESPCN在圖像放大2倍的情況下,本文的結(jié)果較好,其原因主要為采用ASPP網(wǎng)絡(luò)對輸入圖像進(jìn)行多尺度特征提取,使得網(wǎng)絡(luò)可以學(xué)習(xí)不同感受野的特征信息,恢復(fù)更多的丟失細(xì)節(jié)信息。此外,采用的視差注意機(jī)制能有效集成雙目圖像中左圖的有用信息,同時(shí)采用殘差學(xué)習(xí),使網(wǎng)絡(luò)具有泛化性能,可以學(xué)習(xí)不同維度殘差特征,從而獲得豐富的紋理信息,重建效果更好。
積極培養(yǎng)在聯(lián)合國決策、建議和管理機(jī)構(gòu)工作的軍事以及外交人才,在維和行動建立與執(zhí)行的各個(gè)階段,與安理會盡可能保持經(jīng)常性的磋商,努力開拓多樣化渠道,把中國的維和見解整合到全球多邊和平的框架之中,用精湛的戰(zhàn)略和務(wù)實(shí)的態(tài)度維護(hù)國家利益。
為檢驗(yàn)本文算法對于公安實(shí)踐中視頻圖像的應(yīng)用價(jià)值,從實(shí)際案件中的監(jiān)控視頻畫面截取兩幀圖像作為實(shí)驗(yàn)樣本,本文算法與其他幾種經(jīng)典的圖像和視頻超分辨算法重建效果進(jìn)行對比,圖6為放大2倍的情況下不同算法的超分辨結(jié)果。
我報(bào)出了自己的大學(xué)校名。季經(jīng)理沉吟了一下,對白麗筠說,我們H公司只收211、985這類重點(diǎn)大學(xué)的畢業(yè)生,這一點(diǎn)你是知道的。
公安工作中另一種經(jīng)常出現(xiàn)的視頻圖像就是對人像的識別。例如,銀行的ATM取款機(jī)通過魚眼鏡頭所拍攝到的人像信息,受到拍攝環(huán)境的限制,得到的視頻圖像中曝光不足導(dǎo)致人像模糊,因此通過截取不同視差的雙目圖像作為網(wǎng)絡(luò)的輸入圖像,對低質(zhì)量的人像進(jìn)行超分辨重建,為公安偵查工作提供方向。圖7為放大4倍的情況下不同算法的人像超分辨結(jié)果圖。
圖6 超分辨重建結(jié)果圖(放大2倍)Fig. 6 Super-resolution reconstruction into the image of a car’s registration plate (zoomed twice)
圖7 超分辨重建結(jié)果圖(放大4倍)Fig. 7 Super-resolution reconstruction into the image of one person’s face (zoomed four times)
對圖6、7中紅框表示的區(qū)域放大,進(jìn)行細(xì)節(jié)紋理的對比,可以觀察出本文算法優(yōu)于VSRnet、VESPCN和SRCNN算法。圖6中車牌數(shù)字和字母的棱角邊緣可以觀察出,本文方法的重建視覺效果更為清晰,重建的車牌中棱角邊緣形狀更接近于真實(shí)圖像。圖7中由于是ATM機(jī)前鏡頭拍攝,圖像光線較暗,但可以看出本文算法相比于傳統(tǒng)算法,重建效果明顯清晰。因此,本文所采用的超分辨重建算法應(yīng)用于視頻圖像可以恢復(fù)圖像更多的細(xì)節(jié)信息,視覺效果上增加了圖像的清晰度,超分辨效果較好。
將視頻中相近時(shí)段截取的兩幀圖像代替雙目圖像,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行超分辨為提高視頻圖像分辨率提供了一種新思路。雙目圖像的獲取方法更加便利、準(zhǔn)確、便捷。實(shí)驗(yàn)結(jié)果表明,相較于一些傳統(tǒng)的視頻超分辨重建方法,本文模型性能在客觀指標(biāo)和主觀視覺效果上均有較好的結(jié)果,能恢復(fù)更多圖像的高頻信息,減少圖像邊緣模糊。在未來工作中,可以深度挖掘該模型的實(shí)用價(jià)值,應(yīng)用到公安偵查工作中的人像監(jiān)控識別、車牌監(jiān)控識別、行車記錄儀等低分辨率的視頻圖像的重建,提高辦案效率。
本文提出的方法雖然在視頻圖像超分辨率重建上取得了較好的結(jié)果,但只采用視頻中的兩幀圖像,圖像特征提取范圍具有一定的局限。接下來研究中,考慮截取同一運(yùn)動物體不同時(shí)段的多幀圖像,輸入網(wǎng)絡(luò),多次迭代,進(jìn)一步提高圖像分辨率。