亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于SOC的高實時全景拼接技術(shù)研究

        2022-04-22 02:47:53吳岳
        計算機應(yīng)用文摘·觸控 2022年7期
        關(guān)鍵詞:實時性

        關(guān)鍵詞:光電偵察;實時性;全景拼接;SOC

        中圖法分類號:TP312 文獻(xiàn)標(biāo)識碼:A

        1引言

        在光電偵察領(lǐng)域,全景圖像拼接理論、技術(shù)和方法一直是研究重點[1~4],在軍事、安防等方面具有重大的價值及應(yīng)用前景。它將同一場景獲得的多幅局部圖像拼接為一副寬視角的圖像[5],解決了單目攝像機不能完整顯示廣角360°圖像的問題,提高了圖像信息采集的完整度,增加了關(guān)鍵信息捕獲的效率與質(zhì)量。

        然而,現(xiàn)有的全景拼接方案大都采用軟件處理的方式[6],該方式存在存儲圖像分辨率不足、實時性得不到保障[7~8]、拼接延遲較大、無法在拼接的基礎(chǔ)上引入其他復(fù)雜的圖像處理算法等局限,為了滿足上述需求,提出并設(shè)計一種高實時性、靈活的軟硬件解決方案變得愈發(fā)迫切。

        本文提出并實現(xiàn)的全景拼接技術(shù)依托ZynqUltraScale為硬件設(shè)計平臺,采用FPGA邏輯與高速DDR4存儲模塊完成了圖像處理及復(fù)雜計算,延遲低,可實現(xiàn)任意拼接圖像大小以及任意拼接行列數(shù)的切換功能,具備廣闊的應(yīng)用前景。

        2全景拼接技術(shù)系統(tǒng)框架

        本文所述全景拼接技術(shù)采用“UltraScale+ZU9EG”邏輯芯片為主處理器,圖像輸入采用1K高清紅外相機,并以HDMI作為拼接顯示,硬件平臺如圖1所示。

        通過片上FPGA系統(tǒng)開發(fā),完成了全景拼接技術(shù)部署,分為三大部分,即圖像預(yù)處理模塊、全景拼接模塊和HDMI顯示模塊。

        圖像預(yù)處理模塊完成電子變倍功能,級實現(xiàn)1K圖像的縮放顯示,采用的雙線性插值方法極大保留原始圖像的真實性;拼接模塊對datamover IP核進(jìn)行控制配置,分割圖像讀寫DDR的時序,保證拼接視頻的輸出連續(xù)性。HDMI輸出模塊運用GTH IP核結(jié)合FPGA邏輯實現(xiàn)serdes總線協(xié)議編碼輸出,節(jié)約了硬件系統(tǒng)資源與空間。

        3設(shè)計與實現(xiàn)

        3.1預(yù)處理模塊

        為實現(xiàn)不同拼接子單元大小的改變,本文采用雙線性插值算法對1K紅外圖像進(jìn)行電子變倍預(yù)處理,該算法充分利用源圖中虛擬點四周的四個像素點來共同決定目標(biāo)圖形中的一個像素值,實現(xiàn)在不損失視場前提下的圖像尺寸變化。其實現(xiàn)公式如下:

        srcX=(dstX+0.5)×(srcwidth/dstwidth)-0.5(1)

        srcY=(dstY+0.5)×(srcheight/dstheight)-0.5(2)

        其中,srcX為源像素所在列數(shù);srcY為源像素所在行數(shù);dstX為目的像素所在列數(shù);dstY為目的像素所在行數(shù);srcwidth為源圖像列;srcheight為源圖像行;dstwidth為縮放后圖像總列;dstheight為縮放后圖像總行。最后通過verilog編碼完成該算法的通用SOCIP核,其對外接口如圖2所示。

        接口類型采用主流圖像接口幀有效vs、數(shù)據(jù)有效de、以及數(shù)據(jù)data,并通過AXI_lite總線實現(xiàn)ARM核的縮放倍數(shù)調(diào)度,確定srcwidth、dstwidth、srcheight、dstheight數(shù)值,實現(xiàn)動態(tài)縮放預(yù)處理功能。

        3.2全景拼接模塊

        傳統(tǒng)圖像拼接技術(shù)利用上位機完成各視場子圖像的拼接排序,延遲較高且GPU資源使用較高,無法滿足日益增長的圖像拼接需求。本文依托XILINX獨有的AXI總線及交互協(xié)議,采用多級緩存、同步數(shù)據(jù)復(fù)位、高分時復(fù)用以及巧妙地信號握手、格式重組,完成了全景拼接算法的模塊化設(shè)計,邏輯框架如圖3所示。每個幀周期完成當(dāng)前幀與上一幀圖像的存儲,并通過乒乓操作將上一幀的內(nèi)容輸出顯示,從視覺上實現(xiàn)了動態(tài)拼接過程的刷新顯示,與傳統(tǒng)軟件方式實現(xiàn)的全景拼接相比,實時性有顯著提升。

        其具體實現(xiàn)分為輸入與輸出兩塊,利用FPGA的并行計算特點,通過乒乓讀寫實現(xiàn)逐幀刷新。以2行2列拼接顯示為例,第一步:線程一將幀號為1的行列圖像輸入FIFO2單元,通過FIFO2進(jìn)行相應(yīng)的跨時鐘域操作并將圖像行列參數(shù)轉(zhuǎn)換為DDR_CTR所需的AXI_STREAM總線,并通過datamover IP核傳遞至ARM端DDR4進(jìn)行緩存,將其存儲于輸入存儲空間的“1”位置,該IP核實現(xiàn)對少量外設(shè)寄存器的控制以及PL中斷PS,PS調(diào)用中斷服務(wù)程序響應(yīng)。實現(xiàn)PL主動通知PS,協(xié)調(diào)工作,傳輸連續(xù)大量的數(shù)據(jù)到DDR4存儲器,控制邏輯在PL部分實現(xiàn),由于片內(nèi)沒有足夠的BLOCK RAM所以在DDR3存儲芯里面共享一部分空間作為顯存,PL獨立于處理器主動地從DDR4存儲器取數(shù)并顯示。

        以實現(xiàn)一個S2MM寫為例,將1幀圖像緩存于FIFO1單元以便后續(xù)乒乓輸入;線程二將FIFO2中預(yù)存的上一幀(這里命名為“4”)通過與幀1同樣的方式轉(zhuǎn)換為AXI_STREAM總線,并通過datamoverIP核傳遞至ARM端DDR4進(jìn)行緩存,將其存儲于輸入存儲空間的“4”位置;線程三將輸出存儲空間2?2的圖片以FIFO3為媒介輸出。第二步:將幀號為2的行列圖像依照幀號為1的圖像進(jìn)行流水并將其存儲于步驟一中的輸出緩存空間,此時讀出步驟一中的輸入緩存空間,視覺效果即可實現(xiàn)幀號1到幀號2圖像的依次輸出。步驟三、步驟四等后續(xù)的操作模仿以上兩步進(jìn)行乒乓操作,即可實現(xiàn)全景拼接程序流水。

        3.3HDMI解碼模塊

        傳統(tǒng)的HDMI輸出采用硬件編碼芯片實現(xiàn)數(shù)字信號的并串轉(zhuǎn)換,本文充分利用了異構(gòu)SOC的并行計算特點,采用FPGA邏輯實現(xiàn)了HDMI差分格式數(shù)據(jù)輸出,該IP核充分利用“UltraScale+”芯片特有的GTH IP核,該IP實現(xiàn)了并行數(shù)據(jù)信號的串行化編碼,結(jié)合HDMI輸出格式編寫相關(guān)控制邏輯,至此完成了該通用SOCIP核的設(shè)計。

        4測試結(jié)果與分析

        采用該技術(shù)實現(xiàn)的6行24列快速周視(單幅133?220)全景效果圖如圖4所示。

        經(jīng)測試,設(shè)計的拼接延遲為1幀、實現(xiàn)了全景態(tài)勢信息的動態(tài)更新,并可通過上方控制指令完成拼接模式切換、起停拼接任務(wù)等調(diào)度。

        5結(jié)論

        本文介紹了一種基于SOC硬件平臺的全景拼接技術(shù),該技術(shù)實現(xiàn)包括圖像預(yù)處理、全景拼接、HDMI顯示等模塊,并依次詳述了各模塊的功能和實現(xiàn);充分利用處理器獨有的AXI交互總線,完成了ARM端DDR與FPGA之間的高速通信與拼接顯示讀寫調(diào)度。該技術(shù)不僅可支持任意拼接圖像大小,還可支持任意行列、實時拼接360°全景視頻的功能,圖像延遲僅1幀,具備優(yōu)異的靈活性。

        該研究成果可快速移植應(yīng)用于SOC架構(gòu)的其他硬件平臺,具有較高的設(shè)計參考和應(yīng)用推廣價值。

        作者簡介:

        吳岳(1994—),碩士,助理工程師,研究方向:FPGA圖像。

        猜你喜歡
        實時性
        基于規(guī)則實時性的端云動態(tài)分配方法研究
        基于虛擬局域網(wǎng)的智能變電站通信網(wǎng)絡(luò)實時性仿真
        航空電子AFDX與AVB傳輸實時性抗干擾對比
        LonWorks總線實時性能分析與仿真研究
        淺析PCM設(shè)備在電力通信網(wǎng)絡(luò)中的應(yīng)用和發(fā)展
        科技資訊(2016年28期)2017-02-28 09:37:41
        關(guān)于對風(fēng)力送絲系統(tǒng)的智能化改造
        一種滿足實時性需求的測發(fā)控軟件改進(jìn)技術(shù)
        航天控制(2016年6期)2016-07-20 10:21:36
        基于優(yōu)先級標(biāo)簽的LARS調(diào)度算法在網(wǎng)絡(luò)傳輸實時優(yōu)化中的應(yīng)用研究
        智富時代(2015年9期)2016-01-14 04:41:21
        機器人中間件消息實時性保證機制的研究與實現(xiàn)
        軟件(2015年10期)2015-12-25 07:51:57
        網(wǎng)絡(luò)演算理論下的工業(yè)以太網(wǎng)的實時性分析
        伊人久久大香线蕉av不变影院 | 精品久久久久久久久久中文字幕 | 综合91在线精品| 91成人自拍视频网站| 手机免费在线观看av网址| 久久99精品九九九久久婷婷| 在线精品国产一区二区| 国产高潮精品一区二区三区av| 黄色影院不卡一区二区| 蜜桃一区二区三区| 老熟女多次高潮露脸视频| 无码制服丝袜中文字幕| 亚洲第一女人的天堂av| 国产精品vⅰdeoxxxx国产| 中文字幕av在线一二三区| 久久精品亚洲国产av网站| 无码人妻精品一区二区三| 区二区欧美性插b在线视频网站| 亚洲AV小说在线观看| 中文字幕乱码亚洲三区| 国产成人精品午夜二三区波多野 | 日本av一级视频在线观看| 4hu四虎永久免费地址ww416| 亚洲精品国产福利一二区| 男人深夜影院无码观看| 日韩女同在线免费观看| 亚欧色一区w666天堂| 日韩国产一区| 亚洲视频观看一区二区| 国产午夜免费高清久久影院| 又黄又爽又色又刺激的视频| 麻豆国产VA免费精品高清在线| 少妇太爽了在线观看免费| 精品www日韩熟女人妻| 在线a亚洲视频播放在线观看| 日本在线观看一区二区三区视频| 成 人色 网 站 欧美大片在线观看| 亚洲欧洲巨乳清纯| 国产精品一区二区三区不卡| 精品人妻久久一区二区三区| 无码午夜成人1000部免费视频|