亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于SOC的高實時全景拼接技術研究

        2022-04-22 02:47:53吳岳
        計算機應用文摘·觸控 2022年7期
        關鍵詞:實時性

        關鍵詞:光電偵察;實時性;全景拼接;SOC

        中圖法分類號:TP312 文獻標識碼:A

        1引言

        在光電偵察領域,全景圖像拼接理論、技術和方法一直是研究重點[1~4],在軍事、安防等方面具有重大的價值及應用前景。它將同一場景獲得的多幅局部圖像拼接為一副寬視角的圖像[5],解決了單目攝像機不能完整顯示廣角360°圖像的問題,提高了圖像信息采集的完整度,增加了關鍵信息捕獲的效率與質量。

        然而,現(xiàn)有的全景拼接方案大都采用軟件處理的方式[6],該方式存在存儲圖像分辨率不足、實時性得不到保障[7~8]、拼接延遲較大、無法在拼接的基礎上引入其他復雜的圖像處理算法等局限,為了滿足上述需求,提出并設計一種高實時性、靈活的軟硬件解決方案變得愈發(fā)迫切。

        本文提出并實現(xiàn)的全景拼接技術依托ZynqUltraScale為硬件設計平臺,采用FPGA邏輯與高速DDR4存儲模塊完成了圖像處理及復雜計算,延遲低,可實現(xiàn)任意拼接圖像大小以及任意拼接行列數(shù)的切換功能,具備廣闊的應用前景。

        2全景拼接技術系統(tǒng)框架

        本文所述全景拼接技術采用“UltraScale+ZU9EG”邏輯芯片為主處理器,圖像輸入采用1K高清紅外相機,并以HDMI作為拼接顯示,硬件平臺如圖1所示。

        通過片上FPGA系統(tǒng)開發(fā),完成了全景拼接技術部署,分為三大部分,即圖像預處理模塊、全景拼接模塊和HDMI顯示模塊。

        圖像預處理模塊完成電子變倍功能,級實現(xiàn)1K圖像的縮放顯示,采用的雙線性插值方法極大保留原始圖像的真實性;拼接模塊對datamover IP核進行控制配置,分割圖像讀寫DDR的時序,保證拼接視頻的輸出連續(xù)性。HDMI輸出模塊運用GTH IP核結合FPGA邏輯實現(xiàn)serdes總線協(xié)議編碼輸出,節(jié)約了硬件系統(tǒng)資源與空間。

        3設計與實現(xiàn)

        3.1預處理模塊

        為實現(xiàn)不同拼接子單元大小的改變,本文采用雙線性插值算法對1K紅外圖像進行電子變倍預處理,該算法充分利用源圖中虛擬點四周的四個像素點來共同決定目標圖形中的一個像素值,實現(xiàn)在不損失視場前提下的圖像尺寸變化。其實現(xiàn)公式如下:

        srcX=(dstX+0.5)×(srcwidth/dstwidth)-0.5(1)

        srcY=(dstY+0.5)×(srcheight/dstheight)-0.5(2)

        其中,srcX為源像素所在列數(shù);srcY為源像素所在行數(shù);dstX為目的像素所在列數(shù);dstY為目的像素所在行數(shù);srcwidth為源圖像列;srcheight為源圖像行;dstwidth為縮放后圖像總列;dstheight為縮放后圖像總行。最后通過verilog編碼完成該算法的通用SOCIP核,其對外接口如圖2所示。

        接口類型采用主流圖像接口幀有效vs、數(shù)據(jù)有效de、以及數(shù)據(jù)data,并通過AXI_lite總線實現(xiàn)ARM核的縮放倍數(shù)調度,確定srcwidth、dstwidth、srcheight、dstheight數(shù)值,實現(xiàn)動態(tài)縮放預處理功能。

        3.2全景拼接模塊

        傳統(tǒng)圖像拼接技術利用上位機完成各視場子圖像的拼接排序,延遲較高且GPU資源使用較高,無法滿足日益增長的圖像拼接需求。本文依托XILINX獨有的AXI總線及交互協(xié)議,采用多級緩存、同步數(shù)據(jù)復位、高分時復用以及巧妙地信號握手、格式重組,完成了全景拼接算法的模塊化設計,邏輯框架如圖3所示。每個幀周期完成當前幀與上一幀圖像的存儲,并通過乒乓操作將上一幀的內容輸出顯示,從視覺上實現(xiàn)了動態(tài)拼接過程的刷新顯示,與傳統(tǒng)軟件方式實現(xiàn)的全景拼接相比,實時性有顯著提升。

        其具體實現(xiàn)分為輸入與輸出兩塊,利用FPGA的并行計算特點,通過乒乓讀寫實現(xiàn)逐幀刷新。以2行2列拼接顯示為例,第一步:線程一將幀號為1的行列圖像輸入FIFO2單元,通過FIFO2進行相應的跨時鐘域操作并將圖像行列參數(shù)轉換為DDR_CTR所需的AXI_STREAM總線,并通過datamover IP核傳遞至ARM端DDR4進行緩存,將其存儲于輸入存儲空間的“1”位置,該IP核實現(xiàn)對少量外設寄存器的控制以及PL中斷PS,PS調用中斷服務程序響應。實現(xiàn)PL主動通知PS,協(xié)調工作,傳輸連續(xù)大量的數(shù)據(jù)到DDR4存儲器,控制邏輯在PL部分實現(xiàn),由于片內沒有足夠的BLOCK RAM所以在DDR3存儲芯里面共享一部分空間作為顯存,PL獨立于處理器主動地從DDR4存儲器取數(shù)并顯示。

        以實現(xiàn)一個S2MM寫為例,將1幀圖像緩存于FIFO1單元以便后續(xù)乒乓輸入;線程二將FIFO2中預存的上一幀(這里命名為“4”)通過與幀1同樣的方式轉換為AXI_STREAM總線,并通過datamoverIP核傳遞至ARM端DDR4進行緩存,將其存儲于輸入存儲空間的“4”位置;線程三將輸出存儲空間2?2的圖片以FIFO3為媒介輸出。第二步:將幀號為2的行列圖像依照幀號為1的圖像進行流水并將其存儲于步驟一中的輸出緩存空間,此時讀出步驟一中的輸入緩存空間,視覺效果即可實現(xiàn)幀號1到幀號2圖像的依次輸出。步驟三、步驟四等后續(xù)的操作模仿以上兩步進行乒乓操作,即可實現(xiàn)全景拼接程序流水。

        3.3HDMI解碼模塊

        傳統(tǒng)的HDMI輸出采用硬件編碼芯片實現(xiàn)數(shù)字信號的并串轉換,本文充分利用了異構SOC的并行計算特點,采用FPGA邏輯實現(xiàn)了HDMI差分格式數(shù)據(jù)輸出,該IP核充分利用“UltraScale+”芯片特有的GTH IP核,該IP實現(xiàn)了并行數(shù)據(jù)信號的串行化編碼,結合HDMI輸出格式編寫相關控制邏輯,至此完成了該通用SOCIP核的設計。

        4測試結果與分析

        采用該技術實現(xiàn)的6行24列快速周視(單幅133?220)全景效果圖如圖4所示。

        經測試,設計的拼接延遲為1幀、實現(xiàn)了全景態(tài)勢信息的動態(tài)更新,并可通過上方控制指令完成拼接模式切換、起停拼接任務等調度。

        5結論

        本文介紹了一種基于SOC硬件平臺的全景拼接技術,該技術實現(xiàn)包括圖像預處理、全景拼接、HDMI顯示等模塊,并依次詳述了各模塊的功能和實現(xiàn);充分利用處理器獨有的AXI交互總線,完成了ARM端DDR與FPGA之間的高速通信與拼接顯示讀寫調度。該技術不僅可支持任意拼接圖像大小,還可支持任意行列、實時拼接360°全景視頻的功能,圖像延遲僅1幀,具備優(yōu)異的靈活性。

        該研究成果可快速移植應用于SOC架構的其他硬件平臺,具有較高的設計參考和應用推廣價值。

        作者簡介:

        吳岳(1994—),碩士,助理工程師,研究方向:FPGA圖像。

        猜你喜歡
        實時性
        基于規(guī)則實時性的端云動態(tài)分配方法研究
        高技術通訊(2021年3期)2021-06-09 06:57:24
        基于虛擬局域網(wǎng)的智能變電站通信網(wǎng)絡實時性仿真
        航空電子AFDX與AVB傳輸實時性抗干擾對比
        LonWorks總線實時性能分析與仿真研究
        淺析PCM設備在電力通信網(wǎng)絡中的應用和發(fā)展
        科技資訊(2016年28期)2017-02-28 09:37:41
        關于對風力送絲系統(tǒng)的智能化改造
        一種滿足實時性需求的測發(fā)控軟件改進技術
        航天控制(2016年6期)2016-07-20 10:21:36
        基于優(yōu)先級標簽的LARS調度算法在網(wǎng)絡傳輸實時優(yōu)化中的應用研究
        智富時代(2015年9期)2016-01-14 04:41:21
        機器人中間件消息實時性保證機制的研究與實現(xiàn)
        軟件(2015年10期)2015-12-25 07:51:57
        網(wǎng)絡演算理論下的工業(yè)以太網(wǎng)的實時性分析
        亚洲狠狠婷婷综合久久久久图片| 人妻精品久久一区二区三区| 日韩 亚洲 制服 欧美 综合| 国产av丝袜旗袍无码网站| 中文字幕免费观看视频| 亚洲午夜久久久精品国产| 国产一区二区免费在线视频| 亚洲国产成人久久三区| 色妺妺视频网| 国产精品狼人久久久影院| 国产白色视频在线观看| 欧美日韩国产精品自在自线| 国产精品开放小视频| 亚洲精品区二区三区蜜桃| 精品视频在线观看日韩| 亚洲色爱免费观看视频| 免费av在线国模| 日韩精品成人一区二区三区| 国产精品久久久福利| 丰满多毛的大隂户视频| 亚洲欧美在线视频| 国产亚洲精品一品二品| 日韩精品真人荷官无码| 富婆如狼似虎找黑人老外| 手机免费日韩中文字幕| 亚洲不卡高清av网站| 天天燥日日燥| 99精品免费视频| 国产激情小视频在线观看| 无码av中文一区二区三区桃花岛| a在线观看免费网站大全| 欧美成人网视频| 日本国产精品久久一线| 亚洲色婷婷一区二区三区| 中文字幕在线观看国产双飞高清| 中文字幕日韩精品中文字幕| 永久亚洲成a人片777777| 日本a级特黄特黄刺激大片| 日本高清不卡一区二区三区| 成人av片在线观看免费| 国产96在线 | 欧美|