亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于ZYNQ UltraScale+的高速圖像數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)

        2022-06-15 09:06:34唐宇楓劉一清
        電子設(shè)計(jì)工程 2022年11期
        關(guān)鍵詞:協(xié)處理器母板上位

        唐宇楓,劉一清

        (華東師范大學(xué)通信與電子工程學(xué)院,上海 200241)

        近年來,隨著5G 技術(shù)的不斷發(fā)展,超高清顯示面臨的高數(shù)據(jù)傳輸速率問題逐漸得到解決。視頻技術(shù)正朝著超高清的方向發(fā)展[1],圖像傳感器作為超高清顯示中的數(shù)據(jù)源,其產(chǎn)生的圖像數(shù)據(jù)的正確采集對(duì)超高清顯示至關(guān)重要。圖像傳感器的并行DVP 接口由于使用單端信號(hào)線傳輸,數(shù)據(jù)容易受到噪聲的干擾,傳輸速率無法滿足超高清的數(shù)據(jù)傳輸速率要求。因此,在高分辨率圖像傳感器中,均使用差分LVDS 信號(hào)線傳輸圖像數(shù)據(jù)[2-5]。

        文中設(shè)計(jì)了一套基于ZYNQ UltraScale+的高速圖像數(shù)據(jù)采集系統(tǒng),為圖像傳感器提供了100 路LVDS信號(hào)線,圖像數(shù)據(jù)的采集速率可達(dá)160 Gb/s,滿足超高清的數(shù)據(jù)傳輸速率要求。設(shè)計(jì)的系統(tǒng)使用國產(chǎn)的圖像傳感器LN130A 進(jìn)行測(cè)試,系統(tǒng)的核心處理器通過對(duì)圖像數(shù)據(jù)進(jìn)行對(duì)齊、重排列使其變?yōu)榭娠@示的圖像數(shù)據(jù),最終通過協(xié)處理器上的萬兆以太網(wǎng)模塊將圖像數(shù)據(jù)傳輸?shù)缴衔粰C(jī),實(shí)現(xiàn)圖像的顯示。

        1 硬件設(shè)計(jì)

        1.1 系統(tǒng)硬件概述

        ZYNQ UltraScale+高速圖像數(shù)據(jù)采集系統(tǒng)由母板、子板和上位機(jī)3 個(gè)部分組成。其中母板作為系統(tǒng)的核心部分用于完成圖像數(shù)據(jù)的采集,為圖像傳感器提供驅(qū)動(dòng)與控制信號(hào),通過SFP+端口將采集到的圖像數(shù)據(jù)傳給上位機(jī);子板上安裝有圖像傳感器,通過QSH 系列高速座子將傳感器輸出的圖像數(shù)據(jù)傳給母板;上位機(jī)配有標(biāo)準(zhǔn)網(wǎng)卡,通過SFP+端口接收母板傳來的圖像數(shù)據(jù),并由自行編寫的上位機(jī)軟件處理和顯示圖像數(shù)據(jù)。該系統(tǒng)采用子板、母板的設(shè)計(jì)實(shí)現(xiàn)了圖像數(shù)據(jù)采集部分與圖像傳感器部分的分離。在采集不同圖像傳感器的數(shù)據(jù)時(shí),只需要更換系統(tǒng)中的子板,增加了系統(tǒng)通用性的同時(shí)減小了更換圖像傳感器的開銷。系統(tǒng)框圖如圖1 所示。

        圖1 系統(tǒng)框圖

        1.2 系統(tǒng)母板硬件設(shè)計(jì)

        系統(tǒng)中的母板采用Xilinx的ZYNQ UltraScale+MP SoC系列的XCZU7EV-FFVC1156-2-E芯片作為系統(tǒng)的核心處理器[6]。此芯片主要包含PL(Programmable Logic,可編程邏輯)與PS(Processing System,處理系統(tǒng))兩個(gè)部分。其中PL 部分包含了504K 個(gè)可編程邏輯單元,1 156 個(gè)IO 管腳,能為圖像傳感器提供100 路LVDS 高速信號(hào)[7]。芯片上每一路LVDS 信號(hào)的數(shù)據(jù)傳輸速率最高為1.6 Gb/s,100 路LVDS 信號(hào)的數(shù)據(jù)傳輸速率可達(dá)160 Gb/s。PS 部分包含四核Cortex-A53 的APU(Application Processing Unit,應(yīng)用處理單元)及雙核Cortex-R5 的RPU(Real-Time Processing Unit,實(shí)時(shí)處理單元),PL 與PS 間通過AXI協(xié)議總線進(jìn)行數(shù)據(jù)交互。采用此芯片作為核心處理器,其上的100 對(duì)LVDS 高速信號(hào)保證了數(shù)據(jù)采集速率,同時(shí)PS+PL 的架構(gòu)也使母板上的軟件開發(fā)變得多樣,使軟件開發(fā)更加靈活、高效[7]。

        母板上的外圍設(shè)計(jì)圍繞核心處理器芯片的PL與PS 兩部分展開,PL 部分包含前文提到的100 路LVDS 高速信號(hào)線,其通過高速信號(hào)座子與子板相連,處理器IO 口調(diào)試時(shí)使用的LED 燈、撥碼開關(guān)、按鍵、4 路GTH 高速收發(fā)器及16路的LVDS高速信號(hào)與母板上的協(xié)處理器Kintex-7 相連。協(xié)處理器為圖像傳感器提供時(shí)序及控制信號(hào),同時(shí)提供數(shù)據(jù)傳輸速率為10 Gb/s 的SFP+端口[8]與上位機(jī)進(jìn)行數(shù)據(jù)傳輸,解決了核心處理器的SFP+端口IP 核需要付費(fèi)使用的問題。PS部分包括4片8 Gb DDR4[9]@2 400 MHz高速緩存、一路SD2.0 接口、兩片128 Mb QSPI Flash、一路USB3.0 接口、一路用于打印調(diào)試信息的USB 轉(zhuǎn)UART 接口及LED 燈。母板設(shè)計(jì)以高速圖像數(shù)據(jù)的采集和傳輸為主題,支持多種圖像傳感器。文中通過采集國產(chǎn)CIS(CMOS Image Sensor,CMOS 圖像傳感器)芯片LN130A 的圖像數(shù)據(jù),驗(yàn)證了系統(tǒng)用于高速圖像數(shù)據(jù)采集的可行性。

        1.3 CMOS圖像傳感器

        LN130A 是一款分辨率為1 280×1 024,像素大小為9.5×9.5 μm2的具有高幀頻、高動(dòng)態(tài)范圍的低噪聲CMOS 圖像傳感器。該圖像傳感器可實(shí)現(xiàn)卷簾快門或全局快門。LN130A 的一些基本特征如下所示。

        1)分辨率:1 280(列)×1 024(行);

        2)像素大?。?.5×9.5 μm2;

        3)卷簾快門時(shí),幀頻為160幀/s,讀出噪聲為1e-;

        4)全局快門時(shí),幀頻為80 幀/s,讀出噪聲為3e-;

        5)可實(shí)現(xiàn)高動(dòng)態(tài)范圍(≥90 dB);

        6)積分時(shí)間可由外部調(diào)控;

        7)共有4 路LVDS 圖像數(shù)據(jù)信號(hào)通路,每一路的傳輸速率均為784 Mbps;

        8)具有14 bit片上ADC;

        9)具有SPI 接口,用于對(duì)寄存器進(jìn)行設(shè)定。

        下面以采集LN130A 圖像數(shù)據(jù)為例,說明整個(gè)系統(tǒng)的軟件設(shè)計(jì)。

        2 軟件設(shè)計(jì)

        2.1 總體軟件概述

        文中的高速圖像數(shù)據(jù)采集系統(tǒng)的總體軟件設(shè)計(jì)的功能框圖如圖2 所示。

        圖2 軟件功能框圖

        CIS 芯片在接收到母板上控制模塊產(chǎn)生的控制信號(hào)后輸出圖像數(shù)據(jù),圖像數(shù)據(jù)通過LVDS 接口輸入到母板上的核心處理器,通過數(shù)據(jù)對(duì)齊模塊確保多路LVDS 數(shù)據(jù)信號(hào)的數(shù)據(jù)位同步及像素同步。其后的像素重排列模塊將4 路LVDS 信號(hào)上的以一定規(guī)律傳送的像素?cái)?shù)據(jù)按照像素0 到1 280 的順序重新排列成一行圖像數(shù)據(jù)。此模塊還負(fù)責(zé)將重排列的圖像數(shù)據(jù)轉(zhuǎn)化為AXI4-Stream 格式,通過之后的VDMA模塊緩存到DDR4 中。VDMA 圖像緩存模塊緩存3幀圖像數(shù)據(jù),使圖像能夠流暢顯示。核心處理器通過高速收發(fā)器模塊將緩存后的圖像數(shù)據(jù)傳給協(xié)處理器。協(xié)處理器上的萬兆以太網(wǎng)模塊將圖像數(shù)據(jù)組成UDP 協(xié)議的數(shù)據(jù)包傳到上位機(jī),上位機(jī)中的軟件負(fù)責(zé)接收和處理圖像數(shù)據(jù)。

        2.2 數(shù)據(jù)對(duì)齊模塊功能說明

        CIS 圖像傳感器輸出數(shù)據(jù)時(shí)序圖如圖3 所示,這些信號(hào)之間有著嚴(yán)格的相位關(guān)系。

        圖3 圖像傳感器時(shí)序圖

        其中,DATA_OUT_P<0~3>為4 路數(shù)據(jù)信號(hào),CLO CLK_FORWARD_P 為數(shù)據(jù)時(shí)鐘,DATA_ALIGN_P 為像素同步信號(hào)。

        2.2.1 數(shù)據(jù)位同步

        數(shù)據(jù)對(duì)齊模塊在接收到信號(hào)后需要使用核心處理器中的ISERDES 接口硬核[10],在數(shù)據(jù)時(shí)鐘的邊沿對(duì)數(shù)據(jù)及像素同步信號(hào)采樣,并以1∶8 的比例將串行數(shù)據(jù)轉(zhuǎn)換為并行數(shù)據(jù)。使用ISERDES 硬核采樣前,還需使用核心處理器內(nèi)的IODELAY 硬核調(diào)整上述信號(hào)的動(dòng)態(tài)延時(shí),確保信號(hào)間的相位關(guān)系與圖3一致,得到正確的采樣數(shù)據(jù)。

        2.2.2 像素同步

        在保證了數(shù)據(jù)的正確采樣后,4 路數(shù)據(jù)信號(hào)和像素同步信號(hào)在ISERDES 內(nèi)的串行并行數(shù)據(jù)轉(zhuǎn)化環(huán)節(jié)也會(huì)存在不確定的延時(shí),所以在數(shù)據(jù)同步模塊內(nèi)還需要對(duì)8 bit的并行數(shù)據(jù)進(jìn)行拼接,得到正確的14 bit像素值。像素同步功能使用Verilog語言進(jìn)行編寫,首先將8 bit 的并行數(shù)據(jù)寫入異步FIFO 并以14 bit 的形式讀出并行數(shù)據(jù),然后存入兩級(jí)14 bit的寄存器中,之后用這兩級(jí)寄存器中的數(shù)據(jù)排列出14 bit 數(shù)據(jù)的所有可能組合并與已知的目標(biāo)序列對(duì)比,如圖4 所示。

        圖4 像素同步過程

        從圖3 可知,文中系統(tǒng)中像素同步信號(hào)在像素同步時(shí)的已知序列為14 位的二進(jìn)制數(shù)1000000000 0000(b),數(shù)據(jù)信號(hào)的已知序列為14 位的DST<0>,并可以用其后接收的已知序列DST<1>檢驗(yàn)像素同步的正確性。完成數(shù)據(jù)位同步及像素同步后的一行圖像數(shù)據(jù)的時(shí)序圖如圖5 所示,其中X_CLOCK 為輔助說明信號(hào),便于讀者理解此模塊的輸出時(shí)序,其頻率為28 MHz。在一個(gè)X_CLOCK 周期內(nèi),數(shù)據(jù)對(duì)齊模塊將輸出8 個(gè)像素值(注:每個(gè)像素值均為14 bit)。

        圖5 行像素時(shí)序圖

        2.3 數(shù)據(jù)重排列模塊功能說明

        參照?qǐng)D5,數(shù)據(jù)對(duì)齊模塊的4 路14 bit 并行數(shù)據(jù)的輸出形式為DATA_OUT_P<0>上傳輸?shù)贜及N+1個(gè)像素的值,DATA_OUT_P<1>上傳輸?shù)贜+2 及N+3個(gè)像素的值,DATA_OUT_P<2>上傳輸?shù)贜+4 及N+5個(gè)像素的值,DATA_OUT_P<3>上傳輸?shù)贜+6 及N+7個(gè)像素的值,0≤N≤1 272。為了顯示圖像,一行圖像數(shù)據(jù)的像素值需要按照0~1 279 的順序重新排列。數(shù)據(jù)重排列模塊首先將4 路14 bit 并行數(shù)據(jù)拼接為一個(gè)56 bit 的數(shù)據(jù)存入異步FIFO 中,然后以112 bit的形式讀出數(shù)據(jù),存入相同位寬的寄存器中,最后通過位拼接操作完成像素值的重排列,如圖6 所示。

        圖6 數(shù)據(jù)重排列過程

        2.4 VDMA圖像緩存模塊功能說明

        系統(tǒng)中PL 端為了提供100 路的LVDS 數(shù)據(jù)接口,沒有足夠的管腳連接DDR4 存儲(chǔ)芯片。用于緩存圖像數(shù)據(jù)的DDR4 緩存器掛載在PS 端,因此需要使用Xilinx 公司提供的VDMA IP 核[11-12]將重排列后的圖像數(shù)據(jù)緩存到DDR4 中。VDMA 圖像緩存模塊的主體是VDMA IP 核,其為AXI4-Stream 總線形式的數(shù)據(jù)流提供了兩個(gè)DMA 通道,使PL 端的圖像數(shù)據(jù)能方便高效地緩存到PS 端的內(nèi)存中,防止圖像出現(xiàn)卡頓及割裂現(xiàn)象。

        數(shù)據(jù)重排列模塊輸出的圖像數(shù)據(jù)首先需要轉(zhuǎn)化為AXI4-Stream 總線形式,與VDMA IP 核的數(shù)據(jù)接口形式匹配。VDMA IP 核的寄存器主要用于設(shè)置緩存幀的起始地址及圖像行、列像素個(gè)數(shù)。文中系統(tǒng)使用核心處理器PS 端的AXI4-Lite 總線配置VDMA IP 核的寄存器。

        2.5 高速收發(fā)器模塊功能說明

        高速收發(fā)器模塊的主要功能是將緩存后的圖像數(shù)據(jù)從核心處理器傳送到協(xié)處理器,從而通過協(xié)處理器上的萬兆以太網(wǎng)模塊,將圖像數(shù)據(jù)傳遞到上位機(jī)進(jìn)行顯示及處理。此模塊分為核心處理器內(nèi)的發(fā)送模塊及協(xié)處理器內(nèi)的接收模塊。

        2.5.1 發(fā)送模塊

        核心處理器在硬件上通過GTH收發(fā)器[13]與協(xié)處理器相連接,發(fā)送模塊使用Xilinx公司的GTH IP核發(fā)送數(shù)據(jù)。GTH收發(fā)器在Ultrascale+架構(gòu)中支持500 Mb/s到16.375 Gb/s 的單通道速度,與PL 邏輯資源緊密集成。文中系統(tǒng)將GTH 發(fā)送器的速率設(shè)置為5 Gb/s,采用8/10 bit 的編碼方式對(duì)發(fā)送的并行數(shù)據(jù)進(jìn)行編碼以降低發(fā)送信號(hào)中的直流成分,接著將并行數(shù)據(jù)轉(zhuǎn)化為串行數(shù)據(jù),以差分對(duì)的形式將數(shù)據(jù)發(fā)送出去。

        2.5.2 接收模塊

        協(xié)處理器在硬件上通過GTX 收發(fā)器[14]與協(xié)處理器相連接,接收模塊使用Xilinx 公司的GTX IP 核接收數(shù)據(jù)。GTX 收發(fā)器在7 系列FPGA 中支持500 Mb/s到10.312 5 Gb/s 的單通道速度。文中系統(tǒng)將GTX 接收器的速率設(shè)置為匹配的5 Gb/s,對(duì)接收數(shù)據(jù)進(jìn)行解碼,接著將串行數(shù)據(jù)轉(zhuǎn)化為并行數(shù)據(jù),最后對(duì)并行數(shù)據(jù)進(jìn)行像素對(duì)齊得到正確的圖像數(shù)據(jù)。

        2.6 萬兆以太網(wǎng)模塊功能說明

        萬兆以太網(wǎng)模塊以10 Gb/s的速率將圖像數(shù)據(jù)傳輸?shù)缴衔粰C(jī),文中系統(tǒng)使用Xilinx 公司的萬兆以太網(wǎng)子系統(tǒng)IP 核[15]實(shí)現(xiàn)萬兆以太網(wǎng)功能。此IP 核提供給用戶的數(shù)據(jù)接口為AXI4-Stream 總線形式,數(shù)據(jù)位寬為64 bit,用戶時(shí)鐘為156.25 MHz,時(shí)序如圖7所示。

        圖7 萬兆以太網(wǎng)IP核用戶接口時(shí)序

        為了減小協(xié)處理器與上位機(jī)通信時(shí)發(fā)送數(shù)據(jù)前的延時(shí),文中系統(tǒng)將圖像數(shù)據(jù)組成UDP用戶數(shù)據(jù)報(bào),并以AXI4-Steam的形式將數(shù)據(jù)流傳入萬兆以太網(wǎng)子系統(tǒng)IP核的用戶接口中,使其以10 Gb/s的速率與上位機(jī)通信。

        2.7 上位機(jī)軟件功能說明

        上位機(jī)軟件基于微軟的WPF(Windows Presentation Foundation)[16]進(jìn)行界面設(shè)計(jì),實(shí)現(xiàn)的功能有:1)將接收的14位像素值數(shù)據(jù)轉(zhuǎn)換為8位,并以bmp格式顯示圖像;2)統(tǒng)計(jì)顯示圖像中的像素值(8 bit圖像數(shù)據(jù)),并以直方圖的形式將結(jié)果實(shí)時(shí)顯示;3)調(diào)節(jié)圖像的亮度及對(duì)比度;4)放大顯示選中圖像區(qū)域內(nèi)的原始14 bit像素值;5)以TIF 格式存儲(chǔ)圖像;6)錄制視頻。

        3 測(cè)試及驗(yàn)證

        文中系統(tǒng)通過控制模塊的SPI 接口信號(hào)修改LN130A 芯片內(nèi)寄存器的值,使其產(chǎn)生分辨率為1 280×1 024、80 幀/s 的灰階圖像數(shù)據(jù),從而進(jìn)行系統(tǒng)的圖像數(shù)據(jù)采集測(cè)試,最終的圖像數(shù)據(jù)傳遞到上位機(jī)拼接成灰度圖像進(jìn)行顯示。

        4 結(jié)束語

        文中以Xilinx 公司的ZYNQ 作為核心處理器,設(shè)計(jì)高速圖像數(shù)據(jù)采集平臺(tái),采樣速率可達(dá)160 Gb/s。從軟硬件兩方面現(xiàn)實(shí)了基于并行LVDS 接口的圖像傳感器的數(shù)據(jù)采集。文中系統(tǒng)采用子、母板的設(shè)計(jì)方式實(shí)現(xiàn)了圖像數(shù)據(jù)采集部分與圖像傳感器部分的分離,通過更換子板實(shí)現(xiàn)多種圖像傳感器的數(shù)據(jù)采集,具有通用性,也降低了更換圖像傳感器時(shí)的開銷,為并行LVDS 接口的圖像傳感器的圖像數(shù)據(jù)采集提供了一個(gè)可行的解決方案。

        猜你喜歡
        協(xié)處理器母板上位
        基于HBase分布式數(shù)據(jù)庫海量數(shù)據(jù)序列存儲(chǔ)優(yōu)化
        基于HBase分布式數(shù)據(jù)庫海量數(shù)據(jù)序列存儲(chǔ)優(yōu)化
        特斯拉 風(fēng)云之老阿姨上位
        車迷(2018年12期)2018-07-26 00:42:22
        HBase分布式二級(jí)索引通用方案研究
        “三扶”齊上位 決戰(zhàn)必打贏
        基于ZigBee和VC上位機(jī)的教室智能監(jiān)測(cè)管理系統(tǒng)
        更換10 kW DAM發(fā)射機(jī)(A18)二進(jìn)制母板的方法及注意事項(xiàng)
        3DX50中波發(fā)射機(jī)母板的改造
        分離母板微型互聯(lián)技術(shù)
        以新思路促推現(xiàn)代農(nóng)業(yè)上位
        人妻少妇中文字幕av| 中文在线а√天堂官网| 国产最新一区二区三区天堂| 亚洲大片一区二区三区四区 | 国产做床爱无遮挡免费视频| 精品国产日韩亚洲一区在线| 国产a∨天天免费观看美女| 女性女同性aⅴ免费观女性恋| 欧美韩国精品另类综合| 91精品福利一区二区三区| 国产99久久久国产精品~~牛 | 亚洲欲色欲香天天综合网| 国产内射视频在线播放| 熟女一区二区中文字幕| 午夜毛片不卡免费观看视频 | 中文字幕有码高清| 一区二区三区亚洲视频| 日日碰狠狠添天天爽五月婷| 国产午夜视频在永久在线观看| 亚洲素人日韩av中文字幕| 亚洲色图在线免费观看视频| 全球中文成人在线| 亚洲国产精品线观看不卡| 免费蜜桃视频在线观看| 日本一道综合久久aⅴ免费| 亚洲av无码av吞精久久| 国产午夜精品久久久久| 久久综合久久综合久久| 久久久久亚洲av成人网人人网站| 精品手机在线视频| 一区二区三区视频偷拍| 国产大屁股视频免费区| 乱子伦视频在线看| 亚洲成a人片在线观看中| 极品粉嫩小仙女高潮喷水操av| 亚洲色婷婷一区二区三区| 中文人妻无码一区二区三区| 亚洲一区在线二区三区| 亚洲国产欧美在线观看| 国产激情电影综合在线看| 91国产视频自拍在线观看|