亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種基于FPGA的雙目測距系統(tǒng)

        2021-10-13 10:25:32姜曉雪陳小菊徐銳屈子昂
        電子制作 2021年19期
        關(guān)鍵詞:雙目測距標(biāo)定

        姜曉雪,陳小菊,徐銳,屈子昂

        (宜賓學(xué)院,四川宜賓,644000)

        0 概述

        利用雙目視覺技術(shù)實現(xiàn)測距,現(xiàn)在傳統(tǒng)技術(shù)一般采用DSP、ASIC或者單片機(jī)完成[1]。一個完整的視覺模塊僅采用DSP還不夠需要結(jié)合其他東西來實現(xiàn),采用ASIC設(shè)計開發(fā)視覺系統(tǒng)的主要缺點是靈活性較差,成本高,研制開發(fā)周期較長,增減功能和升級都很不方便[2]。單片機(jī)實現(xiàn)速度很慢,對一些復(fù)雜圖像不能處理。而FPGA的并行處理在圖像中既可以做到實時性又可以做到便攜化,更可能提高機(jī)器人的集成度。本實用新型為了避開傳統(tǒng)計算機(jī)、單片機(jī)的速度不夠和體積龐大的缺點,采用FPGA的并行處理技術(shù)獲取算法成功應(yīng)用。

        1 雙目測距理論基礎(chǔ)

        雙目測距的基本原理是從兩個視場觀察同一物體,在獲取不同視場下的兩幅圖像后,通過幾何成像原理計算圖像特征點之間的視場,進(jìn)而獲取景物的三維信息[3,4]。這一過程與人類眼睛的視覺感知過程尤為相似,具體的實施方法我們可以用兩個性能參數(shù)相同且相隔某一固定距離的攝像頭來模擬人類眼球獲取事物在統(tǒng)一時間點的兩幅圖像,計算兩幅圖像中相同的兩個特征點的視覺差異,進(jìn)而獲得相同的兩個特征點的深度信息,這里以平行雙目立體視覺成像為例加以說明,如圖1所示。

        圖1 雙目測距幾何原理圖

        假定左攝像機(jī)和右攝像機(jī)的焦距及各參數(shù)都相等,光軸平行至兩平面的X軸重合。我們所得到的兩個平面會完全重合,是因為光軸與成像的平面相互垂直,Y軸也互相平行。我們所用到的空間任意一點P在左、右攝像機(jī)的成像面上的投影點是P1和P2,即可得視差。為了更直觀的表示此原理,現(xiàn)將右攝像機(jī)成像面的坐標(biāo)系平移至左攝像機(jī)成像面的坐標(biāo)系。由于在理想狀態(tài)下我們可假設(shè)兩攝像機(jī)的位置完全一樣,則可由相似三角形的原理求出P點的深度信息Z為:

        其中b代表左右兩個攝像機(jī)的基線距離,f代表相機(jī)的焦距,P1為P點在相機(jī)左成像面的坐標(biāo),P2為P點在右成像面的特征點在左成像面的等效坐標(biāo)。因此,只要能夠找到空間中某點在左右兩個相機(jī)像面上的對應(yīng)點,并且知道攝像機(jī)的主距、基距等參數(shù),就可以求解這個點的深度信息[5]。

        2 硬件介紹

        本設(shè)計硬件模塊主要包括主控模塊、 COMS攝像頭采集數(shù)據(jù)模塊以及VGA顯示模塊等;攝像頭采用的是MT9V011, MT9V011 為 30 萬像素,最高 30 幀,感光陣列面積為 1/3",內(nèi)部結(jié)構(gòu)如圖2所示。

        圖2 MT9V011內(nèi)部結(jié)構(gòu)圖

        APS(Active Pixel Sensor)是最新的 CMOS 圖像傳感器的像素結(jié)構(gòu)設(shè)計。APS 的工作過程:

        (1)復(fù)位晶體管 Mrst 開通;

        (2)PD 復(fù)位到 Vrst-Vth(Mrs的閾值電壓);

        (3)關(guān)閉 Mrst,PD 進(jìn)入電氣浮動狀態(tài);

        (4)光線入射,PD 結(jié)電容聚集光生載流子;

        (5)在一個積累時間后,選通晶體管 Msf;

        (6)打開晶體管 Msel,像素中的輸出信號在垂直輸出線上被讀出;

        (7)關(guān)閉 Msel,Mrst 再次接通,重復(fù)上述過程。

        VGA(Video Graphics Array)是IBM公司在1987年推出的一種具有高分辨率、高速顯示速率、顏色豐富的視頻傳輸,在彩色顯示領(lǐng)域應(yīng)用廣泛。不支持熱插拔,不支持音頻傳輸。本設(shè)計采用的是ADV7123 芯片,ADV7123 是一款單芯片、三通道、高速數(shù)模轉(zhuǎn)換器。ADV7123 內(nèi)置三個高速、10 位、帶互補(bǔ)輸出的視頻數(shù)模轉(zhuǎn)換器、一個標(biāo)準(zhǔn) TTL 輸入接口以及一個高阻抗、模擬輸出電流源。具體內(nèi)部框圖如圖3所示。

        圖3 ADV7123內(nèi)部結(jié)構(gòu)

        本設(shè)計使用的是 640×480@60Hz 的 VGA 時序接口,計算像素時鐘 pclk = 800×525×60 =25200000,這里的 HSYNC(行同步信號)和 VSYNC(場同步信號)都是低電平有效,且 HSYNC在數(shù)據(jù)行無效區(qū)域也要提供。

        3 實現(xiàn)步驟

        本設(shè)計的主要流程分為圖像獲取、圖片預(yù)處理、相機(jī)標(biāo)定、目標(biāo)檢測、立體匹配。其中最關(guān)鍵的是目標(biāo)檢測和立體匹配。最后基于FPGA在Quartus Ⅱ上寫了一個測距離的程序。該程序在背景比較單一的環(huán)境中能準(zhǔn)確標(biāo)定對象并測出相機(jī)到目標(biāo)的距離。

        3.1 圖像獲取

        步驟一:CMOS 驅(qū)動:負(fù)責(zé) CMOS 圖像采集與裁剪;步驟二:RAW2RGB:負(fù)責(zé)將原始的 RAW 數(shù)據(jù)轉(zhuǎn)換成 RGB656 數(shù)據(jù);步驟三:FIFO 寫負(fù)責(zé)將 RAW2RGB 轉(zhuǎn)換的的 RGB 數(shù)據(jù)發(fā)送給 SDRAM 控制器;步驟四:FIFO 讀負(fù)責(zé)將 SDRAM 中的視頻幀數(shù)據(jù)讀出給 VGA 驅(qū)動模塊;VGA 模塊負(fù)責(zé)將視頻信號發(fā)送給 ADV7123,最終 VGA 顯示器顯示。

        3.2 圖像預(yù)處理

        圖像分析中,圖像質(zhì)量的好壞直接影響識別算法的設(shè)計與效果的精度,因此在圖像分析(特征提取、分割、匹配和識別等)前,需要進(jìn)行預(yù)處理。圖像預(yù)處理的主要目的是消除圖像中無關(guān)的信息,恢復(fù)有用的真實信息,增強(qiáng)有關(guān)信息的可檢測性、最大限度地簡化數(shù)據(jù),從而改進(jìn)特征提取、圖像分割、匹配和識別的可靠性。本設(shè)計采用的是Tophat形態(tài)學(xué)濾波算法。Tophat變換是原圖像與開運算結(jié)果之差,突顯出圖像輪廓周圍更亮的區(qū)域。具體的計算公式如下:

        Tophat濾波只需要在開運算的基礎(chǔ)上,將原始像素信號同步到開運算,最終結(jié)果輸出,只要在開運算模塊中的膨脹模塊中添加一個shift_ ram,實現(xiàn)時鐘延時的同步,實現(xiàn)程序如下:

        wire [7:0] taps_1x_old;

        shift_ram shift_ram_inst1

        {

        .clock(coms_pclk),

        .clken(coms_href),

        .shiftin(cmos_data_old_in),

        .shiftout(),

        .taps0x(),

        .taps1x(taps_1x_old),

        .taps2x()

        };

        reg [7:0] taps_1x_old_r;

        always @(posedge cmos_pclk)

        taps_1x_old_r<=taps_1x_old;

        3.3 相機(jī)標(biāo)定

        標(biāo)定的目的是獲得相機(jī)的內(nèi)參(焦距,圖像中心,畸變系數(shù)等)和外參(旋轉(zhuǎn)矩陣和平移矩陣)。本設(shè)計采用的方法為張正友的棋盤格標(biāo)定方法。步驟為:左攝像頭標(biāo)定,獲取內(nèi)外參數(shù);右參數(shù)攝像頭標(biāo)定獲取外參;雙目標(biāo)定,獲取相機(jī)之間的平移旋轉(zhuǎn)關(guān)系。

        3.4 目標(biāo)檢測

        本設(shè)計介紹了一種基于FPGA的顏色識別經(jīng)驗算法,在RGB顏色通道提取的基礎(chǔ)上對其他顏色通道進(jìn)行腐蝕處理,再提取R-G、R-B兩個特征值,再進(jìn)行線性疊加,得到RR為所檢測的目標(biāo)。這樣做減法既減少了計算量,又能夠消除干擾背景,使識別更加精確、可靠。

        圖4 MATLAB標(biāo)定工具箱使用

        本設(shè)計顏色識別模塊中寫有紅、藍(lán)、綠三個顏色濾波器,當(dāng)識別顏色時,濾波器分時工作,即選定一種顏色的濾波器之后,其他顏色的分量都不能夠通過濾波器,而只有這種顏色能夠通過濾波器,該分量通過濾波器之后,則得出要識別顏色中該分量的值。簡單來說就是當(dāng)紅色濾波器處于工作狀態(tài)時,只有藍(lán)色光能通過濾波器,而藍(lán)色、綠色不通過,這樣就能夠得出紅色分量的值。當(dāng)入射光通過三個顏色濾波器之后得出三個顏色分量值,這樣,疊加在一起則得出被測物體顏色,識別紅色物體。實現(xiàn)程序如下:

        always@(posedge clk or negedge rst_n)

        begin

        if(!rst_n)

        r_data<=8'd0;

        else if(href_i) begin

        if(r_data>=g_data)

        r_data_r1<=r_data-g_data;

        else

        R_data_r1<=8'd0;

        end

        else

        r_data_r1<=8'd0;

        end

        3.5 立體匹配

        立體匹配是雙目深度估計的核心部分,發(fā)展了很多年,也有非常多的算法,主要目的是計算參考圖與目標(biāo)圖之間像素的相對匹配關(guān)系,主要分為局部和非局部的算法。本設(shè)計采用的匹配算法為SAD(Sum of absolute differences),基本思想:差的絕對值之和。此算法常用于圖像塊匹配,將每個像素對應(yīng)數(shù)值之差的絕對值求和,據(jù)此評估兩個圖像塊的相似度。具體步驟如下:

        (1)輸入:兩幅圖像,一幅Left-Image,一幅Right-Image,對左圖,依次掃描,選定一個錨點。

        (2)構(gòu)造一個小窗口,類似于卷積核。

        (3)用窗口覆蓋左邊的圖像,選擇出窗口覆蓋區(qū)域內(nèi)的所有像素點。

        (4)同樣用窗口覆蓋右邊的圖像并選擇出覆蓋區(qū)域的像素點。

        (5)左邊覆蓋區(qū)域減去右邊覆蓋區(qū)域,并求出所有像素點灰度差的絕對值之和。

        (6)移動右邊圖像的窗口,重復(fù)(3)-(4)的處理(這里有個搜索范圍,超過這個范圍跳出)。

        (7)找到這個范圍內(nèi)SAD值最小的窗口,即找到了左圖錨點的最佳匹配的像素塊。

        4 實驗驗證

        如圖5所示,一種基于FPGA的雙目測距系統(tǒng),包括主控模塊、 COMS攝像頭采集數(shù)據(jù)模塊、VGA顯示模塊;主控模塊分別連接紅COMS攝像頭采集數(shù)據(jù)模塊、VGA顯示模塊。

        本設(shè)計在實施時,通過攝像頭模塊采集信息,控制模塊對采集的數(shù)據(jù)進(jìn)行處理,如圖5所示,圖像采集使用MTV9V011攝像頭完成對目標(biāo)信息的采集,首先將目標(biāo)的彩色RGB圖像存入SDRAM中,然后用控制端去讀取數(shù)據(jù)信息,再將獲取的RGB圖像依次進(jìn)行灰度處理、閾值分割得到二值圖像,對二值數(shù)字圖像進(jìn)行邊界追蹤的基礎(chǔ)上進(jìn)行顏色識別,將所標(biāo)定區(qū)域顯示在VGA上,再對所標(biāo)定的對象進(jìn)行測距,最終距離通過串口傳到上位機(jī)上實時顯示出測得的距離。

        圖5 系統(tǒng)框架

        如圖6所示,本設(shè)計的第一組測試標(biāo)定對象為藍(lán)色物體,從圖中可以看出,藍(lán)色物體易受周圍環(huán)境干擾,標(biāo)定了一部分其他顏色物體,精確度不高。

        圖6 藍(lán)色標(biāo)定

        如圖7所示,本設(shè)計的第二組測試標(biāo)定對象為紅色物體,從圖中可以看出,紅色物體受周圍環(huán)境影響小。

        圖7 紅色標(biāo)定

        如圖8、10、12所示,對標(biāo)定的紅色物體進(jìn)行測距,距離分別為為40.7cm、80.6cm、8.7cm,如圖9、11、13所示通過串口助手將測到的距離傳送給上位機(jī)便于實時觀察,上位機(jī)顯示測距為40cm、80cm、8cm,與實際所量距離基本一致。

        圖8 實際距離40.7cm圖

        圖9 40.7cm上位機(jī)測試數(shù)據(jù)

        圖10 實際距離80.6cm圖

        圖11 80.6cm上位機(jī)測試數(shù)據(jù)

        圖12 實際距離8.7cm圖

        圖13 8.7cm上位機(jī)測試數(shù)據(jù)

        猜你喜歡
        雙目測距標(biāo)定
        使用朗仁H6 Pro標(biāo)定北汽紳寶轉(zhuǎn)向角傳感器
        類星體的精準(zhǔn)測距
        科學(xué)(2020年3期)2020-01-06 04:02:51
        基于雙目測距的卡爾曼濾波船舶軌跡跟蹤
        電子制作(2019年20期)2019-12-04 03:51:38
        基于勻速率26位置法的iIMU-FSAS光纖陀螺儀標(biāo)定
        淺談超聲波測距
        電子制作(2017年7期)2017-06-05 09:36:13
        船載高精度星敏感器安裝角的標(biāo)定
        基于雙目視覺圖像的長度測量方法
        基于PSOC超聲測距系統(tǒng)設(shè)計
        基于Harris-張正友平面標(biāo)定法的攝像機(jī)標(biāo)定算法
        相對差分單項測距△DOR
        太空探索(2014年1期)2014-07-10 13:41:50
        日韩中文在线视频| 视频一区视频二区制服丝袜| 特黄熟妇丰满人妻无码| 日本不卡在线视频二区三区| 国产在线欧美日韩一区二区| 天堂av一区二区麻豆| 国语对白福利在线观看| 手机看片久久国产免费| 日韩激情小视频| 亚洲国产日韩av一区二区| 国产的自拍av免费的在线观看| www.五月激情| 女同亚洲一区二区三区精品久久| 日韩精品中文字幕第二页 | 精品人妻少妇av中文字幕| 亚洲va无码手机在线电影| 超91精品手机国产在线| 中文字幕中乱码一区无线精品| 日韩精品视频久久一区二区| 亚洲中文字幕在线观看| 999精品全免费观看视频| 国产亚洲精品一区二区在线播放 | 亚洲国产精品无码专区在线观看| 99亚洲精品久久久99| 久久精品女人天堂AV一个| 李白姓白白又白类似的套路| 中文字幕久久熟女蜜桃| 91麻豆精品激情在线观看最新| 一区二区三区精品偷拍| 国产极品少妇一区二区| 久久精品99久久香蕉国产色戒| 亚洲中文字幕乱码免费| 国产av天堂一区二区二区| 国产偷久久久精品专区| 欧美va免费精品高清在线| 亚洲av一区二区网址| 极品少妇被黑人白浆直流| 久久精品无码免费不卡| 中文字幕一区二区三区日韩网 | 女人张开腿让男人桶爽| 嗯啊哦快使劲呻吟高潮视频|