基于單幅圖片的有效信息提?。?/h1>
2022-06-26 03:45:52王朋豪張鵬程楊滟濤謝婷婷楊祖恒陳美松
科技與創(chuàng)新 2022年12期
王朋豪，張鵬程，楊滟濤，謝婷婷，楊祖恒，陳美松
（西南石油大學(xué)理學(xué)院，四川 成都 610500）
近10年來(lái)，隨著相機(jī)的普及，視頻圖像分析不斷發(fā)展。特別是在當(dāng)前熱門(mén)的移動(dòng)機(jī)器人、無(wú)人駕駛、計(jì)算機(jī)視覺(jué)和無(wú)人機(jī)偵察等領(lǐng)域，應(yīng)用需求較大。在設(shè)計(jì)未來(lái)智能交通系統(tǒng)時(shí)，科研人員使用雙目視覺(jué)系統(tǒng)、多目視覺(jué)系統(tǒng)、特殊配置的單目視覺(jué)系統(tǒng)獲取相關(guān)信息，但在某些特定條件下，分析人員所能利用的只有普通的圖像或視頻，其中的信息需要綜合考慮各種影響因素，并利用適當(dāng)?shù)臄?shù)學(xué)模型來(lái)提取。本文選擇視頻的關(guān)鍵幀——“單幅圖像”作為研究對(duì)象，對(duì)單幅圖片進(jìn)行分析研究，提取視頻中關(guān)鍵目標(biāo)的大小、距離和速度等信息，具有很強(qiáng)的現(xiàn)實(shí)應(yīng)用價(jià)值。
近些年，單幅圖像建模的研究越來(lái)越受到人們的關(guān)注。由于單幅圖像無(wú)法完全重構(gòu)出對(duì)應(yīng)的三維模型，眾多研究者利用圖像中已知的幾何信息對(duì)目標(biāo)物體進(jìn)行三維重建從而得到想要獲取的關(guān)鍵信息[2]。在國(guó)外，CAPRILE和TORRE首先提出利用滅點(diǎn)進(jìn)行攝像機(jī)標(biāo)定的思想[3]，在證明了滅點(diǎn)屬性的基礎(chǔ)上，根據(jù)滅點(diǎn)與攝像機(jī)內(nèi)參數(shù)的關(guān)系，由單幅圖像確定攝像機(jī)的內(nèi)參數(shù)；同時(shí)結(jié)合特定模板計(jì)算攝像機(jī)的外參數(shù)；GUILLOU等提出了一種利用滅點(diǎn)實(shí)現(xiàn)單幅圖像中三維物體重建的方法等將目標(biāo)物體的幾何形狀作為相應(yīng)參數(shù)，實(shí)現(xiàn)結(jié)構(gòu)化場(chǎng)景的交互式建模[4]。在國(guó)內(nèi)，對(duì)利用單幅圖像進(jìn)行建模工作的研究也很多，張祖勛通過(guò)分析滅點(diǎn)幾何建立了影響直線(xiàn)段與方位元素的直接聯(lián)系，根據(jù)最小乘二平差的有關(guān)理論給出迭代計(jì)算影像的內(nèi)外方位元素的方法[3]。
本文將利用一種未定標(biāo)相機(jī)構(gòu)造三維模型的方法，該方法利用3個(gè)滅點(diǎn)確定相機(jī)的內(nèi)部參數(shù)矩陣，通過(guò)分解基礎(chǔ)矩陣求解出相機(jī)的外部參數(shù)，從而完成相機(jī)的定標(biāo)過(guò)程，在此基礎(chǔ)上，實(shí)現(xiàn)圖片信息提取，且本方法更易操作實(shí)現(xiàn)。
1 坐標(biāo)系介紹
常用的坐標(biāo)系有像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系。
1.1 像素坐標(biāo)系
像素坐標(biāo)系用（u，O，v）表示，O為坐標(biāo)原點(diǎn)，位于圖象左上角。u，v分別表示橫縱坐標(biāo)軸并相互垂直，u與水平方向平行，v與水平方向垂直。該坐標(biāo)系可以表示以像素為單位的圖像，如圖1所示。
圖1 像素坐標(biāo)系
1.2 圖像坐標(biāo)系
像素坐標(biāo)系中的坐標(biāo)只表示存儲(chǔ)位置，無(wú)法表示像素的物理位置。為了有效表示像素點(diǎn)在成像平面上的物理位置建立圖像坐標(biāo)系。將該坐標(biāo)表示為坐標(biāo)原點(diǎn)為光心在像平面的投影。圖像中心的像素坐標(biāo)是（u0，v0），dx，dy分別為物理尺寸及單個(gè)像素的寬和高，圖像坐標(biāo)系的坐標(biāo)（x，y）與像素坐標(biāo)系的坐標(biāo)（u，v）之間的關(guān)系可以表示為：
則：
1.3 相機(jī)坐標(biāo)系
圖像坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系為：相機(jī)坐標(biāo)系表示為（Xc，Yc，Zc），以光心為原點(diǎn)，Xc、Yc分別與圖像坐標(biāo)系的x軸、y軸平行，Zc軸和相機(jī)的光軸重合并垂直于成像平面。光心和與成像平面間的物理距離即為成像焦距f。對(duì)于相機(jī)坐標(biāo)系下的任意一點(diǎn)P（Xc，Yc，Zc），圖像坐標(biāo)系下對(duì)應(yīng)的點(diǎn)為p（x，y），由相機(jī)成像模型可知：
變換后得：
1.4 世界坐標(biāo)系
世界坐標(biāo)系表示為（Xw，Yw，Zw），也稱(chēng)為絕對(duì)參考坐標(biāo)系，假設(shè)物理空間中一點(diǎn)在世界坐標(biāo)系和相機(jī)坐標(biāo)系下其次坐標(biāo)分別為（Xw，Yw，Zw，1）T，（Xc，Yc，Zc，1）T，則它們之間的關(guān)系為：
式（5）中：R、t分別為旋轉(zhuǎn)矩陣和平移向量。
結(jié)合題意定義的世界坐標(biāo)系是以光心為坐標(biāo)原點(diǎn)，根據(jù)題目并結(jié)合自身分析需要，明確定義兩坐標(biāo)系之間不存在平移現(xiàn)象。將式（3）、式（4）代入式（5）可得世界坐標(biāo)系與其他坐標(biāo)系的轉(zhuǎn)換關(guān)系：
相機(jī)坐標(biāo)系如圖2所示。
圖2 相機(jī)坐標(biāo)系
2 提取方法[5-7]
同一坐標(biāo)系方向的平行直線(xiàn)的交點(diǎn)為圖片的滅點(diǎn)，采用邊緣檢測(cè)算法，可以準(zhǔn)確找到圖片中所出現(xiàn)的直線(xiàn)，進(jìn)而對(duì)直線(xiàn)上的關(guān)鍵點(diǎn)進(jìn)行標(biāo)定，從而計(jì)算出圖片的滅點(diǎn)。Canny算法基于最優(yōu)化算法的邊緣檢測(cè)算子，具有良好的信噪比和檢測(cè)精度[6]，因此選取Canny算法進(jìn)行圖片邊緣檢測(cè)，然后用數(shù)學(xué)軟件進(jìn)行坐標(biāo)標(biāo)定，墻體部分邊緣檢測(cè)結(jié)果如圖3所示。
圖3 墻體部分檢測(cè)結(jié)果
通過(guò)邊緣檢測(cè)，在平行于坐標(biāo)軸的3個(gè)方向上選取多個(gè)點(diǎn)進(jìn)行標(biāo)定，用數(shù)學(xué)軟件找到點(diǎn)的坐標(biāo)，然后聯(lián)立直線(xiàn)的方程找圖像的3個(gè)方向的滅點(diǎn)。
相機(jī)內(nèi)參求取：根據(jù)滅點(diǎn)原理可知“連接滅點(diǎn)和垂心的相關(guān)的單位向量是兩兩正交”，假設(shè)3個(gè)滅點(diǎn)的坐標(biāo)分別為（x1，x2，1）、（y1，y2，1）、（z1，z2，1），設(shè)O為3個(gè)滅點(diǎn)形成的三角形的垂心坐標(biāo)O（u0，v0），VxP、VyP、VzP為相互正交向量，焦距f為OP的連線(xiàn)。則：
將已經(jīng)求出的圖片的滅點(diǎn)代入式（7）求取u0，v0、f。
旋轉(zhuǎn)矩陣R求取：在世界坐標(biāo)系下，令v1、v2、v3分別為與Fu、Fv、Fw這3個(gè)滅點(diǎn)相關(guān)的單位向量；V為由v1、v2、v3形成的3×3矩陣，其列向量分別為v1、v2、v3。在相機(jī)坐標(biāo)系下，令分別為與Fu、Fv、Fw這3個(gè)滅點(diǎn)相關(guān)的單位向量；為由形成的3×3矩陣，其列向量分別為由滅點(diǎn)的屬性可得，VRV＇= 。在世界坐標(biāo)系中，滅點(diǎn)為3個(gè)方向上無(wú)窮遠(yuǎn)處的點(diǎn)，令這3個(gè)方向分別為世界坐標(biāo)系的X軸、Y軸、Z軸方向，則有v1（1，0，0）、v2（0，1，0）、v3（0，0，1）。
因此，矩陣V為單位矩陣，又由VRV＇= 得：
3 實(shí)驗(yàn)應(yīng)用
熱水器如圖4所示，計(jì)算熱水機(jī)的高度，先進(jìn)行邊緣檢測(cè)。邊緣檢測(cè)如圖5所示。
圖4 熱水器
圖5 邊緣檢測(cè)
選取圖片上與坐標(biāo)軸平行的直線(xiàn)上面的點(diǎn)的像素坐標(biāo)[8]，像素坐標(biāo)如表1所示。
表1 像素坐標(biāo)
表1（續(xù)）
計(jì)算滅點(diǎn)、內(nèi)參、旋轉(zhuǎn)矩陣，滅點(diǎn)如表2所示，內(nèi)參如表3所示。
表2 滅點(diǎn)
表3 內(nèi)參
旋轉(zhuǎn)矩陣為：
點(diǎn)和距離如表4所示。
表4 點(diǎn)和距離
4 結(jié)論
基于單幅圖片的信息提取，利用圖像中的滅點(diǎn)進(jìn)行相機(jī)標(biāo)定，克服了傳統(tǒng)圖片信息提取過(guò)程中需要參照物來(lái)進(jìn)行相機(jī)標(biāo)定的復(fù)雜性；所采用的方法能夠快速根據(jù)單幅圖片中的直線(xiàn)尋找滅點(diǎn)，并求取圖片滅點(diǎn)，進(jìn)而得到相機(jī)內(nèi)外參數(shù)，最終快速求取目標(biāo)信息，具有很強(qiáng)的現(xiàn)實(shí)應(yīng)用價(jià)值。
猜你喜歡
基于改進(jìn)大氣散射模型的單幅圖像去霧方法北京航空航天大學(xué)學(xué)報(bào)(2022年8期)2022-08-31 08:57:22 使用朗仁H6 Pro標(biāo)定北汽紳寶轉(zhuǎn)向角傳感器汽車(chē)維修與保養(yǎng)(2020年11期)2020-06-09 05:42:16 基于圖像融合的快速單幅圖像去霧算法傳感器與微系統(tǒng)(2018年7期)2018-08-29 00:44:48 解密坐標(biāo)系中的平移變換中學(xué)生數(shù)理化·七年級(jí)數(shù)學(xué)人教版(2018年4期)2018-06-28 03:26:28 坐標(biāo)系背后的故事數(shù)學(xué)大世界(2018年1期)2018-04-12 05:39:03 基于勻速率26位置法的iIMU-FSAS光纖陀螺儀標(biāo)定中國(guó)慣性技術(shù)學(xué)報(bào)(2017年1期)2017-06-09 08:15:14 基于重心坐標(biāo)系的平面幾何證明的探討中等數(shù)學(xué)(2017年2期)2017-06-01 12:21:50 基于稀疏表示和結(jié)構(gòu)自相似性的單幅圖像盲解卷積算法自動(dòng)化學(xué)報(bào)(2017年11期)2017-04-04 02:52:30 船載高精度星敏感器安裝角的標(biāo)定光學(xué)精密工程(2016年3期)2016-11-07 09:03:34 基于改進(jìn)暗通道和導(dǎo)向?yàn)V波的單幅圖像去霧算法自動(dòng)化學(xué)報(bào)(2016年3期)2016-08-23 12:03:02
王朋豪，張鵬程，楊滟濤，謝婷婷，楊祖恒，陳美松
（西南石油大學(xué)理學(xué)院，四川 成都 610500）
近10年來(lái)，隨著相機(jī)的普及，視頻圖像分析不斷發(fā)展。特別是在當(dāng)前熱門(mén)的移動(dòng)機(jī)器人、無(wú)人駕駛、計(jì)算機(jī)視覺(jué)和無(wú)人機(jī)偵察等領(lǐng)域，應(yīng)用需求較大。在設(shè)計(jì)未來(lái)智能交通系統(tǒng)時(shí)，科研人員使用雙目視覺(jué)系統(tǒng)、多目視覺(jué)系統(tǒng)、特殊配置的單目視覺(jué)系統(tǒng)獲取相關(guān)信息，但在某些特定條件下，分析人員所能利用的只有普通的圖像或視頻，其中的信息需要綜合考慮各種影響因素，并利用適當(dāng)?shù)臄?shù)學(xué)模型來(lái)提取。本文選擇視頻的關(guān)鍵幀——“單幅圖像”作為研究對(duì)象，對(duì)單幅圖片進(jìn)行分析研究，提取視頻中關(guān)鍵目標(biāo)的大小、距離和速度等信息，具有很強(qiáng)的現(xiàn)實(shí)應(yīng)用價(jià)值。
近些年，單幅圖像建模的研究越來(lái)越受到人們的關(guān)注。由于單幅圖像無(wú)法完全重構(gòu)出對(duì)應(yīng)的三維模型，眾多研究者利用圖像中已知的幾何信息對(duì)目標(biāo)物體進(jìn)行三維重建從而得到想要獲取的關(guān)鍵信息[2]。在國(guó)外，CAPRILE和TORRE首先提出利用滅點(diǎn)進(jìn)行攝像機(jī)標(biāo)定的思想[3]，在證明了滅點(diǎn)屬性的基礎(chǔ)上，根據(jù)滅點(diǎn)與攝像機(jī)內(nèi)參數(shù)的關(guān)系，由單幅圖像確定攝像機(jī)的內(nèi)參數(shù)；同時(shí)結(jié)合特定模板計(jì)算攝像機(jī)的外參數(shù)；GUILLOU等提出了一種利用滅點(diǎn)實(shí)現(xiàn)單幅圖像中三維物體重建的方法等將目標(biāo)物體的幾何形狀作為相應(yīng)參數(shù)，實(shí)現(xiàn)結(jié)構(gòu)化場(chǎng)景的交互式建模[4]。在國(guó)內(nèi)，對(duì)利用單幅圖像進(jìn)行建模工作的研究也很多，張祖勛通過(guò)分析滅點(diǎn)幾何建立了影響直線(xiàn)段與方位元素的直接聯(lián)系，根據(jù)最小乘二平差的有關(guān)理論給出迭代計(jì)算影像的內(nèi)外方位元素的方法[3]。
本文將利用一種未定標(biāo)相機(jī)構(gòu)造三維模型的方法，該方法利用3個(gè)滅點(diǎn)確定相機(jī)的內(nèi)部參數(shù)矩陣，通過(guò)分解基礎(chǔ)矩陣求解出相機(jī)的外部參數(shù)，從而完成相機(jī)的定標(biāo)過(guò)程，在此基礎(chǔ)上，實(shí)現(xiàn)圖片信息提取，且本方法更易操作實(shí)現(xiàn)。
1 坐標(biāo)系介紹
常用的坐標(biāo)系有像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系。
1.1 像素坐標(biāo)系
像素坐標(biāo)系用（u，O，v）表示，O為坐標(biāo)原點(diǎn)，位于圖象左上角。u，v分別表示橫縱坐標(biāo)軸并相互垂直，u與水平方向平行，v與水平方向垂直。該坐標(biāo)系可以表示以像素為單位的圖像，如圖1所示。
圖1 像素坐標(biāo)系
1.2 圖像坐標(biāo)系
像素坐標(biāo)系中的坐標(biāo)只表示存儲(chǔ)位置，無(wú)法表示像素的物理位置。為了有效表示像素點(diǎn)在成像平面上的物理位置建立圖像坐標(biāo)系。將該坐標(biāo)表示為坐標(biāo)原點(diǎn)為光心在像平面的投影。圖像中心的像素坐標(biāo)是（u0，v0），dx，dy分別為物理尺寸及單個(gè)像素的寬和高，圖像坐標(biāo)系的坐標(biāo)（x，y）與像素坐標(biāo)系的坐標(biāo)（u，v）之間的關(guān)系可以表示為：
則：
1.3 相機(jī)坐標(biāo)系
圖像坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系為：相機(jī)坐標(biāo)系表示為（Xc，Yc，Zc），以光心為原點(diǎn)，Xc、Yc分別與圖像坐標(biāo)系的x軸、y軸平行，Zc軸和相機(jī)的光軸重合并垂直于成像平面。光心和與成像平面間的物理距離即為成像焦距f。對(duì)于相機(jī)坐標(biāo)系下的任意一點(diǎn)P（Xc，Yc，Zc），圖像坐標(biāo)系下對(duì)應(yīng)的點(diǎn)為p（x，y），由相機(jī)成像模型可知：
變換后得：
1.4 世界坐標(biāo)系
世界坐標(biāo)系表示為（Xw，Yw，Zw），也稱(chēng)為絕對(duì)參考坐標(biāo)系，假設(shè)物理空間中一點(diǎn)在世界坐標(biāo)系和相機(jī)坐標(biāo)系下其次坐標(biāo)分別為（Xw，Yw，Zw，1）T，（Xc，Yc，Zc，1）T，則它們之間的關(guān)系為：
式（5）中：R、t分別為旋轉(zhuǎn)矩陣和平移向量。
結(jié)合題意定義的世界坐標(biāo)系是以光心為坐標(biāo)原點(diǎn)，根據(jù)題目并結(jié)合自身分析需要，明確定義兩坐標(biāo)系之間不存在平移現(xiàn)象。將式（3）、式（4）代入式（5）可得世界坐標(biāo)系與其他坐標(biāo)系的轉(zhuǎn)換關(guān)系：
相機(jī)坐標(biāo)系如圖2所示。
圖2 相機(jī)坐標(biāo)系
2 提取方法[5-7]
同一坐標(biāo)系方向的平行直線(xiàn)的交點(diǎn)為圖片的滅點(diǎn)，采用邊緣檢測(cè)算法，可以準(zhǔn)確找到圖片中所出現(xiàn)的直線(xiàn)，進(jìn)而對(duì)直線(xiàn)上的關(guān)鍵點(diǎn)進(jìn)行標(biāo)定，從而計(jì)算出圖片的滅點(diǎn)。Canny算法基于最優(yōu)化算法的邊緣檢測(cè)算子，具有良好的信噪比和檢測(cè)精度[6]，因此選取Canny算法進(jìn)行圖片邊緣檢測(cè)，然后用數(shù)學(xué)軟件進(jìn)行坐標(biāo)標(biāo)定，墻體部分邊緣檢測(cè)結(jié)果如圖3所示。
圖3 墻體部分檢測(cè)結(jié)果
通過(guò)邊緣檢測(cè)，在平行于坐標(biāo)軸的3個(gè)方向上選取多個(gè)點(diǎn)進(jìn)行標(biāo)定，用數(shù)學(xué)軟件找到點(diǎn)的坐標(biāo)，然后聯(lián)立直線(xiàn)的方程找圖像的3個(gè)方向的滅點(diǎn)。
相機(jī)內(nèi)參求取：根據(jù)滅點(diǎn)原理可知“連接滅點(diǎn)和垂心的相關(guān)的單位向量是兩兩正交”，假設(shè)3個(gè)滅點(diǎn)的坐標(biāo)分別為（x1，x2，1）、（y1，y2，1）、（z1，z2，1），設(shè)O為3個(gè)滅點(diǎn)形成的三角形的垂心坐標(biāo)O（u0，v0），VxP、VyP、VzP為相互正交向量，焦距f為OP的連線(xiàn)。則：
將已經(jīng)求出的圖片的滅點(diǎn)代入式（7）求取u0，v0、f。
旋轉(zhuǎn)矩陣R求取：在世界坐標(biāo)系下，令v1、v2、v3分別為與Fu、Fv、Fw這3個(gè)滅點(diǎn)相關(guān)的單位向量；V為由v1、v2、v3形成的3×3矩陣，其列向量分別為v1、v2、v3。在相機(jī)坐標(biāo)系下，令分別為與Fu、Fv、Fw這3個(gè)滅點(diǎn)相關(guān)的單位向量；為由形成的3×3矩陣，其列向量分別為由滅點(diǎn)的屬性可得，VRV＇= 。在世界坐標(biāo)系中，滅點(diǎn)為3個(gè)方向上無(wú)窮遠(yuǎn)處的點(diǎn)，令這3個(gè)方向分別為世界坐標(biāo)系的X軸、Y軸、Z軸方向，則有v1（1，0，0）、v2（0，1，0）、v3（0，0，1）。
因此，矩陣V為單位矩陣，又由VRV＇= 得：
3 實(shí)驗(yàn)應(yīng)用
熱水器如圖4所示，計(jì)算熱水機(jī)的高度，先進(jìn)行邊緣檢測(cè)。邊緣檢測(cè)如圖5所示。
圖4 熱水器
圖5 邊緣檢測(cè)
選取圖片上與坐標(biāo)軸平行的直線(xiàn)上面的點(diǎn)的像素坐標(biāo)[8]，像素坐標(biāo)如表1所示。
表1 像素坐標(biāo)
表1（續(xù)）
計(jì)算滅點(diǎn)、內(nèi)參、旋轉(zhuǎn)矩陣，滅點(diǎn)如表2所示，內(nèi)參如表3所示。
表2 滅點(diǎn)
表3 內(nèi)參
旋轉(zhuǎn)矩陣為：
點(diǎn)和距離如表4所示。
表4 點(diǎn)和距離
4 結(jié)論
基于單幅圖片的信息提取，利用圖像中的滅點(diǎn)進(jìn)行相機(jī)標(biāo)定，克服了傳統(tǒng)圖片信息提取過(guò)程中需要參照物來(lái)進(jìn)行相機(jī)標(biāo)定的復(fù)雜性；所采用的方法能夠快速根據(jù)單幅圖片中的直線(xiàn)尋找滅點(diǎn)，并求取圖片滅點(diǎn)，進(jìn)而得到相機(jī)內(nèi)外參數(shù)，最終快速求取目標(biāo)信息，具有很強(qiáng)的現(xiàn)實(shí)應(yīng)用價(jià)值。
猜你喜歡
北京航空航天大學(xué)學(xué)報(bào)(2022年8期)2022-08-31 08:57:22
汽車(chē)維修與保養(yǎng)(2020年11期)2020-06-09 05:42:16
傳感器與微系統(tǒng)(2018年7期)2018-08-29 00:44:48
中學(xué)生數(shù)理化·七年級(jí)數(shù)學(xué)人教版(2018年4期)2018-06-28 03:26:28
數(shù)學(xué)大世界(2018年1期)2018-04-12 05:39:03
中國(guó)慣性技術(shù)學(xué)報(bào)(2017年1期)2017-06-09 08:15:14
中等數(shù)學(xué)(2017年2期)2017-06-01 12:21:50
自動(dòng)化學(xué)報(bào)(2017年11期)2017-04-04 02:52:30
光學(xué)精密工程(2016年3期)2016-11-07 09:03:34
自動(dòng)化學(xué)報(bào)(2016年3期)2016-08-23 12:03:02
