黃文有，徐向民，吳鳳岐，吳 玉，鄧志燕

?

核環(huán)境水下雙目視覺(jué)立體定位技術(shù)研究

黃文有1,2，徐向民1，吳鳳岐2，吳 玉2，鄧志燕2

( 1. 華南理工大學(xué)電子與信息學(xué)院，廣州 510640；2. 中廣核研究院有限公司，廣東深圳 518124 )

為提高核電站特殊作業(yè)環(huán)境下(高放射性，同時(shí)兼具水下、高溫、高壓、硼酸等)各智能裝備的作業(yè)定位精度，本文建立了綜合考慮折射效應(yīng)和透鏡畸變影響的水下雙目視覺(jué)定位非線性數(shù)學(xué)模型。以攝像機(jī)針孔成像模型為基礎(chǔ)，分析硼酸水下視覺(jué)的成像原理以及影響因素并提出了一種適用于非結(jié)構(gòu)環(huán)境的水下雙目視覺(jué)定位方法。為驗(yàn)證所提方法的有效性，本文在空氣、普通水以及不同濃度硼酸水下進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，不同濃度硼酸對(duì)攝像機(jī)成像折射影響不大，且利用該方法計(jì)算的目標(biāo)物屬性尺寸與實(shí)際值接近，誤差小。

核電站；硼酸；水下；雙目視覺(jué)；立體定位

0 引 言

視覺(jué)感知作為機(jī)器人關(guān)鍵技術(shù)之一，目前已在核電站智能裝備與機(jī)器人中廣泛應(yīng)用，如：燃料組件缺陷檢測(cè)裝備、堆芯照相、核電站環(huán)境監(jiān)測(cè)機(jī)器人以及嚴(yán)重事故系列救災(zāi)機(jī)器人等。國(guó)內(nèi)外相關(guān)學(xué)者陸續(xù)開(kāi)展了核電特殊水質(zhì)(高放射性，同時(shí)兼具水下、高溫、高壓、硼酸等)的視覺(jué)技術(shù)研究，特別是水下視覺(jué)定位技術(shù)[1]，但很多尚處在起步階段。如日本Shinji Yamamoto等人[2]，利用光視覺(jué)技術(shù)檢測(cè)核電站設(shè)備蒸氣泄漏和漏水情況；韓國(guó)電力科學(xué)研究院Byung-Hak Cho等人[3]，設(shè)計(jì)水下機(jī)器人視覺(jué)系統(tǒng)用于檢查核電站反應(yīng)堆容器內(nèi)部情況，系統(tǒng)的檢測(cè)精度可達(dá)到1cm和2°；Ishibashi S.將雙目立體視覺(jué)應(yīng)用于普通水下機(jī)械手與目標(biāo)物的三維空間距離獲取[4]；國(guó)內(nèi)Li H.等將水下機(jī)器人雙目視覺(jué)三維定位的結(jié)果應(yīng)用于機(jī)器人抓取[5]。

為提高核電站特殊作業(yè)環(huán)境下各智能裝備的作業(yè)定位精度，本文根據(jù)計(jì)算機(jī)視覺(jué)中的雙目視覺(jué)成像基本原理[6-7]，針對(duì)光在不同介質(zhì)中傳播時(shí)的折射現(xiàn)象，結(jié)合多層平面折射幾何以及綜合考慮透鏡畸變影響建立了適用非結(jié)構(gòu)環(huán)境的水下雙目視覺(jué)成像數(shù)學(xué)模型。為能有效分析核電特殊水質(zhì)對(duì)攝像機(jī)成像的影響以及驗(yàn)證所提水下雙目視覺(jué)定位方法的有效性，在空氣、普通水以及不同濃度硼酸水下進(jìn)行了對(duì)比實(shí)驗(yàn)。

1 核環(huán)境水下雙目視覺(jué)定位模型

在雙目立體視覺(jué)中，通過(guò)求取兩攝像機(jī)反投光線交匯點(diǎn)可以定位空間三維坐標(biāo)[8]。應(yīng)用于核環(huán)境的水下雙目視覺(jué)系統(tǒng)不同于普通的水下雙目攝像機(jī)，其攝像機(jī)外殼加裝一定厚度的防水輻射屏蔽罩，因此，當(dāng)其位于水下工作時(shí)，光線在水下成像過(guò)程中會(huì)經(jīng)過(guò)水、玻璃和空氣3種折射率不同的介質(zhì)而發(fā)生折射現(xiàn)象。據(jù)此建立的模型如圖1，以左攝像機(jī)系統(tǒng)為例(后續(xù)相關(guān)描述相同)，對(duì)點(diǎn)的反投光路進(jìn)行分析。為攝像機(jī)坐標(biāo)系，與世界坐標(biāo)系重合，為圖像平面坐標(biāo)系，為物點(diǎn)的水下像點(diǎn)，為物點(diǎn)在空氣中像點(diǎn)，與分別為光線與防水罩玻璃上、下表面的交點(diǎn)，分別為光線的入射角、一次折射角、二次折射角，分別表示水、玻璃、空氣的折射率，為與軸的夾角，表示攝像機(jī)光心原點(diǎn)到防護(hù)玻璃內(nèi)表面的距離，表示防護(hù)玻璃的厚度，表示攝像機(jī)的焦距。

圖1 水下雙目視覺(jué)模型

以上為理想情況，工程中由于攝像機(jī)非理想針孔成像且成像過(guò)程存在各種噪聲和系統(tǒng)標(biāo)定誤差，實(shí)際的兩條反投光線和最終未必交于一點(diǎn)，且兩者不可能平行，故為異面直線對(duì)。由于在幾何上使用異面直線公垂線的中點(diǎn)逼近空間點(diǎn)的誤差較小[9]，且具有優(yōu)良的抗噪性[10]，在工程實(shí)現(xiàn)中，我們近似認(rèn)為物點(diǎn)為反投光線和的公垂線中點(diǎn)。為進(jìn)一步簡(jiǎn)化計(jì)算，可將其轉(zhuǎn)化到空氣成像模型中，近似認(rèn)為空氣模型中的兩條異面反投光線與的公垂線中點(diǎn)即為待求的空間點(diǎn)。

2 水下雙目視覺(jué)系統(tǒng)標(biāo)定

針對(duì)本文提出的雙目定位模型，獲取非結(jié)構(gòu)空間點(diǎn)三維坐標(biāo)取決于系統(tǒng)結(jié)構(gòu)參數(shù)以及實(shí)際像點(diǎn)與理論折射像點(diǎn)的位置關(guān)系，故空間點(diǎn)的三維坐標(biāo)可歸結(jié)為矢量函數(shù)表達(dá)式：

其中系統(tǒng)結(jié)構(gòu)參數(shù)主要通過(guò)對(duì)兩攝像機(jī)標(biāo)定求得。為提高水下攝像機(jī)的標(biāo)定精度，本文基于一種改進(jìn)張氏標(biāo)定方法[11]來(lái)標(biāo)定系統(tǒng)內(nèi)外參數(shù)。標(biāo)定時(shí)，將標(biāo)定板在空間中變換多種姿態(tài)并采集20組圖像，通過(guò)標(biāo)定結(jié)果的平均以實(shí)現(xiàn)標(biāo)定誤差的降低，利用此方法標(biāo)定得到的攝像機(jī)各參數(shù)如下：

攝像機(jī)內(nèi)參數(shù)：

，

攝像機(jī)畸變參數(shù)：

旋轉(zhuǎn)量：

平移量：

3 水下試驗(yàn)及結(jié)果分析

3.1 試驗(yàn)設(shè)計(jì)

為驗(yàn)證模型有效性，本文搭建相應(yīng)試驗(yàn)平臺(tái)，將雙目攝像機(jī)(基于耐輻照攝像機(jī)結(jié)構(gòu)特點(diǎn)定制的普通水下攝像機(jī)SYSCAM1018)固定安裝在相機(jī)支架上并校準(zhǔn)位置，再整體固定于玻璃箱底部，利用9×7標(biāo)定板對(duì)雙目視覺(jué)系統(tǒng)當(dāng)前位置與焦距進(jìn)行標(biāo)定，獲得兩個(gè)攝像機(jī)的內(nèi)外參數(shù)和鏡頭畸變參數(shù)。其中，玻璃箱為空置和分別加入普通水、2 200 ppm濃度的硼酸水以及8 000 ppm濃度的硼酸水四種狀態(tài)，比較和分析四種介質(zhì)中攝像機(jī)成像差異和對(duì)相同物點(diǎn)的立體定位精度差異，如圖2。

圖2 水下雙目立體視覺(jué)系統(tǒng)試驗(yàn)圖(a) 主控臺(tái)；(b) 空氣中試驗(yàn)；(c) 普通水中試驗(yàn)；(d) 2 200 ppm硼酸水中試驗(yàn)；(e) 8 000 ppm硼酸水中試驗(yàn)

3.2 結(jié)果分析

利用本文算法測(cè)量4種工況下目標(biāo)(12×12棋盤格)上的角點(diǎn)相對(duì)于左攝像機(jī)坐標(biāo)系的空間三維坐標(biāo)，并分別計(jì)算長(zhǎng)度，其中角點(diǎn)在四種介質(zhì)中的位置相同，如圖3所示。

圖3 四種工況左右攝像機(jī)獲取的圖像(a) 左攝像機(jī)空氣中采集的圖像；(b) 右攝像機(jī)空氣中采集的圖像；(c) 左攝像機(jī)普通水中采集的圖像；(d) 右攝像機(jī)普通水中采集的圖像；(e) 左攝像機(jī)2 200 ppm硼酸水中采集的圖像；(f) 右攝像機(jī)2 200 ppm硼酸水中采集的圖像；(g) 左攝像機(jī)8 000 ppm硼酸水中采集的圖像；(h) 右攝像機(jī)8 000 ppm硼酸水中采集的圖像

實(shí)際物理尺寸=90 mm、=60 mm，試驗(yàn)結(jié)果如表1所示。

從表1數(shù)據(jù)可見(jiàn)，3次測(cè)量的各角點(diǎn)三維坐標(biāo)值以及同一角點(diǎn)在不同介質(zhì)中三維坐標(biāo)值不固定，每次測(cè)量值都存在一定偏差，主要原因在于系統(tǒng)誤差和由人工選點(diǎn)引入的單個(gè)角點(diǎn)坐標(biāo)誤差。而計(jì)算角點(diǎn)間歐氏距離與理論值相差不大，說(shuō)明本文方法在mm級(jí)精度下的非結(jié)構(gòu)環(huán)境中進(jìn)行目標(biāo)三維測(cè)量是可行的。

表1 四種工況目標(biāo)點(diǎn)三維測(cè)量試驗(yàn)數(shù)據(jù)

4 結(jié) 論

通過(guò)核電特殊水質(zhì)環(huán)境分析，對(duì)現(xiàn)有攝像機(jī)理想針孔成像模型進(jìn)行修正，建立非結(jié)構(gòu)環(huán)境下水下雙目視覺(jué)成像模型。提出一種應(yīng)用于核電特殊水質(zhì)的雙目視覺(jué)定位算法，在模擬試驗(yàn)條件下驗(yàn)證模型定位的準(zhǔn)確性，并得出不同濃度硼酸對(duì)其折射率變化影響較小的結(jié)論。實(shí)驗(yàn)結(jié)果表明，基于本文提出的雙目視覺(jué)數(shù)學(xué)模型，在非結(jié)構(gòu)環(huán)境下能較準(zhǔn)確獲取目標(biāo)物相關(guān)尺寸，為核電站水下機(jī)器人相關(guān)的視覺(jué)定位、測(cè)量和重建等研究工作提供了一定的技術(shù)支持。

[1] Nobuyuki Kita. Visual attention control for nuclear power plant inspection [C]// Proceedings 15th International Conference onPattern Recognition，Barcelona，Sep 03，2000，4：4118-4123.

[2] Yamamoto S. Development of inspection robot for nuclear power plant [C]// IEEE International Conference on Robotics and Automation，Proceedings，Nice，F(xiàn)rance，May 12，1992，2：1559-1566.

[3] Cho Byunghak，Byun Seunghyun，Shin Changhoon，. Underwater robotic system for visual inspection of nuclear reactor internals [J]. Nuclear Engineering and Design(S0029-5493)，2004，231(3)：327-335.

[4] Ishibashi S. The stereo vision system for an underwater vehicle [C]// IEEE OCEANS 2009-EUROPE，Charleston，South Carolin， March 17，2009：1-6.

[5] LI Hao，CHEN Yenlun，CHANG Tianhai，. Binocular vision positioning for robot grasping [C]//IEEE International Conference on Robotics and Biomimetics(ROBIO)，Thailand，Dec 07，2011：1522-1527.

[6] 劉瓊，秦現(xiàn)生，應(yīng)申舜，等. 雙目視覺(jué)測(cè)量系統(tǒng)結(jié)構(gòu)參數(shù)設(shè)計(jì)及精度分析[J]. 中國(guó)機(jī)械工程，2008，19(22)：2728-2732.

LIU Qiong，QIN Xiansheng，YIN Shenshun，. Structural Parameter Design and Accuracy Analysis of Binocular Vision Measuring System[J].China Mechanical Engineering，2008，19(22)：2728-2732.

[7] GUO Yubo，YU Yao. Research on Structural Parameter Optimization of Binocular Vision Measuring System for Parallel Mechanism [C]// Proceedings of IEEE International Conference on Mechatronics and Automation，Bangkok，Thailand，Jun. 5，2006：1131-1136.

[8] 張鈞，張宏，劉小茂，等.雙目立體視覺(jué)中物點(diǎn)定位的一種快速算法[J]. 信息與控制，2009，38(5)：563-570.

ZHANG Jun，ZHANG Hong，LIU Xiaomao，. A Fast Algorithm for Locating the Object Point in Binocular Stereo vision [J]. Information and Control，2009，38(5)：563-570.

[9] 黃家祥，郁道銀，陳曉冬，等.冠狀動(dòng)脈樹(shù)三維重建方法[J]. 天津大學(xué)學(xué)報(bào)，2004，37(5)：386-391.

HUANG Jiaxiang，YU Daoyin，CHEN Xiaodong，. 3D Reconstruction of Coronary Arterial Tree [J]. Journal of Tianjin University，2004，37(5)：386-391.

[10] 陳元杰，朱康武，葛耀崢，等.基于雙目視覺(jué)的水下定位系統(tǒng)[J].機(jī)電工程，2011，28(5)：567-573.

CHEN Yuanjie，ZHU Kangwu，GE Yaozheng，. Binocular vision based locating system for underwater inspection [J]. Journal of Mechanical ＆ Electrical Engineering，2011，28(5)：567-573.

[11] 李光樂(lè)，黃文有，劉青松，等.面向水下雙目視覺(jué)的改進(jìn)張氏標(biāo)定方法及實(shí)驗(yàn)[J]. 光學(xué)學(xué)報(bào)，2014，34(12)：1-12.

LI Guangle，HUANG Wenyou，LIU Qingsong，. Improved Zhang’s Calibration Method and experiments for underwater Binocular Stereo-Vision [J]. Acta Optica Sinica，2014，34(12)：1-12.

Research of Underwater Binocular Vision Stereo Positioning Technology in Nuclear Condition

HUANG Wenyou1,2，XU Xiangmin1，WU Fengqi2，WU Yu2，DENG Zhiyan2

( 1. School of Electronic and Information Engineering, South China University of Technology, Guangzhou 510640, China;2.China Nuclear Power Technology Research Institute,Shenzhen 518124,Guangdong,China)

In order to improve the operating and locating accuracy of intelligent equipment under special working environment (high radioactivity, high temperature, high pressure, boric acid and so on) in nuclear power plant. The nonlinear mathematical model of underwater binocular vision is established, considering both refraction effect and lens distortion. To achieve this, it is analyzed that the imaging principle of the boric acid underwater vision as well as the influence factors and presented that a kind of underwater binocular vision positioning method to unstructured environment. In order to verify the method, the comparison experiments are done in the air, common water and different concentrations of boric acid water. The experimental results show that different concentration of boric acid has little influence on the camera imaging refraction, and target attribute dimension calculated is close to actual value.

nuclear power station; boric acid; underwater; binocular vision; stereo positioning

1003-501X(2016)12-0028-06

TP391; TP242

A

10.3969/j.issn.1003-501X.2016.12.005

2016-05-23；

2016-10-22

國(guó)家自然科學(xué)基金資助項(xiàng)目(61401163)

黃文有(1967-)，男(漢族)，四川資中人。高級(jí)工程師，博士研究生，主要從事核動(dòng)力設(shè)備相關(guān)研究。E-mail: huangwenyou@cgnpc.com.cn。