劉祚時 韓鑫 陳三風 胡濤

摘 ?要： 位姿偏差是影響攝像模組質(zhì)量的重要因素。受限于成本和工藝流程，國內(nèi)中低端攝像模組的生產(chǎn)過程通常只做清晰度檢測，沒有進行攝像模組位姿測量，基于此，文中提出一種攝像模組位姿精確測量的方法。首先，通過一個制具將位姿測量轉(zhuǎn)化為相機標定問題;再基于自主設(shè)計的圓形陣列和MTF組合標靶實現(xiàn)圖像清晰度和位姿的一站式測量。所提方法在不提高制造成本和不改變工藝流程的前提下，實現(xiàn)了對攝像模組位姿精確測量;最后，設(shè)計了一個三維旋轉(zhuǎn)臺對所提方法進行驗證。實驗結(jié)果表明，所提方法平均誤差值小于0.05°，檢測時間小于100 ms，完全滿足相關(guān)產(chǎn)業(yè)的檢測要求。

關(guān)鍵詞： 位姿測量; 攝像模組; 平行標定; MTF計算; 組合標靶; 三維轉(zhuǎn)臺

中圖分類號： TN911.1?34; TH165 ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）07?0057?05

A method of accurate pose measurement for camera module

LIU Zuoshi1， HAN Xin1， 2， CHEN Sanfeng2， HU Tao2

（1. School of Mechanical and Electrical Engineering， Jiangxi University of Science and Technology， Ganzhou 341000， China;

2. Shenzhen Institute of Information Technology， Shenzhen 518029， China）

Abstract： The pose deviation is the key factor affecting the quality of the camera module. For the limitation of cost and process flow， in general， there is only definition detection but no pose measurement of camera modules in the production process of low?and middle?end camera modules in China. A method of accurate pose measurement for camera module is proposed on the basis of the above. Firstly， the pose measurement is converted into the camera calibration by a tool， and then one?stop measurement of the image clarity and pose are realized based on the autonomously?designed circular array and MTF combined target. The accurate pose measurement of the camera module is realized without any increase of the manufacturing cost and change of the process flow. A 3D rotating table is designed to verify the method. The experimental results show that the average error value of the method is less than 0.05° and the detection duration is less than 100 ms， which fully meets the testing requirements of relevant industries.

Keywords： pose measurement; camera module; parallel calibration; MTF calculation; combined target; 3D rotating table

0 ?引 ?言

近年來，小型攝像模組（Compact Camera Module，CCM）被廣泛應(yīng)用于各類電子產(chǎn)品，其市場需求量逐年遞增[1]。目前，高端攝像模組大多采用主動對準技術(shù)（AA制程）完成組裝，組裝精度高，但是AA制程設(shè)備價格高昂[2]，中低端攝像模組受限于成本和工藝等因素主要由人工完成組裝[2?3]，此類攝像模組在組裝后通常采用成像清晰度檢測設(shè)備進行品控管理[4?6]。隨著消費者對產(chǎn)品質(zhì)量要求的日益提高，攝像模組的品控要求也逐漸提高，單一的成像清晰度檢測已不再滿足要求，攝像模組的組裝位姿偏差檢測也因此被納入到品控管理中。

對此，本文首先將攝像模組的組裝位姿偏差檢測問題轉(zhuǎn)化為相機標定問題，然后將用于實現(xiàn)相機標定的圓形陣列標靶與MTF標靶進行有機組合，設(shè)計了一種新的組合標靶，并基于此組標靶提出了一種攝像模組組裝位姿偏差估計算法，此算法可在不增加檢測工位的前提下，同時實現(xiàn)攝像模組成像清晰度測量和攝像模組位姿的精確測量。

1 ?攝像頭模組位姿估計

1.1 ?位姿估計問題的建模

攝像模組組裝偏差就是攝像模組感光芯片及鏡頭組相對于基底的角度偏移，即tilt角（[xtilt]，[ytilt]）和旋轉(zhuǎn)角（rotation），如圖1所示。其中，[xtilt]是攝像模組感光芯片及鏡頭組相對于基底的豎直方向角度偏移;[ytilt]是攝像模組感光芯片及鏡頭組相對于基底的水平方向角度偏移。

通過制具將攝像模組基底底面與標靶保持平行，制具的中心對準標靶中心標志圓的圓心，制具的四條邊與標靶對應(yīng)的四條邊平行且距離相等，如圖2所示。因此，位姿偏差角便轉(zhuǎn)化為模組與標靶的相對偏移，即模組相對于標靶的空間位姿值，而空間位姿值可由相機標定技術(shù)進行求解，因此位姿估計問題被轉(zhuǎn)化為相機標定問題。

相機標定主要就是實現(xiàn)相機內(nèi)參和外參的計算，依據(jù)相機標定成像模型，借助圓形陣列標定板及所成像圖像特征點的映射限定（即（[Xw]，[Yw]，[Zw]）到（[XI]，[YI]）的映射），如圖3所示，對成像系統(tǒng)模型[f]的內(nèi)參、外參進行優(yōu)化估計，其中，外參中的空間位姿[α，β，γ]估計值分別對應(yīng)于[xtilt]，[ytilt]，rotation三個組裝偏差角。

1.2 ?基于平行標定的三維位姿估計

國內(nèi)外很多學者提出了許多經(jīng)典的相機標定方法，文獻[7]提出的基于徑向排列約束（RAC）的二步法標定方法，其標定精度較高，文獻[8]提出平面標靶的相機標定方法，操作簡便，上述方法均需要不同角度、不同位置的多幅圖像。受限于實際產(chǎn)線空間狹小且CCM的組裝偏差角通常比較小，一般在5°以內(nèi)，因此可采用相機平行標定算法[9?12]?；谙鄼C平行標定算法僅采集一幅標靶圖，就能夠較為快速而準確地計算出攝像模組相對于標靶的三維位姿值，以此評估攝像模組位姿偏轉(zhuǎn)。在已有的平行標定算法中，文獻[12]基于高斯成像模型提出了一種只使用線性優(yōu)化策略的高精度平行標定算法，非常具有實用價值。

然而，文獻[12]所述方法與其他的平行標定算法一樣仍需預(yù)標定光軸與圖像平面交點坐標[（u0，v0）]和焦距[f]等參數(shù)的初值，其提及的預(yù)標定算法的標定過程比較繁瑣，不易于在產(chǎn)線上實現(xiàn)。

針對[u0，v0]等參數(shù)的預(yù)標定問題，本文通過設(shè)計一種制具使攝像模組基底中心對準組合標靶中心圓的圓心，當光軸不存在偏移時，圖像中心與圖像中的標靶中心圓的中心重合;當二者存在偏差時，圖像中心與圖像中標靶中心圓中心將存在偏差。因此，可以將圖像標靶中心圓中心作為[（u0，v0）]的初值，另外，從模組生產(chǎn)商獲得準確的[f]值，大大簡化預(yù)標定問題。

因此，在通過制具簡便地得到[u0]，[v0]等參數(shù)初值的基礎(chǔ)上，采用文獻[12]的平行標定算法對相機成像模型進行估計，得到相機內(nèi)外參的估計值。其中，[α，β，γ]值用于攝像模組位姿偏差估計。本文所采用的平行標定流程大致由以下四個步驟組成：

1） 通過制具保證了標靶中心與模組基底中心對準，將標靶中心圓中心作為[（u0，v0）]的初值，另外，從模組生產(chǎn)商獲得準確的[f]值。

2） 根據(jù)圓形陣列標靶設(shè)計值計算得到標靶上各圓心的世界坐標值，由于是平面標靶，可以人為地令[Zw=0]。

3） 提取標靶圖像中各圓心在圖像坐標系中的坐標值[（XI，YI）]。

4） 基于文獻[12]所述方法，借助（[Xw]，[Yw]，[Zw]）與（[XI]，[YI]）之間的映射關(guān)系，對成像模型的內(nèi)參、外參進行優(yōu)化估計，得到相機內(nèi)外參數(shù)的估計值。

2 ?基于組合標靶的清晰度測量和位姿估計

2.1 ?組合標靶的設(shè)計

使用圓形陣列標靶可以進行組裝偏差估計，但需要增加一個檢測工位，從而加大了檢測成本。為了盡可能降低成本，本文創(chuàng)新性地設(shè)計一種平面組合標靶，將經(jīng)典的圓形陣列標靶圖案疊加在棋盤格MTF標靶圖案上，同時，為了方便判定標靶中心，將標靶中心圓半徑設(shè)計為稍大于其他圓半徑，如圖4所示。

通過組合標靶的黑白棋盤格能夠準確測量出攝像模組成像清晰度值，進而評估攝像模組的成像質(zhì)量。在棋盤格標靶上添加圓形陣列，借助標靶的圓形陣列與所成圖像特征點的映射限定關(guān)系，進而對成像模型的各參數(shù)進行估計和優(yōu)化，從而能夠得到攝像模組相對于標靶的三維位姿值。因此本文僅需采集一幅組合標靶圖就能夠在保證實現(xiàn)攝像模組成像清晰度測量的前提下在同一個工位精確測量攝像模組位姿。

為了提高成像清晰度值計算的魯棒性，通常在采集得到的組合標靶圖上設(shè)定如圖4所示的五塊矩形檢測區(qū)域，并根據(jù)式（1）計算出每個區(qū)域的MTF值[13]，以此來全面地評估攝像模組的成像質(zhì)量。

[M=Imax-IminImax+Imin] （1）

2.2 ?基于組合標靶的位姿估計

組合標靶上不僅有圓形陣列圖案，還有棋盤格圖案，但在進行位姿估計時，只需要圓形陣列坐標值，因此需要將棋盤格圖案排除掉。

本文采集一幅組合標靶圖，首先對標靶圖進行亞像素精度閾值分割提取輪廓[14]，再以設(shè)定圓度、半徑長篩選出圓形目標輪廓，最后對輪廓進行橢圓擬合等圖像處理步驟，得到圓形陣列的圓心坐標，其大致流程如圖5所示。

提取標靶圖像中各圓心在圖像坐標系中的坐標值[（XI，YI）]，參照1.2節(jié)步驟對成像系統(tǒng)模型各參數(shù)進行優(yōu)化估計，其中，空間位姿[α，β，γ]估計值分別對應(yīng)于[xtilt]，[ytilt]，rotation三個組裝偏差角，并以此評估攝像模組位姿。

2.3 ?基于組合標靶的圖像清晰度計算

對采集的標靶圖MTF計算時，單一的矩形檢測區(qū)域如圖6所示，由于圓形區(qū)域內(nèi)黑白區(qū)域?qū)Ρ榷缺绕灞P格區(qū)域的對比度高，會影響MTF計算的準確性，因此需要將圓形黑白區(qū)域排除，只提取棋盤格區(qū)域。針對這一問題，本文設(shè)計了一種圖像清晰度計算方法，其主要包括四個部分：

1） 對采集的標靶圖像設(shè)定五塊矩形檢測區(qū)域（ROI），如圖6所示。

2） 對檢測區(qū)域內(nèi)的標靶圖像進行二值化、連通域分析、邊緣提取，將圓（圓弧）的輪廓擬合成圓，得到其圓心和半徑，按半徑1.1[∶]1得到其同心圓區(qū)域（見圖6圓形輪廓區(qū)域）。

3） 將這些同心圓區(qū)域與設(shè)定的矩形區(qū)域求交集，再將交集區(qū)域與矩形檢測區(qū)域求差集（見圖6區(qū)域）。

4） 設(shè)五塊差集區(qū)域內(nèi)灰度值累計頻率最高灰度值的最大值和最小值分別作為[Imax]，[Imin]，根據(jù)式（1）計算出五個區(qū)域的MTF值，以此評估攝像模組的成像質(zhì)量。

3 ?實驗與分析

基于本文所提方法研制了一站式成像質(zhì)量和組裝偏差估計檢測設(shè)備，設(shè)備整體外觀如圖7a）所示，主要由組合標靶、攝像模組裝載制具和攝像模組圖像采集控制盒等組成。

圖7b）所示的組合標靶由透射式玻璃材質(zhì)制成（采用6 500 K色溫平行背光源），尺寸為293 mm×252 mm，由大小為1.444 mm棋盤格和15×13個圓形標定塊構(gòu)成，圓形標定塊的直徑為6.8 mm，間距為19.8 mm。

攝像模組主要參數(shù)：芯片像元大小為2.25 μm，分辨率為640×480像素，鏡頭焦距為1.87 mm。

圖7c）所示為攝像模組裝載制具。

本文所提算法基于VS2010開發(fā)環(huán)境，采用C++編碼實現(xiàn)了攝像頭模組圖像采集控制。

3.1 ?位姿估計值計算精度分析

借助Tsai提出的標定精度分析方法，通過計算重投影誤差和標準差分析標定精度[9]。成像平面上的坐標點（[xR]，[yR]）是通過標定得到的攝像機模型求得的理論圖像坐標點，計算理論圖像坐標點（[xR]，[yR]）與實際圖像坐標點（[x]，[y]）之間的差值，用[N]表示點數(shù)，則：

重投影誤差為：

[mean=1Ni=1N（（xRi-xi）2+（yRi-yi）2）12] （2）

標準差為：

[std=1N-1i=1N[（xRi-xi）2+（yRi-yi）2]-N?mean212] （3）

實驗結(jié)果如表1所示，重投影誤差皆小于0.16像素，標準差皆小于0.08，標定精度較高。

3.2 ?位姿估計值計算準確度分析

為了驗證本文所提位姿估計方法的估計值的計算準確度，本文進一步設(shè)計并搭建了一個精度較高的三維旋轉(zhuǎn)臺，如圖8所示。

控制轉(zhuǎn)臺的各旋轉(zhuǎn)軸做等步長運動，模擬攝像模組在不同的組裝位置，將各相鄰位置的相對偏轉(zhuǎn)作為實際偏轉(zhuǎn)值，將本文方法計算得到的偏轉(zhuǎn)值作為理論偏轉(zhuǎn)值，然后計算理論偏轉(zhuǎn)值與實際偏轉(zhuǎn)值之間的誤差和相關(guān)性系數(shù)，驗證本文三維位姿估計方法的準確度。

在對比實驗中，借助OpenCV中Zhang的相機標定方法，將標定出的平均重投影誤差作為標定參考結(jié)果，以此評估本文算法的準確度。

具體實驗步驟如下：首先將標靶按照平行于工作臺平面的方位進行放置，然后通過運動控制程序控制三維轉(zhuǎn)臺以0.625°（對應(yīng)電機脈沖數(shù)為1 000）為步長自動在[Y]方向轉(zhuǎn)動，圖像采集程序控制攝像模組在每次轉(zhuǎn)動停止的位置采集一幅標靶圖像，并通過三維位姿估計方法對采集的標靶圖像計算得到攝像模組相對于標靶的三維位姿值。

表1中列出攝像模組位于不同位置時的計算結(jié)果，其中，[α，β，γ]分別對應(yīng)于[xtilt]，[ytilt]，rotation，圖9則為理論偏轉(zhuǎn)值與實際偏轉(zhuǎn)值之間的一致性計算結(jié)果。

在對比實驗中，使用標定板在不同位置，不同角度拍攝14幅圖像，標定出的平均重投影誤差為0.095 pixel。

表1和圖9計算結(jié)果表明：

1） 理論偏轉(zhuǎn)值比實際偏轉(zhuǎn)值總體要小，但二者偏差均小于0.03°。

2） 理論偏轉(zhuǎn)值與實際偏轉(zhuǎn)值的相關(guān)系數(shù)達到0.999 9，說明二者一致性越好，理論偏轉(zhuǎn)值與實際偏轉(zhuǎn)值存在高度一致性，具有較高的可信度。

3） 本文算法僅需采集一幅圖像，就能夠得到較為準確的標定精度，更適用于工業(yè)生產(chǎn)領(lǐng)域。

上述計算精度和準確度實驗結(jié)果表明，本文所提位姿估計方法具有高的標定精度且能夠準確地估計攝像模組相對于標靶的三維位姿。

4 ?結(jié) ?語

本文提出一種基于圓形陣列和MTF組合標靶的攝像模組位姿精確測量方法，在實現(xiàn)攝像模組成像清晰度測量的前提下，在同一個工位精確測量攝像模組位姿，有效減少了工位，提高了檢測效率，并有效地提高了出廠模組的品質(zhì)。實驗和生產(chǎn)線運行結(jié)果表明，本文算法穩(wěn)定可靠，不但能夠避免人工檢測攝像模組主觀性強且效率低等眾多弊端，還能提高攝像模組的檢測精度和速度，滿足攝像模組位姿測量的功能要求，對保證攝像模組產(chǎn)品質(zhì)量具有重大的現(xiàn)實意義。

參考文獻

[1] 佚名.2016—2022年中國攝像頭行業(yè)發(fā)展調(diào)研及代表企業(yè)發(fā)展分析報告[R/OL]. [2016?11?07]. http：//www.cninfo360.com/yjbg/dzhy/qt/20161107/499250.html.

[2] 胡昌軍，魯大鵬，魯謙，等.高像素CMOS手機攝像模組關(guān)鍵技術(shù)研究[J].池州學院學報，2016，30（3）：60?63.

[3] 全世紅.攝像模組解析力和臟污檢測的研究與應(yīng)用[D].深圳：深圳大學，2016.

[4] 孫首雷.高像素CMOS攝像頭模組檢測技術(shù)研究[D].廣州：廣東工業(yè)大學，2014.

[5] 張戈，李定珍.CMOS攝像模組缺陷的自動檢測系統(tǒng)研究[J].光電工程，2012，39（3）：52?56.

[6] 馬建設(shè)，李合銀，程雪岷，等.嵌入式自動聚焦攝像模組控制系統(tǒng)的設(shè)計[J].光學精密工程，2012，20（10）：2222?2228.

[7] TSAI R. A versatile camera calibration technique for high?accuracy 3D machine vision metrology using off?the?shelf TV cameras and lenses [J]. IEEE journal on robotics and automation， 1987， 3（4）， 323?344.

[8] ZHANG Z. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1334.

[9] 趙雪峰，仲曉敏，蘭義華.標定靶面平行成像平面時Tsai算法的改進[J].計算機工程與設(shè)計，2011，32（3）：1019?1022.

[10] ZHUANG H， WU W C. Camera calibration with a near?parallel （ill?conditioned） calibration board configuration [J]. IEEE transactions on robotics & automation， 1996， 12（6）： 918?921.

[11] 羅晨，朱利民，丁漢.標定模板與圖像平面平行時的攝像機標定方法[J].中國機械工程，2005，16（17）：1558?1560.

[12] LUO H G， ZHU L M， DING H. Camera calibration with coplanar calibration board near parallel to the imaging plane [J]. Sensors & actuators A： physical， 2006， 132（2）： 480?486.

[13] 鄢天川.攝像模組的解像力檢測方法研究[D].西安：西安理工大學，2017.

[14] 胡濤，任仙怡，蔡鐵，等.高分辨力PCB裸板圖像輪廓快速圓弧探測[J].光電工程，2014，41（7）：88?94.