王 琥，胡立坤，譚 穎

(廣西大學(xué)電氣工程學(xué)院， 廣西南寧530004)

?

基于改進仿電磁學(xué)ELM在相機標(biāo)定中的應(yīng)用

王 琥，胡立坤，譚 穎

(廣西大學(xué)電氣工程學(xué)院， 廣西南寧530004)

針對相機標(biāo)定時難以建立精確的數(shù)學(xué)模型以及極限學(xué)習(xí)機(ELM)在隱層節(jié)點數(shù)少時逼近精度低的問題，提出了基于改進仿電磁學(xué)(EM)優(yōu)化ELM的雙目視覺相機標(biāo)定方法。在標(biāo)定過程中，采用極限學(xué)習(xí)機精確逼近圖像坐標(biāo)與世界坐標(biāo)間的非線性關(guān)系，利用改進EM策略，包括使用自適應(yīng)步長以及空間解收縮，優(yōu)化ELM的輸入權(quán)重和隱層偏置，提高ELM的收斂速度和泛化能力。實驗結(jié)果表明，改進EM-ELM優(yōu)化算法的收斂速度快于PSO的，且用更少的隱層節(jié)點數(shù)取得較高的標(biāo)定精度。

相機標(biāo)定；仿電磁學(xué)；極限學(xué)習(xí)機

0 引 言

相機標(biāo)定是機器視覺中最底層且最關(guān)鍵的技術(shù)，標(biāo)定技術(shù)的精確性決定機器視覺的效果。標(biāo)定技術(shù)的主要原理是計算出相機的內(nèi)部參數(shù)和外部參數(shù)，即二維圖像信息與世界三維空間信息之間的映射關(guān)系。隨著機器視覺被廣泛應(yīng)用于各行業(yè)，標(biāo)定技術(shù)成了學(xué)者們的研究熱點。如今的相機標(biāo)定技術(shù)主要分為兩大類，一類為直接式(顯式)標(biāo)定，另一類為間接式(隱式)標(biāo)定。直接式標(biāo)定方法主要有線性法、兩步法[1]、改進兩步法，張正友法[2]等，其主要過程是：在忽略高階因素影響的前提下建立相機的數(shù)學(xué)模型，進而求解出模型中待解的未知參數(shù)。求解參數(shù)方法有最小二乘法、智能算法(如差分算法[3])逼近等。此類標(biāo)定方法計算步驟比較繁瑣，而且由于受到徑向畸變和切向畸變參數(shù)的影響，其標(biāo)定精度有所降低。間接式標(biāo)定法主要有兩類，一類為利用現(xiàn)有的智能算法，如BP算法[4]、神經(jīng)網(wǎng)絡(luò)算法[5-7]、支持向量機(SVM)算法[8]等逼近擬合二維圖像信息和世界三維空間信息之間的關(guān)系；另一類為采用智能算法對神經(jīng)網(wǎng)絡(luò)算法進行優(yōu)化，再用其逼近擬合二維圖像信息和世界三維空間信息之間的關(guān)系。第二類方法可以避免測定相機復(fù)雜的幾何模型和光學(xué)參數(shù)，故能夠更大程度地提高相機的標(biāo)定精度。文獻[9]基于神經(jīng)網(wǎng)絡(luò)標(biāo)定的基礎(chǔ)上，利用智能算法(PSO)優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)重與閾值，通過對比未優(yōu)化神經(jīng)網(wǎng)絡(luò)方法的標(biāo)定結(jié)果驗證了此算法對于提高相機的標(biāo)定精度的有效性。文獻[10]在最小二乘支持向量機(LSSVM)回歸的基礎(chǔ)上，利用粒子群優(yōu)化LSSVM，使LSSVM具有更好的泛化能力，同時提高相機的標(biāo)定精度。文獻[11]采用ELM對機械臂進行控制，驗證了ELM泛化能力強于RBF。文獻[12]采用ELM處理分類問題，證明了ELM訓(xùn)練速度高于SVM。

在隱式相機標(biāo)定法中，評判算法的實用性的關(guān)鍵因素除標(biāo)定精度外，更重要的是算法的效率和質(zhì)量。在泛化能力上，SVM優(yōu)于神經(jīng)網(wǎng)絡(luò)；在訓(xùn)練時間上，神經(jīng)網(wǎng)絡(luò)消耗的總時間明顯低于SVM[13]。極限學(xué)習(xí)機(ELM)在保持強泛化能力的同時其消耗的總時間也較少，可以同時兼顧訓(xùn)練時間和泛化能力，是一種基于單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法。為了保持ELM的泛化能力和學(xué)習(xí)速度的同時減小系統(tǒng)的隱層節(jié)點數(shù)，本文提出了基于仿電磁學(xué)優(yōu)化的極限向量機(EM-ELM)相機標(biāo)定方法,利用ELM優(yōu)良的非線性泛化能力，逼近二維圖像坐標(biāo)和世界三維空間坐標(biāo)的映射函數(shù)，并使用仿電磁學(xué)算法優(yōu)化ELM的輸入權(quán)重以及閾值，從而達到高精度標(biāo)定的目的。

1 基于EM的ELM算法

1.1 極限學(xué)習(xí)機(ELM)

極限學(xué)習(xí)機是黃廣斌等[14]于2006年提出的一種基于前饋型單隱層神經(jīng)網(wǎng)絡(luò)的新型監(jiān)督性學(xué)習(xí)算法。相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，極限學(xué)習(xí)機能夠快速解析網(wǎng)絡(luò)輸出權(quán)值，從而降低計算量和搜索空間，使得神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度和泛化能力得以提高，因而具有很強的非線性逼近能力。極限學(xué)習(xí)機的網(wǎng)絡(luò)模型可表示為：

(1)

式中，N為隱層節(jié)點數(shù)，βi為連接隱層和輸出層的輸出權(quán)值，g為激勵函數(shù)，ωi為連接輸入層和隱層的輸入權(quán)值，bi為隱層的偏置(閾值)，oj為網(wǎng)絡(luò)的輸出，M為訓(xùn)練的樣本數(shù)。

(2)

令：

(3)

則式(2)可改寫為矩陣形式，即：

Hβ=Y，

(4)

式中，Y為期望輸出向量，H為ELM的隱層輸出矩陣。

(5)

式中，H+為H的Moore-Penrose廣義逆。因此，ELM的訓(xùn)練過程如下：

Step 1 選取隱層節(jié)點數(shù)和激勵函數(shù)，隨機設(shè)定輸入層權(quán)值以及偏差；

Step 2 計算隱層輸出矩陣H；

1.2 仿電磁學(xué)算法(EM)

EM算法[15]由Birbil和Fang于2003首次提出，是一種模擬電荷間的排斥和吸引作用的計算優(yōu)化技術(shù)。仿電磁學(xué)算法由于自身具備記憶和反饋的特點，能夠避免算法的搜索迂回，從而提高了算法的收斂速度。仿電磁學(xué)算法(EM算法)和PSO算法都屬于并行處理算法，但EM算法的收斂速度更快。

仿電磁學(xué)算法的搜索原理：隨機產(chǎn)生符合優(yōu)化目標(biāo)函數(shù)的帶電粒子群，帶電粒子通過動力方程式進行迭代更新，以適應(yīng)度為依據(jù)判定帶電粒子的優(yōu)劣，從而求解出個體最優(yōu)值和全局最優(yōu)值。動力方程式為：

(6)

其中，

1.3 改進EM

基本的EM算法主要分為三個步驟，即局部搜索、適應(yīng)度評價、更新粒子。為了精簡局部搜索步驟，借鑒文獻[16]，通過使用自適應(yīng)迭代步長代替耗時較長的局部搜索，即前期搜索采用較大步長，當(dāng)出現(xiàn)評價指標(biāo)停止不前次數(shù)達到8次的時候，按式(7)對迭代步長進行縮減，即：

(7)

式中，T為總迭代次數(shù)，k為當(dāng)前迭代次數(shù)。

搜索空間的大小勢必影響搜索的進度，為了達到快速搜索最優(yōu)解，搜索空間同時按照式(8)、式(9)進行調(diào)整。

(8)

(9)

式(9)中，Qbest為當(dāng)前最優(yōu)解空間。

1.4 EM優(yōu)化ELM算法

當(dāng)ELM的隱層節(jié)點數(shù)與訓(xùn)練樣本數(shù)一致時，ELM才能以零誤差逼近樣本。然而，在實際應(yīng)用中，ELM的隱層節(jié)點數(shù)遠遠低于樣本數(shù)，因此，ELM的逼近精度有所下降。為了能在提高精度的同時使用較少的隱層節(jié)點數(shù)來逼近訓(xùn)練樣本。本文使用仿電磁學(xué)算法對ELM的輸入權(quán)值和隱層節(jié)點偏置(閾值)進行尋優(yōu)。

解域的確定：ELM的輸入權(quán)值和隱層節(jié)點偏置的取值范圍為[-1,1]，因此，帶電粒子解域范圍為[-1,1]。

EM優(yōu)化ELM的學(xué)習(xí)流程：

Step 1 導(dǎo)入訓(xùn)練樣本，即包括攝像頭獲取的圖像二維坐標(biāo)和世界三維空間坐標(biāo)的樣本，同時，對所有樣本進行歸一化處理。

Step 2 建立EM-ELM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要包括設(shè)定神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點數(shù)和激活函數(shù)。一般激活函數(shù)選擇S(sigmoid)函數(shù)。

Step 3 初始化EM參數(shù)，包括待優(yōu)化參數(shù)(輸入權(quán)值、偏置)的帶電粒子個數(shù)、初始電荷量、最大迭代步數(shù)以及終止條件等參數(shù)。初始電荷量范圍為粒子解域范圍即[-1,1]。

Step 4 計算每個帶電粒子的適應(yīng)度。優(yōu)化的目的在于提升神經(jīng)網(wǎng)絡(luò)的逼近能力和精度，因此，適應(yīng)度優(yōu)化目標(biāo)函數(shù)選取為三維空間坐標(biāo)的實際輸出和期望輸出的均方根誤差，即ELM輸出的測試誤差值，即：

(10)

其中，XR,YR,ZR代表網(wǎng)絡(luò)實際輸出的三維坐標(biāo)信息，XE,YE,ZE代表實際標(biāo)定測量的三維坐標(biāo)信息。

Step 5 根據(jù)EM的動力方程式(6)進行帶電粒子的更新。

Step 6 判斷是否達到終止條件(最大迭代步數(shù)或精度要求)，否則進入Step 4繼續(xù)搜索。

2 標(biāo)定實驗

2.1 實驗樣本的獲取

圖1 標(biāo)定板Fig.1 Calibration board

極限學(xué)習(xí)機的輸入樣本為雙目相機獲取的左右圖像坐標(biāo)[ul,vl],[ur,vr]。為了提高精確度，世界坐標(biāo)的標(biāo)定采用電控三維精密平臺，輸出的樣本為標(biāo)定在世界坐標(biāo)下的坐標(biāo)，即[XE,YE,ZE]。實驗用的雙目攝像頭采用深圳顯微公司生產(chǎn)的CCD攝像頭，其分辨率為1600×1200。標(biāo)定板采用如圖1所示的圓形標(biāo)定板。標(biāo)定板采用12×12的圓點方陣，相鄰兩圓點的實際距離為10.0 mm，標(biāo)定點即為每個黑圓點的圓心。通過電控三維精密平臺的平移，在不同的方位拍攝6對圖像(如圖2所示)即為拍攝后的一對標(biāo)定圖。而后,使用MATLAB平臺對獲取的圖像進行圖像處理，包括圖像增強、去噪、邊緣檢測、利用霍夫變換提取圓心所在的圖像坐標(biāo)信息。由于相機同處于一水平線，因此左右圖像圓心在陣列位置一一對應(yīng)匹配于標(biāo)定板的陣列相應(yīng)位置，即雙目匹配?？偣蔡崛?64標(biāo)定點，訓(xùn)練樣本采用5對圖像組，即720個標(biāo)定點，其余的144個標(biāo)定點作為測試樣本。

(a) 左圖像

(b) 右圖像

圖2 標(biāo)定圖像

Fig.2 Calibration image

2.2 ELM的訓(xùn)練優(yōu)化

設(shè)定ELM神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點為4個，隱層節(jié)點數(shù)為6，輸出節(jié)點為3個，結(jié)構(gòu)圖如圖3所示，迭代最大次數(shù)為T=100，種群個數(shù)為25，激勵函數(shù)為S函數(shù)。由于受S函數(shù)靈敏區(qū)限制，樣本按式(11)歸一化處理，即：

x′=(x-xmin)/(xmax-xmin)，

(11)

優(yōu)化適應(yīng)度函數(shù)采用式(10)為依據(jù)，誤差越小，優(yōu)化精度越高。

2.3 實驗結(jié)果與分析

仿真平臺為MATLAB 2014a，PC處理器為Intel(R) Core(TM) i5-3470 @3.2 GHz。為了可以有效地進行對比，本研究共進行3組實驗，分別為ELM，PSO-ELM和EM-ELM。

為了進行有效比較，PSO參數(shù)的設(shè)置與EM一致，即設(shè)定輸入節(jié)點為4，隱層節(jié)點數(shù)為6，輸出節(jié)點為3，迭代最大次數(shù)為T=100，種群個數(shù)為25，粒子位置與速度的范圍為[-1,1]，優(yōu)化適應(yīng)度函數(shù)采用式(10)。

未使用優(yōu)化方法的ELM，經(jīng)過多次實驗，可得如圖4所示的結(jié)果，誤差的計算采用式(10)。從圖4中可見，由于閾值和輸入權(quán)重是隨機的，因此，每次運行結(jié)果所得測量誤差有所不同，測量誤差值的波動范圍為[15，70]。

圖3 ELM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Fig.3 Structure of ELM neural network

圖4 第P次擬合與誤差的關(guān)系

Fig.4 Relation betweenPth training and error

經(jīng)過優(yōu)化后的ELM算法不僅可以降低測量誤差，同時也減小誤差的波動。最大迭代步數(shù)與誤差關(guān)系如圖5所示，可見，當(dāng)?shù)綌?shù)增加時，逼近誤差隨之下降，收斂至一定的數(shù)值。表明粒子群算法和仿電磁學(xué)算法在優(yōu)化極限學(xué)習(xí)機的泛化能力是可行的、有效的，且標(biāo)定精度有所提高。EM-ELM算法在迭代次數(shù)達到12次左右，其誤差收斂到最小，而PSO-ELM算法在迭代次數(shù)達到40左右才收斂，表明基于仿電磁學(xué)的極限學(xué)習(xí)機標(biāo)定的收斂速度更快。由于粒子群算法無記憶和反饋特性，在此類優(yōu)化上容易陷進局部最優(yōu)，因此，在第20～35迭代過程中出現(xiàn)了停滯，陷入局部最優(yōu)，且PSO在相同隱層節(jié)點數(shù)下訓(xùn)練100次的總耗時比EM的多，如表1所示。

圖5 迭代次數(shù)與誤差的關(guān)系Fig.5 Relation between interaction and error

隱層節(jié)點數(shù)PSO/sEM/s322.6721.75622.8821.95923.3922.431123.7522.662225.8723.924027.6226.02

通過選取不同的隱層節(jié)點數(shù)，對比ELM、PSO-ELM和EM-ELM算法的逼近誤差，訓(xùn)練100次可得如表2所示的結(jié)果。由表2可知，隱層節(jié)點數(shù)越少，極限學(xué)習(xí)機的逼近能力越差，極限學(xué)習(xí)機只能單純通過提高隱層節(jié)點數(shù)來提高逼近精度，而仿電磁學(xué)或PSO優(yōu)化后的極限學(xué)習(xí)機可以在同等的隱層節(jié)點數(shù)下在一定程度上提高極限學(xué)習(xí)機的逼近精度。

表2 ELM與EM-ELM的測量誤差

圖6 視覺系統(tǒng)平臺Fig.6 Vision system platform

為了驗證其精確性和實用性，結(jié)合EM-ELM算法、CCD雙目攝像機，以及電控平臺構(gòu)成如圖6所示的系統(tǒng)進行驗證。由PC端的MATLAB軟件對CCD相機進行圖像采集控制和圖像處理，將檢測到的圖像坐標(biāo)輸入至EM-ELM網(wǎng)路中，計算出目標(biāo)物體在世界坐標(biāo)系[XE,YE,ZE]的位置。

表3 不同隱層節(jié)點數(shù)EM-ELM測量值

通過三維電控平臺測3組不同的數(shù)據(jù)，第一組：A=[XE1,YE1,ZE1]=[140,60,150]；第二組：B=[XE2,YE2,ZE2]=[60,140,50]；第三組：C=[XE3,YE3,ZE3]=[0,80,100]；將3組數(shù)據(jù)作為真實值，由標(biāo)定好的CCD雙目相機獲取圖像坐標(biāo)。采用經(jīng)過訓(xùn)練優(yōu)化后的網(wǎng)絡(luò)對圖像獲取的數(shù)據(jù)進行計算，得出測量值。真實值與測量值如表3所示。由表3可見，隨著隱層節(jié)點數(shù)增加，誤差可控在1 mm內(nèi)，計算所需的時間較小，優(yōu)化后的網(wǎng)絡(luò)應(yīng)用在機器視覺伺服回路中的延遲干擾不大，可滿足機器視覺要求。

通過以上實驗以及分析可知：優(yōu)化后的網(wǎng)絡(luò)在同樣的精度要求下所需的隱層節(jié)點數(shù)較少；當(dāng)隱層節(jié)點數(shù)達到11個左右，優(yōu)化后的網(wǎng)絡(luò)誤差在1 mm以內(nèi)。當(dāng)訓(xùn)練數(shù)據(jù)采用的是基于攝像機坐標(biāo)系下的數(shù)據(jù)，則只要左右相機的相對位置不變，訓(xùn)練好的網(wǎng)絡(luò)計算結(jié)果是基于相機坐標(biāo)系的，因此有利于移植雙目相機應(yīng)用于別的場合。但此標(biāo)定策略僅限制于小范圍空間的標(biāo)定，如點焊機器人、臂展較短的工業(yè)機器人作業(yè)等小范圍高精度場所。

3 結(jié) 語

本文提出了基于仿電磁學(xué)算法優(yōu)化下的極限學(xué)習(xí)機相機標(biāo)定方法，采用改進EM優(yōu)化ELM的輸入權(quán)重和隱層偏置，提高了ELM的收斂速度和泛化能力。優(yōu)化算法的收斂速度比PSO更快，標(biāo)定精度更好，并有效解決了相機標(biāo)定中由于建模不準(zhǔn)確如不考慮非線性項等因素而帶來的誤差，以及當(dāng)隱層節(jié)點數(shù)較少時ELM逼近精度不夠的問題。

[1] TSAI R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics & Automation, 1987, 3(4):323-344.

[2] ZHANG Z Y.A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11): 1330-1334.

[3] 李國進,李占海,陳雙,等.基于差分演化算法的攝像機高精度標(biāo)定[J]. 廣西大學(xué)學(xué)報(自然科學(xué)版), 2014,39(2):387-392.

[4] 李晶，袁峰，丁振良.基于BP神經(jīng)網(wǎng)絡(luò)的外姿態(tài)測量系統(tǒng)線陣CCD標(biāo)定[J]. 儀器儀表學(xué)報, 2010, 31(5):1138-1141.

[5] CHEN B, WANG W, QIN Q.Stereo vision calibration based on GMDH neural network.[J]. Applied Optics, 2012, 51(7):841-845.

[6] 宗曉萍，徐艷，郝雷.基于神經(jīng)網(wǎng)絡(luò)的視覺伺服機器人攝像機標(biāo)定[J]. 儀器儀表學(xué)報, 2006, 27(z1): 814-816.

[7] AHN B, PARK J, KWEON I S.Real-time head orientation from a monocular camera using deep neural network[J]. Lecture Notes in Computer Science, 2015, 9005:82-96.

[8] 劉勝,傅薈璇,王宇超.基于分割區(qū)間LS-SVM的攝像機標(biāo)定[J]. 計算機工程, 2009, 35(24):179-181.

[9] 周東凱,李剛,王學(xué)琨.基于PSO-ELM的雙目視覺攝像機標(biāo)定[J]. 廣西大學(xué)學(xué)報(自然科學(xué)版), 2014,39(6):1285-1290.

[10]劉金頌，原思聰，江祥奎,等 基于PSO和LSSVM回歸的攝像機標(biāo)定[J]. 光電工程, 2010, 37(5): 47-51.

[11]乃永強，李軍.基于極限學(xué)習(xí)機的機械臂自適應(yīng)神經(jīng)控制[J]. 信息與控制, 2015, 44(3):257-262.

[12]RONG H J, ONG Y S, TAN A H, et al.A fast pruned-extreme learning machine for classification problem[J]. Neurocomputing, 2008, 72(13): 359-366.

[13]申豐山，王黎明，張軍英.基于SVM技術(shù)的精簡極速學(xué)習(xí)機[J]. 華中科技大學(xué)學(xué)報(自然科學(xué)版), 2014,42(6): 107-110.

[14]HUANG G B, ZHU Q Y, SIEW C K.Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006,70(1-3): 489-501.

[15]BIRBIL S, FANG S C.An electromagnetism-like mechanism for global optimization[J]. Journal of Global Optimization, 2003, 25 (3): 263-282.

[16]吳杰康，郭壯志.基于仿電磁學(xué)算法的梯級水電站多目標(biāo)短期優(yōu)化調(diào)度[J]. 中國電機工程學(xué)報, 2010,30(31): 14-21.

(責(zé)任編輯 裴潤梅)

Application of ELM via improved electromagnetism-like mechanism in camera calibration

WANG Hu, HU Li-kun, TAN Ying

(College of Electrical Engineering, Guangxi University, Nanning 530004,China)

Due to the difficulties of establishing accurate mathematical model for camera calibration and low approximation accuracy by using extreme learning machine (ELM) with less hidden layer node, a binocular vision calibration method that ELM with improved electromagnetism-like mechanism(EM) is proposed. The ELM model is used to describe the non-liner relation between the stereo image point and the 3D geometry while the improved EM with space reduction and self- adaptive steps is used to optimize the input weights and hidden layer bias of ELM. Then the convergence speed and generalization ability of ELM are improved. The experimental results show that the improved EM-ELM algorithm has faster convergence speed than PSO, and better calibration accuracy with fewer hidden layer nodes.

camera calibration; electromagnetism-like mechanism; extreme learning machine

2016-05-03；

2016-05-25

廣西自然科學(xué)基金資助項目(2012GXNSFBA053144)

胡立坤(1977—)，男，湖北襄樊人，廣西大學(xué)教授，博士;E-mail：hlk3email@163.com。

王琥，胡立坤，譚穎.基于改進仿電磁學(xué)ELM在相機標(biāo)定中的應(yīng)用[J].廣西大學(xué)學(xué)報(自然科學(xué)版)，2016，41(5)：1500-1507.

10.13624/j.cnki.issn.1001-7445.2016.1500

TP391

A

1001-7445(2016)05-1500-08