劉詩弘 樂子瑜 鄭榮宗
摘? 要: 針對可見光識別過程中單一攝像頭視角不足的問題,本文將圖像拼接技術(shù)應(yīng)用到識別融入系統(tǒng)中,達到擴大視域、增大識別范圍的目的,進一步實現(xiàn)對圖像進行特定顏色的識別。識別結(jié)果通過驅(qū)動電路輸出對應(yīng)電壓值以驅(qū)動電致變色器件變色,使其和背景顏色相融,完成可見光的識別融入。經(jīng)實驗效果驗證,可見光識別融入系統(tǒng)性能良好、穩(wěn)定。
關(guān)鍵詞: 圖像拼接;顏色識別;驅(qū)動電路;電致變色
【Abstract】: Single camera has insufficient view angle for object recognition. To solve the problem, this work applies image stitching to the recognition integration system to expend the view angle and recognition range. The stitching image is identified by specific colors and the recognition result outputs a corresponding voltage value through the driving circuit, thereby driving the electrochromic device to change its color and blending it into the background color. The robustness and the effectiveness of the method were demonstrated on various experiments.
【Key words】: Image stitching; Color recognition; Driving circuit; Electrochromic
0? 引言
可見光識別融入系統(tǒng),是針對人眼、照相機、攝像頭等觀測手段采取的一種視覺圖像融入技術(shù),其目的是使目標(biāo)的物體的反射率和背景環(huán)境的反射率一致[1],從而在視覺上達到可見光的無差別融入,可以利用電致變色器件的變色性能實現(xiàn)這一要求。
電致變色是材料的光學(xué)屬性(反射率、透過率、吸收率等)在外加電場的作用下發(fā)生穩(wěn)定、可逆的變化的現(xiàn)象,在外觀上表現(xiàn)為顏色和透明度的可逆變化。用電致變色材料做成的器件稱為電致變色器件[2-3]。目前電致變色器件的主要應(yīng)用在智能窗、汽車防眩后視鏡、飛機舷窗等領(lǐng)域[4]-[8],但是這些都只是對電致變色進行簡單的調(diào)制。在電致變色器件應(yīng)用的基礎(chǔ)上,配合智能化設(shè)備的控制,可對電致變色器件進行智能驅(qū)動變色,使其與目標(biāo)所處的背景顏色融合。電致變色器件智能化調(diào)控具有重要的意義,但目前國內(nèi)外對該方面的研究鮮有報道。
目前,已有文獻對周邊圖像顏色采集,但多使用的是單一信號傳感器[9][10],對周圍環(huán)境顏色識別存在著一定的局限性。例如攝像頭視角的局限:通常來說一個普通攝像頭識別角度范圍大概在80°到120°之間,這直接導(dǎo)致了圖像的檢測存在很大范圍的盲點區(qū)域;另外在對顏色的識別中,顏色空間的選取會直接影響到最后的識別效率。
針對這些問題,本文提出一種電致變色器件的可見光識別融入系統(tǒng),以樹莓派(Raspberry Pi)為采集圖像的模塊,將兩個分辨率為480p、視角為120°的USB攝像頭連接在樹莓派的USB接口以實現(xiàn)對環(huán)境圖像的精確采集,得到的圖像經(jīng)過局域網(wǎng)絡(luò)協(xié)議傳送給電腦PC進行拼接,并基于HSV顏色空間進行顏色識別,再將結(jié)果反饋給樹莓派,最后通過驅(qū)動電路,針對性的調(diào)控電致變色器件變色。該系統(tǒng)采用圖像拼接的方法,擴大了檢測范圍,在對顏色識別時,將RGB彩色空間轉(zhuǎn)到HSV彩色空間進行處理,這樣減小了來自顏色空間各個分量的影響,提高了識別精度,增加了系統(tǒng)的實用性。經(jīng)
實際測試驗證,該識別方法具有準(zhǔn)確率高,識別范圍廣等優(yōu)點,可以很好的實現(xiàn)環(huán)境融入效果。
1? 圖像拼接的策略
圖像拼接的一般步驟包括輸入源圖像、對源圖像進行預(yù)處理、源圖像序列進行匹配、圖像融合、輸出目標(biāo)圖,其中對源圖像序列進行匹配和圖像融合是最主要的技術(shù)難點。圖像拼接的一般步驟如圖1所示。
(1)源圖像進行預(yù)處理:對輸入源圖像序列A、B進行去噪,平滑濾波[11]。
2? 顏色識別方法
2.1? 彩色空間
由于采用不同的彩色空間對目標(biāo)識別有一定 的影響,所以選擇一個合適的彩色空間對本文的顏色識別有著重要的作用,常見的彩色空間有RGB,HSV等。
RGB彩色空間是最常用的彩色空間,由紅(R)、綠(G)、藍(B)三個分量組成,通常以圖解方式顯示為一個RGB彩色立方體。如圖3所示[15],每個彩色像素是一個三值組,這三個值分別對應(yīng)一個特定空間位置處該RGB圖像的紅、綠和藍分量,但是R、G、B這三個分量具有高度相關(guān)性,這就意味著如果顏色亮度發(fā)生變化,所有三個分量也會隨著改變,因此不適合用于顏色分割。相對而言,HSV彩色空間更有利于對顏色的選擇。
HSV:是三個分量的簡寫H為色調(diào)(hue),S為飽和度(saturation),V為明度(value)。色調(diào)(H)代表基本顏色,飽和度(S)是衡量顏色純度的指標(biāo),明度(V)是表示灰度值的深淺。HSV的彩色空間可以用一個圓錐來表示,如圖4所示[15],紅、綠、藍分別相隔120°,紅色對應(yīng)角度0°,綠色對應(yīng)角度120°;藍色對應(yīng)角度240°,互補色相隔180°。HSV彩色空間與RGB相比,更接近人的視覺系統(tǒng)感知彩色的方式,HSV空間也能更好的反映物體的顏色信息;甚至分割不同的顏色對象,也可以僅考慮色調(diào)(h)這個分量。結(jié)合本文的實際工作環(huán)境與影響的因素,我們采用HSV彩色空間作為顏色識別的處理空間。
2.3? 顏色識別處理
在圖片進行顏色識別的階段中,先對圖片進行預(yù)處理操作[17-18],進一步提升識別精確,減小誤識別概率。對所采集到的圖像進行中值濾波,減少背景區(qū)域的干擾,接著對目標(biāo)進行形態(tài)學(xué)上的閉運算和高斯濾波,排除目標(biāo)內(nèi)部的由于外界光照造成的光斑影響[19-20]。對需要檢測的特定顏色使用了用于顏色過濾的輪廓檢測算法。通過設(shè)置HSV過濾器的閾值完成顏色過濾,選出特定顏色的區(qū)域,其余區(qū)域進行掩模處理。
3? 硬件設(shè)計
整個系統(tǒng)的硬件平臺如圖5所示,兩個480p的免驅(qū)攝像頭通過USB串行接口與樹莓派相連,樹莓
派通過以太網(wǎng)和電腦連接。由于樹莓派3B是基于ARM Cortex-A53 1.2 GHz四核CPU,處理圖像信息較慢,所以當(dāng)攝像頭對圖像完成采集之后,通過以太網(wǎng)上傳到PC端進行處理。驅(qū)動電路通過樹莓派自帶的GPIO口來控制導(dǎo)通,電致變色器件與驅(qū)動電路的輸出連接,樹莓派預(yù)先安裝Ubuntu 16.04 LTS操作系統(tǒng),以此來配置一些有關(guān)攝像頭的和網(wǎng)絡(luò)的依賴項。
驅(qū)動電致變色器件的電路如圖6所示,驅(qū)動電路采用恒流源驅(qū)動,主要放大器為OPA620,根據(jù)樹莓派接收到PC指令,對電致變色器件施加對應(yīng)的電壓,使其顏色變化為識別到的特定顏色,電路用軟件Altium Designer設(shè)計完成。
綜合以上的分析,我們提出整個系統(tǒng)的流程圖如圖7所示。
4? 仿真結(jié)果與分析
為了驗證效果,我們拍攝了兩組帶有不同色塊的照片進行仿真,實驗仿真環(huán)境為基于Windows 10操作系統(tǒng)的visual studio 2013以及opencv2.4.9環(huán)境,硬件配置是Intel i5 Gen2 內(nèi)存為8g RAM,實驗效果如圖8和圖9所示。
在圖8和圖9中,對兩個攝像頭采集到的圖像序列進行拼接,將圖片彩色空間轉(zhuǎn)換成HSV之后,對特定顏色進行分割,當(dāng)檢測到特定顏色,將指令傳送給樹莓派,樹莓派給GPIO口通高電平,打開驅(qū)動電路,驅(qū)動電路給電致變色器件提供合適電壓,以此達到變色的目的。最終實驗效果如圖10所示。
在圖10中,初始狀態(tài)(a)背景為黃色,電致變色器件不作任何變化,為原始色,當(dāng)PC端檢測到拼接后的圖像存在一片連續(xù)的綠色的時候,給樹莓派發(fā)送確認信息,樹莓派接收到PC端的指令,GPIO口輸出高電平,打開驅(qū)動電路,驅(qū)動電路開始給電致變色器件供電,電致變色器件變色。觀察變色后的效果(b)(c)都達到了與背景顏色融入的效果。同理,黃色的變色過程一樣。由于電致變色器件的局限性,本文只對綠色、黃色進行了識別。
5? 結(jié)論
本文設(shè)計了智能化的電致變色控制響應(yīng)系統(tǒng),該系統(tǒng)的特點在于用樹莓派作為圖像傳輸和信號控制的媒介,利用兩個攝像頭采集周圍圖像,擴大了視域和識別范圍,與單攝像頭定點旋轉(zhuǎn)獲得圖像序列相比,提高了圖片采集的效率。在HSV彩色空間中,系統(tǒng)對特定顏色的識別,也具有較高的可行性和穩(wěn)定性。本文方法可進一步擴展到更多攝像頭,從而達到對周圍圖像360°全景采集,觀察范圍更廣,自動化程度更高。
參考文獻
[1]厲封嵐. 隱身涂料發(fā)展綜述[J]. 現(xiàn)代橡膠技術(shù), 2015, 41(03): 11-14.
[2]苑曉, 賀澤民, 張?zhí)m英, 楊槐. 電致變色材料研究及發(fā)展現(xiàn)狀[J]. 新材料產(chǎn)業(yè), 2014 (05): 14-18.
[3]Argun A. A., Aubert P. -H., Thompson B. C., Schwendeman I., Gaupp C. L., Hwang J., Pinto N. J., Tanner D. B., Mac Diarmid A. G., Reynolds J. R., Multicolored Electrochr o mism in Polymers: Structures and Devices[J], Chemistry of Materials, 2004 (16): 4401-4412.
[4]劉瑋, 郝雨楠. 智能窗發(fā)展現(xiàn)狀研究[J]. 門窗, 2017(08): 12-14.
[5]韋友秀, 陳牧, 劉偉明, 厲蕾, 張官理, 顏悅. 電致變色技術(shù)研究進展和應(yīng)用[J]. 航空材料學(xué)報, 2016, 36(03): 108-123.
[6]張征林, 王怡紅, 王宏, 蘇連永, 陸祖宏. 電致變色材料及應(yīng)用[J]. 電子元件與材料, 1999(01): 34-38+51.
[7]Dao L. H. and Nguyen M. T., Design and optical modulation of electrochromic windows[C] //Proceedings of the 24th Intersociety Energy Conversion Engineering Conference, IEEE, 1989: 1737-1741.
[8]Rauh R. D. and Cogan S. P., Electrochromic "Smart" Windows[C]//Proceedings of the 25th Intersociety Energy Conversion Engineering Conference, IEEE, 1990: 26-30.
[9]范夕萍, 竇建芝, 郭瑞萍. 國外可見光隱身材料的研究現(xiàn)狀及最新進展[J]. 化工新型材料, 2009, 37(05): 9-11+88.
[10]楊長勝, 程海峰, 李效東, 唐耿平. 智能隱身材料的研究現(xiàn)狀[J]. 功能材料, 2005(05): 643-647.
[11]曹妍, 陳偉, 徐森. 圖像去噪方法研究與仿真[J]. 軟件, 2015, 36(4): 33-36
[12]Bay H., Tuytelaars T., Van Gool L. SURF: Speeded Up Robust Features[C]. //Computer Vision – ECCV 2006. Berlin: Springer, 2006: 404-417
[13]雷飛, 王文學(xué), 王雪麗, 任維. 基于改進SURF的實時視頻拼接方法[J]. 計算機技術(shù)與發(fā)展, 2015, 25(03): 32-35.
[14]Fu Q. and Wang H., “A fast image stitching algorithm based on SURF” 2017 IEEE//CIC International Conference on Communications in China (ICCC), Qingdao, 2017: 1-4.
[15]岡薩雷斯. 數(shù)字圖像處理(matlab版) (第二版)[M]. 北京: 電子工業(yè)出版社, 2016: 120-127.
[16]WIKI: HSL和HSV色彩空間[OL]. 2019-01-24. https: //zh. wikipedia. org/wiki/HSL和HSV色彩空間
[17]侯貴洋, 趙桂杰, 王璐瑤. 草莓采摘機器人圖像識別系統(tǒng)研究[J]. 軟件, 2018, 39(06): 184-188.
[18]羅洋坤. 基于車聯(lián)網(wǎng)圖像的多焦點融合去噪技術(shù)的研究[J]. 軟件, 2018, 39(2): 47-51.
[19]郭英華. 基于HSV色彩空間的圖像分割[J]. 黑龍江冶金, 2011, 31(02): 35-37.
[20]孫琦龍, 張明亮. 一種HSV 顏色空間量化的藏毯圖像檢索方法[J]. 軟件, 2016, 37(3): 36-39.