摘" 要: 水下光學成像探測技術是水下探測技術的重要組成部分,但水下環(huán)境錯綜復雜,直接或間接影響到水下圖像采集過程和成像質量。文中基于LabVIEW軟件設計水下圖像采集存儲和圖像增強程序,利用LabVIEW視覺與運動采集組件和存儲模塊進行水下圖像采集存儲,利用NI視覺重構器和IMAQ視覺系統(tǒng)模塊完成水下圖像的增強,從而改善水下圖像的對比度、RGB亮度及伽馬校正,增強水下圖像成像效果。經(jīng)過多次測試驗證,該程序具有性能穩(wěn)定,水下圖像存儲及增強效果顯著的特點,為水下圖像采集存儲、增強提供了新思路。
關鍵詞: 水下光學成像; LabVIEW程序設計; 圖像采集; 圖像增強; NI視覺重構器; IMAQ視覺系統(tǒng)模塊
中圖分類號: TN911.73?34; P715.9" " " " " " " " " " "文獻標識碼: A" " " " " " " " 文章編號: 1004?373X(2024)05?0065?05
Design and verification of program for underwater
image acquisition, storage and enhancement
CHEN Xiangzi1, 2, LIU Boyan2, JIANG Gaoqing2, YUN Ziping2
(1. Yazhou Bay Innovation Institute, Hainan Tropical Ocean University, Sanya 572099, China;
2. College of Marine Science and Technology, Hainan Tropical Ocean University, Sanya 572099, China)
Abstract: Underwater optical imaging detection technology is an important part of underwater detection technology. However, the underwater environment is complicated, which directly or indirectly affects the underwater image acquisition process and image quality. The underwater image acquisition and storage and image enhancement program is designed based on LabVIEW (laboratory virtual instrument engineering workbench). LabVIEW vision and motion acquisition components and storage modules are used for underwater image acquisition and storage. The underwater image is enhanced by NI visual reconstructor and IMAQ visual system modules, so as to improve the contrast, RGB brightness and gamma correction of underwater image, and enhance the imaging effect of the underwater image. Many tests have shown that the proposed program has stable performance, remarkable effect of underwater image storage and enhancement. Therefore, it can provide a new idea for underwater image acquisition, storage and enhancement.
Keywords: underwater optical imaging; LabVIEW program design; image acquisition; image enhancement; NI visual reconstructor; IMAQ visual system module
0" 引" 言
在海洋水下探測技術領域,除了水聲探測,光學探測也發(fā)揮著重要作用[1]。由于水下成像環(huán)境要比大氣成像的環(huán)境復雜,同時由于電子設備硬件的不完善和水中載體產(chǎn)生的散射與吸收等因素,使得電子圖像設備所采集到的電子圖片容易出現(xiàn)顏色丟失、細節(jié)隱約、對比度降低以及色彩畸變等問題,低質量的水下圖像不能滿足深海探測、水下考古、水下機器人、水中實時監(jiān)控等實際應用的要求[2]。
目前,水下攝像設備向著高清晰度、高幀率的方向發(fā)展,水下圖像所需要的存儲空間也越來越大,對于存儲技術的要求也逐漸提高。目前在水下探測工作中,對于水下圖像的存儲有兩種方法:一種是將硬盤存儲模塊放入水下圖像采集設備中,水下圖像采集設備將采集的圖像直接存入硬盤中;另一種是通過網(wǎng)絡串口將水下圖像采集設備與岸基端直接連接,科研人員可以直接在計算機上存儲圖像[3]。但由于海洋環(huán)境的復雜性,并不是任何設備都適合通過網(wǎng)絡串口連接的方式與岸基端通信,因此采集到的水下圖像一般是直接存儲在水下設備中。
在圖像增強方面,研究人員提出了多種水下成像圖片的各種綜合性算法。文獻[4]提出了一種水下圖像生成對抗網(wǎng)絡,該網(wǎng)絡依據(jù)機載圖像和相應的深度圖生成現(xiàn)實的水下圖像,然后將所生成的水下圖像作為單個水下圖像端到端網(wǎng)絡的訓練集,從而實現(xiàn)單個水下圖像的實時顏色校正。文獻[5]提出一種基于Tetrolet變換的增強方法,通過在不改變圖像結構的情況下調整顏色空間的比例來增強圖像細節(jié)部分的信息量。文獻[6]通過顏色校正和光照調整來提高水下圖像的質量,提出了UCCIA(Underwater Color Correction and Illumination Adjustment)方法,利用簡單的色彩校正方法解決色偏問題,然后根據(jù)Retinex理論調整光照輸入,解決照度不均問題。在成像模型的基礎上,水中圖像強調需要建立與水中圖像相應的適當劣化模型,反向構建劣化模型,將劣化圖像恢復為理想狀態(tài)。文獻[7]提出了基于透射率優(yōu)化的恢復方法,在水下成像模型的基礎上,為了能夠改善圖像的對比度,對水中模型進行逆解,使用最小信息損失理論和波導濾波獲得透射率,最后利用白平衡校正顏色,以獲得清晰、高質量的復原圖像。
1" 程序設計理論
1.1" LabVIEW軟件介紹
LabVIEW(Laboratory Virtual Instrument Engineering Workbench)是一款使用圖形化編程語言G編寫的程序開發(fā)軟件。LabVIEW最早被設計用于測量測試,它具有與數(shù)據(jù)采集卡通信的所有功能。LabVIEW由于其強大的性能而被業(yè)界、學術界以及研究實驗室等研究單位所認可,作為數(shù)據(jù)收集和控制軟件的標準。每一個VI(Virtual Instrument)程序都有兩個基本窗口:前面板和程序框圖。前面板主要是程序交互式界面,用戶可以使用計算機調控字符串與路徑、數(shù)據(jù)容器、圖形和開關等控件輸入指令;程序框圖是程序的源代碼界面,是可執(zhí)行的程序,框圖的構成包括程序執(zhí)行結構、內置函數(shù)、數(shù)值、應用控制結構和圖表生成等,用戶將需要使用的程序框圖連接起來便可以形成它們之間的數(shù)據(jù)交互,實現(xiàn)相應功能[8]。
1.2" 圖像存儲方式
水下圖像存儲屬于圖像存儲的一種,不僅受硬件方面影響,而且水下圖像的格式也會影響存儲。目前主要使用的圖像格式有以下幾種:
1) BMP(Bitmap)格式。一種不用進行壓縮轉換,Windows操作系統(tǒng)就可以使用的圖片格式。它的優(yōu)勢在于不需要硬件設備的支持,可以直接被Windows操作系統(tǒng)所識別,兼容性強,但以BMP格式保存的圖片,不能將圖片進行壓縮,這使得圖像所需要的存儲空間很大,不適用于大量且連續(xù)的圖像存儲。
2) JPEG(Joint Photographic Experts Group)格式。指聯(lián)合圖像專家組,是目前使用量最大的一種圖片存儲格式,它的優(yōu)勢在于可以將圖片進行壓縮,將所采集圖像的主要特征進行保存,對其他多余的圖像數(shù)據(jù)進行壓縮。它的出現(xiàn)大大減小了圖像存儲所占據(jù)的空間,但是,JEPG格式的圖像在進行編輯和存儲過程中,原圖像的成像效果會降低,而且成像顏色不多,或者成像顏色相近的區(qū)域效果很差。
3) PNG(Portable Network Graphic)格式。該格式是在2003年提出的最新的圖像格式,PNG格式的圖像優(yōu)勢在于它在將采集圖像進行壓縮保存的過程中,對所采集圖像的損耗十分小,比起JEPG格式的損耗要小,而且支持對圖像進行透明化處理,但是,由于PNG格式圖像的格式很新,目前的程序并不是都能用它進行保存。
1.3" 圖像增強原理
依據(jù)圖像特性的水下圖像增強主要包括顏色校正、亮度變化和對比度增強,其計算結果并不依賴于任何物理模型,具有廣泛的應用領域。如圖1所示,對水下圖像進行強化的方法可分為四種類型[9?10]。
1) 基于空間域增強。通過直接調整圖像的密度值,解決水下圖像對比度低的問題。該方法可以使圖像在不影響視覺質量的情況下獲得更高的對比度。圖像的增強方法主要包括直方圖均衡化、自適應直方圖均衡化和限制對比度自適應直方圖均衡化等。
2) 基于頻域增強。將空間域圖像轉化為頻域圖像,并采用同構濾波或小波變換等數(shù)字方法提高圖像的清晰度。采用準同態(tài)濾波將圖像灰度變換與頻率濾波相結合,以此來解決水下照明不均勻的問題。
3) 基于圖像融合增強。指對同一水下場景的多個圖像進行融合。將不同來源、不同時間拍攝的多張圖像通過圖像處理技術得到一幅清晰完整的圖像,根據(jù)所獲取的多個圖像中目標和背景像素值的差異,計算出最后結果。該融合方法可以補充多個圖像之間的信息,從而豐富圖像信息,提高圖像的清晰度[11]。
4) 基于Retinex理論增強。以三色理論和顏色恒常性理論為基礎,模擬人類視覺對顏色和亮度感知不均而產(chǎn)生的一種亮度暗理論。Retinex可以平衡動態(tài)范圍壓縮、邊緣增強和顏色恒常,可以對不同類型的圖像進行自適應增強。
2" 程序設計
2.1" 設計思路
基于LabVIEW圖形化編程設計水下圖像采集存儲、增強一體化程序,遵循方便采集、可靠性強的原則。通過該程序建立水下相機與計算機的動態(tài)交互,實現(xiàn)水下圖像實時采集存儲和增強功能,最終根據(jù)需求可以從多角度增強水下圖像的成像效果。同時,要求程序操作界面友好,具有良好的可操作性。
2.2" 水下圖像采集存儲程序設計
基于程序設計思路,該程序應具有圖像采集、存儲及停止程序運行的功能。
程序框圖面板整體采用While循環(huán),重復執(zhí)行圖像采集與保存。首先選擇Open Camera組件和Configure Grab組件,進行水下相機的初始化設定,識別水下圖像并對圖像進行采集,選擇IMAQ Create組件,設置圖像數(shù)據(jù)緩存區(qū)域,以此來保證圖片正常存儲。選擇IMAQ Dispose組件,利用該組件進行緩存區(qū)域的緩存數(shù)據(jù)刪除釋放。其次選擇I/O組件連接Open Camera組件,確保水下相機可以被調用,將I/O組件與Grab2組件進行連接,實現(xiàn)水下圖像實時顯示。選擇創(chuàng)建路徑組件,實現(xiàn)圖片保存的路徑創(chuàng)建,使其顯示在前面板中。選擇前面板中DBL組件連接十進制數(shù)字符串轉換組件,設好字符串,使水下圖像以相應圖像格式存儲。使用FOR循環(huán),設置總數(shù)為1,實現(xiàn)水下圖像保存的循環(huán)次數(shù)為1。最后將停止按扭與While循環(huán)連接,當按下停止時,完成一次程序循環(huán)運行,然后設置條件結構,實現(xiàn)當拍照組件為真事件時,運行圖片保存程序,反之不保存。選擇Close Camera組件實現(xiàn)相機的關閉功能并整理程序框圖及前面板界面。整理后的程序框圖及前面板界面如圖2、圖3所示。
2.3" 圖像增強程序設計
基于程序設計思路,實現(xiàn)水下圖像導入、顯示及RBG亮度、對比度與伽馬校正,且可以單獨對RGB每個顏色平面進行調節(jié)。
如圖4所示,圖像增強程序采用While循環(huán)為主體框架,控制程序啟動或退出,條件結構實現(xiàn)要使用調節(jié)的方法進行篩選,枚舉控件則對條件結構進行篩選控制。程序框圖內采用Readfile2組件實現(xiàn)水下圖像導入及讀取,將該數(shù)據(jù)輸入到Copy組件,對數(shù)據(jù)進行復制,將復制的數(shù)據(jù)傳輸至ColorBCGLookup組件,創(chuàng)建屬性節(jié)點實現(xiàn)對水下圖像的對比度、亮度、伽馬校正處理。在此基礎上,使用Creat組件作為導入的圖像構建圖像緩沖區(qū)。為了能夠讓導入的圖像長時間顯示在屏幕上,給予程序一個延時時間,最后整理程序框圖及前面板界面。整理后的前面板界面如圖5所示。
3" 實驗結果
3.1" 水下圖像采集和存儲
將水下相機與計算機連接,進行設備狀態(tài)調試。首先將水下相機連接計算機后,放置在測試水池中,其次完成水下相機初始設定,在Measurement amp; Automation Explorer選項中選擇“Devices and interfaces”,完成水下相機設定,確保水下相機可以正常運行。返回前面板界面,在攝像頭選擇中選擇“cam1”,之后點擊運行,程序正常運行。如圖6所示,在前面板上可以清晰顯示水下圖像,點擊拍照按鍵,在前面板圖片顯示組件下方的圖片路徑名的框中成功顯示圖片存儲路徑,在計算機相應路徑下發(fā)現(xiàn)圖片成功保存。最后點擊停止按鈕,程序停止運行。
重復上述步驟,并依次按照順序選擇圖片號,循環(huán)實驗進行保存,結果顯示水下圖像均可正常保存,同時如圖7所示,在計算機上成功顯示所采集的水下圖片,至此水下圖像采集存儲程序測試完成。
3.2" 水下圖像增強
選擇水下圖像采集和存儲程序得到的圖像進行增強處理,原圖如圖8所示。將枚舉控件調節(jié)至ALL,分別對原圖進行亮度調節(jié)、對比度調節(jié)及伽馬調節(jié),增強效果如圖9所示。當調高亮度時,圖像明亮程度整體有所提升,但色彩還原度不高;當提高對比度時,圖像色彩相較于原圖更加鮮明,但圖像整體亮度有所缺失;當提高圖像伽馬值時,圖像中間色調灰階的亮度值明顯提高。
將枚舉控件分別調至[R]、[G]、[B],調節(jié)圖像中的[R]、[G]、[B]數(shù)值,增強效果如圖10所示。
如圖11a)原圖所示,選擇圖像中的任意一點進行顏色分析,例如原圖中標記處,原圖[R]數(shù)值為107,調節(jié)[R]數(shù)值后為146,原圖中[G]數(shù)值為125,調節(jié)[G]數(shù)值后為186,原圖中[B]數(shù)值為101,調節(jié)[B]數(shù)值后為161。顏色分析結果如圖11b)~圖11d)所示,水下圖像達到預期的增強效果。
4" 結" 語
本文基于LabVIEW設計水下圖像采集存儲和增強程序,具備水下圖像的采集存儲、圖像增強功能,并經(jīng)過測試,程序正常運行且達到預期的水下圖像存儲及增強效果,實現(xiàn)從圖像亮度、對比度、RGB值多角度對水下圖像的增強,采用LabVIEW軟件設計的水下圖像采集存儲和增強程序具有性能穩(wěn)定、成本低廉等特點。雖然本文完成了水下圖像存儲和圖像增強程序的設計,但是從計算機視覺系統(tǒng)的開發(fā)和水下圖像處理領域來看,它仍然具有很大的研究和改進空間,比如目前兩個程序之間采用單獨處理圖像信息的方式進行交互,在今后的實驗測試中,將針對不同的水下環(huán)境和測試要求對程序進一步完善和改進。
注:本文通訊作者為贠子平。
參考文獻
[1] 全向前,陳祥子,全永前,等.深海光學照明與成像系統(tǒng)分析及進展[J].中國光學,2018,11(2):153?165.
[2] LU H, LI Y, SERIKAWA S. Computer vision for ocean observing [C]// Artificial Intelligence and Computer Vision. Heidelberg, Germany: Springer, 2017: 1?16.
[3] 呂耀文,王建立,曹景太,等.移動便攜圖像存儲系統(tǒng)的設計[J].液晶與顯示,2012,27(5):697?702.
[4] LI J, SKINNER K A, EUSTICE R M, et al. Water GAN: Unsupervised generative net work to enable real?time color correction of monocular underwater images [J]. IEEE robotics and automation letters, 2017, 3(1): 387?394.
[5] 沈瑜,黨建武,王陽萍,等.基于Tetrolet變換的彩色水下圖像清晰化算法[J].光學學報,2017,37(9):89?100.
[6] ZHANG W H, LI G, YING Z Q. A new underwater image enhancing method via color correction and illumination adjustment [C]// 2017 IEEE Visual Communications and Image Processing (VCIP). New York: IEEE, 2017: 1?4.
[7] 李向春,張浩,劉曉燕,等.基于透射率優(yōu)化和顏色修正的水下圖像增強方法[J].山東科學,2019,32(2):7?14.
[8] TRAVIS J, KRING J. LabVIEW大學實用教程[M].喬瑞萍,譯.3版.北京:電子工業(yè)出版社,2008.
[9] ZHANG Y M, LI Y L, GU X L, et al. Laser spot image acquisition and processing based on LabVIEW [J]. Optik, 2019, 185: 505?509.
[10] 劉希軍,魏麟,朱新宇,等.基于LabVIEW的平面度檢測系統(tǒng)設計[J].儀表技術與傳感器,2018(5):62?65.
[11] DING Z Q, ZHANG R Y, KAN Z. Quality and safety inspection of food and agricultural products by LabVIEW IMAQ vision [J]. Food analytical methods, 2014, 8(2): 290?301.
[12] 郭繼昌,李重儀,郭春樂,等.水下圖像增強和復原方法研究進展[J].中國圖象圖形學報,2017,22(3):273?287.
[13] 孫飛飛.水下圖像增強和復原方法研究[D].青島:中國海洋大學,2011.