宋 鷹, SONG Sean
(1. 中國石油大學(xué)(華東) 地球科學(xué)與技術(shù)學(xué)院,山東 青島 266580; 2. 新西蘭 坎特伯雷大學(xué) 工學(xué)院,克賴斯特徹奇 8011)
物質(zhì)的化學(xué)成分及內(nèi)部結(jié)構(gòu)決定了其光學(xué)性質(zhì)[1],因此光學(xué)性質(zhì)是物質(zhì)最穩(wěn)定的性質(zhì)之一[2]。在各類光學(xué)實驗儀器中,折光儀既可以對介質(zhì)折光率進行定量測量,又可以對其變化規(guī)律進行定性觀察描述,為識別介質(zhì)種類提供關(guān)鍵性證據(jù)[3-4]。而且折光儀以光的全反射為基本原理,結(jié)構(gòu)簡單、成本低廉,是各高校及地球科學(xué)、材料科學(xué)、食品科學(xué)類實驗室必備儀器之一。然而,傳統(tǒng)的折光率檢定實驗具有步驟繁瑣、效率低等不足,檢定結(jié)果準(zhǔn)確性很大程度上依賴操作者的經(jīng)驗,而且操作時人體直接接觸劇毒折射液,對實驗人員和環(huán)境造成嚴(yán)重威脅。
機器視覺是人工智能技術(shù)的一個分支,它是通過機器代替人眼來獲取圖像信號,并對信號進行運算從而做出判斷[5]。近年來,機器視覺技術(shù)已被用于指針式和數(shù)字式儀表的自動檢定之中,提高了自動化程度和工作效率。然而,利用機器視覺技術(shù)對光學(xué)類儀表進行智能檢定的研究尚處于起步階段。
本文基于機器視覺技術(shù),深度融合光機電一體化系統(tǒng)[6],研發(fā)了一種具備自動觀測、自動識別功能的智能光性檢定系統(tǒng),該系統(tǒng)簡化了光性檢定的實驗流程,降低了人為誤差和隨機誤差。
在不同的介質(zhì)中,光線(光波)具有不同的傳播特征。在光密介質(zhì),例如水中,光波傳播速度慢,折光率n1大;相反,在光疏介質(zhì),例如空氣中,光線的傳播速度快,折光率n2小。當(dāng)光線從光密介質(zhì)射入光疏介質(zhì)時,入射角θ1小于折射角θ2,表現(xiàn)為折射光線相對遠(yuǎn)離法線,靠近兩介質(zhì)的分界線。這樣,當(dāng)入射角逐漸增大到某一角度θc時,θ1=θc,即產(chǎn)生一個與法線垂直的90°折射角,即θ2=90°,此時所有折射光線都會沿著兩種介質(zhì)之間的分界面通過,此時的入射角稱為臨界角θc。當(dāng)入射角大于臨界角時,入射光不再發(fā)生折射,而是全部反射回到光密介質(zhì)之中,這種現(xiàn)象稱為光的全反射[7](見圖1)。
圖1 光的全反射原理示意圖
假設(shè)光密介質(zhì)的折光率為n1,光疏介質(zhì)的折光率為n2(n1>n2),臨界角為θc。如果n1已知,只需測出θc,即可求出n2[8],即:
n2/n1=sinθc/sin 90°,n2=n1·sinθc
(1)
折光儀正是根據(jù)光的全反射原理設(shè)計而成的。具體來說,用已知的高折光率鉛玻璃(n1=1.86~1.96)作為棱鏡(光密介質(zhì)),當(dāng)入射角小于臨界角時,光源發(fā)射的光線經(jīng)過棱鏡發(fā)生折射進入待測光疏介質(zhì),因此棱鏡中的反射區(qū)為暗區(qū);當(dāng)入射角大于臨界角時,入射到棱鏡的光線發(fā)生全反射,不再折射進入待測介質(zhì)中,而是全部反射回棱鏡的反射區(qū)之中,反射區(qū)為亮區(qū)。因此,在目鏡中觀察到亮暗交界的陰影邊界所對應(yīng)的數(shù)值即為折光率(見圖2)。
圖2 棱鏡式折光儀原理及光路示意圖
進行折光率測定實驗時,需在折光儀鉛玻璃表面滴少許折射液作為光學(xué)接觸液,再將待測樣品平放在鉛玻璃上,實現(xiàn)待測樣品、折射液、鉛玻璃之間的光學(xué)接觸關(guān)系。之后手動旋轉(zhuǎn)樣品1周,同時從目鏡中觀測折光率、雙折光率及陰影邊界的變化特征[3]。
根據(jù)待測介質(zhì)光性特征的不同,會出現(xiàn)以下3種情況:① 視域內(nèi)只有一條穩(wěn)定的陰影邊界,其對應(yīng)的數(shù)值即為折光率;② 在樣品旋轉(zhuǎn)過程中,視域內(nèi)出現(xiàn)兩條陰影邊界,一條邊界穩(wěn)定,另一條邊界跳動,表明介質(zhì)為一軸晶晶體;③ 如果兩條陰影邊界在旋轉(zhuǎn)中都發(fā)生了上下跳動,則表明待測介質(zhì)為二軸晶晶體,最大折光率和最小折光率的差值,即為介質(zhì)的雙折光率。
首先,操作時隨著樣品旋轉(zhuǎn),目鏡中陰影邊界也同時發(fā)生快速跳動,觀測人員很難記錄折光率的準(zhǔn)確數(shù)值和變化特征;其次,光線從光源至目鏡途徑多組透鏡和棱鏡,圖像發(fā)生畸變,且目鏡窗口狹小,圖像難于觀測;再次,由于開放式的操作環(huán)境和手動旋轉(zhuǎn)樣品,環(huán)境光線和手指都會對光路造成嚴(yán)重的干擾;最后,常用的折射液如二碘甲烷、溴代萘、硫化砷等都具有極強的腐蝕性和毒性,對實驗人員有極大危害,也會污染環(huán)境。
本系統(tǒng)將光、機、電、人工智能等技術(shù)深度融合,實現(xiàn)自動加注折射液、定量旋轉(zhuǎn)樣品、遠(yuǎn)程圖像采集等功能,通過機器視覺算法分析折光率數(shù)值和變化特征,再利用云計算和智能認(rèn)知技術(shù)將測量結(jié)果與大數(shù)據(jù)對比,準(zhǔn)確識別介質(zhì)種類。
本系統(tǒng)的硬件部分由底座模塊、折光儀模塊、樣品旋轉(zhuǎn)模塊、加液模塊、視頻采集模塊、識別分析模塊和總控模塊七大模塊組成(見圖3、4),分別實現(xiàn)系統(tǒng)安裝固定、折光率測定、定量旋轉(zhuǎn)、折射液加注、圖像采集、圖像識別、系統(tǒng)控制等不同的功能。
底座模塊用來安裝折光儀模塊和樣品旋轉(zhuǎn)模塊。底座與樣品旋轉(zhuǎn)裝置支架間采用銷軸連接,可以方便地將樣品旋轉(zhuǎn)模塊由工作模式的垂直位置旋轉(zhuǎn)90°至待機模式的水平位置,便于手動操作或清洗、維護。
折光儀模塊由光源、鉛玻璃棱鏡、透鏡組、棱鏡標(biāo)尺、透鏡標(biāo)尺、反光鏡、目鏡透鏡和高清圖像采集探頭組成。為了降低透鏡邊緣圖像畸變效應(yīng),在鉛玻璃棱鏡的反射端增加了扇形棱鏡標(biāo)尺。
樣品旋轉(zhuǎn)模塊由樣品旋轉(zhuǎn)裝置支架、支撐筒、旋轉(zhuǎn)筒、步進電動機、小齒輪、大齒輪組成。支撐筒與樣品旋轉(zhuǎn)裝置支架固定在一起,兩端裝有滑動軸承,用以支撐旋轉(zhuǎn)筒。小齒輪安裝在步進電動機輸出軸上,大齒輪安裝在旋轉(zhuǎn)筒上。當(dāng)步進電動機旋轉(zhuǎn)時,小齒輪(z1)驅(qū)動大齒輪(z2)旋轉(zhuǎn),進而帶動旋轉(zhuǎn)筒旋轉(zhuǎn)。為了達(dá)到定量旋轉(zhuǎn)的目的,本裝置選用步距角為1.8°的步進電動機(200脈沖/圈),并且取傳動比i=z2/z1=7.2。當(dāng)步進電動機每接收一個脈沖信號轉(zhuǎn)動1.8°時,旋轉(zhuǎn)筒可帶動待測樣品轉(zhuǎn)動0.25°。樣品旋轉(zhuǎn)筒下部安裝有密封皮碗,可以屏蔽環(huán)境光線的干擾,并且阻止折射液揮發(fā)。樣品壓緊筒為一獨立裝置,使用時插入旋轉(zhuǎn)筒內(nèi)部,由鎖緊螺釘固定。筒內(nèi)安裝有壓緊彈簧,確保有合適的壓緊力,壓緊力的大小可以通過旋轉(zhuǎn)壓緊力調(diào)節(jié)桿來調(diào)節(jié)。壓緊彈簧底端裝有軟橡膠墊與樣品接觸,確保樣品被牢固地壓緊在棱鏡表面。
加液模塊由加液器和加液管組成,加液器固定于旋轉(zhuǎn)筒之上,加液管由抗腐蝕的特種橡膠材料制成,一端連接加液器,另一端通過斜孔進入筒內(nèi)壁至待測樣品附近。使用時打開加液器上的閥門,折射液通過加液管注入棱鏡與樣品之間的空隙。
視頻采集模塊包括3組高清視頻采集探頭、目鏡密閉罩、顯示器及相應(yīng)的視頻采集控制器。兩組攝像頭安裝于折光儀內(nèi)部,分別用于采集鉛玻璃棱鏡標(biāo)尺和透鏡標(biāo)尺的視頻信息;另一組攝像頭安裝于目鏡密閉罩內(nèi),并套在折光儀的目鏡觀測孔上,用來采集目鏡內(nèi)的視頻信息。上述多組攝像頭可同時采集光路中不同位置的視頻信息,減少了透鏡圖像畸變的影響,還可以相互校正,獲得清晰的陰影邊界圖像。
識別分析模塊由機器視覺自動化檢測軟件和數(shù)據(jù)庫組成。數(shù)據(jù)庫則包括本地計算機和遠(yuǎn)程云端服務(wù)器中的光性數(shù)據(jù)庫組成。將攝像頭采集的視頻信息通過機器視覺自動化檢測軟件識別、分析數(shù)值的大小及變化規(guī)律,并將識別結(jié)果同數(shù)據(jù)庫中保存的信息進行對比,達(dá)到智能檢測介質(zhì)光性特征的目的。
總控模塊由本地計算機及操作軟件組成,與樣品旋轉(zhuǎn)模塊、視頻采集和觀測模塊、識別分析模塊相連??梢钥刂茦悠沸D(zhuǎn)方式,采集、觀察、分析和存儲測試結(jié)果,并且打印測試報告。
機器視覺軟件及算法設(shè)計是光性智能檢定系統(tǒng)的核心技術(shù)[9],即如何準(zhǔn)確識別攝像頭所采集到的光學(xué)陰影邊界并轉(zhuǎn)換成折光率數(shù)值。本系統(tǒng)所用軟件基于Python語言編寫[10],應(yīng)用OpenCV庫[11-12]所提供的圖像采集API函數(shù)(見表1)。主要包括圖像采集、對比度增強、顏色聚類、邊界確定、刻度識別5個步驟。
(1) 從3個攝像頭所采集的圖像中截取明暗顯示的部分(見圖5(a))。其中,VideoCapture的參數(shù)i是要使用的攝像頭索引(見表1),由于本文提取了3個攝像頭的圖像,因此將i取值為0、1、2分別抓取一張圖片,共計3張圖片。在采集圖片后,運行刻度識別(readScale)函數(shù),從(X,Y)的位置開始截取寬為W高為H的部分,即截取圖像中明暗顯示的部分。
(2) 圖像對比度增強。利用限制對比度的自適應(yīng)直方圖均衡算法(見表1),即CLAHE(Contrast Limited Adaptive Histogram Equalization)算法[13-15]調(diào)整圖像對比度,使圖像的明亮區(qū)和暗區(qū)的對比更明顯(見圖5(b))。
(3) 顏色聚類分析。K均值(K-Means)算法是一種無監(jiān)督的聚類學(xué)習(xí)算法(K-Means Clustering)[16-17],在本系統(tǒng)中,該算法將折光儀目鏡圖像數(shù)據(jù)分割和量化成3個獨立的簇(k=3)(見表1),即圖像只包含3種顏色,如圖5(c)所示的黃、暗紅、黑3種顏色。
表1 光性智能檢定系統(tǒng)程序源代碼
(4) 確定陰影邊界。在量化為3種顏色的圖像中找到每兩種顏色之間的邊界。從上到下掃描該圖像,掃描窗口的寬度為圖像寬度,高度為3個像素,當(dāng)發(fā)現(xiàn)掃描窗口內(nèi)包含兩種顏色,且兩種顏色的像素數(shù)相差不大時,這個掃描窗口的高度位置就是兩種顏色的邊界。
(5) 光學(xué)刻度轉(zhuǎn)換與識別。將掃描窗口區(qū)域在圖像上的高度位置,換算成光學(xué)標(biāo)尺的刻度值即可得一組折光率數(shù)值。3個攝像頭分別平行采集和測定>1 000組折光率數(shù)值,取每個攝像頭平行測定結(jié)果的算數(shù)平均值作為該攝像頭的測定結(jié)果。之后將3個攝像頭的測定結(jié)果再次取平均值,作為待測樣品的折光率檢測結(jié)果。
本系統(tǒng)有4種工作模式,如表2和圖3所示。
表2 光性智能檢定系統(tǒng)的4種工作模式
(a) 攝像頭采集的原始圖像(b) 對比度增強后的圖像(c) 顏色聚類后的圖像
圖5 圖像處理與識別過程
模式1(T模式) 該模式操作方式與傳統(tǒng)折光率檢測方法一致,適用于示范教學(xué)。
模式2(SA模式) 該模式為半自動和離線工作模式。本模式用系統(tǒng)內(nèi)置的加液器加注折射液,并自動旋轉(zhuǎn)樣品和采集視頻信息,通過顯示器觀測檢測結(jié)果,并人為判定待測礦物的種類。
模式3(A模式) 該模式為全自動工作模式,需要通過互聯(lián)網(wǎng)連接遠(yuǎn)程云端服務(wù)器,并將檢測結(jié)果與服務(wù)器存儲的大數(shù)據(jù)進行對比,智能判別介質(zhì)種類。
模式4(R模式) 該模式為研究工作模式。本模式特點是通過計算機發(fā)出脈沖信號精確控制樣品旋轉(zhuǎn)角度并進行視頻采集,確定介質(zhì)光軸方向,以便進行精細(xì)的定向加工。
(1) 觀測過程簡單快捷。操作過程無需從目鏡觀測和讀數(shù),測試結(jié)果由軟件自動判別,不需人為干預(yù),不依賴操作者經(jīng)驗。
(2) 觀測結(jié)果準(zhǔn)確可靠。本系統(tǒng)屏蔽外來光線干擾,消除了圖像畸變,并且通過多通道數(shù)據(jù)采集、對比度增強、K均值聚類分析、大數(shù)據(jù)等技術(shù)手段,減少了測量誤差,提高了測試結(jié)果的準(zhǔn)確性。
(3) 儀器操作安全環(huán)保。本系統(tǒng)自動加注折射液,實驗人員不直接接觸藥劑,且樣品內(nèi)置于橡皮碗之內(nèi),減少了折射液的揮發(fā)。
(4) 工作模式靈活豐富。本系統(tǒng)內(nèi)置4種工作模式,可以同時滿足不同使用者從教學(xué)示范、樣品快速鑒別、晶體定向加工等多種需求。
(5) 軟件適用性強?;贙-Means和CLAHE算法所編寫的圖像智能識別軟件,可以廣泛適用于其他光學(xué)儀表讀數(shù)的智能識別。
為了驗證本系統(tǒng)的測試精度和工作效率,由1位初學(xué)者和1位專業(yè)實驗員分別使用不同工作模式對3種固體樣品進行了光性檢定,通過操作用時和測試結(jié)果的差異,對本系統(tǒng)的準(zhǔn)確性和效率進行評估,校驗結(jié)果見表3。
表3 系統(tǒng)應(yīng)用結(jié)果校驗數(shù)據(jù)表
總體來說,模式3工作效率最高,無論實驗員還是初學(xué)者都可以在15~20 s內(nèi)得到精準(zhǔn)的測試結(jié)果,平行測定結(jié)果的絕對差值<0.000 2,滿足國標(biāo)GB/T6488—2016、GB/T 614—2016對折光率測試精度的要求,表明本系統(tǒng)具有良好測試精度和很高的工作效率。其中,模式4測試準(zhǔn)確度最高,絕對差值<0.000 15,可以得到非常準(zhǔn)確的折光率數(shù)值。測試人員的熟練程度是影響測試結(jié)果的另一個重要因素。在不同模式下,專業(yè)實驗員都得到比較精準(zhǔn)的測試結(jié)果,但初學(xué)者的精確度和工作效率差異較大:模式1的精度最差,效率最低;模式4雖然效率較低,但工作精度相對較高,比較適合初學(xué)者。
本文以機器視覺為基礎(chǔ),深度融合光機電一體化技術(shù),研發(fā)了一種具備自動觀測、自動識別功能的光性智能檢定系統(tǒng),該系統(tǒng)可以準(zhǔn)確檢定光學(xué)儀表讀數(shù),提高測試精度和工作效率,并且保護實驗人員的身體健康。該系統(tǒng)有4種工作模式,可以分別滿足從教學(xué)示范到光性研究、晶體定向加工等不同的需求,可以廣泛應(yīng)用在各類專業(yè)實驗室和教學(xué)實驗室中。