邱維陽,何 成,鄭根讓,易巧玲

(中山職業(yè)技術學院,廣東 中山528400)

0 引言

由精心設計的微納結構組成的新型光學器件已成為一個極具活力且富有成果的研究領域,因為其具有操控光流到納米尺度的能力[1],得益于先進的數(shù)值模擬、制造和表征技術,人們能夠設計、制造并展示具有復雜幾何形狀和排列的介電與金屬微觀及納米結構。例如,由亞波長結構組成的超材料和超表面被稱為元原子(meta-atoms),可展現(xiàn)出超越自然材料的卓越特性。光線導向、全息術、成像、傳感和極化控制等研究領域已報道了多種元器件,微納結構研究的興起為光學應用領域提供了巨大的技術突破。但隨著結構的復雜度越來越高,設計過程變得越來越具有挑戰(zhàn)性。傳統(tǒng)的設計路徑依賴于器件優(yōu)化,即從一些特殊結構(依賴于設計師的經驗)通過求解麥克斯韋方程和邊界條件得到電磁響應,將計算結果與設計目標進行比較獲取調整方向并進行相應調整,不斷重復此過程,直到設計的器件符合設計需求。代表性方法包括伴隨方法、水平集方法、遺傳算法和粒子群算法等,這些研究方法需要進行數(shù)百甚至數(shù)千次的模擬,直到器件性能達到可接受的范圍,但非常消耗計算資源,需要耗費大量的人力且結果嚴重依賴于研究者的經驗,并隨著器件變得越來越精巧,這種研究變得越發(fā)困難。

深度學習在近年得到了快速發(fā)展[2],是一種數(shù)據驅動方法,可從數(shù)據中學習并用以前學習到的經驗解決問題。最近,越來越多的深度學習方法被引入到物理研究中[3]。本研究采用深度神經網絡來預測納米多層膜結構的光學響應。隨機生成了一百萬個納米多層膜結構,利用傳輸矩陣法[4]計算了相應的光譜,使用生成的結構及其相應的光譜來訓練深度神經網絡,對訓練的深度神經網絡預測光譜進行了定性與定量分析。

1 材料與實驗方法

研究材料是一系列由SiO2/Si3N4薄膜組成的夾層結構(如圖1所示),將研究波段鎖定在400～750 nm的可見光波段。為了更好地調制光波,將材料光學厚度限制在60～200 nm,結合SiO2、Si3N4的折射率(分別約為1.57和2.03)將SiO2和Si3N4材料厚度相應限制為40～130 nm和30～100 nm。

圖1 納米多層膜結構Fig.1 Nano multilayer film structure

其中紫色和綠色分別代表SiO2和Si3N4層。樣品總厚度變化范圍為350～1100 nm。

結合電磁波的連續(xù)性條件和邊界條件,考慮法向入射情況,將傳輸矩陣表示為:

(1)

由于公式(1)表征了入射波和出射波之間的關系,因此很容易將公式(1)擴展到多層情況。對于一個通過n層材料的電磁波,會連續(xù)發(fā)生n次入射和相應的n次出射,傳輸矩陣表示如下[15]:

MnMn-1…M2M1

(2)

其中,Mi代表第i層的傳輸矩陣。根據矩陣的結合律,計算每個層的傳輸矩陣的累積乘積,得到一個單獨的矩陣M。可以用4個變量,即m11、m12、m21和m22表示矩陣M中的4個元素,即:

(3)

對于TE模式,整體反射率和透射率可以寫成:

(4)

(5)

其中,qi和qo分別表示入射波矢量和出射波矢量在法線方向上的投影,如果入射介質和出射介質都為空氣,則有:

(6)

在可見光波段內,SiO2和Si3N4的介電函數(shù)接近于常數(shù)(對于SiO2,介電函數(shù)范圍為1.4836～1.4698,對于Si3N4,介電函數(shù)范圍為2.0978～2.0274),這里以其他研究者的計算結果為計算依據[16-17]。

隨機生成一百萬個不同的多層膜結構,利用傳輸矩陣法計算這些結構的光響應。由于透射率和反射率是互補的,因此只通過透射光譜來訓練網絡,這并不會損失一般性,但可節(jié)省時間和存儲空間,生成的結構及其對應的光譜如圖2所示。

圖2 隨機生成的結構及其由TMM計算得出的相應電磁響應Fig.2 Randomly generated structure and its corresponding electromagnetic response calculated by TMM

藍色線表示透射率,橙色線表示反射率。每個光譜上方對應的是其材料結構。紫色和綠色分別代表SiO2和Si3N4層。

其中,n1=10(對應于10層膜的厚度),n2=n3=512,n4=n5=256,n6=n7=128,n8=71(對應于波譜的采樣波長數(shù),每個波長間隔為5 nm,從400～750 nm)。

搭建的網絡是一個8層神經網絡,圖3為網絡示意圖。輸入層包含10個神經元,與設計的10層膜材料結構相匹配(因此有10個參數(shù))。每5 nm采樣一次光響應,因此從400～750 nm采樣了71個波長。相應地,網絡的最后一層包含71個神經元,與光譜匹配。除了第一層和最后一層,還有6個隱藏層在輸入層和輸出層之間,稱為神經網絡中的隱藏層。第1、3、5個隱藏層是全連接層,每個全連接層的神經元與前一層中的所有神經元相連。第2、4、6個隱藏層是激活層。設置激活層的原因是為了引入非線性特性,增加神經網絡的容量[18]。使用LeakyReLU作為激活函數(shù),LeakyReLU是經過修改的線性整流單元(ReLU)[19],圖4是ReLU和LeakyReLU的示意圖,它們在輸入為正時輸出相同,而在輸入為負時輸出不同。在輸入為負時,LeakyReLU中的微小斜率是為了避免神經元死亡(在ReLU中如果神經元輸入為負,它的梯度和值都為零。如果大量神經元輸入為負,它們可能無法再次被激活,導致模型無法被正常訓練)。

圖3 構建的網絡Fig.3 Constructed network

圖4 ReLU和LeakyReLUFig.4 ReLU and LeakyReLU

可以看到,當輸入為正數(shù)時,在兩種情況下輸出等于輸入本身,但當輸入為負數(shù)時,ReLU的輸出為零,而LeakyReLU的輸出為輸入的1%,呈現(xiàn)出微小的斜率。

搭建好的深度神經網絡的初始參數(shù)是隨機的,并不能很好地預測光譜,因此需要對參數(shù)進行優(yōu)化,即對模型進行訓練。為了明確優(yōu)化方向,需要定義一個表征神經網絡輸出(預測值)與實際值之間的差異損失函數(shù)[20],而所有樣本的平均損失構成了代價函數(shù),其為訓練神經網絡時的一個關鍵指標。訓練目標是最小化代價函數(shù),令預測結果更接近實際值。使用均方誤差作為損失函數(shù),因為它在處理回歸問題時是一個很好的指標,能夠表征預測光譜與實際值之間的偏差。

選擇好損失函數(shù)后開始優(yōu)化網絡參數(shù),使代價函數(shù)盡量小。但由于在深度神經網絡中通常有數(shù)百萬個參數(shù)(此案例中約為17萬個),對于這樣大規(guī)模的參數(shù),合適的優(yōu)化方法是影響最終結果的重要因素。在一些簡單情況下,如單變量函數(shù)優(yōu)化,牛頓迭代法是一種很好的求數(shù)值解的方法。但當變量擴展到多變量(在深度學習中,數(shù)百萬非常常見)時,由于必須導出海森矩陣[21],其參數(shù)高達萬億量級,使得此方法變得難以應用。而實際上,計算包含數(shù)萬億個參數(shù)這樣巨大的矩陣幾乎是不可能的。優(yōu)化這樣大規(guī)模參數(shù)的實際方法是使用梯度下降或更高效地使用隨機梯度下降(Stochastic Gradient Descent)[18]。相關研究表明,使用傳統(tǒng)的隨機梯度下降時可能會出現(xiàn)收斂緩慢甚至陷入局部最小值的情況,因此提出了改進方法,如 AdaGrad、RMSProp、Adam、AdamW、RAdam[10],故選擇Adam作為優(yōu)化方法。

在實驗中設置了5000個輪次來訓練深度神經網絡,經過若干次嘗試,將學習率設置為0.0001,且每200個輪次訓練完成后將學習率降低20%,使得代價函數(shù)更容易接近其極小值,從而獲得更好的模型性能。

2 結果與分析

將樣本分為兩部分:一部分是訓練集,占總樣本量的80%,用于訓練網絡。其余的20%組成驗證集,用于驗證模型是否確實學會了預測光譜(即不僅僅是記住了訓練數(shù)據)[22]。為了提升訓練效率,每個訓練周期中都對訓練集進行亂序操作,這樣雖然訓練集是固定的,但樣本順序在訓練期間會不斷變化,可以泛化模型并增強訓練效果。

y軸刻度被設置為對數(shù)級別,以便更清晰展示。(a) 所有訓練樣本的訓練過程。(b) 清洗后的數(shù)據集的訓練過程(去除了峰谷數(shù)量之和大于3的結構)。

圖5(a)和圖5(b)之間存在兩個主要差異:在清洗后的數(shù)據集中,訓練階段的代價函數(shù)值和驗證階段的代價函數(shù)值均比完整的數(shù)據集低,因為光譜被簡化,網絡可以更好地描述它們。②訓練階段的代價函數(shù)和驗證階段的代價函數(shù)存在偏差,這意味著在清洗后的數(shù)據集中出現(xiàn)了過擬合。因為清洗后的數(shù)據集中的樣本大小只有完整數(shù)據集的22%,網絡學到了一部分訓練集樣本特有的特征。

圖5 訓練過程中代價函數(shù)的演化過程Fig.5 Evolution of cost function in training process

所有的損失函數(shù)的平均值為網絡的代價函數(shù),它表征了神經網絡的預測結果與真實值之間的均方誤差。

從圖5可以看到,代價函數(shù)在開始的前1000個輪次時迅速下降,在1000～2000輪次下降速度明顯放緩,最后3000個輪次對代價函數(shù)的絕對改善已經非常小。這一曲線與其他深度學習訓練過程相似,由于網絡的初始參數(shù)是隨機生成的,因此一開始無法很好地預測光譜,導致代價函數(shù)非常大。在優(yōu)化過程中,將梯度進行反向傳播來得到代價函數(shù)對每個參數(shù)的導數(shù),優(yōu)化器(Adam優(yōu)化器)根據梯度對參數(shù)進行一定的調整。隨著訓練的進行,網絡中的參數(shù)被優(yōu)化器逐步調優(yōu),網絡可以越來越精確地預測譜圖。圖6是隨著訓練的進行光譜的預測效果變化。

圖6 光譜的預測效果變化Fig.6 The change in effectiveness of spectra prediction

橙色線是真實值,藍色線是預測結果。隨著訓練過程的進行,這兩條線逐漸靠近,意味著深度學習模型已經學會了如何通過結構來預測光譜。

訓練過程完成后,可以使用這個經過訓練的深度神經網絡來計算給定結構的光譜。圖7顯示了一些隨機生成的結構及其由TMM和深度神經網絡計算出的相應光譜。雖然深度神經網絡在大多數(shù)的結構上表現(xiàn)得非常好,但仍發(fā)現(xiàn)它在光譜結構較復雜的結構上表現(xiàn)略差。這種現(xiàn)象主要是因為光譜結構的復雜程度超過了深度神經網絡的表達能力[18],導致欠擬合。解決這個問題的直接方法是增加網絡容量,如加深和加寬網絡,但會帶來計算負擔。

圖7 隨機生成的結構和相應的光譜Fig.7 Randomly generated structures and corresponding spectra

圖7中上面4個圖是對訓練集中樣本進行預測的結果,下面4個圖是對驗證集中樣本進行預測的結果,兩者均表現(xiàn)出出色的預測能力。藍色線是預測結果,橙色線是真實值。

在構建更復雜的網絡前分析了數(shù)據分布情況,以了解模型在整個數(shù)據集上的表現(xiàn),結果如圖8。從圖8(a)和圖8(b)中可以看到,超過94%的樣本偏差小于2.5%,超過99.7%的樣本偏差小于5%。對于如此少的情況(只有不到0.3%的樣本偏差大于5%),進一步復雜化模型并不值得(不但帶來計算負擔,還可能造成過擬合)。但為了關注偏差較大的樣本,提取了這些樣本并繪制預測光譜,將其與基準光譜進行比較,光譜圖如圖8(c)和圖8(d)中。由此可知,無法很好預測的光譜具有3個峰值和3個谷值,總共有6個極值點。

圖8 數(shù)據分布情況Fig.8 Data distribution

圖8(a)和圖8(b)分別顯示了訓練集樣本和驗證集樣本的預測光譜與真實光譜的平均偏差,y軸為對數(shù)刻度以便清晰展示。圖8(c)和圖8(d)分別顯示了訓練集和驗證集中最差結果的情況。

實際上,一個實用的光學器件通常只關注一個或兩個特定的波長,并在這些特定的波段提供高透射或高反射。因此在實踐中,具有大量透射峰或反射峰的光學器件并不常見。從這個角度來清洗訓練數(shù)據,剔除具有超過3個極值的樣本。這意味著用于訓練模型的數(shù)據最多只能具有2個峰值和1個谷值或1個峰值和2個谷值。在清洗數(shù)據集后重新訓練模型。圖9為隨機選擇的結構光譜預測結果與真實結果的比較。從視覺上可以輕易發(fā)現(xiàn)模型的預測能力有了顯著提高。

圖9 透射峰谷數(shù)量之和不超過3的光譜Fig.9 Spectrum in which the sum of transmission peaks and valleys does not exceed 3

圖9上面4個圖是從訓練集中預測的結構,下面4個圖是從驗證集中預測的結構,它們都是隨機選擇的。藍色線是預測結果,橙色線是真實值。

量化分析見表1。前2000個輪次的訓練過程表現(xiàn)出了顯著的預測能力提升,在訓練2000個輪次之后,完整數(shù)據集和清洗后的數(shù)據集的代價函數(shù)下降非常緩慢,但仍分別獲得了約25%和23%的改進(只考慮驗證集以進行更有效的評估)。研究人員可根據需求決定這種精細化程度是否值得(參見圖6中的預測變化)。

表1 量化分析結果

代價隨著訓練過程逐漸下降,使用完整數(shù)據集的代價對比清洗后的數(shù)據集代價(去除極值數(shù)量超過3個的光譜)。為方便展示,數(shù)字被放大了10 000倍。

隨著訓練過程的進行,完整數(shù)據集的代價函數(shù)值從7.9906(初始隨機參數(shù))降至0.0004737;清洗后的數(shù)據集的代價函數(shù)值從5.6119(初始隨機參數(shù))降至0.0001689。由于代價函數(shù)是所有樣本上損失函數(shù)的平均值,而實驗中使用的損失函數(shù)是均方誤差損失,即所有樣本的預測結果與真實結果之間偏差的平方平均值。對其開方后得到完整數(shù)據集的均方根誤差僅為2.2%,清洗后的數(shù)據集的均方根誤差僅為1.3%,這顯示了相當高的預測精度。

3 結論

開發(fā)了一種數(shù)據驅動方法來高效預測納米多層膜結構的光譜,該方法可以在不到20 μs的時間內(CPU為i3-6100)預測實際結構的光譜,均方根誤差僅為2%。與傳統(tǒng)設計方法相比,這種超高速和高精度的預測方式具有較大的優(yōu)勢,開創(chuàng)了一種新的研究范式。與其他深度學習應用一樣,雖然此模型需要事先進行訓練,但這只是一次性成本,且模型參數(shù)只需占用不到1 MB的空間,易于復制和廣泛使用。