金亞斌，何良書

（同濟大學航空航天與力學學院，上海 200092）

凝聚態(tài)物理中拓撲絕緣體的概念為聲波/彈性波超構材料的研究注入了全新的活力，其典型特征是材料內部表現(xiàn)為絕緣狀態(tài)，而表面具有受拓撲保護的邊界態(tài)［1-2］。拓撲絕緣體可以為系統(tǒng)提供方向選擇性傳輸［3］、非對稱傳輸［4］、拓撲法諾共振［5］和高魯棒［6］等新穎波動調控。拓撲保護邊界態(tài)的實現(xiàn)通常依賴于系統(tǒng)帶隙邊緣的能帶翻轉引起上下模式交換進而產生拓撲相位。從普通相位到拓撲相位的過程無法通過連續(xù)變化完成轉換，其間必然經歷了帶隙閉合形成簡并點的狀態(tài)［7-8］。對于一維系統(tǒng)，拓撲相位用Zak相位來表示，研究表明系統(tǒng)的反射相位與Zak相位之間有明確的關系，因而為了便于計算，常采用反射相位表征拓撲性質［9］。當一維聲子晶體中間界面兩側的半結構具有不同拓撲性質時，在其界面處存在由能帶翻轉形成的邊界態(tài)。然而，邊界態(tài)頻率的確定與半結構的反射系數(shù)、反射相位以及整體結構的本征模式之間的關系尚未明確，有待進一步探討。

作為一維彈性波系統(tǒng)的代表之一，聲子晶體梁結構是工程中重要的基本結構，其隔振［10］和減振［11］等功能被深入地研究，若結合拓撲態(tài)設計能夠更好地實現(xiàn)彈性波的精準和奇異調控［12］。一般而言，邊界態(tài)的魯棒性與帶隙的寬度相關，寬帶隙結構形成的邊界態(tài)在局域化程度和抗干擾能力等方面優(yōu)于窄帶隙結構［13］。因此，根據(jù)帶隙范圍設計結構以實現(xiàn)目標范圍內的高質量彈性波傳輸對聲子晶體梁的實際應用有重要意義。近年來，人工智能與各學科的交叉融合在不斷加深，其子領域機器學習已在指導超構材料設計方面占據(jù)了重要地位［14］。在機器學習設計方案中可分為兩種類型，一類較常見的方案是以數(shù)據(jù)驅動方式采用神經網絡等機器學習方法［15-16］，實現(xiàn)目標響應與結構之間的非線性映射。另一類則是最近興起的基于環(huán)境交互的強化學習方案［17-19］，通過刺激結構參數(shù)在參數(shù)空間中探索以獲得具有預定目標響應的結構。后者不依賴于前期的數(shù)據(jù)獲取，通過合理的分配智能體，設計探索策略來逐步尋求最優(yōu)解。從應用角度而言，通常需要針對特定目標帶隙進行結構設計。在此類設計研究中，Luo等［17］采用強化學習探索結構厚度設計了層狀聲子晶體；Wu等［18］則通過探索質量分布設計了一維彈性棒。上述研究充分驗證了強化學習在超結構逆設計中的有效性，但尚未進一步探索所設計的結構除帶隙特征外的其他性質，如拓撲相位。由于帶隙的拓撲相位特征與邊界態(tài)品質相關聯(lián)且較為敏感，因此討論強化學習所設計的結構是否能構造高品質的邊界態(tài)具有一定探索意義。

本文研究工程中應用廣泛的聲子晶體梁結構，采用傳遞矩陣法推導系統(tǒng)的透反射譜和色散關系。在此基礎上，借助強化學習方案以實現(xiàn)具有目標帶隙范圍的梁結構設計，并通過拓撲相變條件獲得具有不同拓撲性質的兩個半結構。進一步，通過本征模式計算條件獲得整體結構的邊界態(tài)頻率，并討論半結構的反射系數(shù)和反射相位與邊界態(tài)頻率之間的關系，從而驗證本征模式條件計算的正確性。最后，討論了所設計邊界態(tài)的魯棒性。

1 聲子晶體梁模型分析

本文通過在鋁制直梁上周期性地排列厚質量塊，構造了如圖1a所示的周期性階梯截面聲子晶體梁模型，其單胞包含兩個相同的厚質量塊，薄塊和厚塊交替排列，晶格常數(shù)a=2a1+2a2+a3，厚度h1=10 mm，h2=20 mm，寬度b=20 mm，其材料參數(shù)為：密度ρ=2 700 kg·m-3，楊氏模量E=70 GPa，泊松比ν=0.33。

考慮縱波在彈性介質中傳播的控制方程，有：

圖1 聲子晶體梁結構以及有限系統(tǒng)透反射示意圖Fig.1 Schematic diagram of phononic beam and finite system for transmission and reflection

式中：q=ω/cL為波數(shù)；A+和A-分別表示右行波和左行波波幅；ω為圓頻率；i為虛數(shù)單位。在梁橫截面面積突變處根據(jù)位移和力的連續(xù)條件，有：

式中：xj表示第j個界面的橫坐標，當j是奇數(shù)（偶數(shù)）時，α=1（α=2），β=2（β=1）；S1和S2分別表示薄塊和厚塊的橫截面積。對整體結構應用傳遞矩陣法，得：

另一方面，考慮計算色散關系時，在單胞中應用傳遞矩陣法，并在單胞兩側應用布洛赫定理形成周期性的無限系統(tǒng)條件。最終，求解整體傳遞矩陣與相因子滿足的系數(shù)行列式可得色散關系。具體推導過程可參考文獻［19］，其色散關系為

式中：k為Bloch波數(shù)。

2 強化學習逆設計具有預期帶隙結構

2.1 強化學習模型建立

強化學習模型通常包括三個部分：智能體、環(huán)境和策略［20］。智能體是強化學習中的動作實體，處于某一環(huán)境中。智能體根據(jù)當前狀態(tài)執(zhí)行動作，從環(huán)境中獲得與目標差異的反饋以評價該動作執(zhí)行所獲得的收益，并使用反饋更新策略，再進入下一狀態(tài)。根據(jù)策略中儲存的學習經驗，可以迫使智能體在后續(xù)探索中遇到同種狀態(tài)時選擇合適的動作。Q學習［21］是強化學習的重要代表性算法之一，其狀態(tài)價值函數(shù)稱為Q（s，a）函數(shù)，儲存在由狀態(tài)s和動作a構成的二維Q表中。本文采用Q學習的設計方案逆設計具有預期帶隙的結構，流程圖如圖2所示。

在圖2中，將整個設計流程分為強化學習部分和環(huán)境部分。在強化學習部分，將單胞的三個長度參數(shù)視為智能體，其初始值為a1=a2=a3=30 mm，其余結構和幾何參數(shù)不變。為保證探索過程處在一個合理范圍內，此處給定參數(shù)限制范圍為

a1∈[1，60]mm，a2∈[1，60]mm，a3∈[1，160]mm，設定每一步的增量d=1 mm。在每個狀態(tài)下包含6個可選動作，即dA1：a'1=a1+d；dA2：a'1=a1-

d；dB1：a'2=a2+d；dB2：a'2=a2-d；dC1：a'3=a3+d；dC2：a'3=a3-d。因此，整個參數(shù)空間包含60×60×160=576 000種狀態(tài)，若執(zhí)行動作后，跳出參數(shù)范圍，即不存在此種狀態(tài)，則該動作無效。在開始階段，設定目標帶隙頻率［m，n］（本文討論第三帶隙），并初始化Q表，表中所有值均為零。進入外層循環(huán)，對于每一個片段（episode），當某一狀態(tài)下的智能體對應的目標帶隙誤差評估值Rerr1小于或等于給定的閾值時，結束當前片段，并判斷是否達到了設定的最大訓練輪次。若達到最大訓練輪次，則訓練結束，否則進入下一個片段。值得注意的是，若Rerr1=0，則表明所找到的結構對應的帶隙與目標完全吻合。但就實際而言，上述長度參數(shù)的變化是按一定增量變化的，可能導致部分目標無法達成，且本征方程的求解存在一定舍入誤差等因素，因此完全吻合條件過于理想化。需通過設定合理的閾值，使得智能體的探索在可接受范圍內滿足目標，訓練方能順利進行。對于某一片段的每一步（step），即內層循環(huán)，采用ε貪心策略選擇動作實現(xiàn)探索和優(yōu)化之間的平衡（ε介于0和1之間），以ε概率隨機選擇動作，代表了算法的探索性質，（1-ε）概率選擇當前狀態(tài)下Q（s，a）最大函數(shù)值對應的動作，代表了算法的優(yōu)化性質。執(zhí)行完動作之后，進入狀態(tài)s'，以狀態(tài)s'下所有動作的價值函數(shù)極大值來構造更新項（式（6））。為了增加訓練的穩(wěn)定性，本文采用梯度下降的貪心策略，初始ε設定為0.1，隨訓練進行，每5個片段ε變?yōu)樵瓉淼?.9倍。動作執(zhí)行后，智能體將由a1，a2，a3變?yōu)閍'1，a'2，a'3，二者對應的目標帶隙誤差評估值進行比較。若有所降低，則表明此前所選動作有助于接近目標，根據(jù)比較結果設定獎勵值以更新Q表，此后進入下一狀態(tài)，直至Rerr1≤閾值，內層循環(huán)跳出。圖2中的兩次更新Q表，根據(jù)Q學習的off-policy規(guī)則執(zhí)行，即：

圖2 設計具有預期帶隙聲子晶體梁的強化學習框架Fig.2 Reinforcement learning framework for design of phononic beam with anticipating bandgap

式中：α為學習率；γ為折減系數(shù)；r為獎勵值；s和s'分別為執(zhí)行動作前后的狀態(tài)。

訓練流程中的目標帶隙誤差評估值由環(huán)境部分提供，環(huán)境部分接收智能體參數(shù)，根據(jù)式（5）計算能帶以獲得當前的帶隙頻率［x，y］，則誤差評估值可以用公式的形式給出。

2.2 強化學習模型驗證

為驗證2.1節(jié)中強化學習模型框架的效果，本節(jié)通過隨機給定4個探索目標進行模型訓練和測試。分別是第三帶隙目標頻率為［35 000，42 000］Hz，［40 000，48 000］Hz，［46 000，52 000］Hz和［50 000，60 000］Hz，設定閾值為100，最大訓練片段數(shù)為35，學習率為0.01，折減系數(shù)為0.9。從圖3中可以看出，對于上述4個目標的訓練，每個訓練片段達到目標所使用的步數(shù)都隨著訓練的進行逐漸趨于穩(wěn)定的較小值。根據(jù)圖2中的流程圖，每一個片段最后都能探索獲得滿足閾值的結構，否則無法進入下一個片段，因此一個訓練片段也是足夠的。設置多個片段目的是探究模型逐漸找到一個穩(wěn)定演化路徑的過程，且所獲得演化路徑是較為節(jié)省探索步數(shù)的路徑。

圖3 每個訓練片段（episode）達到目標所使用的步數(shù)（step）Fig.3 Number of steps used in each episode to achieve the goal

圖4依次顯示了4個探索目標最后一個訓練片段的誤差評估值變化圖。從圖4中可以看出，所有訓練的誤差在最后一個片段都呈波動下降，最終將低于閾值，其最終誤差如表1所示。由于流程中為減小陷入局部極小的可能性，動作選擇具有一定的隨機性，且由于目標不唯一，即所有低于閾值的結果都是滿足的目標。因此訓練過程的誤差不可避免存在一定波動性，但只需最終收斂至閾值以下，則表明滿足目標的結構已探索成功。表1補充展現(xiàn)了訓練的結果，所獲得的結構參數(shù)對應的帶隙均與原目標帶隙十分接近。

表1 強化學習模型的訓練結果Tab.1 Training results of reinforcement learning model

圖4 最后一個訓練片段（episode）中每一步（step）的誤差評估值Fig.4 Error evaluation value of each step in the last episode

3 目標邊界態(tài)設計與分析

在第2節(jié)中，對所提出的強化學習設計方案的有效性和穩(wěn)健性進行了多個目標以及多個訓練片段的重復測試。在此基礎上，本節(jié)將進行邊界態(tài)的設計與分析。由圖2可知，閾值的大小控制著設計誤差與探索時間的平衡。閾值越小，表示迭代退出條件越嚴格，通常所需探索時間將越長，但可能獲得設計誤差更小的結構。在本節(jié)中，由于僅需要獲得目標結構，因此只進行一個訓練片段即可退出。為使逆設計獲得的結構更加精確，在本節(jié)中加強迭代退出條件，將閾值設置為10。給定預期目標帶隙為［32 000，42 000］Hz，則閾值占所取帶隙寬度的百分比僅為0.1%，因此在該閾值限制下能得到更為精確的設計。通過采用強化學習設計方案獲得了滿足目標的結構，相應的結構參數(shù)為a1=53 mm，a2=29 mm和a3=42 mm，則晶格常數(shù)a=206 mm。該組參數(shù)對應的第三帶隙為［31 999，42 001］Hz，與預期目標幾乎一致，誤差評估值Rerr=1.4，表明了設計的精確性。

保證晶格常數(shù)和厚塊的長度a2不變，改變a3的長度，即將兩個厚塊之間的距離由小到大變化，研究第三帶隙邊緣頻率，如圖5所示。隨著a3增大，帶隙經歷了開-閉-開的過程，在a3=(a-2a2)/2=74 mm處（見中間豎直虛線）出現(xiàn)了拓撲過渡點，其左右兩側能帶出現(xiàn)了上下翻轉，雖然左右兩側能帶可以完全對稱，但模式的轉換表明體系經歷了拓撲相變，其左右兩側拓撲性質不同。利用其對稱性，此前強化學習所獲得結構A（左側豎直虛線）存在與之帶隙完全一致但拓撲性質不同的結構B（右側豎直虛線），該結構對應的參數(shù)為a1=21 mm，a2=29 mm和a3=106 mm。將結構A與結構B拼接成整體的有限混合結構AB（如圖6中的插圖所示），結構A和B分別包含5個單胞，則當采用邊界態(tài)頻率激發(fā)時，能量將局域于結構的中間界面處。為了確定邊界態(tài)頻率，通常做法是將整體結構視為超元胞并計算其能帶，帶隙中的平帶對應頻率即為邊界態(tài)頻率。此方法中平帶往往對應著一個頻率范圍，因此無法精確地獲得邊界態(tài)頻率。

圖5 第三帶隙邊緣頻率與a3的關系Fig.5 3rd band gap edge frequency versus a3

圖6 有限混合結構AB的傳遞矩陣中T11元素（abs（T11））與頻率的關系Fig.6 T11 element of transfer matrix(abs(T11))of finite hybrid structure AB versus frequency

本文討論從分析本征模式的角度一次性精準確定所有邊界態(tài)頻率。本征模式的一個顯著特征是此時系統(tǒng)沒有任何外部輸入，該模式的本質是系統(tǒng)的固有狀態(tài)，而邊界態(tài)屬于一種系統(tǒng)的固有狀態(tài)。因此，通過對式（4）應用A+1=A-4N+1=0的邊界條件，形成一個沒有外部輸入卻存在輸出的系統(tǒng)，得：

式（7）表明，僅通過關注系統(tǒng)傳遞矩陣的T11元素即可找到邊界態(tài)。采用第1節(jié)的公式推導，可以建立系統(tǒng)的傳遞矩陣，并將T11的模與頻率的關系繪制在圖6中，其中灰色區(qū)域為帶隙?？梢钥闯?，在第1和第3帶隙中有明顯的T11趨于零的頻率出現(xiàn)，分別是11 660和36 680 Hz，均為邊界態(tài)頻率。第2和第4帶隙中則沒有邊界態(tài)出現(xiàn)，因為其中不會出現(xiàn)拓撲相變，其左右兩側拓撲性質是相同的，這與文獻［19］中的討論分析是一致的。值得注意的是，從本征模式的角度分析可以同時找出多個邊界態(tài)頻率，若將頻率繼續(xù)提高，還會出現(xiàn)更高頻的邊界態(tài)頻率。此外，第3帶隙的寬度遠大于第1帶隙，其向下的尖峰更加尖銳，表明該邊界態(tài)局域化程度和魯棒性都將更高。

為驗證本征模式條件所獲邊界態(tài)頻率的準確性，根據(jù)第1節(jié)中的推導，計算有限混合結構AB的反射系數(shù)與透射系數(shù)，如圖7a和7b所示，帶隙中的峰和谷對應的頻率與圖6中的結果是一致的。圖7c和7d分別展現(xiàn)了結構AB在11 660和36 680 Hz時的位移圖，能量局域在整體結構的中部界面處。由于存在A+1=1的能量輸入，結構的左側邊界存在一定范圍的入射引起的波動。通過對比可以看出，圖7c的體結構在遠離中間界面時也明顯存在較大的位移，表明第一帶隙內的邊界態(tài)局域化程度低于第三帶隙，驗證了根據(jù)圖6的推測。

圖7 結構AB的反射系數(shù)，透射系數(shù)和位移Fig.7 Reflection coefficient,transmission coefficient and displacement of structure AB

更進一步，分別研究半結構A和半結構B。圖8a和圖8b分別為半結構A和B的反射系數(shù)和反射相位。將兩種結構的反射相位相加，可得到圖8c。在邊界態(tài)頻率處，由于波的相消干涉，在界面處形成局域態(tài)，其反射相位之和為零，即prNA+prNB=0。因此，可假設此時反射系數(shù)分別為rNA=a+bi，rNB=a-bi，則rNA·rNB=a2+b2。由于帶隙內反射系數(shù)的模接近于1，從而可得另一個確定邊界態(tài)頻率的條件rNA·rNB=1。在圖8d中，36 680 Hz處的反射系數(shù)乘積比11 660 Hz處更接近于1，邊界態(tài)條件得到了更嚴格的滿足。因此，正如圖7c和7d所展現(xiàn)的，36 680 Hz處的能量局域效果顯著好于11 660 Hz處。以上兩個條件表明不需要研究整體結構，僅研究兩個半結構單獨的反射情況也可以確定邊界態(tài)頻率。同樣地，圖8c和8d中三角形和圓形標記點的頻率與本征模式所獲邊界態(tài)頻率一致，從半結構的角度再次驗證了本征模式所獲邊界態(tài)頻率的準確性。

圖8 半結構A和B的反射系數(shù)和反射相位Fig.8 Reflection coefficient and reflection phase of semi structures A and B

最后，以第3帶隙形成的邊界態(tài)為例研究其魯棒性。考慮兩種擾動：①對每個單胞的厚塊沿x方向的位置進行隨機位移，同一個單胞內兩個厚塊對稱相互靠近或遠離；②隨機將若干（M個）厚塊變成薄塊形成缺陷。使用rNA·rNB=1的條件考量魯棒性的強弱。對于擾動①，定義隨機變量δ來量化位置的無序強度，其含義是各厚塊的隨機移動范圍為［-δ，δ］。從圖9a中可以看出，雖然位置的無序會引起一定的波動，但邊界態(tài)仍然可以穩(wěn)定地保持。在圖9b中，隨機缺陷同樣無法有效地破壞邊界態(tài)。以上兩種檢驗結果表明，所構造的邊界態(tài)具有較高的魯棒性。對于縱波在對稱梁中的傳播，有兩個對稱平面xoy和xoz［4］。擾動①和擾動②均未破壞兩個對稱平面的對稱性，因此縱波在該結構中的傳播得到了有效的對稱性保護。

圖9 以rNA·rNB=1條件檢驗邊界態(tài)的魯棒性Fig.9 Robustness of the edge state judged by condition rNA·rNB=1

4 結語

本文設計和分析了聲子晶體梁結構的邊界態(tài)。首先，采用傳遞矩陣法推導獲得了周期性階梯截面聲子晶體梁的透反射和色散關系。借助理論結果建立并驗證了一種強化學習模型框架，以實現(xiàn)預期帶隙設計梁結構的功能。進一步，采用該模型和拓撲理論設計了一個具有預期邊界態(tài)的有限混合梁結構，并從本征模式的角度計算其邊界態(tài)頻率。在此基礎上，分別從整體結構的透反射和兩個半結構單獨的透反射兩種途徑驗證了本征模式計算邊界態(tài)頻率的準確性。最后，通過對厚塊的位置擾動和厚塊的缺陷兩方面檢驗了所設計邊界態(tài)的魯棒性。以上研究工作力求將聲子晶體梁從目標波動功能出發(fā)的設計過程簡單化和程序化，并提出從本征模式的角度來分析邊界態(tài)，全面地理解邊界態(tài)與結構本身的關系。鑒于聲子晶體梁在工程中具有優(yōu)異的波動調控功能，該研究為聲子晶體梁的設計與應用提供了一定的幫助。

作者貢獻聲明：

何良書：理論推導，數(shù)值計算，論文撰寫。

金亞斌：研究方法，學術指導，論文修改。