趙 宇

(國(guó)家廣播電視總局2021 臺(tái),黑龍江 齊齊哈爾 161000)

1 Automl 自動(dòng)機(jī)器學(xué)習(xí)

人工智能技術(shù)在本文中特指基于深度學(xué)習(xí)技術(shù)算法的人工智能技術(shù),深度學(xué)習(xí)算法在模式識(shí)別、特征提取等方面有著廣泛的應(yīng)用。 其對(duì)數(shù)據(jù)結(jié)果的預(yù)測(cè)也是目前研究的熱門(mén)方向,在各行業(yè)中,設(shè)計(jì)者試圖通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練,使AI 不斷接近甚至超過(guò)人類對(duì)事物的判斷和預(yù)測(cè)能力。

Automl 目前的主要研究領(lǐng)域?yàn)樵獙W(xué)習(xí)及神經(jīng)架構(gòu)自動(dòng)搜索,其中神經(jīng)架構(gòu)自動(dòng)搜索技術(shù)較為重要,通常將神經(jīng)網(wǎng)絡(luò)的超參數(shù)自動(dòng)優(yōu)化也包括在神經(jīng)架構(gòu)自動(dòng)搜索技術(shù)中。

本文探討了基于神經(jīng)架構(gòu)自動(dòng)搜索技術(shù)(Neural Architecture Auto-search,NAS)生成的神經(jīng)網(wǎng)絡(luò),應(yīng)用于無(wú)線短波發(fā)射機(jī)設(shè)備故障預(yù)測(cè)的研究及實(shí)現(xiàn),對(duì)設(shè)備故障的預(yù)測(cè)本質(zhì)是一個(gè)分類及回歸問(wèn)題[1]。 何種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能夠較好地完成該類任務(wù),本研究將這個(gè)問(wèn)題交給Automl 技術(shù)進(jìn)行自動(dòng)處理,最后進(jìn)行結(jié)果測(cè)試。

2 Auto keras 開(kāi)源框架

目前為止,包括商用與開(kāi)源的Automl 框架平臺(tái)為數(shù)不多,如AZURE,谷歌的Automl,Auto-sklearn,MLBox,TPOT,H2O Automl 等,其中除谷歌的Automl 外,大部分框架難以訓(xùn)練出現(xiàn)代的深度學(xué)習(xí)網(wǎng)絡(luò),Auto keras 是能與谷歌Automl 在支持技術(shù)上對(duì)標(biāo)的一個(gè)開(kāi)源深度強(qiáng)化學(xué)習(xí)框架[2]。

Auto keras 框架使用的是加強(qiáng)型NAS 技術(shù)即enas,enas 技術(shù)以圖論為基礎(chǔ),針對(duì)如何自動(dòng)構(gòu)建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)這一問(wèn)題,究其本質(zhì)是針對(duì)可變長(zhǎng)的結(jié)構(gòu)序列進(jìn)行結(jié)構(gòu)空間的搜索。 因此,與NAS 技術(shù)類似,enas 使用一個(gè)擅長(zhǎng)序列處理的RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)作為其生成真實(shí)網(wǎng)絡(luò)的控制器(見(jiàn)圖1),可稱之為controller 網(wǎng)絡(luò),該controller 網(wǎng)絡(luò)對(duì)將要生成的真實(shí)網(wǎng)絡(luò)按照有向圖的拓?fù)浣Y(jié)構(gòu)進(jìn)行空間搜索,RNN 鏈上的每一個(gè)生成節(jié)點(diǎn)都預(yù)測(cè)之前的殘差及算子,多次迭代生成子網(wǎng)后,針對(duì)精度反饋再反向訓(xùn)練controller 網(wǎng)絡(luò),直至搜索收斂出最優(yōu)結(jié)構(gòu)及參數(shù)。

圖1 RNN 控制網(wǎng)絡(luò)原理

其中enas 較NAS 的優(yōu)勢(shì)在于,它是依據(jù)圖論、子圖的共享權(quán)值,因此在訓(xùn)練過(guò)程中相當(dāng)于遷移學(xué)習(xí),避免重新訓(xùn)練子模型,因此非常高效,而NAS 技術(shù)僅使用梯度策略進(jìn)行模型的訓(xùn)練,效率相對(duì)較低。

3 系統(tǒng)設(shè)計(jì)思路

人工神經(jīng)網(wǎng)絡(luò)的計(jì)算需要調(diào)用大量的計(jì)算機(jī)程序,因此,整個(gè)故障預(yù)測(cè)系統(tǒng)的結(jié)構(gòu)考慮設(shè)定為分布式計(jì)算結(jié)構(gòu),將訓(xùn)練機(jī)和投入使用的預(yù)測(cè)機(jī)分布在不同的層次,在運(yùn)行時(shí)支持同步計(jì)算和同步預(yù)測(cè)。

無(wú)線短波發(fā)射系統(tǒng)的核心是短波發(fā)射機(jī),一部大功率的短波發(fā)射機(jī)通常關(guān)聯(lián)了復(fù)雜的子系統(tǒng),如控制操作系統(tǒng)、冷卻控制系統(tǒng)、真空電子管器件、音頻處理系統(tǒng)、調(diào)制系統(tǒng)、電力系統(tǒng)等。 其故障的種類和規(guī)律具有多樣性,因此,如果要設(shè)計(jì)一個(gè)用于故障預(yù)測(cè)的系統(tǒng),首先必須避免進(jìn)行模型的多分類計(jì)算,而是通過(guò)將所有子系統(tǒng)匯集到中央控制系統(tǒng)的故障信息輸出,針對(duì)每一個(gè)單獨(dú)的故障類型使用Auto keras 進(jìn)行單獨(dú)故障建模,最后部署至應(yīng)用場(chǎng)景時(shí),確保多個(gè)模型是分布式并行預(yù)測(cè)的。 匯總計(jì)算結(jié)果,能得到最終的預(yù)測(cè)結(jié)果。

基于此,整個(gè)預(yù)測(cè)系統(tǒng)的架構(gòu)設(shè)計(jì)如圖2 所示。

圖2 訓(xùn)練數(shù)據(jù)集部分?jǐn)?shù)據(jù)

(1)自動(dòng)化訓(xùn)練機(jī)。 存取發(fā)射機(jī)中央控制系統(tǒng)的秒數(shù)據(jù),對(duì)故障歷史信息進(jìn)行自動(dòng)分類的存儲(chǔ)管理,形成大數(shù)據(jù)庫(kù),提供故障數(shù)據(jù)集、干擾數(shù)據(jù)集的文件格式導(dǎo)出功能。 同時(shí),該機(jī)會(huì)自主統(tǒng)計(jì)所有故障的發(fā)生頻率,形成一個(gè)排序統(tǒng)計(jì)表,按照故障發(fā)生的頻度對(duì)要訓(xùn)練的模型進(jìn)行優(yōu)先排序。 進(jìn)行訓(xùn)練時(shí),系統(tǒng)先根據(jù)該故障進(jìn)行數(shù)據(jù)回溯,并隨機(jī)抽取數(shù)據(jù)啟動(dòng)Auto keras 進(jìn)行模型的生成,訓(xùn)練完成后進(jìn)行模型的保存、自主生成網(wǎng)絡(luò)結(jié)構(gòu)的圖片展示及精度的匯報(bào),供操作人員決定是否使用該模型,然后進(jìn)行下一條故障模型的搜索生成。 對(duì)于不同的故障類型,此訓(xùn)練活動(dòng)是不定期的,是否進(jìn)行自動(dòng)化訓(xùn)練取決于近期該故障的數(shù)據(jù)集是否采集到足夠多的新數(shù)據(jù)。 另外,考慮到每一次自動(dòng)訓(xùn)練耗時(shí)較長(zhǎng)(一般為十幾個(gè)小時(shí)到幾天時(shí)間),訓(xùn)練機(jī)采用多機(jī)分布式輪流訓(xùn)練結(jié)構(gòu),每臺(tái)訓(xùn)練機(jī)都會(huì)配置支持cuda 的顯卡,并提供終止自動(dòng)訓(xùn)練和手動(dòng)訓(xùn)練的功能。

(2)故障預(yù)測(cè)系統(tǒng)。 提供前端顯示界面的主機(jī),匯總實(shí)時(shí)計(jì)算結(jié)果,支持故障預(yù)測(cè)結(jié)果的顯示。

(3)分布式預(yù)測(cè)機(jī)。 使用由Auto keras 生成的模型進(jìn)行故障預(yù)測(cè)的主機(jī)(或虛擬主機(jī)),每一臺(tái)預(yù)測(cè)機(jī)在接到實(shí)時(shí)秒數(shù)據(jù)后都將應(yīng)用自己的預(yù)測(cè)模型給出預(yù)測(cè)結(jié)果至數(shù)據(jù)庫(kù)。 每臺(tái)預(yù)測(cè)機(jī)使用的預(yù)測(cè)模型由操作人員根據(jù)自動(dòng)訓(xùn)練機(jī)產(chǎn)生的模型擇優(yōu)選擇上傳使用。

4 數(shù)據(jù)集及數(shù)據(jù)準(zhǔn)備

短波發(fā)射機(jī)的故障預(yù)測(cè)系統(tǒng)設(shè)計(jì),首先要進(jìn)行數(shù)據(jù)集數(shù)據(jù)的選取。 為了能夠較好地解決這個(gè)問(wèn)題,通常的選取原則是多因素、多維度,為防止訓(xùn)練結(jié)果的過(guò)擬合,樣本量要足夠大[3]。 而用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集的完備程度,依賴于短波發(fā)射機(jī)房數(shù)據(jù)的采集廣度和深度,針對(duì)短波發(fā)射機(jī)的故障預(yù)測(cè),關(guān)聯(lián)性較大的數(shù)據(jù)有:溫度控制數(shù)據(jù)、發(fā)射機(jī)運(yùn)行秒數(shù)據(jù)、該種故障發(fā)生的歷史頻度作為先驗(yàn)經(jīng)驗(yàn)。 這些數(shù)據(jù)的采集依賴于機(jī)房的信息化建設(shè),可以通過(guò)發(fā)射機(jī)設(shè)備的通信接口、單片機(jī)的通信接口、數(shù)據(jù)的統(tǒng)計(jì)計(jì)算等途徑,進(jìn)行程序的開(kāi)發(fā)獲得。

以上述數(shù)據(jù)為例,構(gòu)建如圖2 所示數(shù)據(jù)集trainval(由訓(xùn)練機(jī)自動(dòng)生成),數(shù)據(jù)集的格式為csv 格式,便于Auto keras 中的結(jié)構(gòu)化數(shù)據(jù)分類器進(jìn)行讀取,其中defected 代表故障發(fā)生的標(biāo)簽,該數(shù)據(jù)集包含了短波發(fā)射機(jī)故障發(fā)生前數(shù)十秒的數(shù)據(jù)的平均統(tǒng)計(jì)值,也包含了并未發(fā)生故障用于訓(xùn)練模型的干擾條目。 同理生成另外的一份數(shù)據(jù)集evalval 用于測(cè)試最終模型生成的效果。

在訓(xùn)練機(jī)上部署anaconda 虛擬環(huán)境,在虛擬的Python3.9 環(huán)境下安裝tensorflow 和Auto keras 框架,Auto keras 框架基于keras,而keras 在后期被包含于tensorflow 中,無(wú)須單獨(dú)安裝,因此,可以從keras 框架導(dǎo)入plot_model 用于對(duì)自動(dòng)生成的神經(jīng)網(wǎng)絡(luò)進(jìn)行繪圖,以便于直觀地了解程序自動(dòng)生成的神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)。 前期準(zhǔn)備代碼如下:

可以預(yù)見(jiàn),短波發(fā)射機(jī)的故障預(yù)測(cè)問(wèn)題是一個(gè)數(shù)據(jù)的分類問(wèn)題。

5 自動(dòng)模型搜索enas

Auto keras 框架的使用便捷靈活,首先是初始化結(jié)構(gòu)化數(shù)據(jù)分類器tructuredDataClassifier:

這里設(shè)置max_trials=3,表示keras 進(jìn)行神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索時(shí),最多嘗試3 種不同的神經(jīng)網(wǎng)絡(luò)單元,與谷歌Automl 一樣,Auto keras 支持的神經(jīng)網(wǎng)絡(luò)模型有:卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)。

Auto keras 的分類器初始化完畢后,開(kāi)始進(jìn)行訓(xùn)練數(shù)據(jù)集train 的數(shù)據(jù)填充:

為了測(cè)試方便,這里設(shè)置訓(xùn)練集在神經(jīng)網(wǎng)絡(luò)中的傳播迭代周期為10,即epochs=10,加大該值將增長(zhǎng)模型生成的時(shí)間及計(jì)算成本。

準(zhǔn)備完畢,開(kāi)始搜索最優(yōu)模型,程序在這里進(jìn)行模型結(jié)構(gòu)的自我生成,也是enas 技術(shù)的核心運(yùn)行階段:

predicted_y = clf.predict(test_file_path)

Auto keras 最終給出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示:

圖4 最終的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

可見(jiàn),Auto keras 認(rèn)為解決該問(wèn)題的最優(yōu)模型應(yīng)使用較多的全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),即dense 層。

6 模型驗(yàn)證

最后,對(duì)該模型使用驗(yàn)證數(shù)據(jù)集evalval 進(jìn)行效果評(píng)估,

print(clf.evaluate(test_file_path,"survived"))

結(jié)果如圖5 所示:

圖5 測(cè)試結(jié)果

可見(jiàn),使用Auto keras 生成、而非人為設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率達(dá)到了81.43%,導(dǎo)出此模型并上載至預(yù)測(cè)機(jī),即可對(duì)短波發(fā)射機(jī)的實(shí)時(shí)秒數(shù)據(jù)進(jìn)行故障預(yù)測(cè)。

7 結(jié)語(yǔ)

通過(guò)對(duì)Auto keras 的實(shí)際使用及測(cè)試可以發(fā)現(xiàn),Automl 技術(shù)自動(dòng)生成的神經(jīng)網(wǎng)絡(luò)應(yīng)用效果與人工進(jìn)行結(jié)構(gòu)設(shè)計(jì)、超參數(shù)調(diào)優(yōu)的神經(jīng)網(wǎng)絡(luò)的應(yīng)用效果較為接近。 在進(jìn)行人工設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)時(shí),結(jié)構(gòu)設(shè)計(jì)及超參調(diào)優(yōu)往往依靠專家經(jīng)驗(yàn)和知識(shí),時(shí)間和調(diào)整的成本與Automl 技術(shù)相比處于劣勢(shì)。 解決復(fù)雜問(wèn)題或者設(shè)計(jì)結(jié)構(gòu)復(fù)雜的深度神經(jīng)網(wǎng)絡(luò),需要較多的生成模型且要獲得相對(duì)不錯(cuò)的計(jì)算結(jié)果時(shí),使用Automl 技術(shù)不失為一種高效的方法。