王平 王宜懷 劉長勇 彭濤

摘? 要： 針對傳統(tǒng)的A/D值轉換物理量回歸方法中存在表達不統(tǒng)一、動態(tài)適應性弱和在線非線性校正能力不足等問題，嘗試將機器學習的ELM網絡引入到該應用中。在分析A/D值轉換物理量回歸的知識要素基礎上，依托ELM網絡的非線性映射能力，提出利用遺傳算法優(yōu)化ELM網絡，并利用其實現(xiàn)統(tǒng)一數學表達的A/D值轉換物理量回歸方法。實際應用表明，該方法對物理量回歸問題可實現(xiàn)統(tǒng)一的數學模型表達，泛化性好，且非線性校正能力強，實現(xiàn)了各類A/D值轉換物理量回歸應用。

關鍵詞： 機器學習算法; 模/數轉換; 極限學習機網絡; 遺傳算法; 優(yōu)化方法; 物理量回歸; 動態(tài)校正

中圖分類號： TN711?34; TP391? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）17?0141?06

Abstract： In view of the problems of traditional A/D value conversion physical quantity regression method， such as inconsistent expressions， poor dynamic adaptability and insufficient online nonlinear correction ability， the ELM （extreme learning machine） network of machine learning is introduced into this application. On the basis of the analysis on knowledge elements of A/D value conversion physical quantity regression， and relying on the nonlinear mapping ability of ELM network， an A/D value conversion physical quantity regression method is proposed， which uses genetic algorithm to optimize ELM network， so as to achieve consistent mathematical expressions. The practical application shows that the method can be used to achieve consistent mathematical model expressions for physical quantity regression and are of good generalization. In addition， it is of excellent nonlinear correction ability， so the regression application of various A/D value conversion physical quantities can be realized satisfactorily.

Keywords： machine learning algorithm; A/D conversion; ELM network; genetic algorithm; optimization method; physical quantity regression; dynamic correction

0? 引? 言

傳感器采集各種連續(xù)變化的模擬信號需要通過模/數轉換模塊（A/D模塊）轉化為離散數字信號形式的A/D值，當需要使用該值時，通常還需進一步把該值轉換成實際的物理量形式，這一轉換過程被稱作物理量回歸[1]。傳感器本身的設計特性即是一個非線性映射關系，而在具體的應用中，從傳感器到信號放大電路，再到A/D模塊的一系列信號傳輸、處理中，如圖1所示，任何細微的變化也可能導致信號的非線性變化，這表明整個物理量回歸過程是一種非線性映射變化關系。

傳統(tǒng)的物理量回歸方法有著不同的處理模式。公式法和查表法大多將非線性關系進行線性化處理或近似處理，回歸速度快，但其存在非線性校正能力和動態(tài)適應弱等問題，且精度較差;最小二乘法、插值法的曲線擬合原理雖然也可以實現(xiàn)回歸，但在線校正能力較弱。針對非線性特性的物理量回歸問題，精度決定著系統(tǒng)的性能，無論何種回歸方法，均需消除或盡量減弱可能的非線性變化產生的誤差，從而確定一個帶有參數的數學模型來逼近真實物理量;另一方面，實際系統(tǒng)中由于不同類型的傳感器、電氣特性以及元器件老化等也會影響回歸算法的選擇。因此，傳統(tǒng)的物理量回歸方法無法在各種不同的應用系統(tǒng)的回歸問題上實現(xiàn)統(tǒng)一的物理量回歸表達。

根據傳感器的設計特性，諸如，通過溫濕度、光照、磁感等傳感器感知的物理量與其A/D值之間的映射關系，屬于單調非線性連續(xù)曲線映射關系，而神經網絡的高度非線性映射能力特性在預測非線性系統(tǒng)的映射中已經獲得廣泛應用，且其動態(tài)自學習能力強，諸多實驗表明，對于數據的非線性回歸分析、數據的補漏、非線性校正等方面，神經網絡具有先天優(yōu)勢[2]。ELM（Extreme Learning Machine，ELM）網絡自提出以后，其作為機器學習算法中一種新的回歸器、分類器，迅速得到廣泛應用[3]。不同于傳統(tǒng)機器學習算法，如BP網絡、RBF網絡和CNN網絡等，由于這些網絡基于誤差反饋而反復調整權值和隱層閾值，進而存在學習速度慢的問題，ELM采用前饋廣義逆矩陣的計算方法，確定隱層節(jié)點數和激活函數，隨機選擇輸入權值和隱層閾值，即可完成復雜問題的非線性映射學習，體現(xiàn)出學習速度優(yōu)勢。文獻[4]提出利用ELM網絡建立短期風速預測模型;文獻[5]提出利用ELM網絡建立降雨量預測模型;文獻[6]提出將優(yōu)化的ELM網絡用于電子元器件老化預測評估問題中;文獻[7]利用ELM網絡補償磁羅盤測量誤差;文獻[8]利用ELM網絡實現(xiàn)大數據回歸;文獻[9]提出將ELM網絡用于機器人軌跡跟蹤預測，這些應用ELM網絡均取得了較好的效果。

本文將ELM網絡引入到A/D值轉換物理量回歸問題中，且在分析ELM網絡原理的基礎上，針對ELM隨機選擇輸入權值和隱層閾值而存在的輸出結果誤差波動問題，提出采用遺傳算法（Genetic Algorithms，GA）優(yōu)化ELM網絡的輸入權值和隱層閾值選擇，提高ELM網絡收斂速度和輸出精度，并將優(yōu)化的ELM網絡應用于A/D值轉換物理量回歸的非線性映射和映射校正中。與傳統(tǒng)回歸方法相比，本文方法算法簡單，訓練學習和回歸預測耗時短、精度高，且還能對各種A/D值轉換物理量回歸問題實現(xiàn)統(tǒng)一的數學關系表達。

1? 基于GA優(yōu)化ELM網絡

1.1? ELM網絡

基于單隱含層前饋神經網絡（Single?Hidden Layer Feedforward Neural Network，SLFN）的ELM網絡具有3層結構，由輸入層、隱層和輸出層構成，層與層的節(jié)點之間采用全連接，其網絡結構如圖2所示。其中，[Q]為訓練樣本總數。

ELM網絡的訓練學習隨機化初始選擇輸入權值[α]和隱層閾值[b]，根據訓練樣本求解輸出權值[β]，可通過式（1）進行求解：

式中[H?]為[H]的Moore?Penrose廣義逆。因而，ELM網絡可通過一步計算得到[β]，無需反向迭代調整參數，使得訓練時間大幅縮短，學習速度極快。文獻[10?11]對ELM網絡給出相關定理并證明，給定任意[Q]個不同樣本[（xi，ti）]的樣本集，其中，[xi=[xi1? xi2? …? xin]T∈Rn]，[ti=[ti1? ti2? …? tim]T∈Rm]，[i∈Q]，給定任意小誤差[ε（ε>0）]和一個任意區(qū)間無限可微的激活函數[g（）：R→R]，則總存在一個含有[K（K≤Q）]個隱層節(jié)點的SLFN，在任意取值[αi∈Rl ×n]和[bi∈Rl]的情況下，有[HQ×lβl×m-T<ε]。

由上述定理可知：當隱層節(jié)點數[K]小于樣本集合里面的樣本數[Q]時，ELM的訓練誤差可以逼近一個數[ε（ε>0）]，即[j=1Qtj-yj<ε]，其中，[yj]為樣本經ELM網絡訓練得到的輸出;當[K=][Q]時，對任意的[α]和[b]取值情況，ELM訓練網絡能以零誤差逼近訓練樣本，即[j=1Qtj-yj=0];當[K]進一步增加時，誤差不減反而會加大。但在實際的應用工程任務中，由于計算量的原因，通常[K]取值遠遠小于[Q]，進而使得[ε]存在，這即為ELM網絡的輸出誤差波動。通過分析發(fā)現(xiàn)，合理地優(yōu)化選擇輸入權值[α]和隱層閾值[b]，可使得ELM網絡的輸出誤差更逼近在工程任務中所選取的[ε]。對初始輸入權值[α]和隱層閾值[b]優(yōu)化的算法有很多，如進化算法[12]、布谷鳥算法[13]、粒子群算法[14]、煙花算法等。本文選擇GA算法，通過樣本訓練和誤差要求值[ε]，實現(xiàn)對ELM網絡的輸入權值[α]和隱層閾值[b]的優(yōu)化選擇。

1.2? 基于GA優(yōu)化ELM網絡

GA的優(yōu)點是將問題參數編碼成染色體后進行迭代優(yōu)化，從解集的一個子解集開始搜索，且具有并行進化的隱含特征和較高的防止局部最優(yōu)能力。在使用ELM網絡對樣本集進行訓練學習時，利用GA優(yōu)化選擇ELM網絡的[α]和[b]，使得ELM網絡的輸出誤差波動最小。GA?ELM算法流程如圖3所示。另外，確定ELM網絡拓撲結構主要依賴于實際問題的輸入/輸出參數個數和隱層節(jié)點數的選擇。

在GA的個體適應度值計算中，引入均方誤差判斷個體是否非劣，均方誤差函數如式（2）所示：

式中：[yi（i=1，2，…，n）]為第[i]個測試集元素的預測輸出值;[yi（i=1，2，…，n）]為第[i]個測試集元素的實測值;[n]為測試集元素的數目。式（2）數值越趨近于0，表明模型的性能越優(yōu)，該染色體對應選擇的輸入權值和隱層閾值相對于ELM網絡的隨機選擇來講更好。

2? 本文所提的物理量回歸方法步驟

由于大多的A/D值轉換物理量回歸應用均是典型的單變量輸入和單變量輸出的非線性映射關系，即輸入層節(jié)點數和輸出層節(jié)點數均為1，故建立的GA?ELM網絡如圖4所示，隱層節(jié)點數和隱層節(jié)點激活函數的選擇根據具體的物理量回歸問題具體分析。

至此，利用GA?ELM網絡實現(xiàn)A/D值轉換物理量回歸的具體算法步驟如下：

1） 構建物理量回歸問題的訓練樣本集和測試樣本集，并歸一化數據。

2） GA?ELM網絡根據訓練樣本集確定網絡拓撲結構，包括隱層節(jié)點數和隱層節(jié)點激活函數的選取。

3） 網絡輸入權值和隱層閾值的種群隨機初始化編碼，并使用式（2）的均方誤差函數作為遺傳算法尋優(yōu)的個體適應度函數。

4） 將訓練樣本集和測試樣本集數據均歸一化處理后，提供給網絡進行訓練，并利用GA算法進行全局尋優(yōu)[α]和[b]，當訓練到給定的次數或者低于誤差限值[ε]，訓練終止，網絡模型建立，保存該輸入權值[α]、隱層閾值[b]和輸出權值[β]。

5） 根據該穩(wěn)定的GA?ELM網絡模型實現(xiàn)物理量回歸預測應用，其中包括提取統(tǒng)一的數學關系表達式、網絡輸出數據反歸一化獲得回歸值和實現(xiàn)在線物理量回歸校正功能等。

3? 實驗過程及分析

3.1? 實驗環(huán)境設置

為驗證本文所提方法的有效性，以溫度A/D值轉換物理量回歸為例，終端節(jié)點UE使用恩智浦公司的MKL36Z64低功耗芯片為核心的金葫蘆評估板[15]。該芯片運行速率為48 MHz，擁有64 KB FLASH和8 KB SRAM，支持浮點運算，內置精度最高達16位的A/D轉換模塊，評估板外接NTC熱敏電阻3950K（標稱阻值：10 kΩ@25 ℃），用板載3.3 V電源供電，并串接10 kΩ分壓電阻后熱敏電阻接地，感知環(huán)境溫度變化，其電路圖如圖5所示。

測試中，將采樣的A/D值回歸擬合實際的物理溫度，A/D模塊使用16位采樣，共取20個采樣點并實測20個對應的實際溫度值形成樣本集，如表1所示，并將數據統(tǒng)一歸一化。為保證實驗結果的合理性，均勻分布地選擇其中的15個樣本作為GA?ELM訓練集，余下的5個樣本作為GA?ELM測試集。

3.2? 實驗過程

3.2.1? GA?ELM網絡拓撲選擇

建立三層的GA?ELM網絡，輸入層節(jié)點數和輸出層節(jié)點數均為1，隱層節(jié)點數根據先驗知識初步設定范圍為3～15，隱層節(jié)點激活函數采用Sigmoid函數：

根據上述訓練集樣本測試隱層節(jié)點數對網絡訓練效果的影響，在固定學習500次情況下，測試結果如圖6和圖7所示，分別呈現(xiàn)了隨著隱層節(jié)點數的變化，均方誤差MSE和決定系數[R2]的變化情況。

測試結果表明，GA?ELM網絡能以高的精度用在該溫度A/D值轉換物理量回歸的場景中，且比典型的ELM算法收斂速度更快，穩(wěn)定性更好。當隱層節(jié)點數[l]為6時，GA?ELM網絡即達到最小的輸出誤差波動，此時輸入權值[α]的維數為6×1，隱層閾值[b]的維數為1×6，則在GA?ELM網絡訓練學習中，需由GA算法優(yōu)化的權值和閾值總數為12。

3.2.2? GA?ELM網絡的訓練

GA?ELM網絡經樣本集和測試集的訓練學習后，網絡的各層參數如表2所示，由這些參數可以確定該案例的溫度傳感器A/D值轉換物理量回歸的ELM網絡結構。

3.2.3? GA?ELM網絡的物理量回歸測試

將學習完成的GA?ELM網絡，使用測試集進行驗證，此時的均方誤差值和決定系數值情況如圖8，圖9所示。前者將實測溫度值和經網絡回歸的預測值均歸一化后對比，此時的均方誤差能達到10-6數量級，后者將實測溫度值和經網絡回歸的預測值反歸一化后對比，決定系數值高度趨近1，具體數值如表3所示，回歸輸出誤差控制在[-0.3，0.3]范圍內。

3.2.4? GA?ELM網絡的物理量回歸應用

根據訓練完成的網絡模型，可得優(yōu)化選擇的輸入權值[α]、隱層閾值[b]和網絡訓練所得的輸出權值[β]等參數，根據所選擇的隱含層激活函數Sigmoid，并由式（1）可得到其回歸表達式：

式（4）描述了GA?ELM網絡獲得的溫度A/D值轉換物理量回歸案例的非線性映射數學表達，應用其可以實現(xiàn)在上位機或終端節(jié)點UE中完成A/D值轉換物理量回歸，且在終端節(jié)點UE中，可以將這些網絡參數存放在MCU的FLASH或擴展的存儲器中，當A/D值需轉換物理量時，將獲得的A/D值歸一化后，MCU可以根據式（4）利用這些網絡參數進行物理量回歸，得到的網絡輸出值再反歸一化即得預測的溫度值，這樣即可在資源受限的終端節(jié)點UE中完成物理量回歸。事實上，得益于邊緣計算技術和MCU技術的發(fā)展，一些簡單的機器學習方法也可以移植在終端節(jié)點的MCU中進行處理，將來在MCU中的智能運算將會越來越普及。本文在終端節(jié)點UE的KL36芯片的FLASH中存儲了網絡參數，實現(xiàn)溫度16位A/D值采樣并按回歸表達式（4）進行物理量回歸，將回歸結果通過NB?IoT通信模組入網發(fā)送給上位機顯示出來，系統(tǒng)測試界面[16]如圖10所示。

此外，為了更加靈活且準確地進行回歸，以防感知、采集和回歸系統(tǒng)的非線性變化導致物理量回歸輸出逐漸偏離實際值，本文還設計了相應的在線動態(tài)校正方案，以增強系統(tǒng)的動態(tài)適應能力和非線性在線校正能力。當發(fā)現(xiàn)回歸偏離或系統(tǒng)周期性自適應時，根據該功能可以實現(xiàn)基于最近最新歷史樣本的在線動態(tài)校正方案，以提高系統(tǒng)精度和實時性。方案處理步驟如下：

1） 訓練樣本集更新，將準確的樣本通過人機交互系統(tǒng)加入到訓練集。

2） 根據樣本數量閾值、樣本偏差或系統(tǒng)運行周期，上位機中GA?ELM網絡自學習。

3） 保存最新的權值、閾值等參數。

4） 利用最新參數在上位機或將最新參數寫入終端節(jié)點MCU的FLASH中，以便進行新參數的物理量回歸。

3.2.5? A/D值物理量回歸算法對比

傳統(tǒng)的A/D值物理量回歸方法中，公式法通常是基于傳感器阻值隨外界模擬量變化而變化的內在關系，由廠家給出固定公式，可直接通過A/D值按公式計算得到物理量。查表法則是在公式法的基礎上，按一定間隔分布給出每單位溫度值分布對應的A/D值的有序表，以便用戶通過A/D值查表找到對應的物理量。最小二乘法利用最小化誤差的平方和尋找最逼近的擬合曲線。三次樣條插值法在回歸擬合曲線時，使用樣條插值的方法形成光滑的曲線進行逼近而實現(xiàn)物理量回歸。表4列出了常用的物理量回歸方法與本文的基于GA?ELM網絡物理量回歸方法的性能對比，測試平臺為PC機，OS：WIN7，CPU： AMD A6?3420M（1.5 GHz），RAM：8 GB。各物理量回歸方法的回歸擬合曲線對比如圖11所示。

3.3? 結果分析

從圖8，圖9測試結果可以看出，GA?ELM網絡的回歸精確度極高，特別是測試數據的真實值和網絡回歸的輸出值之間的比較，相關系數值高度趨近于1，均方誤差值低于0.02，表3數據對比看出實際誤差能控制在[-0.3，0.3]范圍內，符合溫度表示要求。

從表4和圖11對比可以看出：公式法基于固定公式計算，其回歸運行速度極快，回歸值固定，但無法表達物理量回歸過程中可能存在的非線性變化，因而靈活性不夠、精度容易受影響;最小二乘法針對所有的樣本點最小化誤差的平方和，所擬合曲線在諸多地方和實測值相差較大;三次樣條插值法的逼近曲線相對最小二乘法較好;但相對于最小二乘法和三次樣條插值法所得的逼近曲線，本文所提的基于GA?ELM網絡的物理量回歸擬合曲線更貼近于原始樣本點，效果最好，耗時更長在于其學習過程。

ELM網絡屬于機器學習算法的一種，其簡單的層級結構和精確的高維映射，使其在回歸擬合問題中更能表達復雜問題之間的內在關系，尤其還具有強大的動態(tài)自學習調整能力，當外界環(huán)境變化引起非線性變化，ELM網絡可動態(tài)學習并進一步調整，且能極快收斂網絡，故而基于優(yōu)化ELM網絡的物理量回歸方法更加適合A/D值轉換物理量回歸應用。當然，從運算復雜度來看，ELM網絡的運算量要大于最小二乘法和插值法，但其實現(xiàn)了犧牲時間開銷來換得回歸精度的提升，甚至可以實現(xiàn)各種A/D值轉換物理量回歸方法的統(tǒng)一，值得更進一步的挖掘與應用。

4? 結? 語

將機器學習方法應用在A/D值轉換物理量回歸應用中，越來越受到關注，本文將ELM網絡作為回歸器引入到該應用中。分析了ELM網絡自身的缺陷，提出了利用遺傳算法優(yōu)化網絡初始參數，以提升ELM網絡的泛化能力、輸出精度和收斂速度，通過實驗和應用可看出，依托GA?ELM回歸器的非線性映射能力和動態(tài)自適應學習能力，可以有效地提升A/D值轉換物理量回歸的精度，能增強回歸的動態(tài)自適應能力和在線校正能力，能有效解決回歸中的非線性變化問題。同時，由于該網絡的訓練學習只與輸入的訓練樣本有關，與硬件設備、應用類型均無關，在各種A/D值轉換物理量回歸的應用場景中，均可提取出統(tǒng)一的數學表達模型，因此，由該網絡建立的A/D值轉換物理量回歸方法和動態(tài)在線校正模型可應用于各種物聯(lián)網系統(tǒng)及其不同的處理階段，具有廣泛的適用性。

參考文獻

[1] 曹金華，賀黎瀟，王宜懷，等.基于KL25的AD轉換動態(tài)在線校正技術[J].實驗室研究與探索，2013，32（10）：249?252.

[2] 墨蒙，趙龍章，龔嬡雯，等.基于遺傳算法優(yōu)化的BP神經網絡研究應用[J].現(xiàn)代電子技術，2018，41（9）：41?44.

[3] HUANG Guangbin， WANG Dianhui， LAN Yuan. Extreme learning machines： a survey [J]. International journal of machine learning and cybernetics， 2011， 2（2）： 107?122.

[4] PENG Xiangang， ZHENG Weiqin， ZHANG Dan， et al. A novel probabilistic wind speed forecasting based on combination of the adaptive ensemble of on?line sequential ORELM （outlier robust extreme learning machine） and TVMCF （time?varying mixture copula function） [J]. Energy conversion and management， 2017， 138： 587?602.

[5] DASH Y， MISHRA S K， PANIGRAHI B K. Predictability assessment of northeast monsoon rainfall in India using sea surface temperature anomaly through statistical and machine learning techniques [EB/OL]. [2018?09?19] https：//doi.org/10.1002/env.2533.

[6] LI Lingling， SUN Jin， TSENG M L， et al. Extreme learning machine optimized by whale optimization algorithm using insulated gate bipolar transistor module aging degree evaluation [J]. Expert systems with applications， 2019， 127： 58?67.

[7] LIU Yanxia， FANG Jianjun， SHI Gang. Calibration of magnetic compass using an improved extreme learning machine based on reverse tuning [J]. Sensor review， 2019， 39（1）： 121?128.

[8] KOKKINOS Y， MARGARITIS K G. Big data regression with parallel enhanced and convex incremental extreme learning machines [J]. Computational intelligence， 2018， 34（3）： 875?894.

[9] XU Sheng， OU Yongsheng， DUAN Jianghua， et al. Robot trajectory tracking control using learning from demonstration method [J]. Neurocomputing， 2019， 338： 249?261.

[10] HUANG Guangbin， CHEN Lei. Convex incremental extreme learning machine [J]. Neurocomputing， 2007， 70（16/18）： 3056?3062.

[11] HUANG Guangbin， ZHOU Hongming， DING Xiaojian， et al. Extreme learning machine for regression and multiclass classification [J]. IEEE transactions on systems， man & cyberne?tics， 2012， 42（2）： 513?529.

[12] 邵良杉，蘭亭洋，李臣浩.基于改進花朵授粉算法的極限學習機模型[J].計算機工程，2019，45（12）：281?288.

[13] 趙坤，覃錫忠，賈振紅，等.基于CS算法改進ELM的時間序列預測[J].計算機工程與設計，2018，39（8）：2649?2653.

[14] 李婉華，陳羽中，郭昆，等.基于改進粒子群優(yōu)化的并行極限學習機[J].模式識別與人工智能，2016，29（9）：840?849.

[15] 王宜懷，張建，劉輝，等.窄帶物聯(lián)網NB?IoT應用開發(fā)共性技術[M].北京：電子工業(yè)出版社，2019：38?39.

[16] 吳薇，王宜懷，黃鑫，等.基于NB?IoT和微信小程序的遠程移動實時溫濕度監(jiān)控系統(tǒng)的設計[J].吉林師范大學學報（自然科學版），2018，39（4）：68?74.