劉明 曹銀杰 耿相珍 胡衛(wèi)生

摘? 要： 針對(duì)微控制器芯片尚未存在使用神經(jīng)網(wǎng)絡(luò)處理時(shí)序信號(hào)的現(xiàn)狀，提出一種可以在微控制器上進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練、預(yù)測(cè)時(shí)序信號(hào)的方法。 該方法不基于操作系統(tǒng)運(yùn)行神經(jīng)網(wǎng)絡(luò)程序，無(wú)法由操作系統(tǒng)進(jìn)行棧區(qū)空間大小的調(diào)整以及內(nèi)存的分配問題，為了解決這個(gè)問題，更改了初始化棧區(qū)空間的大小，增加了外部擴(kuò)展SDRAM芯片，使之達(dá)到適合神經(jīng)網(wǎng)絡(luò)程序運(yùn)行的大小。在微控制器芯片實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的方法包括定義了實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)需要的矩陣運(yùn)算，使用C語(yǔ)言編寫并封裝LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)前向傳播函數(shù)，反向傳播函數(shù)，以及LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的權(quán)重更新函數(shù)。調(diào)用封裝好的LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)函數(shù)進(jìn)行實(shí)驗(yàn)，以時(shí)序信號(hào)sin x函數(shù)為例，預(yù)測(cè)信號(hào)變化。故使用該方法，可不依賴操作系統(tǒng)在微控制器芯片建立神經(jīng)網(wǎng)絡(luò)，具備了穩(wěn)定、實(shí)時(shí)可靠的優(yōu)點(diǎn)。

關(guān)鍵詞： 微控制器芯片; 神經(jīng)網(wǎng)絡(luò); LSTM; 棧區(qū)空間; 內(nèi)存分配; 時(shí)序信號(hào)處理

中圖分類號(hào)： TN711?34; TP39? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）22?0001?05

Abstract： In allusion to the fact that there is no current situation of using neural network to process timing signals on microcontroller chips， a method of neural network training and predicting timing signals on microcontroller is proposed. In this method， the neural network program is not operated based on the operating system， and the adjustment of the size of the stack space and the memory allocation cannot be performed by the operating system. On this basis， the size of the initial stack area is changed， and the external extended SDRAM chip is added， so as to make the microcontroller chips suitable for the size of the neural network program to run. The method of implementing neural network on microcontroller chip includes the definition of the matrix operation needed to realize the neural network， writing and packaging LSTM （Long Short?Term Memory） recurrent neural network forward propagation function， back propagation function， and weight update function of LSTM recurrent neural network. The encapsulated LSTM recurrent neural network function is called to perform experiments， and the timing signal sin x function is taken as an example to predict the signal changes. In this method， the neural network can be established in the microcontroller chip without operating system， which has the advantages of stability， real?time reliability.

Keywords： microcontroller chip; neural network; LSTM; stack area; memory allocation; timing signal processing

0? 引言

在2018年中國(guó)國(guó)際嵌入式大會(huì)上，何積豐院士提出，人工智能存在向嵌入式系統(tǒng)遷移的趨勢(shì)[1]。在嵌入式系統(tǒng)上玩轉(zhuǎn)人工智能，是這個(gè)智能化時(shí)代前沿的研究。目前嵌入式系統(tǒng)人工智能主要使用Cortex?A系列微處理器芯片，A系列微處理器芯片主要面向手機(jī)、平板電腦等民用商品，屬于消費(fèi)類電子，實(shí)現(xiàn)人工智能需要依賴操作系統(tǒng)，不具備穩(wěn)定性，不適合應(yīng)用在軍事、工業(yè)、信號(hào)處理等領(lǐng)域。Cortex?C系列微控制器芯片是單一功能的、更加專業(yè)的芯片，具備低功耗、低成本、實(shí)時(shí)、穩(wěn)定可靠的特性，被廣泛應(yīng)用在軍事、工業(yè)、信號(hào)處理等方面，但目前還未發(fā)現(xiàn)在微控制器芯片上建立神經(jīng)網(wǎng)絡(luò)，做人工智能的研究。

循環(huán)神經(jīng)網(wǎng)絡(luò)算法是神經(jīng)網(wǎng)絡(luò)算法的一種，常用來(lái)學(xué)習(xí)、識(shí)別、預(yù)測(cè)時(shí)序信號(hào)，若能在Cortex?C系列微控制器芯片上搭建循環(huán)神經(jīng)網(wǎng)絡(luò)，只需要輸入信號(hào)，用理想輸出作為監(jiān)督學(xué)習(xí)，多次訓(xùn)練后，即可進(jìn)行信號(hào)智能處理、信號(hào)智能識(shí)別、信號(hào)智能預(yù)測(cè)等工作。使用Cortex?C系列微控制器芯片搭建循環(huán)神經(jīng)網(wǎng)絡(luò)，處理時(shí)序信號(hào)，更加智能、穩(wěn)定可靠。搭建循環(huán)神經(jīng)網(wǎng)絡(luò)需要進(jìn)行一系列矩陣運(yùn)算，Cortex?M系列微控制器芯片已經(jīng)具備DSP指令，所有的DSP指令都可在一個(gè)機(jī)器周期內(nèi)完成，提高了矩陣運(yùn)算速度。本文結(jié)合當(dāng)前的研究現(xiàn)狀提出一種針對(duì)Cortex?M系列微控制器芯片建立的循環(huán)神經(jīng)網(wǎng)絡(luò)方法，使用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)序信號(hào)進(jìn)行學(xué)習(xí)，并預(yù)測(cè)未來(lái)的信號(hào)。

1? LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)

對(duì)于時(shí)間信號(hào)的預(yù)測(cè)，常常使用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network），簡(jiǎn)稱RNN神經(jīng)網(wǎng)絡(luò)。一個(gè)簡(jiǎn)單的RNN神經(jīng)網(wǎng)絡(luò)可以表示為圖1a）的形式。圖1a）中，[x]表示輸入向量;[O]表示輸出向量;[U]表示輸入層到隱含層的權(quán)重矩陣;[V]表示隱含層到輸出層的權(quán)重矩陣;[S]表示隱含層的值;[W]表示隱含層的值到下一個(gè)時(shí)刻隱含層的值的權(quán)重矩陣[2]。

為了更好地理解RNN神經(jīng)網(wǎng)絡(luò)，將圖1a）按時(shí)間展開，如圖1b）所示。其中，[xt-1]，[xt]，[xt+1]分別表示在t-1，t，t+1時(shí)刻的輸入向量;[Ot-1]，[Ot]，[Ot+1]分別表示在t-1，t，t+1時(shí)刻的輸出向量;[St-1]，[St]，[St+1]表示在t-1，t，t+1時(shí)刻的隱含層的值;[V]表示隱含層到輸出層的權(quán)重矩陣;[W]表示隱含層的值到下一個(gè)時(shí)刻隱含層的值的權(quán)重矩陣。從圖中可以看出，前向傳播公式為：

由式（1）可以看出，當(dāng)前隱含層的值[St]不僅與當(dāng)前時(shí)刻的輸入相關(guān)，并且與之前隱含層的值相關(guān)，而輸出[Ot]是[VSt]的函數(shù)，所以輸出[Ot]受歷史輸入影響，這就是RNN可以處理時(shí)間序列的原因[3]。

RNN神經(jīng)網(wǎng)絡(luò)在處理長(zhǎng)時(shí)間的信號(hào)序列時(shí)會(huì)產(chǎn)生梯度消失或梯度爆炸，為了克服這個(gè)缺點(diǎn)，將RNN進(jìn)行改進(jìn)，在RNN的基礎(chǔ)上，加入長(zhǎng)期狀態(tài)C，用來(lái)保存長(zhǎng)期狀態(tài)，從而達(dá)到解決RNN梯度消失和梯度爆炸的缺陷，改進(jìn)后的RNN神經(jīng)網(wǎng)絡(luò)被稱作LSTM（Long Short?Term Memory）神經(jīng)網(wǎng)絡(luò)[4]。LSTM中主要使用3個(gè)門，分別是遺忘門、輸入門、輸出門以及即時(shí)狀態(tài)來(lái)控制長(zhǎng)期狀態(tài)。遺忘門負(fù)責(zé)決定之前的長(zhǎng)期狀態(tài)對(duì)當(dāng)前的長(zhǎng)期狀態(tài)影響程度;輸入門與即時(shí)狀態(tài)共同負(fù)責(zé)決定當(dāng)前輸入對(duì)長(zhǎng)期狀態(tài)的影響程度;輸出門決定當(dāng)前長(zhǎng)期狀態(tài)對(duì)輸出的影響程度[5]。LSTM神經(jīng)元如圖2所示。

前向傳播過程需要計(jì)算遺忘門輸出[ft]，輸入門輸出[it]，即時(shí)狀態(tài)輸出[C′t]以及輸出門輸出[Ot]。長(zhǎng)期狀態(tài)[Ct]由遺忘門輸出[ft]、輸入門輸出[Ot]、即時(shí)狀態(tài)輸出[C′t]和上一時(shí)刻的長(zhǎng)期狀態(tài)[Ct-1]共同決定。

2? 實(shí)現(xiàn)LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)

Cortex?M系列芯片具有穩(wěn)定可靠、實(shí)時(shí)、低成本、低功耗的優(yōu)點(diǎn)，被廣泛應(yīng)在工業(yè)控制、軍事、信號(hào)處理等領(lǐng)域。由于Cortex?M系列微控制器芯片在建立神經(jīng)網(wǎng)絡(luò)時(shí)，不能由操作系統(tǒng)自動(dòng)分配內(nèi)存以及棧區(qū)空間，為了確保神經(jīng)網(wǎng)絡(luò)程序能夠正常運(yùn)行，需要人為擴(kuò)展內(nèi)存及擴(kuò)大棧區(qū)空間。

Cortex?M系列芯片一直被定位在低性能端，但是仍然比許多傳統(tǒng)處理器性能強(qiáng)大很多，例如Cortex?M7處理器，最高時(shí)鐘頻率可以達(dá)到400 MHz。Cortex?M7處理器是針對(duì)數(shù)據(jù)處理密集的高性能處理器，具備面向數(shù)字信號(hào)處理（DSP）的指令集，支持雙精度浮點(diǎn)運(yùn)算，并且具備擴(kuò)展存儲(chǔ)器的功能，使用搭載Cortex?M7處理器的芯片，實(shí)現(xiàn)機(jī)器學(xué)習(xí)、人工智能，具備低功耗、低成本、穩(wěn)定可靠的優(yōu)點(diǎn)。

選擇以搭載Cortex?M7處理器的STM32F767IGT6芯片為例實(shí)現(xiàn)LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)，STM32F7使用Cortex?M7內(nèi)核，在數(shù)字信號(hào)處理上增加了DSP指令集，大大提升了芯片的計(jì)算速度。ARM公司提供了DSP算法的庫(kù)（CMSIS_DSP），具備了部分矩陣運(yùn)算的功能，減少了開發(fā)的時(shí)間以及難度，并使運(yùn)算速度有了進(jìn)一步的提升[6]。

2.1? ARM芯片中的矩陣運(yùn)算

在STM32上實(shí)現(xiàn)LSTM，要解決矩陣、向量運(yùn)算的問題。進(jìn)行矩陣、向量運(yùn)算，需要的內(nèi)存空間比較大，所以需要對(duì)芯片進(jìn)行內(nèi)存擴(kuò)展。LSTM的權(quán)重矩陣需要進(jìn)行存儲(chǔ)，權(quán)重矩陣的維數(shù)直接關(guān)系到神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，通過內(nèi)存擴(kuò)展可以確保權(quán)重矩陣維數(shù)滿足需求，不會(huì)使神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力過低。在實(shí)現(xiàn)LSTM的過程中，用到很多矩陣運(yùn)算和向量運(yùn)算，使用ARM公司提供的CMSIS_DSP庫(kù)中的矩陣處理函數(shù)，可以解決部分矩陣運(yùn)算，提高運(yùn)算速度。CMSIS_DSP庫(kù)中，用結(jié)構(gòu)體arm_matrix_instance_f32表示矩陣，結(jié)構(gòu)體的元素numRows表示矩陣的行，numCols表示矩陣的列，pData指向矩陣數(shù)組，矩陣元素為32位無(wú)符號(hào)float類型，可以滿足數(shù)據(jù)精度要求。

用arm_matrix_instance_f32結(jié)構(gòu)體定義結(jié)構(gòu)體數(shù)組，用來(lái)存放張量（由數(shù)組構(gòu)成的數(shù)組），使用張量，來(lái)存儲(chǔ)歷史時(shí)刻門的輸出值[7]。

CMSIS_DSP庫(kù)中有矩陣的基本運(yùn)算，如矩陣的加法、轉(zhuǎn)置、乘法等，在LSTM神經(jīng)網(wǎng)絡(luò)算法中需要用到對(duì)矩陣元素的操作，例如矩陣按元素相乘，可以選擇使用for循環(huán)遍歷整個(gè)矩陣的方式訪問到每一個(gè)矩陣元素。

定義生成隨機(jī)矩陣的函數(shù)，輸入值為要生成矩陣的行NumRows，列NumCols，以及這個(gè)矩陣是否被作為偏置矩陣使用。若生成權(quán)重矩陣，則使用C語(yǔ)言中的隨機(jī)數(shù)函數(shù)rand（），遍歷矩陣賦值隨機(jī)數(shù);若生成偏置矩陣，則將矩陣所有元素初始化為0。

無(wú)論是前向傳播還是反向傳播時(shí)，都會(huì)用到矩陣按元素相乘，但CMSIS_DSP庫(kù)中并沒有矩陣按元素相乘的函數(shù)，所以需要定義。定義矩陣按元素相乘的函數(shù)為mul2，它有兩個(gè)輸入，即兩個(gè)按元素相乘的矩陣，先判斷這2個(gè)矩陣的維數(shù)是否相同。因?yàn)榘丛叵喑?，要?個(gè)矩陣必須維數(shù)一樣，才能進(jìn)行運(yùn)算。使用for遍歷矩陣中的每一個(gè)值，讓2個(gè)矩陣對(duì)應(yīng)位置上的元素進(jìn)行相乘，并返回相乘后的新矩陣。此時(shí)新矩陣的維數(shù)應(yīng)該和輸入矩陣的維數(shù)相同。

使用兩個(gè)矩陣按元素相乘函數(shù)mul2，去構(gòu)造3個(gè)矩陣按元素相乘的函數(shù)mul3。mul3有3個(gè)輸入，首先經(jīng)前2個(gè)輸入送到mul2中進(jìn)行按元素相乘，再將結(jié)果與第3個(gè)輸入放到mul2中進(jìn)行計(jì)算，這樣可以獲得連續(xù)3個(gè)矩陣按元素相乘，同理可以獲得mul4，mul5。

2.2? LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的函數(shù)封裝

LSTM中用到兩個(gè)激活函數(shù)Sigmoid（）和tanh（），以及它們各自的導(dǎo)數(shù)，由于CMSIS_DSP中沒有按元素操作的函數(shù)，所以這里只能選擇使用for循環(huán)遍歷矩陣中的每一個(gè)數(shù)組。定義函數(shù)SigmoidActivator，它有兩個(gè)輸入，輸入矩陣，以及模式選擇，將輸入的矩陣按元素進(jìn)行計(jì)算，若mod為0，則輸出[sigmoid（x）=11-e-x]，若mod為1，輸出[y′=sigmoid（x）′=y（1-y）]。同樣，定義函數(shù)TanhActivator，若mod為0，則輸出[tanh（x）=ex-e-xex+e-x]，若mod為1，輸出[y′=tanh′（x）=1-y2]。

將遺忘門、輸入門、輸出門以及即時(shí)狀態(tài)的計(jì)算，封裝為一個(gè)函數(shù)calc_gate，這個(gè)函數(shù)有6個(gè)輸入，分別為輸入向量[x]，權(quán)重矩陣[Wx]，[Wh]，偏置矩陣[b]，使用sigmoid激活函數(shù)或tanh激活函數(shù)的標(biāo)志，以及使用激活函數(shù)本身或使用激活函數(shù)的導(dǎo)數(shù)標(biāo)志。函數(shù)的輸出為門的輸出或者即時(shí)狀態(tài)，公式如下：

按照LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)計(jì)算，在前向傳播、反向傳播過程中，使用由矩陣組成的張量進(jìn)行表示，并將這些張量定義為全局變量，用來(lái)存儲(chǔ)歷史時(shí)刻的各個(gè)門的值，這需要較大內(nèi)存空間。由于芯片內(nèi)存空間有限，不能由操作系統(tǒng)調(diào)整內(nèi)存，這里的張量存儲(chǔ)門歷史時(shí)刻的值，不能設(shè)置為無(wú)限大小，根據(jù)自己內(nèi)存大小，定義最多保存N個(gè)歷史時(shí)刻的值。若存儲(chǔ)時(shí)刻數(shù)量已經(jīng)大于N，則將最早的數(shù)據(jù)刪除。在這里刪除最早時(shí)刻的歷史值對(duì)最后的輸出并不會(huì)產(chǎn)生較大的影響，因?yàn)樽钤鐣r(shí)刻的值產(chǎn)生的影響，已經(jīng)通過影響之后的時(shí)刻，保存了下來(lái)。為了確保保存歷史時(shí)刻的值不會(huì)太少，需要增加內(nèi)存大小。

2.3? 實(shí)現(xiàn)LSTM神經(jīng)網(wǎng)絡(luò)的前向傳播

利用封裝好的LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)函數(shù)，實(shí)現(xiàn)前向傳播。前向傳播流程如圖3所示。

定義orward函數(shù)，輸入為輸入向量，為了記錄前向傳播的次數(shù)，使用全局變量times來(lái)記錄前向傳播的次數(shù)，也就是時(shí)刻times。根據(jù)LSTM門的計(jì)算理論公式，編寫程序計(jì)算遺忘門、輸入門、輸出門以及即時(shí)狀態(tài)的輸出，并將輸出的結(jié)果保存到相對(duì)應(yīng)的結(jié)構(gòu)體數(shù)組中的times位置。使用計(jì)算所得的遺忘門、輸出門、即時(shí)狀態(tài)的輸出以及上一時(shí)刻的長(zhǎng)期狀態(tài)，計(jì)算當(dāng)前時(shí)刻的長(zhǎng)期狀態(tài)：

式中，“[?]”表示按元素相乘。此處使用之前定義好的矩陣，按元素相乘函數(shù)mul2，將[Ot]，[tanh（C）]輸入mul2，輸出結(jié)構(gòu)賦值給[ht]。將LSTM神經(jīng)元的輸出[ht]保存在h_list[]中，存放位置為times，即h_list[times]。合理設(shè)置權(quán)重矩陣大小，達(dá)到既能滿足使用需求，又不超過產(chǎn)生過擬合的效果[8]。

至此，在微控制器芯片上已經(jīng)實(shí)現(xiàn)LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的前向傳播[9]。

2.4? 實(shí)現(xiàn)LSTM神經(jīng)網(wǎng)絡(luò)的反向傳播

實(shí)現(xiàn)反向傳播之前，定義誤差函數(shù)Error_fun，LSTM反向傳播使用BPTT（Back Propagation Through Time）算法，屬于監(jiān)督學(xué)習(xí)，故誤差函數(shù)有兩個(gè)輸入，一個(gè)是LSTM神經(jīng)元的輸出，另一個(gè)是理想值。CMSIS_DSP庫(kù)中有矩陣減法arm_mat_sub_f32，可以實(shí)現(xiàn)[y-y] 矩陣相減，arm_mat_scale_f32常數(shù)與矩陣的乘法函數(shù)可以實(shí)現(xiàn)[12] 與矩陣相乘。這里還需要矩陣按元素相乘，所以選擇使用for循環(huán)遍歷的方法。定義誤差函數(shù)的返回值為：

反向傳播過程中，計(jì)算量較大。程序中，由函數(shù)調(diào)用函數(shù)的情況比較多，臨時(shí)變量在函數(shù)進(jìn)行調(diào)用時(shí)，需要暫存到棧區(qū)中，起始文件默認(rèn)初始化的1 KB的棧區(qū)大小不能滿足使用，程序運(yùn)行時(shí)，會(huì)觸發(fā)異常，導(dǎo)致程序不能正常運(yùn)行。將起始文件中棧區(qū)的大小進(jìn)行調(diào)整，使棧區(qū)的大小足夠滿足程序運(yùn)行的需要，可解決這個(gè)問題。

3? 實(shí)驗(yàn)與分析

在STM32F7開發(fā)板進(jìn)行實(shí)驗(yàn)，STM32F767IGT6本身自帶512 KB的SRAM，為滿足LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)程序的正常運(yùn)行，開發(fā)板上外部擴(kuò)展32 MB的SDRAM芯片W9825G6KH，以及在啟動(dòng)文件中進(jìn)行修改，將Stack_Size EQU 0x00000400，更改為Stack_Size EQU 0x00050000，使棧區(qū)空間擴(kuò)大為5 MB。

以預(yù)測(cè)sin x函數(shù)為例，在STM32F7芯片上建立LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)。

1） 建立樣本集合，設(shè)置時(shí)間間隔為[Δt=π5 000]，即一個(gè)周期內(nèi)取10 000個(gè)數(shù)據(jù)，將連續(xù)10個(gè)點(diǎn)的數(shù)據(jù)作為輸入向量[x]，使用10個(gè)點(diǎn)的數(shù)據(jù)預(yù)測(cè)第11個(gè)點(diǎn)的值。

2） 將輸入向量輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中進(jìn)行前向傳播，因使用的BPTT反向傳播算法為監(jiān)督學(xué)習(xí)，故用sin x函數(shù)的第11個(gè)點(diǎn)作為監(jiān)督，與神經(jīng)網(wǎng)絡(luò)輸出值進(jìn)行比對(duì)，將誤差傳入LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)反向傳播進(jìn)行計(jì)算，并更新權(quán)重值。

3） 將實(shí)驗(yàn)結(jié)果顯示在LCD顯示屏幕上，見圖4。

根據(jù)表1部分誤差點(diǎn)數(shù)據(jù)顯示，預(yù)測(cè)值與實(shí)際值之間存在誤差，誤差較大的點(diǎn)主要集中在sin x函數(shù)的極點(diǎn)附近。由于使用float數(shù)據(jù)類型，只能保留7位有效數(shù)字，訓(xùn)練時(shí)最高精確到小數(shù)點(diǎn)后6位，所以預(yù)測(cè)結(jié)果存在誤差。經(jīng)過多次實(shí)驗(yàn)得出，提高訓(xùn)練次數(shù)，可降低誤差[12]。

4? 結(jié)? 論

本文對(duì)于如何在Cortex?M系列微控制芯片上搭建LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行了介紹，并且以搭載Cortex?M7處理器的STM32F767IGT6芯片為例，實(shí)現(xiàn)了對(duì)于時(shí)間序列sin x函數(shù)的預(yù)測(cè)，預(yù)測(cè)的sin x函數(shù)與實(shí)際的sin x函數(shù)重合，由于使用的數(shù)據(jù)類型為float，有效數(shù)字最多為7位，最高精確到小數(shù)點(diǎn)后6位，實(shí)驗(yàn)時(shí)存在誤差，可以提高訓(xùn)練次數(shù)，盡可能減小誤差，但誤差不可完全消除。