中圖分類號：G434文獻標識碼：A論文編號：1674-2117（2025）13—0027-04

雖然神經(jīng)網(wǎng)絡的訓練需要大量算力，但神經(jīng)網(wǎng)絡訓練獲得的推理模型往往可以部署到資源受限的設備上，TinyML（TinyMachineLearning，即輕量化機器學習）作為這一理念的杰出代表，在基礎教育場景中展現(xiàn)出了較為重要的意義：基于TinyML的系統(tǒng)能夠以小型開源的電子開發(fā)板為硬件載體，以較低成本實現(xiàn)多樣化的智能互動，使得機器學習模型以更靈活的方式進入課堂，以TinyML形式部署的系統(tǒng)能夠讓優(yōu)質教育資源以低成本形式惠及偏遠地區(qū)，縮小城鄉(xiāng)、區(qū)域間的教育資源差距；基于TinyML的系統(tǒng)可能成為學習者在實踐中初步體驗微控制器編程、嵌入式系統(tǒng)開發(fā)和人工智能相結合的平臺，促進了跨學科素養(yǎng)的培養(yǎng)，通過融合計算機科學、電子工程、數(shù)學等多領域知識，激發(fā)學生的創(chuàng)新思維與綜合應用能力。值得一提的是，TinyML在實現(xiàn)這些教育價值的同時，還具有顯著的低碳環(huán)保效益，基于神經(jīng)網(wǎng)絡的人工智能模型的訓練和運行需消耗較多能源，產(chǎn)生較高的碳排放，而TinyML可以將模型部署在資源受限的低功率邊緣設備上，其耗電量相比傳統(tǒng)設備大幅降低，并且，TinyML本地數(shù)據(jù)處理方式無需將數(shù)據(jù)發(fā)送到服務器，減少了數(shù)據(jù)傳輸過程及服務器處理過程中的能耗與碳排放。

然而就當前情況而言，對于一般的與人工智能相關的教學實驗的組織來說，TinyML的部署仍然有較多困難，其中，軟、硬件環(huán)境兼容以及模型格式轉換等技術問題較為突出。不同的硬件平臺和軟件框架之間可能存在兼容性問題，導致模型無法正確運行或性能下降。同時，將訓練好的模型轉換為適用于邊緣設備的特定結構，也常常需要專門的技術、工具及特殊的流程。

神經(jīng)網(wǎng)絡的輕量化對TinyML至關重要，它使模型能在資源受限設備上高效運行，滿足低花分類機。這個分類機接受鳶尾花的花萼的長度和寬度、花瓣的長度和寬度這四個特征數(shù)據(jù)，并給出鳶尾花種類的結果。用于訓練的數(shù)據(jù)即知名的鳶尾花數(shù)據(jù)集。下面給出具體的構造過程。

神經(jīng)網(wǎng)絡的搭建、訓練和測試

在該神經(jīng)網(wǎng)絡訓練完成后，可以得到推理模型的數(shù)據(jù)，一般來說，為了能夠讓模型運行在其他設備上（如樹莓派、行空板等嵌入式設備），需要將推理模型轉換為ONNX格式的推理引擎。但也有更多小型邊緣設備不能直接運行ONNX格式的推理引擎，這時，就需要將推理模型轉換為更純粹的不依賴于特定庫的代碼。雖然目前已有較多此類轉換工具，但在使用上仍然有較高難度，本文推薦一種較為簡單的方法，就是首先生成推理模型的權重和偏置數(shù)據(jù)列表，然后要求生成式人工智能不依賴神經(jīng)網(wǎng)絡相關的庫，基于權重和偏置列表中的數(shù)據(jù)來生成一個推理程序。

功耗、快速響應等需求。常見的將神經(jīng)網(wǎng)絡輕量化的方法有剪枝、量化、知識蒸餾等，簡單來說，剪枝通過去除不必要或冗余的神經(jīng)元連接來控制模型大小和計算量，量化用較低比特數(shù)表示數(shù)據(jù)，知識蒸餾將復雜模型的知識傳遞給輕量模型。筆者將目光主要聚焦于較容易實現(xiàn)的量化的方法，已有實驗證明，即便用低至8位的數(shù)據(jù)進行神經(jīng)網(wǎng)絡訓練，也能達到較好的效果2，但要對常用的開源神經(jīng)網(wǎng)絡框架的訓練數(shù)據(jù)進行位數(shù)的設定，存在一定的技術門檻，由于將訓練后得到的較高精度的數(shù)據(jù)進行量化，操作相對簡單，也能夠使得推理模型達到較好表現(xiàn)，所以本文給出一種構造可在低功率邊緣設備上運行神經(jīng)網(wǎng)絡推理模型的過程，考慮到作為入門案例的簡便性，初步目標是構造一個移動的、不需要連接網(wǎng)絡就能運行的基于神經(jīng)網(wǎng)絡的鳶尾

可以借助常用的神經(jīng)網(wǎng)絡框架，快速構造神經(jīng)網(wǎng)絡，對于簡單的分類問題，如鳶尾花分類，搭建三層的全連接網(wǎng)絡即可。相關代碼可借助生成式人工智能生成，如告知其需要生成的神經(jīng)網(wǎng)絡有4個輸入神經(jīng)元、20個隱藏層神經(jīng)元、3個輸出神經(jīng)元，并使用ReLU激活函數(shù)來降低計算負擔。生成式人工智能有非常大的概率能夠快速產(chǎn)生出可正常運行的神經(jīng)網(wǎng)絡搭建、訓練和測試的代碼。圖1顯示的是一種基于TensorFlow框架的神經(jīng)網(wǎng)絡結構。

圖2顯示了一種鳶尾花分類推理模型的權重和偏置數(shù)據(jù)列表，其中有四組列表，分別是：第1層神經(jīng)元（也即輸入層神經(jīng)元）的輸出權重、第1層神經(jīng)元的偏置值（也可以看成是第2層神經(jīng)元的激活閾值）、第2層神經(jīng)元（也即隱藏層神經(jīng)元）的輸出權重、第2層神經(jīng)元的偏置值（也可以看成是第3層神經(jīng)元，也即輸出層的激活閾值）。圖2顯示了這四個列表的結構，當然，列表中的數(shù)據(jù)的具體值對讀者來說并非是重要的，因為每一次訓練得到的數(shù)據(jù)都有可能不同。

假設最終的目標是生成可以在MicroPython上運行的推理模型，則必須要求生成式人工智能在生成代碼時，放棄諸多人工智能及統(tǒng)計方面的庫，而要將庫函數(shù)的功能轉換為更純的代碼（考慮到MicroPython內置了math庫，所以允許生成式人工智能使用這個庫）。圖3是某生成式人工智能工具生成的推理代碼（限于篇幅，沒有顯示全部的權重和偏置數(shù)據(jù)），可以看出，實現(xiàn)一個全連接的神經(jīng)網(wǎng)絡推理，代碼還是相當簡單的（盡管如此，經(jīng)實際測試發(fā)現(xiàn)，為了讓某些生成式人工智能工具了解使用者的意圖，仍然需要較細致地描述根據(jù)權重和偏置數(shù)據(jù)進行推理預測的過程，否則就可能生成無法得到正確結果的代碼，對此，教師可在教學中預先提供關鍵的推理代碼，相信隨著人工智能技術的進一步提升，不久以后這些就不再會成為阻礙）。

輕量級神經(jīng)網(wǎng)絡推理模型的量化

到現(xiàn)在為止，這個鳶尾花分類推理模型已經(jīng)能夠在很多支持MicroPython的邊緣設備上運行了，然而，還需要考慮到條件更為嚴苛一些的情況，如邊緣設備的硬件的計算能力更弱，或者需要構建某個解決更為復雜問題的包含更多神經(jīng)元的推理模型。所以，有必要測試一下對權重和偏置數(shù)據(jù)進行量化后，推理模型的表現(xiàn)。假設對所有數(shù)據(jù)四舍五入僅保留2位小數(shù)（如圖4），這樣就使得這個推理模型能夠在單精度的硬件設備上運行，經(jīng)測試發(fā)現(xiàn)，推理成功率仍然保持在驚人的 90% 以上。

某些設備可能并不默認支持浮點數(shù)，如低成本的FPGA芯片，這時候，也可以將數(shù)據(jù)由浮點數(shù)量化

將上述輕量級神經(jīng)網(wǎng)絡模型部署到邊緣設備上，除了需要考慮設備的資源限制（如內存和處理能力），還需要考慮另外一些關鍵要素，如應用場景、用戶輸入輸出界面的設置、軟件開發(fā)環(huán)境的限制等。

雖然說，電子開發(fā)板可以借助物聯(lián)網(wǎng)接口或串口傳輸數(shù)據(jù)，但在支持物聯(lián)網(wǎng)或串口傳輸數(shù)據(jù)的環(huán)境中，邊緣設備自行進行推理運算的真實性和必要性反而被削弱了，人們有時候希望邊緣設備具有不依賴外部設備的自主的實時響應和智能決策能力，如長期的無人的自然環(huán)境監(jiān)測設備、有一定醫(yī)療保健用途的可穿戴設備、惡劣電磁環(huán)境中的自動化機械等。另外還需要考慮到，邊緣設備實現(xiàn)人工智能應用，其數(shù)據(jù)處理能力是有限的，因此對人工智能的初學者來說，實現(xiàn)類似于可識別幾種特定聲音的簡單語音助手、用多個光敏傳感器來分辨簡單圖案的智能小車，或者鳶尾花分類這樣的玩具型任務，都是較容易開展落實的項目。

邊緣設備的輸入輸出界面通常是有限的，所以需要通過精巧的布局來充分利用電子開發(fā)板板載操作界面。以圖6所示的掌控板為例，筆者用觸摸鍵P來更換鳶尾特征，按鈕A用于特征數(shù)值增加，按鈕B用于特征數(shù)值減少，觸摸鍵T用于觸發(fā)推理過程并顯示推理結果。由于顯示屏幕有限，將輸入和顯示的數(shù)據(jù)均以整數(shù)的形式顯示。

考慮到相當多的初學者更習慣于圖形化積木式的編程環(huán)境，可以先按積木式的方式搭建用戶操作和顯示計算結果的框架，預留出進行推理的函數(shù)接口，然后將積木式的代碼轉換成MicroPython代碼，并將封裝好的推理代碼粘貼到相應函數(shù)中即可。

結語

在實際教學中，教師可以靈活地運用以上輕量級的神經(jīng)網(wǎng)絡推理模型的構造過程，既可以將最終成果作為交互體驗的教具，也可以設置框架，讓學習者經(jīng)歷構造這個裝置中的某幾個關鍵過程，或者將這個構造過程作為某個自主的研究性學習的參考資料，學習者可在此基礎上進行修改和擴充，構造出自己特有的人工智能應用。

參考文獻：

[1]高楊，曹杰，段鵬松.神經(jīng)網(wǎng)絡模型輕量化方法綜述[J].計算機科學，2024，51（S01）.11-21. [2JWangNChrandDetaTningeuraletwoksithitatigintmberJarxiv

[3]TimDettmers.8BitAppoximationsforParalelsminDeepLeaming[J].arxiv：151104561，2015.e