AI/ML時代嵌入式工程師職業規劃

印寧華|Indining China|

2024-10-11 15:52:47 1007

今年的“理化生三諾獎” 都與復雜系統相關，而當今處理復雜系統最有效的方法和理論之一就是神經網絡類機器學習基礎上的深度學習，所以在Hassabis和Hinton這兩個AI方面的專家獲得化學和物理諾獎確實出人意外的同時，也展現了多類融合發展的必然性。

都說在MCU上跑AI會成為常態，不過實話講，很多工程師在實際工作中部署AI的場景還沒那么多，而且畢竟再學一門技術，又會增加很多時間成本。

不過，隨著全行業AI化行動加深，MCU廠商接連推出自己的AI工具，并且在開發上手難度和使用便捷性進行了優化。尤其在最近一段時間，不斷炫技，可謂是徹底拼了。

eIQ機器學習軟件于2018年推出，經過不斷發展，可支持系統級應用和機器學習算法實現。這個軟件工具集的特點是專業人士和非專業人士都很方便使用，抱著玩一玩的心態也可以跑起來應用。用官方的話說就是實現“機器學習人人可用”。

eIQ包括eIQ Portal、eIQ Model Tool、eIQ Command-line Tools三個重要組件，分別可以概括為開發圖像分類或是目標檢測任務、*模型查看器、命令行工具。

整體開發流程方面，既可以只提供數據集然后借助eIQ工具箱完成從模型訓練到模型部署，又可以提供已經訓練好的模型，然后借助eIQ工具箱對其進行轉換/量化以及部署工作。最后，調用eIQ inference engines對所生成的模型進行推理，得到最終的預測值。

今年3月，NXP與NVIDIA達成合作，將NVIDIA TAO API直接集成到恩智浦的eIQ機器學習開發環境中。NVIDIA TAO低代碼人工智能框架通過遷移學習，讓開發人員能夠更輕松地利用經過訓練的人工智能模型，并針對特定用途對模型進行微調和優化。換句話說，開發人工智能只在這一個平臺上就可以了。

AI并不只是大語言那么高不可攀的應用，AI已經無處不在。這是今天下午NXP發布會上看到的最常見的一些AI/ML應用，他們已經發生。在分享的同時，我也試著梳理下，在這種AI/ML everywhere的時代，嵌入式工程師又該怎么把握機遇，不被甩下車？

電動工具中的電機的AI——自動停止

在電動工具行業中將AI/ML技術與電機控制結合應用的案例。通過使用MCU和AI技術，可以更智能地控制工具并增加安全功能，如自動停機。
AI/ML + Motor Control to Enable Power Tools

AI/ML + 電機控制：NXP的MCX N系列微控制器集成了AI/ML功能，用于電動工具應用中。
eIQ工具包：為用戶提供數據集訓練和驗證的效率，使用戶能夠輕松構建屬于自己的AI/ML模型。
芯片解決方案：一個芯片既可以實現AI/ML啟用的自動停止功能，也能執行電機控制。

將MCU用于能源領域，尤其是逆變器和能源存儲系統中，增強檢測能力并通過邊緣計算進行智能化控制。
Power Conversion to Enable Inverter & Energy Storage System (ESS)

電力轉換：使能逆變器和能源存儲系統，突出使用電弧故障斷路器（AFCI）作為區分特性。
MCX N微控制器：提供邊緣處理能力，用于檢測和保護。
MCX W微控制器：通過藍牙將逆變器/ESS設備的結果傳輸到主機中心或網關。
系統解決方案：NXP提供了包括硬件參考設計、軟件包和eIQ機器學習工具包在內的系統解決方案。

AI/ML技術在醫療設備中的應用，通過檢測鼾聲來幫助治療呼吸睡眠障礙。
AI/ML Sound Detection to Enable Healthcare

AI/ML聲音檢測：用于醫療保健，特別是檢測鼾聲以優化CPAP（持續氣道正壓）設備的效果。
i.MX RT交叉微控制器：提供AI/ML聲音頻譜計算，推理時間低至6毫秒。
CPAP中的一體化芯片解決方案：包括控制、顯示和AI/ML算法。

AI/ML技術如何用于智能工廠中的缺陷檢測，以提高制造業的智能化水平。
AI/ML Vision Detection to Enable Smart Factories

AI/ML視覺檢測：用于智能工廠中的缺陷檢測，以提高效率、準確性和靈活性。
i.MX系列處理器：在邊緣設備上實現高性能CNN視覺算法推理。
NXP WiFi產品：提供低延遲以便將制造結果通知到控制中心。
支持大量市場客戶：通過廣泛的第三方支持和EBS生態系統，加速客戶的評估和采納。

如何通過大語言模型和智能邊緣計算來增強智能家居的用戶體驗，允許用戶自然語言控制家居設備。
AI/ML Large Language Models to Enable Smart Home User Experiences

大語言模型（LLM）：為智能家居用戶帶來更高質量的用戶體驗。終端用戶可以使用自然語言與家居設備交互。
i.MX 95應用處理器：為邊緣AI計算提供強大的能力。
NXP系統解決方案：提供包括連接、安全、AI計算和軟件支持的完整智能家居解決方案。

---
AI/ML無處不在的時代，嵌入式工程師需要不斷適應和提升自己，以充分利用這項技術趨勢。
埋頭敲代碼，忙于搬磚的同時，也應該思考下，自己的學習方向

1. 學習基礎AI/ML知識

學習基礎的機器學習概念，例如分類、回歸、聚類、神經網絡等。
熟悉常見的機器學習算法（例如決策樹、隨機森林、SVM和神經網絡等），理解它們的應用場景。

2. 掌握嵌入式AI框架和工具

學習如何在嵌入式系統上運行AI模型。例如，NVIDIA Jetson平臺、ARM的Cortex-M微控制器系列、Google的TensorFlow Lite等工具和框架可以在嵌入式環境中執行AI模型。
了解TinyML（用于資源受限設備的AI/ML）及其相關工具，如TensorFlow Lite for Microcontrollers、Edge Impulse等。

3. 理解硬件加速器和處理器架構