作者：彭昭（智次方創(chuàng)始人、云和資本聯(lián)合創(chuàng)始合伙人）物聯(lián)網智庫 原創(chuàng)

這是我的第351篇專欄文章。

在11月舉辦的2025年AIoT產業(yè)年會上，一個引人深思的話題激發(fā)了業(yè)界的討論，《端側小模型們的春天來到了嗎？》。

隨著端側AI技術的日益成熟和市場需求的不斷釋放，業(yè)界對端側小模型的進展高度關注，與此同時，AIoT芯片的進步也備受矚目。

傳統(tǒng)上，芯片制造商始終將卓越的計算性能視為首要追求。然而，AIoT應用的多樣化需求對芯片提出了更高的要求：在計算能力、內存、延遲和能效之間實現微妙平衡，以滿足特定領域的差異化需求。

與此同時，我們看到小型、特定于應用場景的語言模型正在興起。相比大型語言模型，這些小模型所需的計算資源更加經濟高效，由此推動了端側AI和AIoT芯片的蓬勃發(fā)展。

然而，讓生成式AI在端側“跑”起來絕非易事。這不僅需要對大模型進行“瘦身”優(yōu)化，更需要在硬件的功耗和算力上取得突破性進展。

在本文中，我們將重點剖析端側AI的最新進展，探索AIoT芯片的創(chuàng)新應用場景，并聚焦新興芯片供應商的前沿布局和技術探索。

端側AI的進化之路：從感知到理解再到創(chuàng)造

“端側AI”是指AI可以直接在移動設備上處理數據，無需連接到服務器或云端，能夠在用戶設備本地完成復雜的推理和決策。端側AI在對硬件提出更高要求的同時，也對其算力、能效以及軟硬件協(xié)同等方面提出了新的挑戰(zhàn)。為了滿足端側AI的需求，AIoT芯片的能力日益增長。AIoT芯片是一種集成了人工智能和物聯(lián)網技術的系統(tǒng)級芯片，旨在實現智能化設備的連接、控制和數據處理。

需要說明的是，本文所界定的“端側”并不包括手機和電腦，而是特指物聯(lián)網終端設備，如網關、攝像頭、眼鏡、耳機、手表、車載終端、機器人等。

即使設備未連接到網絡，端側AI也可以隨時使用。要充分實現這一技術，嵌入式神經網絡處理單元NPU的性能至關重要。研究機構Counter Points預測，未來AIoT模塊的計算能力將實現指數級的大幅增長，7年內配備NPU的模塊數量將達到目前的31倍。

然而，實現端側AI并非易事。絲滑的AI體驗通常需要搭配強大的計算能力，而設備上或邊緣處理需要實時處理數據，并需要低功耗和高性能芯片，這增加了專用AIoT芯片開發(fā)的復雜性。

在文章《從LLM大模型到SLM小模型再到TinyML，這個領域有望增長31倍并催生新的商業(yè)模式》中，我曾介紹過在人工智能的世界里，終端、邊緣和云端扮演著截然不同的角色。它們在形態(tài)、功能和應用場景上的差異如此之大，以至于可以將其視為完全不同的實體。

端側AI經歷了一段輾轉的旅程，從判別式AI、增強式AI的領域，現在又來到了具有突破性的生成式AI前沿。每一步都讓我們更接近未來，智能系統(tǒng)將無縫融入我們的日常生活，為我們帶來不僅有感知，還有掌上創(chuàng)造的沉浸式體驗。

從信息論的角度來看，這三種范式可以看作是對源熵的不同影響。判別性AI旨在降低熵，增強性AI或多或少地保持熵值不變，而生成性AI則會造成熵增。

獲得感知：判別式AI

判別式AI主要關注區(qū)分不同類別或結果的能力。它通過學習輸入數據的特征和模式，判斷這些數據屬于哪個預定義的類別。例如，在圖像分類任務中，判別式AI能夠識別出圖片中的物體是貓還是狗。

增強感知：增強型AI

通過對場景物理性質的語義理解，神經網絡可以用來增強圖像的視覺質量，獲得更令人滿意的結果，并進一步增強感知和分析能力。我們觀察到一個緩慢但穩(wěn)定的轉變，從經典的視覺相關功能到人工智能驅動的視頻增強功能，從低光性能到高動態(tài)范圍、數字變焦、局部色調映射等。

超越感知：生成式AI

真正的范式轉變是隨著生成式人工智能的興起而發(fā)生的。受自然語言理解的進步及其對任何數據模式的采用的啟發(fā)，創(chuàng)建與現實難以區(qū)分的新內容、圖像和視頻的能力，在不到一年的時間內成功地改變了各個行業(yè)。生成式AI致力于學習數據的生成過程，并生成與訓練數據相似的新數據樣本。這些新數據在統(tǒng)計上與原始數據具有相似的特征，但又是全新的、獨立的。

受到端側功耗和算力的限制，端側AI又呈現出了不同的形態(tài)：

小型語言模型（SLM）

SLM指的是那些參數量低于100億的輕量級神經網絡模型。與大型模型相比，SLM以更少的參數和計算資源實現自然語言處理。此外，SLM通常是面向特定任務、應用或用例量身定制的。

微型機器學習（TinyML）

TinyML是一種優(yōu)化機器學習模型的技術，使其能夠在資源受限的設備（如微控制器）上高效運行。這些模型通常體積小巧、運算高效，能夠勝任語音識別和傳感器數據分析等任務。

AIoT芯片：功耗、性能與尺寸的平衡

端側設備將成為未來智能時代的重要錨點，其形態(tài)豐富多樣，包括攝像頭、智能眼鏡、耳機、手表、車載設備，以及未來的元宇宙和機器人等。

與專注于云AI的芯片市場相比，AIoT芯片市場更加分散，以滿足AIoT應用的多樣化需求。在設計集成數十億個晶體管的芯片時，AIoT芯片制造商面臨著巨大的壓力，需要在功耗、性能和尺寸之間取得微妙的平衡。

不同邊緣或終端中的芯片性能要求可能存在很大差異。例如，自動駕駛汽車需要更高的性能，并能承受更高的圖像處理功耗；而智能攝像頭處理器可能需要更低成本、更節(jié)能的芯片組。環(huán)境因素也在影響著端側AI和AIoT芯片市場，研究重點是實現高計算性能、低延遲和最低能耗。

人工智能應用中GPU的高功耗問題促使研究人員開發(fā)新型芯片架構，為端側AI的廣泛應用鋪平道路。很多新型AIoT芯片的研發(fā)仍在路上。

比如去年弗勞恩霍夫光子微系統(tǒng)研究所IPMS與羅伯特·博世有限公司、坎普爾印度理工學院和慕尼黑工業(yè)大學合作開發(fā)了一種針對AIoT應用優(yōu)化的芯片設計，該設計使用鐵電場效應晶體管（FeFET），無需電源即可存儲數據，可提供高達885 TOPS/W的性能，而一般AI芯片的這一數值為10到20 TOPS/W。

這種創(chuàng)新的芯片架構有望大大降低AI運行的能耗。新芯片采用FeFET單元，執(zhí)行相同數量的操作所需的能量比傳統(tǒng)設計少44倍。

此類芯片瞄準端側AI的一系列用途，將AI部署在數據收集點：物聯(lián)網設備、傳感器和自動駕駛汽車中。新芯片的另一個關鍵優(yōu)勢是能夠同時在晶體管中存儲和處理數據，大大減少了數據處理和內存之間的瓶頸。

接下來，我們探討端側AI的主要應用場景和市場空間。首當其沖的場景是圖像處理和分析，到2033年此類場景中的AIoT設備數量將接近40億臺，主要涵蓋游戲機、智能眼鏡、車載終端、安全攝像頭、便攜式攝像機等。

此外，聊天機器人功能和自然語言處理的需求也不容忽視。智能音箱、耳機、智能手表等設備占據主導地位，并可擴展至車載主機和電視等領域。預計到2033年，約有五分之一的物聯(lián)網設備具有原生語音需求，這一領域將擁有14億連接，帶來800億美元的收入，約占所有物聯(lián)網連接收入的22%。

從設備形態(tài)上看，隨著智能眼鏡產品的密集發(fā)布，即將開啟的“百鏡大戰(zhàn)”，有可能成為AIoT芯片的重要試煉場之一。

10家值得關注的AIoT芯片新秀

由于端側AI應用具有明確的場景，優(yōu)先考慮成本優(yōu)化、功耗和處理能力，為新的市場參與者提供了大量的機會和創(chuàng)新空間。因此，AIoT芯片組的動態(tài)市場中涌現出許多新玩家，他們通過提供多種增值功能來差異化競爭。

以下篩選了10家值得關注的海外AIoT芯片新興供應商。

1. AonDevices是一家無晶圓廠半導體公司，專門從事超低功耗下提供高精度的應用程序特定型邊緣AI處理器。公司總部位于加利福尼亞州爾灣。AonDevices提供的芯片組主要側重于自然語言處理、語音認證、聊天機器人和數字助理。該公司發(fā)布的AON1100是一款超低功耗、多模態(tài)解決方案，能夠使用單個麥克風，極其準確地同時識別多個語音命令和聲音事件，例如嬰兒哭泣或汽車逆火，AON1100還同時檢測步行或跌倒等特定運動模式。

2.?Axelera總部位于荷蘭埃因霍溫，其AIPU芯片采用了開源的RISC-V指令集架構（ISA）。RISC-V作為一種低成本、高效且靈活的ISA，允許根據特定的應用需求進行定制，這為Axelera提供了極大的設計自由度和創(chuàng)新空間。

3.?BrainChip是一家澳大利亞的技術公司，專注于研究和開發(fā)神經網絡處理單元NPU和其他高級機器學習解決方案。該公司的旗艦產品是Akida，這是一款可以在物聯(lián)網設備、汽車和工業(yè)應用中應用的離散神經網絡處理單元。

4.?Hailo Technologies是一家以色列公司，擁有豐富的邊緣AI處理器產品組合，可用于各種AI用例，例如對象檢測、在邊緣設備上運行LLM和語義分割。該公司提供用于視頻和圖像處理的Hailo-15系列AI視覺處理器、用于邊緣設備以運行深度學習應用程序的Hailo-8AI加速器以及用于運行LLM的生成式AI加速器。

5. Innatera總部位于荷蘭，推出了一款基于SNN的神經擬態(tài)加速器，主要用于語音識別、生命體征監(jiān)測和雷達等。

6. Mythic總部位于美國德克薩斯州，是一家專注于邊緣AI和AIoT的節(jié)能芯片供應商，采用單芯片模擬計算內存架構，無需DRAM。Mythic開發(fā)了統(tǒng)一的軟硬件平臺，以其獨特的模擬計算引擎Mythic ACE為特色，具備高功率、低成本和優(yōu)良的性能參數，打破了阻礙人工智能創(chuàng)新的數字障礙。Mythic模擬矩陣處理器Mythic AMP也使人工智能解決方案的部署變得更加經濟便捷。

7. Perceive于2024年8月被亞馬遜收購，是一家邊緣AI和AIoT處理芯片提供商，專注于LLM的邊緣處理。該公司提供低功耗邊緣處理芯片，專為各種應用而設計，包括聯(lián)網攝像頭和家電。該公司最新一代邊緣AI芯片Ergo2的占用空間為7mm x 7mm，不需要外部DRAM。公司稱，該芯片可以在30 FPS的視頻源上運行推理，功耗僅為17 mW。

8. SiMa.ai總部位于加利福尼亞州圣何塞，是嵌入式機器學習系統(tǒng)芯片SoC的提供商，允許客戶在單個芯片上執(zhí)行整個應用程序。該公司的目標是優(yōu)先考慮低功耗的AIoT用例，具體范圍在5W-25W之間。據SiMa稱，其芯片可以作為涵蓋計算機視覺和多模態(tài)生成AI的AI應用的單邊緣平臺。

9. Syntiant總部位于美國加利福尼亞州，是一家為邊緣AI和AIoT應用提供低功耗處理器的供應商，截至2022年3月，該公司已出貨超過2000萬片邊緣AI芯片。公司專注于安全等行業(yè)使用的聲學事件檢測和視頻處理，以最小的延遲提供實時數據處理。

10. Untether AI總部位于加拿大多倫多，芯片名為240 Slim，也是基于RISC-V架構，性能出色但能耗卻低得多，適合在自動駕駛汽車、自動農業(yè)設備和一些數據中心內使用。梅賽德斯-奔馳表示，正在與Untether合作開發(fā)其下一代自動駕駛汽車。

寫在最后

隨著人工智能技術的不斷進步，端側AI和AIoT芯片的發(fā)展正迎來一個全新的時代。

這場革命不僅僅是關于更強大的計算能力，更是關于如何在功耗、性能和尺寸之間取得完美平衡，以滿足不同應用場景的特定需求。

從判別式AI到增強式AI，再到生成式AI，端側智能正在經歷一場從感知到理解，再到創(chuàng)造的蛻變。在這個過程中，小型語言模型和微型機器學習等新興技術正在崛起，推動著AIoT芯片的創(chuàng)新浪潮。無論是自動駕駛汽車、智能眼鏡、智能攝像頭，還是未來的元宇宙和機器人，AIoT芯片都將扮演著至關重要的角色。

參考資料：
IoT: new energy-efficient chips could expand the scope of artificial intelligence in edge computing，來源：Orange
The Evolution of AI on the Edge: From Perception to Creation，來源：Hailo
AIoT Chipsets: enhancing the connected devices ecosystem，來源：Transforma Insights