憑借其獨(dú)特的at-memory計(jì)算架構(gòu)，Untether AI希望引領(lǐng)通用AI推理加速器市場(chǎng)。這家初創(chuàng)公司能否取代主導(dǎo)AI訓(xùn)練領(lǐng)域、并將觸角伸向AI推理領(lǐng)域的領(lǐng)先CPU和GPU供應(yīng)商？這些令人印象深刻的展示足以讓這家公司成功嗎？

Untether AI是一家總部位于多倫多的AI芯片初創(chuàng)公司，上周在Hot Chips 2022上發(fā)布了其最新的通用AI推理加速器，名為speedAI，基于該公司的“at-memory”計(jì)算架構(gòu)。

SpeedAI旨在解決AI計(jì)算工作量的爆炸性增長(zhǎng)，以及在廣泛的AI推理應(yīng)用中對(duì)更高精度、更低延遲、更靈活和更優(yōu)能效日益增長(zhǎng)的需求。

Untether AI專注于推理應(yīng)用，正試圖模仿Nvidia在AI訓(xùn)練方面的成功。

AI處理分為兩個(gè)階段。在訓(xùn)練階段，開發(fā)人員向他們的模型提供一個(gè)經(jīng)過(guò)策劃的數(shù)據(jù)集，這樣它就可以“學(xué)習(xí)”它將分析的數(shù)據(jù)類型所需的一切。然后，在推理階段，模型可以根據(jù)實(shí)時(shí)數(shù)據(jù)進(jìn)行預(yù)測(cè)，產(chǎn)生可操作的結(jié)果。后者正是Untether AI所追求的細(xì)分市場(chǎng)。

Untether AI的目標(biāo)是否過(guò)于雄心勃勃？也許。但基于其芯片前所未有的30 TFLOPS/W和2 PFLOPS的性能，Untether AI相信它有機(jī)會(huì)。該公司聲稱其最新的推理加速器“為能效和計(jì)算密度設(shè)定了新的標(biāo)準(zhǔn)”。

Yole Intelligence計(jì)算和軟件技術(shù)和市場(chǎng)分析師Adrien Sanchez稱speedAI的30FLOPS/W“令人印象深刻”。他補(bǔ)充說(shuō)，這擊敗了Nvidia的A100，并與Nvidia的Hopper設(shè)備相媲美。Sanchez說(shuō)：“誠(chéng)然，將為訓(xùn)練量身定制的硬件與以推理為重點(diǎn)的硬件進(jìn)行比較是完全不同的，但這仍然令人印象深刻。”AI推理市場(chǎng)涵蓋了從自動(dòng)駕駛汽車到智能城市/零售、自然語(yǔ)言處理和科學(xué)應(yīng)用等方方面面。

處在十字路口的AI推理

在當(dāng)今的通用AI處理器市場(chǎng)，Nvidia無(wú)疑是訓(xùn)練領(lǐng)域的王者。盡管Nvidia的高功耗解決方案不太適合AI推理應(yīng)用，但在現(xiàn)實(shí)中，許多Nvidia客戶最終也會(huì)使用Nvidia基于GPU的解決方案來(lái)滿足他們的推理需求。

然而，AI推理市場(chǎng)正處于十字路口。許多用戶很難在AI推理引擎中找到能效和靈活性之間的折中方案。

一方面，有廣泛使用的基于CPU和GPU的解決方案。另一方面，許多推理處理器通常專門作為視覺(jué)處理器。Untether AI公司產(chǎn)品副總裁Bob Beachler表示，Mobileye和Ambarella等公司“可以在它們的SoC上實(shí)現(xiàn)一些AI功能，其中一些已經(jīng)成功實(shí)現(xiàn)了量產(chǎn)。”

在目前碎片化的AI推理市場(chǎng)中，缺少一種能夠處理各種應(yīng)用中AI工作負(fù)載的推理引擎。

TechInsights的首席分析Linley Gwennap認(rèn)為，“考慮到神經(jīng)網(wǎng)絡(luò)的多樣性和變化”，即使是用于推理，最佳解決方案仍是通用AI處理器。另一種選擇是“一種更具體的處理器，例如，只在卷積網(wǎng)絡(luò)上工作”。

Gwennap說(shuō)：“GPU更加通用，這就是為什么它如此普遍的原因。”Untether AI（在speedAI）增加了更多的靈活性，以滿足AI推理應(yīng)用的這些更廣泛的需求。

可擴(kuò)展的產(chǎn)品系列Beachler表示，Untether AI將把speedAI變成一個(gè)可擴(kuò)展的系列。上周發(fā)布的SpeedAI 240被是最大的設(shè)備，而一些列的縮小版（在不同的功率節(jié)點(diǎn)上有更少的memory bank）正在開發(fā)中。這些加速器的功率范圍從10W到5W甚至是亞瓦，Beachler說(shuō)，因此“我們的芯片可以成為任何嵌入式SoC的協(xié)處理器，這取決于你可能需要多少AI計(jì)算。”

SpeedAI 240計(jì)劃在2023年初出樣。按比例縮小的推理加速器計(jì)劃在明年晚些時(shí)候推出。

At-memory計(jì)算

Untether AI之所以出名，是因?yàn)樗约喊l(fā)明了一種“at-memory”計(jì)算架構(gòu)。

這家初創(chuàng)公司設(shè)計(jì)了at-memory計(jì)算，將其AI推理加速器從CPU和GPU馮·諾伊曼架構(gòu)固有的低能效中解放出來(lái)。這是因?yàn)樵隈T·諾伊曼架構(gòu)下，數(shù)據(jù)從DRAM傳輸?shù)奖镜鼐彺妫缓筮M(jìn)入處理元素的距離要遠(yuǎn)得多。

Untether AI的at-memory方案在數(shù)據(jù)駐留的地方處理，專用SRAM使用短而寬的總線。這種memory bank架構(gòu)允許AI計(jì)算所需的效率和帶寬，同時(shí)支持計(jì)算的大規(guī)模并行直接連接。

Untether AI使用At-Memory Computation進(jìn)行AI加速。

這并不是UntetherAI的at-memory計(jì)算架構(gòu)的第一次展示。該公司首先通過(guò)其最初的AI推理加速器runAI展示了其方法的優(yōu)勢(shì)。runAI于2020年秋季宣布將于本季度投產(chǎn)。

對(duì)于新的speedAI架構(gòu)，Untether AI在能效、準(zhǔn)確性和吞吐量方面增加了許多改進(jìn)。它們包括第二代at-memory計(jì)算架構(gòu)，超過(guò)1400個(gè)經(jīng)過(guò)優(yōu)化的RISC-V處理器與定制指令，并采用浮點(diǎn)數(shù)據(jù)類型FP8，用于增強(qiáng)推理加速。這些指標(biāo)標(biāo)志著runAI的原始性能（Integer數(shù)據(jù)類型為8個(gè)TOPS/W）提高到30TFLOPS/W（浮點(diǎn)計(jì)算）。

near-memory/馮·諾伊曼架構(gòu)帶來(lái)的吞吐量和能效不足等局限性是眾所周知的。像Mythics這樣的芯片設(shè)計(jì)公司一直在推廣所謂的“in-memory計(jì)算”。

然而，at-memory計(jì)算是不同的。Beachler：“人們?cè)噲D用內(nèi)存單元來(lái)做乘積。”他解釋說(shuō)，問(wèn)題是“你試圖使用模擬技術(shù)，這導(dǎo)致了模擬效應(yīng)，意味著你需要在它周圍安裝很多補(bǔ)償電路。”他補(bǔ)充說(shuō)，額外的電路并不能使in-memory計(jì)算設(shè)備更高效。

相比之下，在Untether AI，“我們將處理元素直接附加到標(biāo)準(zhǔn)SRAM單元上。”SpeedAI是數(shù)字化的，采用了TSMC 7nm CMOS技術(shù)。Beachler補(bǔ)充道：“我們圍繞SRAM做所有的事情，最大限度地降低功耗。我們不做緩存，每個(gè)算術(shù)邏輯單元都有自己的內(nèi)存。”

RISC-V處理器

Untether AI第二代at-memory計(jì)算架構(gòu)的獨(dú)特之處在于使用了RISC-V處理器。

兩年半前，當(dāng)Beachler加入U(xiǎn)ntether AI時(shí)，他曾問(wèn)團(tuán)隊(duì)：“我知道你們?yōu)槭裁床皇褂?a class="article-link" target="_blank" href="/manufacturer/1001074/">Arm，但你們?yōu)槭裁床皇褂肦ISC-V處理器呢？”

對(duì)于runAI，Untether AI必須設(shè)計(jì)一個(gè)定制的RISC處理器。Beachler說(shuō)，RISC-V的生態(tài)系統(tǒng)“還沒(méi)有完全形成”。

對(duì)于speedAI，團(tuán)隊(duì)“添加了一堆擴(kuò)展指令，我們稱之為自定義指令，超過(guò)20多個(gè)”。Beachler解釋道：“這是特定于我們正在進(jìn)行的計(jì)算類型的，包括神經(jīng)網(wǎng)絡(luò)計(jì)算，以及我們的at-memory計(jì)算架構(gòu)。”

Beachler指出，這種定制化是Untether AI即使在今天的Arm處理器上也無(wú)法做到的，因?yàn)锳rm不開放其指令集。相反，“RISC-V允許這種情況發(fā)生。我們能夠用我們自己的指令設(shè)計(jì)自己的定制處理器，但我們?nèi)匀皇褂肦ISC-V指令集架構(gòu)。”

Memory Bank

Untether AI的第二代memory bank將使用RISC-V處理器，用于靈活、高效的AI加速。

據(jù)Untether AI稱，speedAI架構(gòu)中的每個(gè)memory bank都有512個(gè)處理元素，直接連接到專用SRAM。這些處理元素支持INT4、FP8、INT8和BF16數(shù)據(jù)類型，以及用于節(jié)能的零檢測(cè)電路，并支持2:1結(jié)構(gòu)稀疏性。

SpeedAI加速器使用雙多線程RISC-V來(lái)提高memory bank的編程靈活性。

以8行64個(gè)處理元素排列，每一行有自己的專用行控制器和硬接線減少功能，以允許編程的靈活性和變壓器網(wǎng)絡(luò)功能的高效計(jì)算。

兩個(gè)RISC-V處理器（每個(gè)處理器都有20多條用于推理加速的定制指令）管理各行。該公司表示，這種靈活的memory bank可以適應(yīng)許多不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)，包括卷積、transformer和推薦網(wǎng)絡(luò)以及線性代數(shù)模型。

精度問(wèn)題

除了能效，UntetherAI團(tuán)隊(duì)還專注于提高其高速AI芯片的AI精度。Beachler說(shuō)：“AI推理芯片的用戶發(fā)現(xiàn)，當(dāng)他們進(jìn)行量化步驟時(shí)，有時(shí)會(huì)出現(xiàn)不可接受的準(zhǔn)確性損失。對(duì)于某些應(yīng)用來(lái)說(shuō)，這沒(méi)問(wèn)題，但當(dāng)AI推理加速器用于推薦引擎和自動(dòng)駕駛汽車時(shí)就不行了。”

Beachler解釋說(shuō)，在AI推薦引擎中，“如果你的準(zhǔn)確率僅下降0.1%，就可能會(huì)損失5000萬(wàn)至1億美元的廣告收入，因?yàn)槟阆蛳M(fèi)者提供了錯(cuò)誤的廣告或推薦。準(zhǔn)確性很重要的另一個(gè)領(lǐng)域是自動(dòng)駕駛汽車，因?yàn)檐噺S在準(zhǔn)確性上不會(huì)妥協(xié)。”

今年早些時(shí)候，當(dāng)Nvidia宣布其Hopper架構(gòu)時(shí)，這家GPU巨頭談到了一種新的8位浮點(diǎn)（FP8）數(shù)據(jù)類型。與標(biāo)準(zhǔn)的FP16訓(xùn)練相比，F(xiàn)P8格式的吞吐量增加了一倍。

SpeedAI也在使用FP8。經(jīng)過(guò)自己的研究，該團(tuán)隊(duì)得出結(jié)論，兩種不同的FP8格式為AI推理提供了精度、范圍和效率的最佳組合。該公司解釋說(shuō)，將4-尾數(shù)（FP8p用于精度）和3-尾數(shù)（FP8r用于范圍）相結(jié)合，為跨各種不同網(wǎng)絡(luò)的推理提供了最佳的精度和吞吐量。”

對(duì)于卷積網(wǎng)絡(luò)，Untether AI聲稱，使用FP8“與使用BF16數(shù)據(jù)類型相比，精度損失不到1%的十分之一，吞吐量和能效提高了四倍”。

不是“一刀切”

為什么市場(chǎng)需要一個(gè)通用的AI推理加速器？首先，因?yàn)锳I推理加速應(yīng)用的出現(xiàn)。

Beachler指出，除了中央計(jì)算系統(tǒng)必須處理越來(lái)越多感知數(shù)據(jù)的自動(dòng)駕駛汽車之外，智能城市還部署著廣泛的監(jiān)控市場(chǎng)。“他們需要聚集數(shù)百個(gè)攝像頭來(lái)生成實(shí)時(shí)可操作的情報(bào)。”這同樣適用于軍事AI應(yīng)用，例如對(duì)抗無(wú)人機(jī)。“他們?cè)噲D用不同的傳感器掃描天空，以對(duì)抗無(wú)人機(jī)?；蛘咚麄儠?huì)尋找雷達(dá)信號(hào)，以了解空域內(nèi)的情況。”其他的AI推理應(yīng)用包括自然語(yǔ)言處理加速，Untether AI將其加入到speedAI中。

Yole Intelligence的Sanchez表示，通用AI推理的其他應(yīng)用包括實(shí)時(shí)分類的智能零售、金融領(lǐng)域的語(yǔ)音到文本、企業(yè)數(shù)據(jù)中心和高性能計(jì)算領(lǐng)域的氣候建模。

其次，神經(jīng)網(wǎng)絡(luò)以及客戶在執(zhí)行AI時(shí)使用它們的方式有無(wú)數(shù)種變化。Beachler說(shuō)：“我們已經(jīng)分析了50多個(gè)不同的客戶神經(jīng)網(wǎng)絡(luò)。每個(gè)都是不同的。他們可能從基本的開始，但隨后他們會(huì)做出“適合他們數(shù)據(jù)集和訓(xùn)練”的偏差。

綜上所述，你需要的是具有擴(kuò)展性和靈活性的AI推理加速器架構(gòu)。

然而，目前許多AI應(yīng)用都依賴于現(xiàn)有的通用CPU和GPU。對(duì)于服務(wù)器中的AI應(yīng)用，Sanchez說(shuō)：“我們看到大部分的推理都是由CPU完成的。這是因?yàn)閷?duì)推理任務(wù)的需求是零星的。對(duì)于客戶來(lái)說(shuō)，使用幾個(gè)Xeon或Epyc內(nèi)核進(jìn)行快速推理比使用整個(gè)硬件池更方便。”

Untether AI面臨的一大挑戰(zhàn)是識(shí)別需要專用推理硬件的細(xì)分市場(chǎng)。Sanchez說(shuō)：“超擴(kuò)展性和服務(wù)器分離可能會(huì)增加推理專用硬件應(yīng)對(duì)挑戰(zhàn)的機(jī)會(huì)。”

軟件陷阱

曾在Altera工作過(guò)的Beachler（就像Untether AI執(zhí)行團(tuán)隊(duì)的許多成員一樣）很清楚軟件和工具流的重要性。就像FPGA客戶遇到了軟件編譯問(wèn)題或擬議硬件架構(gòu)的利用率很差一樣，一些AI芯片客戶也遇到了類似的問(wèn)題，“你不能編程，或者它太難編程。”

Beachler說(shuō)：“正如我們?cè)贏ltera學(xué)到的，我們確保我們的工具永遠(yuǎn)是行業(yè)中最好的，我們?cè)赨ntether AI也在努力做同樣的事，對(duì)軟件進(jìn)行過(guò)度投資。”

然而，Untether AI還沒(méi)有提交給MLPerf對(duì)其AI芯片進(jìn)行基準(zhǔn)測(cè)試。Beachler說(shuō)，公司的工程團(tuán)隊(duì)被50個(gè)客戶拉去做50個(gè)不同的神經(jīng)網(wǎng)絡(luò)，這家初創(chuàng)公司的首要任務(wù)是“確保軟件能夠運(yùn)行所有這些不同的神經(jīng)網(wǎng)絡(luò)”。

他說(shuō)，這些都是“任何AI初創(chuàng)公司都會(huì)遇到的成長(zhǎng)的痛苦”。但UntetherAI的首個(gè)AI加速器runAI已經(jīng)投入使用，并為客戶運(yùn)行網(wǎng)絡(luò)。

與大量現(xiàn)成的特定應(yīng)用AI推理引擎不同，Untether AI的AI推理加速器被設(shè)計(jì)為通用設(shè)備。然而，這家初創(chuàng)公司似乎被拉向了多個(gè)方向，以滿足客戶的不同需求。Untether AI成功的關(guān)鍵在于它的軟件和編程工具，讓客戶在使用Untether AI的加速器時(shí)能夠獨(dú)立地做出自己的偏差和修改。