英偉達(dá)GTC 2025大會(huì)上，吳新宙講解了英偉達(dá)的L3級(jí)自動(dòng)駕駛系統(tǒng)NDAS（即NVIDIA DRIVE AV Solution），代號(hào)Alpamayo。

Alpamayo是阿爾帕瑪尤山（西班牙語(yǔ)：Nevado Alpamayo）是安第斯山脈的布蘭卡山脈其中一座最顯而易見(jiàn)的山峰，該山峰位于秘魯境內(nèi)，海拔5947米。

第一版NDAS將于2025年4月推出，2027年1季度將推出雙Thor高速公路版L3，2027年底推出雙Thor城郊Urban版L3。主機(jī)廠什么都不需要做，只需要把靈魂交給英偉達(dá)即可。

英偉達(dá)智能駕駛的車(chē)端和云端

圖片來(lái)源：英偉達(dá)

從模型訓(xùn)練，傳感器仿真、交通流仿真、合成數(shù)據(jù)、世界模型到模型部署，從VLM到VLA，英偉達(dá)都替主機(jī)廠想好了，只要主機(jī)廠掏錢(qián)就行。

Alpamayo實(shí)際就是端到端系統(tǒng)

圖片來(lái)源：英偉達(dá)

Alpamayo網(wǎng)絡(luò)架構(gòu)

這里英偉達(dá)沒(méi)有細(xì)說(shuō)token-to-token的意思，實(shí)際就是將串行token改為并行，LLM最常見(jiàn)的Decoder-only Transformers結(jié)構(gòu)在解碼時(shí), 通常會(huì)串行逐個(gè)生成token，如何并行解碼是LLM推理加速中比較獨(dú)特的方式。在過(guò)去有Speculative Decoding 能巧妙的實(shí)現(xiàn)“并行解碼”，但解碼過(guò)程需要有小模型(Draft Model)參與，使得工程實(shí)現(xiàn)和部署并不夠優(yōu)雅。

英偉達(dá)的Medusa 則提供了一種One Model 的并行解碼方案，其實(shí)現(xiàn)動(dòng)機(jī)在于增加Multiple Decoding Heads 來(lái)做Next-Next-Token預(yù)測(cè)，提高預(yù)測(cè)效率，這里的Heads 和美杜莎的形象不謀而合。美杜莎（希臘語(yǔ)：Μ?δουσα；英語(yǔ)：Medusa）是古希臘神話中的蛇發(fā)女妖，頭上有九條蛇頭。英偉達(dá)有論文MEDUSA: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads。Medusa加速效果，相較baseline, Medusa-2 加速2.83x，在Math/Coding/Extraction 種類(lèi)的推理任務(wù)中加速3x以上。訓(xùn)練好的模型經(jīng)過(guò)美杜莎微調(diào)即為Alpamayo。

通常將常規(guī)的decoding過(guò)程稱(chēng)為Next-Token 預(yù)測(cè)，將多token并行解碼定義為Next-Next-Tokens 預(yù)測(cè)，統(tǒng)一任務(wù)形式。Medusa 在現(xiàn)有模型基礎(chǔ)上，增加多個(gè)Medusa Head，與原模型上的LM Head 一同做預(yù)測(cè)。新增的Medusa Head 包含Block (可以多個(gè)堆疊)和分類(lèi)頭，輸入為backbone模型的Last Hidden數(shù)據(jù)，輸出為預(yù)測(cè)Token的概率。

美杜莎網(wǎng)絡(luò)架構(gòu)

圖片來(lái)源：英偉達(dá)

MEDUSA 遵循推測(cè)解碼框架，其中每個(gè)解碼步驟主要由三個(gè)子步驟組成：(1) 生成候選者，(2) 處理候選者， (3) 接受候選者。

對(duì)于 MEDUSA，(1) 是通過(guò) MEDUSA 頭（head）實(shí)現(xiàn)的，(2) 是通過(guò)樹(shù)注意力（tree attention）實(shí)現(xiàn)的，并且由于 MEDUSA 頭位于原始主干模型之上，因此 (2) 中計(jì)算的 logits 可以用于子步驟 (1) 的下一個(gè)解碼步驟。最后一步 (3) 可以通過(guò)拒絕采樣（rejection sampling）或典型接受（typical acceptance）來(lái)實(shí)現(xiàn)。有3個(gè)medusa頭，包含原LM_head模型一次性可以輸出1+3個(gè)token。

首先，MEDUSA 頭與原始主干模型一起進(jìn)行訓(xùn)練。其中，原始主干模型可以在訓(xùn)練期間保持凍結(jié)狀態(tài) (MEDUSA-1) 或一起訓(xùn)練 (MEDUSA-2)。這種方法甚至可以在單個(gè) GPU 上微調(diào)大模型，利用強(qiáng)大的基礎(chǔ)模型學(xué)得表征。此外，MEDUSA 頭的分布確保與原始模型的分布一致，從而緩解了分布偏移問(wèn)題，并且 MEDUSA 不會(huì)增加服務(wù)系統(tǒng)設(shè)計(jì)的復(fù)雜性，對(duì)分布式設(shè)置很友好。

樹(shù)狀掩碼注意力機(jī)制

圖片來(lái)源：英偉達(dá)

由于候選者增加會(huì)提高計(jì)算需求，該研究采用樹(shù)狀結(jié)構(gòu)的注意力機(jī)制來(lái)同時(shí)處理多個(gè)候選者。這種注意力機(jī)制不同于傳統(tǒng)的因果注意力范式。在其框架內(nèi)，只有來(lái)自同一 continuation的token才被視為歷史數(shù)據(jù)。

圖片來(lái)源：吳新宙GTC2025大會(huì)

Alpamayo模型訓(xùn)練流程，第一步是互聯(lián)網(wǎng)知識(shí)預(yù)訓(xùn)練，即LLM的第一步，數(shù)萬(wàn)億乃至數(shù)十萬(wàn)億token的互聯(lián)網(wǎng)知識(shí)搜集與訓(xùn)練。第二步是異構(gòu)駕駛數(shù)據(jù)訓(xùn)練，應(yīng)該是人工駕駛數(shù)據(jù)與合成駕駛數(shù)據(jù)訓(xùn)練。第三步繼續(xù)加強(qiáng)訓(xùn)練。第四步監(jiān)督數(shù)據(jù)微調(diào)，主要是各種駕駛規(guī)則。第五步是強(qiáng)化學(xué)習(xí)訓(xùn)練，主要是針對(duì)性長(zhǎng)尾場(chǎng)景訓(xùn)練，然后第六步，美杜莎訓(xùn)練，量化部署上車(chē)。

英偉達(dá)L3架構(gòu)

圖片來(lái)源：吳新宙GTC2025大會(huì)

上圖中，MRM是“Minimum Risk Maneuver” 最小風(fēng)險(xiǎn)狀態(tài)，這是美國(guó)SAE汽車(chē)協(xié)會(huì)在2022年10月L3級(jí)自動(dòng)駕駛標(biāo)準(zhǔn)上添加的一項(xiàng)功能安全，在某些情況下，當(dāng)駕駛員可能無(wú)法響應(yīng)fall-back就緒用戶(hù)請(qǐng)求時(shí)，系統(tǒng)應(yīng)預(yù)期執(zhí)行一種被稱(chēng)為“最小風(fēng)險(xiǎn)操作”（MRM）的安全操作。在關(guān)鍵操作條件下定義 MRM 的功能安全概念（FSC）是一項(xiàng)非常重要且具有挑戰(zhàn)性的活動(dòng)。這里的MRM應(yīng)該是一個(gè)模塊化或全局端到端路徑規(guī)劃器，加一個(gè)最低風(fēng)險(xiǎn)限制的輔助模塊，這個(gè)最低風(fēng)險(xiǎn)概念比較模糊，大概就是交通規(guī)則。對(duì)應(yīng)MRM還有一個(gè)最低風(fēng)險(xiǎn)條件MRC (Minimal Risk Condition)。

MRC與MRM

圖片來(lái)源：論文Minimal Risk Maneuver Strategies for Cooperative and Collaborative Automated Vehicles

英偉達(dá)Halos

圖片來(lái)源：英偉達(dá)GTC2025大會(huì)

Halos 是涵蓋三個(gè)不同層面但互補(bǔ)的整體安全系統(tǒng)：在技術(shù)層面，它包括平臺(tái)、算法和生態(tài)系統(tǒng)安全。在開(kāi)發(fā)層面，它包括設(shè)計(jì)時(shí)、部署時(shí)和驗(yàn)證時(shí)的防護(hù)措施。在計(jì)算層面，它包括 AI 訓(xùn)練到部署，使用三個(gè)計(jì)算平臺(tái)方案：NVIDIA DGX 用于 AI 訓(xùn)練、在 NVIDIA OVX 上運(yùn)行用于仿真的 NVIDIA Omniverse 和世界模型 NVIDIA Cosmos 以及用于部署的 NVIDIA DRIVE AGX。

Halos 包括用于安全數(shù)據(jù)加載和加速庫(kù)，以及用于安全數(shù)據(jù)創(chuàng)建、管理和重建的應(yīng)用編程接口，以便在訓(xùn)練前過(guò)濾掉不良行為和偏差等。它還提供豐富的訓(xùn)練、仿真和驗(yàn)證環(huán)境，利用 NVIDIA Omniverse Blueprint 進(jìn)行自動(dòng)駕駛汽車(chē)仿真，結(jié)合 NVIDIA Cosmos 世界基礎(chǔ)模型進(jìn)行自動(dòng)駕駛汽車(chē)訓(xùn)練、測(cè)試和驗(yàn)證。此外，它還擁有一個(gè)多元化的自動(dòng)駕駛汽車(chē)堆棧，將模塊化組件與端到端 AI 模型相結(jié)合，以確保安全的采用前沿 AI 模型。

Halos 包含多元且無(wú)偏見(jiàn)的安全數(shù)據(jù)集，以及安全部署流水線，它包括分級(jí)流水線和自動(dòng)安全評(píng)估，和用于持續(xù)安全改進(jìn)的數(shù)據(jù)飛輪，引領(lǐng)自動(dòng)駕駛汽車(chē)安全標(biāo)準(zhǔn)和規(guī)范。

Halos 的切入點(diǎn)是 NVIDIA AI 系統(tǒng)檢測(cè)實(shí)驗(yàn)室，汽車(chē)制造商和開(kāi)發(fā)商可通過(guò)該實(shí)驗(yàn)室驗(yàn)證其產(chǎn)品與 NVIDIA 技術(shù)集成的安全性。在2025年初 CES 上推出的 AI 系統(tǒng)檢測(cè)實(shí)驗(yàn)室是首個(gè)獲得美國(guó)國(guó)家標(biāo)準(zhǔn)學(xué)會(huì)國(guó)家認(rèn)可委員會(huì) (ANAB) 認(rèn)證的全球計(jì)劃，它將功能安全、網(wǎng)絡(luò)安全、AI 安全和合規(guī)整合到一個(gè)統(tǒng)一安全框架中。AI 系統(tǒng)檢測(cè)實(shí)驗(yàn)室的初創(chuàng)成員包括 Ficosa、OmniVision、onsemi 和大陸集團(tuán)。

英偉達(dá)自動(dòng)駕駛?cè)笾е?/strong>