隨著AI在各行各業(yè)的廣泛應(yīng)用和快速發(fā)展，業(yè)界已從各自獨(dú)立的硬件算力驅(qū)動(dòng)和算法創(chuàng)新驅(qū)動(dòng)進(jìn)入算法和硬件協(xié)同創(chuàng)新的階段。

此外，深度學(xué)習(xí)參數(shù)量增大、網(wǎng)絡(luò)模型層數(shù)增多、硬件芯片類型增多等趨勢(shì)的出現(xiàn)，使得深度學(xué)習(xí)的開(kāi)發(fā)和訓(xùn)練難度越來(lái)越大。從AI芯片底層、甚至IP層就構(gòu)建軟硬協(xié)同的方案，使先進(jìn)算法與芯片和IP進(jìn)行更為深度的融合，成為業(yè)界當(dāng)前推動(dòng)AI落地的共識(shí)。

日前，在百度“Wave Summit 2022”大會(huì)上，Imagination宣布加入百度飛槳（PaddlePaddle）及多家合作伙伴共同發(fā)起“硬件生態(tài)共創(chuàng)計(jì)劃”。通過(guò)構(gòu)建軟硬一體平臺(tái)方案，將百度飛槳的先進(jìn)算法和靈活性，與Imagination的異構(gòu)計(jì)算IP技術(shù)相結(jié)合，支持下游芯片及應(yīng)用開(kāi)發(fā)商快速創(chuàng)建全面優(yōu)化的解決方案。

“高算力+先進(jìn)算法”，打造全面優(yōu)化的AI方案

根據(jù)“硬件生態(tài)共創(chuàng)計(jì)劃”，雙方將基于百度飛槳對(duì)未來(lái)硬件計(jì)算平臺(tái)的需求，結(jié)合Imagination的異構(gòu)計(jì)算IP技術(shù)，從算法模型到計(jì)算框架再到半導(dǎo)體IP技術(shù)進(jìn)行聯(lián)合優(yōu)化。

Imagination產(chǎn)品市場(chǎng)總監(jiān)鄭魁介紹，Imagination 2020年就加入了百度飛槳的硬件生態(tài)圈，第二代神經(jīng)網(wǎng)絡(luò)加速器2NX NNA、工具鏈NC-SDK都已原生支持飛槳框架，到現(xiàn)在已經(jīng)發(fā)展到了第四代4NX神經(jīng)網(wǎng)絡(luò)加速器。目前已有一些模型部署在基于Imagination的4TOPs端側(cè)推理芯片上，雙方正在持續(xù)進(jìn)行優(yōu)化，下半年將針對(duì)典型市場(chǎng)應(yīng)用發(fā)布聯(lián)合優(yōu)化成果。

Imagination計(jì)算業(yè)務(wù)副總裁Shreyas Derashri指出，此次合作是雙方良好合作的延續(xù)，在算力和算法方面優(yōu)勢(shì)的深度融合，可為行業(yè)提供更優(yōu)化的解決方案。雙方將聯(lián)合進(jìn)行軟硬一體協(xié)同優(yōu)化，打磨基礎(chǔ)軟件棧，為芯片廠商和方案廠商提供設(shè)計(jì)指導(dǎo)和Benchmark參考。

同時(shí)，面向行業(yè)應(yīng)用共建的Model Zoo，能夠?yàn)槠脚_(tái)和終端客戶提供參考方案。據(jù)透露，雙方還將面向使用Imagination NC-SDK的飛槳開(kāi)發(fā)者共同開(kāi)發(fā)培訓(xùn)課程，進(jìn)行聯(lián)合培訓(xùn)認(rèn)證,致力于為開(kāi)發(fā)者帶來(lái)更好的用戶體驗(yàn)，幫助AI產(chǎn)業(yè)生態(tài)繁榮發(fā)展。

滿足高智能需求，大算力異構(gòu)平臺(tái)是趨勢(shì)

過(guò)去兩年，Imagination保持著高于40%的增長(zhǎng)。截止目前，Imagination全球芯片累計(jì)出貨量超過(guò)110億片。

Imagination的IP產(chǎn)品包括面向通用計(jì)算的GPU、高性能CPU、以及神經(jīng)網(wǎng)絡(luò)加速器。這三款I(lǐng)P再加上軟件產(chǎn)品，構(gòu)成了Imagination的多核異構(gòu)解決方案。針對(duì)不同市場(chǎng)應(yīng)用（如AIoT、手機(jī)、智能駕艙/自動(dòng)駕駛、桌面機(jī)、數(shù)據(jù)中心等），通過(guò)多核異構(gòu)方案，提供高性能、低功耗、靈活可擴(kuò)展的IP組合。

三大處理器IP最新動(dòng)態(tài)如下：

??? ?神經(jīng)網(wǎng)絡(luò)加速器方面，單核架構(gòu)的3NX系列可以提供1.5TOPS到12.5TOPS算力，主要面向手機(jī)、AIoT市場(chǎng)，相關(guān)芯片去年已陸續(xù)量產(chǎn)；多核架構(gòu)的4NX系列可以提供12.5TOPS到100TOPS的算力，同時(shí)滿足車規(guī)要求，主要面向ADAS或自動(dòng)駕駛芯片。

??? ?基于多核架構(gòu)的GPU，目前支持8TFlOPS的浮點(diǎn)算力，已經(jīng)在桌面級(jí)應(yīng)用和自動(dòng)駕駛領(lǐng)域落地。三大系列GPU分別是：面向高能效比市場(chǎng)的XE，面向高端、高性能應(yīng)用的XT，以及面向汽車市場(chǎng)、滿足汽車功能安全要求的XS。

??? ?CPU方面已經(jīng)覆蓋了嵌入式應(yīng)用、高性能應(yīng)用以及汽車市場(chǎng)。去年底，Imagination宣布推出RISC-V CPU產(chǎn)品系列，這也將成為其異構(gòu)計(jì)算方案中非常重要的通用計(jì)算單元。

鄭魁表示，隨著應(yīng)用的多樣化、數(shù)據(jù)量的大幅增加，以及模型算法結(jié)構(gòu)的發(fā)展和復(fù)雜度的提升，對(duì)未來(lái)的計(jì)算平臺(tái)、芯片提出了更多、更新的要求，比如算力、精度、低功耗、可拓展性、靈活性，以及軟件部署的效率，而單一架構(gòu)的計(jì)算單元很難滿足所有這些需求。應(yīng)對(duì)未來(lái)高智能化應(yīng)用需求，會(huì)著重在大算力異構(gòu)平臺(tái)方面進(jìn)行合作部署。

舉生態(tài)之力，打造優(yōu)勢(shì)國(guó)產(chǎn)計(jì)算平臺(tái)

結(jié)合自身IP架構(gòu)特點(diǎn)，Imagination致力于在三大方向進(jìn)行創(chuàng)新：首先是基于GPU、CPU和神經(jīng)網(wǎng)絡(luò)加速器，持續(xù)在多核架構(gòu)方面進(jìn)行性能、功耗等優(yōu)化；其次在系統(tǒng)層面，為了消除數(shù)據(jù)瓶頸，將在內(nèi)存捕獲、端到端的安全特性方面進(jìn)行優(yōu)化；第三是軟件層面，Imagination提供統(tǒng)一、開(kāi)放且標(biāo)準(zhǔn)的工具鏈，支持標(biāo)準(zhǔn)的framework操作，使得開(kāi)發(fā)者可以快速、靈活地在其異構(gòu)架構(gòu)上部署相關(guān)應(yīng)用。

在與百度飛槳的“硬件生態(tài)共創(chuàng)計(jì)劃”中，雙方會(huì)共同推出深度優(yōu)化、靈活、且拓展性強(qiáng)的多核異構(gòu)平臺(tái)方案，沿著應(yīng)用部署的路徑進(jìn)行全棧優(yōu)化。除了offline的部署方式，雙方還提供在線部署所需的API，即IMG DNN。

作為功能齊全、中國(guó)第一的開(kāi)源深度學(xué)習(xí)框架，百度飛槳正在推動(dòng)市場(chǎng)的不斷進(jìn)步和增長(zhǎng)；Imagination作為全球領(lǐng)先的處理器技術(shù)和IP供應(yīng)商，在GPU、CPU、AI芯片IP技術(shù)方面有深厚積累。雙方此次在多個(gè)AI領(lǐng)域的合作，將有望利用各自的解決方案和市場(chǎng)經(jīng)驗(yàn)優(yōu)勢(shì)，構(gòu)建更為先進(jìn)的深度學(xué)習(xí)生態(tài)系統(tǒng)。

鄭魁表示，希望更多的芯片客戶、合作伙伴共同參與到這一生態(tài)計(jì)劃中，特別是針對(duì)主流應(yīng)用領(lǐng)域，如：自動(dòng)駕駛、手機(jī)、桌面機(jī)、數(shù)據(jù)中心等。希望攜手整個(gè)生態(tài)的力量，在基于飛槳的框架中，共同提供有競(jìng)爭(zhēng)力的國(guó)產(chǎn)計(jì)算平臺(tái)方案。