在自動(dòng)駕駛發(fā)展的歷程中，視覺算法的應(yīng)用已經(jīng)成為不可或缺的一部分。但當(dāng)前的視覺算法仍然存在著一些局限性：一方面，相機(jī)容易受到光線明暗突變、逆光等影響；另一方面，相機(jī)在運(yùn)行時(shí)，產(chǎn)生的數(shù)據(jù)量非常大，因而對(duì)算力的要求特別高。

如今，市場(chǎng)上出現(xiàn)一種新型相機(jī)傳感器，或可以有效解決上述這些痛點(diǎn)，那就是事件相機(jī)。事件相機(jī)具備極快的響應(yīng)速度、減少無(wú)效信息、降低算力和功耗、高動(dòng)態(tài)范圍等優(yōu)勢(shì)，可以幫助自動(dòng)駕駛車輛降低信息處理的復(fù)雜度、提高車輛的行駛安全，并能夠在極亮或者極暗環(huán)境下正常工作。

本文將從3個(gè)方面詳述事件相機(jī)，包括什么是事件相機(jī)、商業(yè)模式與競(jìng)爭(zhēng)格局、商業(yè)化前景。

一、什么是事件相機(jī)

1.1 定義

事件相機(jī)最初的技術(shù)來(lái)自蘇黎世，又被稱為仿生視覺傳感器，是一種受生物啟發(fā)的視覺傳感器，早期應(yīng)用于無(wú)人機(jī)、機(jī)器人、航空航天等。如同人眼一般，事件相機(jī)對(duì)運(yùn)動(dòng)物體的感知非常靈敏，能夠高效地處理動(dòng)態(tài)和靜態(tài)信息。

事件相機(jī)是相比于傳統(tǒng)的幀相機(jī)而言的：幀相機(jī)是以固定幀率輸出一幀一幀的圖片，并最終組成視頻流；而事件相機(jī)只記錄亮度變化的像素點(diǎn)。

有人會(huì)有疑惑，那何謂“事件”？這里的“事件”并不是字面意義上的事件，而是把事件相機(jī)所記錄下的一個(gè)個(gè)像素點(diǎn)的光強(qiáng)變化稱之為“事件”。

1.2 優(yōu)勢(shì)

事件相機(jī)相較于傳統(tǒng)幀相機(jī)而言，主要具有響應(yīng)速度快、減少無(wú)效信息、降低算力和功耗、高動(dòng)態(tài)范圍的優(yōu)勢(shì)。

（1）響應(yīng)速度較快

幀相機(jī)始終輸出的是一張張的幀圖像，面對(duì)突然橫穿的行人時(shí)，其響應(yīng)速度不一定會(huì)及時(shí)，比如第一幀圖像顯示行人在左邊，第二幀圖像顯示在中間，第三幀圖像顯示在右邊，結(jié)合三張圖像才能判斷出一個(gè)行人橫穿的場(chǎng)景；而事件相機(jī)的識(shí)別頻率非常高，相當(dāng)于達(dá)到了1000幀的幀相機(jī)效果，能夠更快地預(yù)判到行人橫穿。

（2）減少無(wú)效信息

幀相機(jī)會(huì)產(chǎn)生大量的無(wú)效信息；而事件相機(jī)是根據(jù)物體表面的光強(qiáng)變化而產(chǎn)生事件流。

某傳感器公司專家解釋道：“事件相機(jī)顯示的主要是前方運(yùn)動(dòng)物體的外邊框，由于變化的部分主要是在物體邊框，而其內(nèi)部的區(qū)域大概率是沒有變化的。相當(dāng)于給圖像做了一次壓縮，減少了無(wú)效信息，只輸出動(dòng)態(tài)信息，可以以一個(gè)低帶寬的線路給出一個(gè)高質(zhì)量的信息。”

（3）降低算力和功耗

幀相機(jī)需要對(duì)每一幀圖像進(jìn)行處理，比如30幀的相機(jī)，在10秒內(nèi)可以產(chǎn)生300張圖像，如此龐大的數(shù)據(jù)量對(duì)芯片的算力要求也更高，產(chǎn)生的功耗也會(huì)更大。在自動(dòng)駕駛領(lǐng)域，雖然幀相機(jī)也可以通過一種叫注意力機(jī)制的方法，把視覺信息集中在一些感興趣的區(qū)域，但前提仍需要將所有的圖像數(shù)據(jù)先進(jìn)行一次預(yù)處理。

事件相機(jī)在二維結(jié)構(gòu)上顯示出一定的稀疏性（比如一個(gè)目標(biāo)物只在t0時(shí)刻動(dòng)了，但之后一直保持著靜止，那就只會(huì)在t0時(shí)刻顯示一個(gè)事件，之后則沒有數(shù)據(jù)產(chǎn)生），也就是說(shuō)，它只會(huì)對(duì)變化的部分產(chǎn)生脈沖信號(hào)，可能10秒內(nèi)只有幾十KB數(shù)據(jù)量，它不需要處理過多的數(shù)據(jù)量。事件相機(jī)所需的算力可能只有傳統(tǒng)CIS芯片的1%，甚至更低，對(duì)應(yīng)的功耗也會(huì)較低。

（4）高動(dòng)態(tài)范圍

通俗點(diǎn)說(shuō)，高動(dòng)態(tài)范圍指的是相機(jī)在極端光強(qiáng)變化下也能保持圖像的清晰度。

幀相機(jī)的動(dòng)態(tài)范圍通常只能達(dá)到60dB，而事件相機(jī)的動(dòng)態(tài)范圍能達(dá)到120dB，甚至?xí)?。高?dòng)態(tài)范圍可以幫助事件相機(jī)在光線極暗、曝光過度、光線突變等情況下，依然能夠保持有效的工作，為自動(dòng)駕駛增添了一份安全冗余。

某傳感器公司專家通過一個(gè)形象的例子，說(shuō)：“比如一輛車從黑暗的隧道駛出時(shí)，普通相機(jī)會(huì)出現(xiàn)過度曝光，需要一段時(shí)間才能恢復(fù)，雖然也可以通過算法去克服這個(gè)問題，但是事件相機(jī)在這方面會(huì)表現(xiàn)得更好。”

圖：事件相機(jī)在極暗環(huán)境下效果圖

（來(lái)源：宇勘科技提供）

1.3 工作原理

那事件相機(jī)是如何工作的呢？具體來(lái)說(shuō)，當(dāng)對(duì)應(yīng)像素坐標(biāo)點(diǎn)的光強(qiáng)變化量超過了預(yù)先設(shè)定的閾值時(shí)，事件相機(jī)就會(huì)以微秒級(jí)分辨率標(biāo)記時(shí)間戳，并輸出異步事件流。

我們通過下圖的小球?qū)嶒?yàn)可以更直觀地發(fā)現(xiàn)：只要小球變化的時(shí)刻，就會(huì)產(chǎn)生事件流，而小球靜止的時(shí)刻，就不會(huì)產(chǎn)生事件流。

圖：事件相機(jī)與幀相機(jī)的輸出信號(hào)對(duì)比

(來(lái)源：公開信息)

1.4 與傳統(tǒng)幀相機(jī)的差異

（1）感光機(jī)制不同

幀相機(jī)是通過設(shè)定恒定速率的方式，從而獲取場(chǎng)景的信息，并只記錄下每一幀內(nèi)各像素點(diǎn)上的光強(qiáng)信息，而不記錄這一刻相對(duì)于上一個(gè)時(shí)刻所產(chǎn)生的光強(qiáng)變化。

而事件相機(jī)記錄的則是光強(qiáng)的差值變化，以及具體到某個(gè)像素坐標(biāo)位置的變化，從而觸發(fā)一個(gè)事件流的產(chǎn)生。需要注意的是，對(duì)于相對(duì)靜止的物體，事件相機(jī)是沒有信號(hào)返回的；而對(duì)于相對(duì)運(yùn)動(dòng)的物體，尤其是物體外邊框，則會(huì)產(chǎn)生相應(yīng)的光強(qiáng)變化。

（2）讀出機(jī)制不同

幀相機(jī)始終輸出的是一幀一幀的圖像，并且每一幀的圖像呈現(xiàn)出非常穩(wěn)定且均勻的特征。以一個(gè)30幀的相機(jī)來(lái)說(shuō)，當(dāng)車輛經(jīng)過一個(gè)不變的場(chǎng)景時(shí)，相機(jī)在運(yùn)作時(shí)依然會(huì)每秒拍攝30張重復(fù)的圖像——其中29張屬于浪費(fèi)。

反過來(lái)看，事件相機(jī)是由一個(gè)個(gè)事件組成，它無(wú)法像幀相機(jī)一樣，輸出一個(gè)圖像視頻，而是只記錄某個(gè)像素點(diǎn)上發(fā)生的正向或者負(fù)向的光強(qiáng)變化，并輸出光強(qiáng)變化量信號(hào)，所以事件相機(jī)的數(shù)據(jù)特征不是均勻穩(wěn)定的。

宇勘科技商務(wù)負(fù)責(zé)人金光旭解釋道：“幀相機(jī)的讀出電路是行列掃描的方式，是一種矩陣數(shù)據(jù)整體讀出的形式，在像素坐標(biāo)軸上記錄像素點(diǎn)的RGB信息；而事件相機(jī)是通過AER的編碼方式，僅將事件以時(shí)間戳和坐標(biāo)的數(shù)據(jù)形式，按照事件產(chǎn)生的先后順序異步傳出。”

（3）電路設(shè)計(jì)不同

事件相機(jī)與傳統(tǒng)的幀相機(jī)相比，二者在電路設(shè)計(jì)上是完全不同的，最大的區(qū)別是在于圖像傳感器部分。

在發(fā)展初期，由于事件流不容易理解和處理，部分事件相機(jī)廠商為了能夠?qū)⑹录鄼C(jī)更快地實(shí)現(xiàn)產(chǎn)品化，并應(yīng)用在更多的場(chǎng)景，于是在事件相機(jī)的pixel結(jié)構(gòu)設(shè)計(jì)上加了一個(gè)APS電路。

針對(duì)APS的理解，某傳感器公司專家解釋道：“所謂的APS實(shí)際上就是某種程度上的CIS pixel，它會(huì)提供輔助參考的作用。”

1.5 產(chǎn)品類型

當(dāng)前，市場(chǎng)上主流的事件相機(jī)產(chǎn)品主要為三類：DVS、ATIS以及DAVIS，它們都采用了差分型視覺采樣模型。此外，也有一些其它類型的事件相機(jī),比如CeleX、Vidar,但從商業(yè)化的進(jìn)度來(lái)看，上述三類事件相機(jī)的商業(yè)化發(fā)展較快，所以此處著重介紹這三類。

表：三種產(chǎn)品類型的基本情況

（1）DVS（動(dòng)態(tài)視覺傳感器）

DVS是最先發(fā)展起來(lái)的一款事件相機(jī)，它采用AER異步傳輸方式的差分型視覺采樣模型，以異步時(shí)空脈沖信號(hào)表示場(chǎng)景光強(qiáng)變化，對(duì)有光強(qiáng)變化的部分做出響應(yīng)，而對(duì)無(wú)光強(qiáng)變化的部分則不會(huì)做出響應(yīng)。DVS將這些運(yùn)動(dòng)變化信息轉(zhuǎn)化為空間稀疏、時(shí)間密集的事件流。

電路結(jié)構(gòu)：DVS像素電路由對(duì)數(shù)光感受器、差分電路、兩個(gè)比較器（閾值比較器與內(nèi)部握手電路）組成。其中，對(duì)數(shù)光感受器能感知光強(qiáng)變化并及時(shí)做出反應(yīng)；差分電路可以將感光電路的輸出信號(hào)進(jìn)行放大；兩個(gè)比較器主要是比較電壓的變化實(shí)現(xiàn)ON/OFF事件脈沖的輸出。

圖：DVS像素電路結(jié)構(gòu)圖

（來(lái)源：《事件視覺傳感器發(fā)展現(xiàn)狀與趨》）

優(yōu)勢(shì)：電路設(shè)計(jì)簡(jiǎn)單，像素面積小。

挑戰(zhàn)：純事件數(shù)據(jù)的可視化程度較低，無(wú)法提供精細(xì)化的圖像。

（2）ATIS（基于異步時(shí)間的圖像傳感器）

ATIS在DVS的基礎(chǔ)上進(jìn)行改進(jìn)了數(shù)據(jù)的可視化，可以只在電路產(chǎn)生事件信號(hào)的同時(shí)，觸發(fā)光強(qiáng)測(cè)量電路，從而對(duì)事件提供一定的灰度信息。

電路結(jié)構(gòu)：ATIS像素結(jié)構(gòu)分為兩個(gè)部分（A和B），它包括兩個(gè)感光器。其中，A部分包含完整的DVS像素結(jié)構(gòu)，可以檢測(cè)光強(qiáng)的變化并激發(fā)事件；B部分包含的感光器是用來(lái)檢測(cè)光照強(qiáng)度的變化并進(jìn)行曝光。

圖：ATIS像素電路結(jié)構(gòu)圖

（來(lái)源：《事件視覺傳感器發(fā)展現(xiàn)狀與趨》）

優(yōu)勢(shì)：能提供灰度信息，功耗相對(duì)DAVIS較低。在啟動(dòng)后，由于直接發(fā)放了一次脈沖，可以直接獲取到相機(jī)前方的所有灰度信息，然后根據(jù)運(yùn)動(dòng)區(qū)域內(nèi)，將在產(chǎn)生的脈沖信號(hào)上不斷更新相應(yīng)灰度信息。

挑戰(zhàn)：不適用在環(huán)境亮度變化不頻繁的場(chǎng)景。比如在高速運(yùn)動(dòng)場(chǎng)景下，由于光強(qiáng)測(cè)量結(jié)果是在脈沖信號(hào)產(chǎn)生后的一段時(shí)間內(nèi)的平均光強(qiáng)，所以存在事件與灰度信息重構(gòu)更新不匹配的情況。

（3）DAVIS（動(dòng)態(tài)和有源像素視覺傳感器）

DAVIS也是在DVS基礎(chǔ)上改良而來(lái)，可同時(shí)輸出事件信息和灰度信息，與ATIS的區(qū)別在于只有一個(gè)感光器。

電路結(jié)構(gòu)：DAVIS是DVS相機(jī)和APS相結(jié)合而成，兩者共用一個(gè)感光器。

圖：DAVIS像素電路結(jié)構(gòu)圖

（來(lái)源：《事件視覺傳感器發(fā)展現(xiàn)狀與趨》）

優(yōu)勢(shì)：DAVIS與ATIS一樣，也可以提供灰度信息；同時(shí)，DAVIS由于共用一個(gè)感光器，像素面積相對(duì)ATIS更小。

挑戰(zhàn)：APS電路的采樣速度遠(yuǎn)不如DVS電路，導(dǎo)致二者無(wú)法做到精準(zhǔn)同步。再者，APS電路在高速場(chǎng)景下存在拖影現(xiàn)象。

二、商業(yè)模式與競(jìng)爭(zhēng)格局

2.1 產(chǎn)業(yè)鏈上下游概況

事件相機(jī)產(chǎn)業(yè)鏈的情況與傳統(tǒng)幀相機(jī)幾乎是相同的，主要包括上游是零部件供應(yīng)商（鏡頭組零部件、膠合材料、圖像傳感器芯片等）、中游是模組供應(yīng)商與系統(tǒng)集成商等、下游是主機(jī)廠。

產(chǎn)業(yè)鏈中的不同之處主要是在圖像傳感器芯片、算法軟件，比如更適合事件相機(jī)的芯片是類腦芯片、更適合的算法則是脈沖神經(jīng)網(wǎng)絡(luò)。

2.2 商業(yè)模式

當(dāng)前事件相機(jī)的商業(yè)模式還沒有完全成熟，產(chǎn)業(yè)鏈的各個(gè)玩家都在探索適合自己商業(yè)化之路，初創(chuàng)型科技企業(yè)和大型Tier 1企業(yè)根據(jù)自身的實(shí)際情況，各有不同的商業(yè)模式。

（1）初創(chuàng)型科技企業(yè)短期內(nèi)以提供一整套解決方案為主，而中長(zhǎng)期方向會(huì)專注于自身主業(yè)。

從短期內(nèi)來(lái)看，在整個(gè)事件相機(jī)產(chǎn)業(yè)尚未成熟前， 初創(chuàng)型科技企業(yè)無(wú)法找到合適的供應(yīng)商，所以他們通常會(huì)覆蓋整個(gè)產(chǎn)業(yè)鏈工序，包括芯片、算法、軟件、模組。比如一家芯片公司，會(huì)聯(lián)合相機(jī)模組或整機(jī)的合作伙伴，配合上自己的芯片，與最終客戶共同開發(fā)在特定應(yīng)用場(chǎng)景下的應(yīng)用。

一方面，客戶還沒有找到事件相機(jī)合適的落地場(chǎng)景前，他們不會(huì)投入多余的人力、物力、財(cái)力在算法的開發(fā)上；另一方面，事件相機(jī)算法的門檻較高，對(duì)應(yīng)場(chǎng)景的算法開發(fā)也需要一定的經(jīng)驗(yàn)和數(shù)據(jù)的積累。

從中長(zhǎng)期來(lái)看，這些事件相機(jī)的初創(chuàng)企業(yè)還是會(huì)向著軟硬件解耦的模式去發(fā)展，即各家只做自己擅長(zhǎng)的部分，并隨著整個(gè)產(chǎn)業(yè)的工業(yè)化成熟度越來(lái)越高后，產(chǎn)業(yè)分工會(huì)越來(lái)越明確。

（2）大型Tier 1企業(yè)，比如索尼，只會(huì)提供芯片，而把算法、軟件、模組等外包給第三方。

一方面，在市場(chǎng)體量不夠大的情況下，提供解決方案會(huì)使相機(jī)的成本提高，不利于市場(chǎng)推廣；另一方面，由于產(chǎn)業(yè)尚未實(shí)現(xiàn)標(biāo)準(zhǔn)化，第三方公司也沒有能力提供除芯片外的全部工序。

2.3 玩家盤點(diǎn)

本文簡(jiǎn)要地梳理了國(guó)內(nèi)外的幾家典型事件相機(jī)玩家及部分典型事件相機(jī)產(chǎn)品的主要參數(shù)信息。具體如下：

表：國(guó)外玩家盤點(diǎn)

表：國(guó)內(nèi)玩家盤點(diǎn) 

表：典型事件相機(jī)產(chǎn)品參數(shù) 

三、商業(yè)化前景

3.1 機(jī)會(huì)：自動(dòng)駕駛中的落地場(chǎng)景

3.1.1 適合落地的場(chǎng)景

事件相機(jī)的優(yōu)勢(shì)在于響應(yīng)速度快、高動(dòng)態(tài)范圍等，較適應(yīng)于以下場(chǎng)景：

第一，城區(qū)場(chǎng)景中的鬼探頭。傳統(tǒng)幀相機(jī)在面對(duì)橫向的鬼探頭場(chǎng)景時(shí)，無(wú)法快速做出反應(yīng)，而事件相機(jī)可以更快的感知到危險(xiǎn)信號(hào)。

第二，高速場(chǎng)景下的避障。比如車輛在高速路上快速行駛時(shí)，遇到前方路面有一個(gè)輪胎，幀相機(jī)不能及時(shí)做出反應(yīng)，而事件相機(jī)可以依靠它的低時(shí)延性優(yōu)勢(shì)，快速識(shí)別出前方的輪胎，并及時(shí)做出避障動(dòng)作。

第三，光線過亮或者過暗的場(chǎng)景。比如在深夜的環(huán)境下，幀相機(jī)由于周圍極暗的光線而無(wú)法識(shí)別周圍事物，而事件相機(jī)依然可以有效的識(shí)別周圍事物。

第四，光強(qiáng)突變較為明顯的場(chǎng)景。比如車輛從隧道出來(lái)后，面對(duì)高曝光的場(chǎng)景，幀相機(jī)會(huì)受到高爆光的影響，從而產(chǎn)生失效的工況，而事件相機(jī)不會(huì)受到影響。

3.1.2 不適合落地的場(chǎng)景

事件相機(jī)不適合落地的場(chǎng)景，主要是在城區(qū)場(chǎng)景的某些工況下，比如車輛前方有無(wú)數(shù)行人在穿插過馬路。再或者一些惡劣天氣環(huán)境下，比如大雨、大雪、沙塵等。

以上兩種場(chǎng)景下，前方的目標(biāo)物都存在數(shù)量多且無(wú)規(guī)律運(yùn)動(dòng)的特點(diǎn)，這會(huì)對(duì)事件相機(jī)產(chǎn)生很多無(wú)效的噪點(diǎn)。

在與一些自動(dòng)駕駛從業(yè)者交流時(shí)，不少人也問道：“那車輛在道路上行駛時(shí)，周圍的物體看上去都在移動(dòng)，是否說(shuō)明事件相機(jī)不適合應(yīng)用在自動(dòng)駕駛？”

對(duì)此，某事件相機(jī)方面的專家說(shuō)：“這種相對(duì)的移動(dòng)是有規(guī)律可循的，周圍的物體都是以相對(duì)車輛的一個(gè)速度在后退，而這個(gè)速度就是車輛自身的行駛速度，可以在后臺(tái)處理數(shù)據(jù)時(shí)，通過某些算法將車輛自身的速度作為一個(gè)參數(shù)，從而過濾掉一些原本靜止的物體。”

3.2 商業(yè)化中存在的問題

3.2.1 技術(shù)層面的挑戰(zhàn)

（1）無(wú)法識(shí)別具體目標(biāo)物

幀相機(jī)輸出的是幀圖像，并且已擁有了成熟的應(yīng)用和標(biāo)定數(shù)據(jù)庫(kù)；而事件相機(jī)只能給出比較原始的數(shù)據(jù)信息，比如目標(biāo)物的外部輪廓，并且也沒有一個(gè)自己獨(dú)立的數(shù)據(jù)庫(kù)來(lái)匹配這些輪廓信息。

若想要得到更深層次的信息，仍需要幀相機(jī)作為輔助，比如先從事件相機(jī)識(shí)別出前方雪糕筒的形狀，而后在經(jīng)過神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練后，發(fā)現(xiàn)該形狀與之前的雪糕筒相似，從而判斷出前方物體具體是什么。

（2）缺少適合的芯片和算法

當(dāng)前事件相機(jī)使用的是原來(lái)幀相機(jī)的一整套架構(gòu)體系（比如所使用的芯片類型、算法模型等），但基于幀圖像的架構(gòu)并不能完全處理好事件流，而現(xiàn)有的大部分事件相機(jī)產(chǎn)品只是做了簡(jiǎn)單的架構(gòu)平移。但兩者的工作原理完全不同，若只是簡(jiǎn)單的架構(gòu)平移，就如同將一臺(tái)普通的轎車引擎裝在一輛超跑上。

第一，較適合事件相機(jī)的芯片將會(huì)是類腦芯片。

目前事件相機(jī)用的主要是傳統(tǒng)的CIS的圖像傳感器芯片，主要以處理幀圖像的方式來(lái)處理事件流，兩者的契合度較低。

而類腦芯片一般指神經(jīng)形態(tài)芯片，它是一種參考人腦神經(jīng)元結(jié)構(gòu)和人腦感知認(rèn)知方式來(lái)設(shè)計(jì)的芯片，旨在突破“馮˙諾依曼瓶頸”，可實(shí)現(xiàn)類似人腦的超低功耗和并行信息處理能力，從這一點(diǎn)來(lái)看，非常匹配事件相機(jī)的性能。

當(dāng)前類腦技術(shù)仍然屬于探索階段，尚未大規(guī)模商業(yè)化。相對(duì)國(guó)內(nèi)的進(jìn)度來(lái)說(shuō)，國(guó)外的類腦芯片玩家相對(duì)走得更快一步，比如英特爾、時(shí)識(shí)科技等，而目前國(guó)內(nèi)的類腦芯片技術(shù)仍主要處在學(xué)術(shù)階段。

第二，較適合事件相機(jī)的算法為脈沖神經(jīng)網(wǎng)絡(luò)。

徐波說(shuō)道：“事件相機(jī)的算法有一些特殊的神經(jīng)網(wǎng)絡(luò)，但是當(dāng)前大家通用的還是基于frame的網(wǎng)絡(luò)，數(shù)據(jù)的稀疏性會(huì)對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法產(chǎn)生影響，所以這也是目前事件數(shù)據(jù)比較難處理的地方。”

而脈動(dòng)神經(jīng)網(wǎng)絡(luò)具有事件驅(qū)動(dòng)、異步運(yùn)算、極低功耗等特點(diǎn)，并且脈沖信號(hào)的產(chǎn)生與事件相機(jī)基于時(shí)間戳的事件流輸出方式非常契合。不過，目前脈沖神經(jīng)網(wǎng)絡(luò)仍然處于學(xué)術(shù)階段，雖然也有部分企業(yè)在嘗試該技術(shù)，但更多的是一種早期項(xiàng)目，并沒有找到能夠大規(guī)模應(yīng)用的場(chǎng)景。

3.2.2 工程層面的挑戰(zhàn)

（1）閾值設(shè)定難度高

閾值是衡量事件輸出的標(biāo)準(zhǔn)，當(dāng)目標(biāo)物的光強(qiáng)變化量（亮度由低到高或者由高到低）超過預(yù)設(shè)的閾值就會(huì)產(chǎn)生事件。其基本的原理是：通過調(diào)整閾值可以改變相機(jī)對(duì)噪點(diǎn)的敏感度，當(dāng)閾值越大時(shí)，相機(jī)對(duì)噪點(diǎn)越不敏感，能捕捉到的事件也會(huì)越少；當(dāng)閾值越小時(shí)，能捕捉到的事件也會(huì)越多。

對(duì)于如何調(diào)整閾值大小，森云智能CEO徐波說(shuō)道：“具體如何設(shè)置閾值需要看具體場(chǎng)景需求，比如車在城區(qū)或者高速等不同場(chǎng)景下，每個(gè)時(shí)刻的閾值設(shè)定都是不同的。而閾值的多少，取決于你想看到哪些東西，想看多一些，還是想看少一些。”

一方面，在不同的場(chǎng)景環(huán)境下，閾值的初始狀態(tài)設(shè)定也不同，比如白天的閾值會(huì)比較高，而晚上的閾值會(huì)比較低。

另一方面，事件相機(jī)在使用過程中，它的閾值通過算法會(huì)不斷動(dòng)態(tài)調(diào)節(jié)，形成一個(gè)自適應(yīng)地過程。

而在自動(dòng)駕駛領(lǐng)域，具體如何設(shè)定閾值也是一個(gè)難題：一方面，車在行駛過程中，與周圍的事物始終保持著相對(duì)運(yùn)動(dòng)，隨著物體表面光強(qiáng)亮度的變化就會(huì)一直有事件產(chǎn)生，此時(shí)閾值應(yīng)該越大，從而減少噪點(diǎn)；另一方面，事件數(shù)據(jù)的特點(diǎn)是具有稀疏性（比如一個(gè)靜止的物體，事件相機(jī)只會(huì)再t0時(shí)刻產(chǎn)生事件，之后就不會(huì)有新的事件產(chǎn)生），從冗余安全的角度來(lái)看，為了降低數(shù)據(jù)過少的風(fēng)險(xiǎn)，閾值應(yīng)該越小。

總的來(lái)說(shuō)，閾值大小的設(shè)定是決定事件相機(jī)是否能在自動(dòng)駕駛中用好的關(guān)鍵一步，這需要大量場(chǎng)景數(shù)據(jù)的積累、算法的優(yōu)化、設(shè)備運(yùn)行時(shí)動(dòng)態(tài)地調(diào)整閾值。

（2）數(shù)據(jù)處理效率低

幀相機(jī)處理數(shù)據(jù)的原理，是在等整張圖像處理完了后才能做出決策；而事件相機(jī)的數(shù)據(jù)處理原理是出現(xiàn)一個(gè)事件就處理掉一個(gè)事件，然后快速地做出決策。

但當(dāng)前的商業(yè)應(yīng)用中，市場(chǎng)上還沒有針對(duì)事件數(shù)據(jù)處理的成熟方法，所以已有的事件相機(jī)產(chǎn)品都是采用幀相機(jī)的數(shù)據(jù)處理方式來(lái)處理事件數(shù)據(jù)。

舉例來(lái)說(shuō)，若一個(gè)事件相機(jī)在60秒內(nèi)，只有在第60秒才產(chǎn)生一個(gè)事件。此時(shí)，我們按照30幀的幀率去處理事件數(shù)據(jù)，就需要將60秒的數(shù)據(jù)切割成每30秒一組數(shù)據(jù)，然后在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法模型下進(jìn)行運(yùn)算，可以發(fā)現(xiàn)，前一組30秒數(shù)據(jù)并沒有事件產(chǎn)生，但在傳統(tǒng)網(wǎng)絡(luò)模型下前一組數(shù)據(jù)也必須要進(jìn)行運(yùn)算，這就違背了事件相機(jī)的處理數(shù)據(jù)原理，讓其喪失了低時(shí)延的優(yōu)勢(shì)。

圖：事件相機(jī)與幀相機(jī)的數(shù)據(jù)對(duì)比效果

（來(lái)源：宇勘科技提供）

（3） 與其它傳感器融合的挑戰(zhàn)

由于事件相機(jī)無(wú)法單獨(dú)提供深層次的數(shù)據(jù)，比如測(cè)距、測(cè)速、表面具體顏色等，只能獲取到物體的輪廓，所以單純地使用一個(gè)事件相機(jī)是無(wú)法給到自動(dòng)駕駛車輛足夠的冗余安全，與其他傳感器的融合才是更好的感知方案。

在與其它傳感器融合時(shí)，需要把事件流與其它傳感器的信號(hào)進(jìn)行同步匹配。

以事件相機(jī)與激光雷達(dá)的融合為例，事件相機(jī)與激光雷達(dá)都有幀的概念，激光雷達(dá)也是以某一恒定幀率發(fā)射點(diǎn)云。若想要把這兩個(gè)傳感器同步起來(lái)，就需要做到兩個(gè)方面：一方面，時(shí)間戳的一一對(duì)應(yīng)；另一方面，需要在做好標(biāo)定的基礎(chǔ)上，將事件相機(jī)的像素點(diǎn)云映射到激光雷達(dá)的點(diǎn)云上。

3.2.3 商業(yè)層面的挑戰(zhàn)

在商業(yè)應(yīng)用層面，事件相機(jī)主要存在應(yīng)用場(chǎng)景較少和供應(yīng)鏈體系不成熟的問題。

一方面，應(yīng)用的場(chǎng)景仍較少。在現(xiàn)有相機(jī)體系越來(lái)越成熟的趨勢(shì)下，當(dāng)前事件相機(jī)能給自動(dòng)駕駛能帶來(lái)的增量?jī)r(jià)值過小，并且它只能通過與其它傳感器融合使用才能發(fā)揮更大的價(jià)值，但作為新型傳感器在進(jìn)入市場(chǎng)前，事件相機(jī)需要經(jīng)歷漫長(zhǎng)的場(chǎng)景功能開發(fā)，從而慢慢挖掘出一些它的潛在價(jià)值。

另一方面，供應(yīng)鏈體系不成熟。事件相機(jī)處在早期發(fā)展階段，產(chǎn)品的標(biāo)準(zhǔn)化程度較低，在推廣過程中不得不提供一整套解決方案，導(dǎo)致產(chǎn)品的成本較高。以事件相機(jī)的算法開發(fā)供應(yīng)商為例，某自動(dòng)駕駛公司傳感器專家提到，現(xiàn)有的事件相機(jī)相關(guān)的算法開發(fā)商，主要是以demo為主，沒有針對(duì)特定場(chǎng)景去做配套算法的開發(fā)。

結(jié)語(yǔ)

總的來(lái)說(shuō)，事件相機(jī)在理論上具備一定的優(yōu)勢(shì)，或許某一天能成為自動(dòng)駕駛領(lǐng)域內(nèi)一種全新的傳感器選項(xiàng)，但現(xiàn)階段技術(shù)成熟度與產(chǎn)業(yè)成熟度仍需要時(shí)間去慢慢打磨。

某事件相機(jī)廠商市場(chǎng)負(fù)責(zé)人說(shuō)道：“不同應(yīng)用領(lǐng)域內(nèi)的潛在客戶都意識(shí)到事件相機(jī)的獨(dú)特優(yōu)勢(shì)，但是作為一項(xiàng)新技術(shù)，上下游的發(fā)展成熟仍需要一段時(shí)間，大家都在期待技術(shù)的更將成熟、價(jià)格的進(jìn)一步下降，并且能夠有豐富、成熟、可靠的配套算法。預(yù)計(jì)2023到2024年間，部分事件相機(jī)廠商會(huì)開始往一些量產(chǎn)型號(hào)去設(shè)計(jì)一些應(yīng)用，但事件相機(jī)仍需要在產(chǎn)品的可靠性方面得到進(jìn)一步的驗(yàn)證。”

參考資料

【1】自動(dòng)駕駛感知領(lǐng)域的革命：拋棄幀的事件相機(jī)將給高算力AI芯片沉重打擊https://mp.weixin.qq.com/s/iEBPf4VZYUv-hYLnYdJcYg

【2】事件相機(jī)，自動(dòng)駕駛感知的革新？https://mp.weixin.qq.com/s/sF4eHls3FMNbktXXCcV_zw

【3】基于事件的視覺傳感器及其應(yīng)用綜述，孔德磊，方正

【4】神經(jīng)形態(tài)視覺傳感器的研究進(jìn)展及應(yīng)用綜述，李家寧，田永鴻

【5】事件視覺傳感器發(fā)展現(xiàn)狀與趨，方應(yīng)紅