視覺傳感器對于數(shù)據(jù)采集正變得越來越重要。

最初的簡單圖像傳感器為攝影應(yīng)用開發(fā)，如今的圖像傳感器用于向人工智能(AI)和機器學習系統(tǒng)提供高質(zhì)量的輸入。

這些系統(tǒng)已成為利用新的和創(chuàng)新的處理器架構(gòu)的精密決策實體。

邊緣數(shù)據(jù)采集

盡管邊緣數(shù)據(jù)采集器件本質(zhì)上主要是模擬的，但是圖像傳感器的獨特之處在于：

它們的輸出在連續(xù)的動態(tài)光學輸入上進行時分復(fù)用

它們需要有能力在輸出時保持轉(zhuǎn)換后的光輸入的完整性來提供圖像輸出

提供的圖像輸出具有最佳質(zhì)量，支持重要的處理

這些要求和隨后的結(jié)果可能會對視覺系統(tǒng)做出的決策的準確性產(chǎn)生重大影響，而這一結(jié)果定義了整個自動化系統(tǒng)的安全性、可靠性和收益率。

基于機器學習的視覺系統(tǒng)

機器學習的出現(xiàn)推動了圖像傳感器的創(chuàng)新，其性能水平得到了提高，可以支持各種應(yīng)用。視覺輸入是高保真數(shù)據(jù)–您所看到的就是輸入到系統(tǒng)中的信息。

如今，AI 算法能夠檢測、識別和分類這些輸入并生成準確的決策輸出。這些輸出的可靠性取決于輸入的質(zhì)量及其算法的準確性，以及處理這些算法的神經(jīng)網(wǎng)絡(luò)。

基于機器學習和深度學習的視覺系統(tǒng)主要使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法來創(chuàng)建功能強大的自動識別專家系統(tǒng)。

在這些系統(tǒng)中，增加 CNN 層的深度會提高推理的準確性，但是更多的層也會對這些網(wǎng)絡(luò)在訓(xùn)練階段學習所花費的時間以及系統(tǒng)完成推斷的延遲產(chǎn)生不利影響 (不要忘了過擬合也會影響結(jié)果和功耗)。

同樣，高質(zhì)量的圖像輸出使視覺系統(tǒng)能夠攜帶最少的 CNN 圖層集，但還能產(chǎn)生高度準確的推斷。在以低成本和小尺寸獲得可快速部署的智能系統(tǒng)的同時，還實現(xiàn)高性能和低功耗，這帶來了顯著的好處。

典型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)

深度學習算法如 CNN 資源極其密集。如今，有各種處理引擎，包括 CPU、GPU、FPGA、專用加速器和最新的微控制器。

設(shè)計基于 CNN 的視覺系統(tǒng)還需要強大的優(yōu)化庫支持。涵蓋從專有(如 MVTec 的 HALCON＆MERLIC，MATLAB 的深度學習工具箱或 Cognex 的 ViDi)到標準工具(如 OpenCV)以及軟硬件的整合功能。

這些選擇直接關(guān)系到產(chǎn)品的上市時間。資源密集型處理器通常需要更大的外形尺寸，如散熱器的功耗附加組件，或者僅需要較大的空閑空間以通過對流來耗散功率。

提供高質(zhì)量輸出的圖像傳感器可無需昂貴的處理器、昂貴的第三方庫和 / 或新庫的創(chuàng)建需求，以及最佳地結(jié)合硬件和軟件資源所需的昂貴工具。

換句話說，這些傳感器極大地降低了總擁有成本(TCO)，并增加了在各種應(yīng)用和市場中的采用率。

圖像傳感器輸入到機器學習系統(tǒng)

對傳遞到 CNN 層的圖像傳感器輸出有相當高的要求，包括：

全局快門可以捕獲場景并保留場景以最小化運動偽影

高全局快門效率，以確保每個像素中保留的場景不會被該像素光路之外的光輸入破壞

足夠大的像素尺寸，即使在充滿挑戰(zhàn)的光線條件下也能支持好的圖像質(zhì)量

圖像輸出中的總噪聲低，以確保高完整性輸入

在運行和待機狀態(tài)下低功耗，應(yīng)對以對流傳熱為常態(tài)的攝像系統(tǒng)的典型挑戰(zhàn)。

這些特性取決于像素架構(gòu)和相關(guān)電路徑的設(shè)計。CMOS 圖像傳感器的結(jié)構(gòu)和設(shè)計如 AR0234CS 滿足這些需求，非常適合基于 CNN 的視覺系統(tǒng)。

高速接口賦能快速系統(tǒng)

像素的質(zhì)量可能極佳，且經(jīng)過精心設(shè)計以生成高質(zhì)量的圖像，但是由于帶寬限制，整個視覺系統(tǒng)可能仍會出現(xiàn)性能不佳的情況。當今的傳感器都配備了 SerDes 接口，但是這些接口的流量數(shù)據(jù)速率會影響整個系統(tǒng)的質(zhì)量。

高幀速率要求這些接口以高速傳輸圖像數(shù)據(jù)。同樣，傳感器必須為每幀輸出(fps/mW)消耗低功耗。這些特性支持將系統(tǒng)定時和功率預(yù)算轉(zhuǎn)移到最需要的地方 - 處理引擎 - 可以合并最新的神經(jīng)網(wǎng)絡(luò)和復(fù)雜算法。

這使圖像處理器能夠提取圖像數(shù)據(jù)中的細微差別，這些差別可能是應(yīng)用的重要內(nèi)容。視覺系統(tǒng)開發(fā)人員因此可以使其系統(tǒng)方案在競爭中脫穎而出。

AR0234CS?230 萬像素 CMOS 圖像傳感器

AR0234CS 230 萬像素 CMOS 圖像傳感器具備高數(shù)據(jù)速率 MIPI 接口，非常適合基于 AI 的視覺系統(tǒng)。加上它高幀速率、低功耗全幀速率和全分辨率，視覺系統(tǒng)開發(fā)人員可以將大部分時間和功耗預(yù)算分配給處理器。