最小、最节能的基于事件的视觉传感器

2023-10-24 12:10:59 来源:EETOP
虽然 TinyML 可以为许多物联网设备带来强大的人工智能模型,但现场视觉系统在人工智能/机器学习集成方面遇到了瓶颈。这些系统必须处理大量数据,同时保持低功耗运行。 

而基于事件的传感器模仿眼睛和大脑处理图像的方式,可以克服传统的基于帧的机器视觉的障碍。

什么是基于事件的视觉传感?

与以固定间隔捕获一系列帧的传统相机不同,基于事件的传感器仅响应场景的变化。传感器中的每个像素独立运行,仅在检测到亮度发生显着变化时才触发输出。 

image.png

基于事件的传感器模仿人眼的生物功能。图片由索尼提供

该技术的一个主要优点是它显著减少了数据冗余。在静态或缓慢变化的环境中,传统相机捕获和传输大量冗余数据,浪费计算资源和能量。另一方面,基于事件的传感器仅传输变化,从而减少计算、内存和通信要求。这可以降低能耗,使这些传感器适合电池供电和边缘人工智能应用。

除此之外,基于事件的传感器在动态范围和对不同照明条件的适应性方面表现出色。每个像素都会根据入射光进行调整,使传感器能够在高对比度场景中有效运行,例如涉及夜间汽车前灯的场景。此功能对于自动驾驶等应用尤其重要,其中快速适应不断变化的照明条件对于安全至关重要。

接下来让我看一个基于事件的视觉传感器实列。

最近,法国神经拟态视觉系统开发商 Prophesee 发布的其最新的基于事件的视觉传感器。

该公司声称,该设备在性能和功效方面树立了计算机视觉的新标准,特别是与基于帧的成像相比。让我们看一下 Prophesee 新型传感器的技术细节,并评估基于事件的视觉传感的价值所在。

图片

GenX320 传感器

GenX320 简介

最近推出的Prophesee GenX320 Metavision 传感器标志着 Prophesee基于事件的视觉硬件向前迈出了一步。该传感器设计用于集成到超低功耗边缘人工智能视觉设备中,例如 AR/VR 耳机、安全和监控系统以及始终在线的智能物联网设备。

GenX320提供超低功耗(典型值为 3 mW)、低延迟和高灵活性,这些都是在各种应用中高效集成的基本功能该传感器的工作分辨率为 320 x 320,采用 6.3 μm 像素 BSI 堆叠基于事件的视觉技术。Prophesee 表示,这款紧凑型传感器采用 3 x 4 mm 芯片尺寸,满足嵌入式边缘视觉系统独特的能源、计算和尺寸要求。

图片

Prophesee Metavision传感器的工作原理

GenX320 的一个主要特点是其低延迟(1 us)分辨率的事件时间戳以及灵活的数据格式。片上智能电源管理模式进一步增强了这一点,将功耗降低至 36 uW,同时还提供智能唤醒事件、深度睡眠和待机模式。据该公司称,该设备的功率和尺寸相结合,使其被誉为世界上最小、最节能的基于事件的视觉传感器。 

该设备的其他值得注意的规格包括 0.05 lx 低光截止,可在黑暗环境中实现视觉捕获,以及大于 120 dB 的动态范围,可在极端照明环境中实现视觉捕获。  GenX320 目前可分为四个部分:裸芯片、光学柔性模块、评估套件和 STM32 Discovery 板适配器。

EETOP编译整理自allaboutcircuits


  1. EETOP 官方微信

  2. 创芯大讲堂 在线教育

  3. 创芯老字号 半导体快讯

相关文章

全部评论

@2003-2024 EETOP