索尼智能视觉传感器首次搭载人工智能处理硬件

几年前，索尼创造了第一款带有片上 RAM 的图像传感器，能够以极高的帧速率捕捉慢动作视频。现在，该公司又创造了第一款带有板载 AI 硬件的传感器，可以进行高速图像识别。

智能视觉传感器 IMX500 采用堆叠设计，由一个像素芯片（1/2.3 英寸、12.3MP 分辨率、1.55µm 像素）和一个逻辑芯片组成，该逻辑芯片具有索尼为 AI 模型开发的 DSP 和内存。

该传感器可以以 60fps 的速度拍摄 4K 视频，但更重要的是它只需要 3.1 毫秒来分析图像（使用谷歌的 MobileNet V1 模型）。它甚至根本不需要输出图像，只需发送要处理的元数据即可。

正如索尼所说，这对隐私来说是一种福音，因为图像数据永远不会离开芯片（当然也不需要通过互联网发送到云端）。此外，由于可以配置 AI 模型，因此可以使用同一硬件执行各种任务。

一个简单的例子是将 IMX500 放在车上，并将其指向驾驶员。如果传感器检测到驾驶员分心或睡着了，它可以向汽车发出警告。尽管外部处理器可以完成同样的任务，但仅使用图像传感器更简单（因此更可靠）且更便宜。

商店可以使用智能视觉传感器执行许多任务。例如，一个传感器可以站在门口，计算有多少人进去。另一个传感器可以监视货架，在库存不足时发送通知。还有一个传感器可以确定大多数人去的区域以及他们挑选的商品。

该传感器可能应用于收银机

IMX500 不太可能应用于智能手机。但它可以作为智能扬声器的一部分进入您的家中——例如，它可以看到谁在提问，这将有助于系统提供更相关的答案。而且，由于图像传感器可以只输出“汤姆正在说话”，而不是拍摄照片并发送出去进行处理，因此隐私问题也降低了。

这不仅仅是隐私，使用该传感器的设计将具有更低的延迟，需要很少的带宽，并且可以降低功耗。

分析图像所需的时间为 3.1 毫秒，比传统方法快得多，可支持需要闪电般快速反应时间的应用（例如工业机器人）。此外，元数据与其所基于的 4K/60fps 素材相比非常小，因此数百台摄像机可以共享相对较慢的数据连接。

IMX500（仅传感器）和 IMX501（LGA 封装传感器）将很快向各公司提供样品，索尼认为首批使用它们的产品将于明年问世。目前，这两款产品的价格分别为 10,000 日元和 20,000 日元（即 94 美元和 187 美元）。

来源 | Via