人类的视觉系统仅用极低的带宽和功耗就实现了对复杂世界的快速感知和有效反应，这种优势一直是计算机图像处理专家希望能够模仿的，现在清华大学研发的类脑互补视觉芯片“天眸芯”在这方面实现了突破，该成果刚刚登上了《自然》杂志的封面。

类脑互补视觉芯片“天眸芯”登上《自然》封面

01

无人驾驶的功耗墙与带宽墙

随着人工智能的飞速发展，无人驾驶和具身智能（可以简单理解为各种形态的机器人）等无人系统正在从实验室向现实社会快速落地。在这些智能系统中，视觉感知作为获取信息的核心途径，正面临真实世界的巨大挑战。在复杂多变、不可预测的真实环境中，实现高效、精确、鲁棒的视觉感知，挑战非常艰巨。

比如在自动驾驶中，系统不仅需要处理庞大的数据，还需要应对各种极端事件。比如，恶劣天气环境、驾驶中突发的危险、夜间强闪光干扰等各种长尾问题，为AI系统带来了极大的挑战。更进一步说，传统视觉芯片在面对这些场景时，由于受到芯片功耗和带宽的限制，想要分辨率高就会反应慢，想要反应灵敏就难以做到高精度。而图像识别如果出现失真、失效或高延迟的问题，就会严重影响自动驾驶的稳定性和安全性。

这就是限制视觉感知芯片的“功耗墙”和“带宽墙”问题。为了克服这一困难清华团队提出了一种全新的视觉感知芯片范式——基于视觉原语的互补双通路类脑视觉感知范式。

02

借鉴人类视觉原理

与现有的图像传感器相比，人类视觉系统在开放世界更具优势。眼睛的视网膜由杆状细胞和锥状细胞组成，它们以相反的方式运作以扩大视觉感知范围。杆状细胞：对光敏感是夜视的关键，负责单色视觉，空间分辨率低，捕捉缓慢的光信号，遍布视网膜负责感知物体大致运动。锥状细胞：负责颜色视觉，空间分辨率较高，捕捉快速变化的光信号，集中在黄斑区负责观察物体细节。

两种细胞捕获的视觉信号会送往位于丘脑的外膝体进行预处理，在这里两种信号会以互补的编码方式成包含颜色、方向、深度、运动方向等信息的“视觉原语”。

这些“视觉原语”会传往大脑的不同位置处理，一路主要是颜色、细节等高精度的信息，但该通路处理速度相对较慢；另一通路主要负责处理突发事情，能够做出快速反应，但精度不高。双通路配合互补，能够在极端场景下完成信息处理并做出应对。

人类视觉的互补系统

03

互补视觉芯片

清华的“天眸芯”借鉴了人类视觉系统将图像信号用两种细胞拆解后在外膝体重组再送往大脑两个地方处理的方式，提出了互补双通路类脑视觉感知范式。这种新范式将图像信息拆分成光的颜色、强度、方向、速度等独立信息，并模仿人视觉系统的特征，将这些原语再次进行有机组合，形成两条优势互补、信息完备的视觉感知通路。

他们在世界上首次实现了在一个芯片上同时获得高分辨率、高速、高动态范围、低带宽、低功耗的完美视觉芯片组合。

首颗“天眸芯”实现了单个芯片每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集，而仅花费了传统高速成像技术10%的带宽和极低功耗。它不仅突破了传统视觉感知范式的性能瓶颈，而且能够高效应对各种极端场景，确保系统的稳定性和安全性。

显而易见“天眸芯”非常适合自动驾驶系统，该团队自行编写了软件和算法把芯片装在了车上进行测试。在多种极端场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨大应用潜力。为自动驾驶、具身智能等重要应用提供强劲的技术支持。