近年来，随着神经形态视觉系统在自动驾驶车辆和机器人领域中的潜在应用，其发展已经获得了迅速的动力。然而，基于硅技术的当前机器视觉系统通常包含光传感器阵列、格式转换、存储和处理模块，导致了数据在各单元之间的冗余传输，造成了较大的延迟和高能耗，严重限制了神经形态视觉芯片的性能。 具体来说，在当前机器视觉系统中，通常会存在以下问题：1. 数据在各个单元之间的传输会导致延迟增加和能耗上升；2. 图像预处理和识别功能分散在不同的模块中，导致了数据处理的复杂性和低效性；3. 光学图像到电数字信号的转换效率不高，影响了系统的整体性能。
成果简介
为了解决这些问题，浙江大学李林军研究员团队提出了一种基于集成的二维MoS2/Ag纳米光栅光电晶体管阵列的人工神经网络（ANN）架构。在该研究中，研究人员利用了光电协同作用，实现了器件的预处理功能，从而提高了后续图像识别的效率和准确性。 具体地，他们设计了一种等离子光电晶体管阵列（PPTA），利用了等离子体纳米结构中产生的热电子，以模拟人类视网膜对光学颜色信息的响应。通过电动态调制栅电极，实现了图像预处理功能，进一步通过训练网络来实现实时图像识别。这样一来，集成了图像预处理和ANN的AVPRM架构有效地提高了图像质量，并提高了图像识别的效率和准确性。
以上成果在Nature communications上发题为“High performance artificial visual perception and recognition with a plasmon-enhanced 2D material neural network”的研究论文，引起了广泛关注。
图1展示了基于等离子光电晶体管阵列（PPTA）的人工神经网络（ANN）架构，旨在模仿人类视觉系统的感知和识别功能。图1a展示了2D PPT的结构，包括左侧的2D MoS2/Ag纳米光栅集成结构和右侧的2D MoS2/h-BN/WSe2异质结构。左侧部分模拟了人眼视网膜对颜色信息的感知和预处理功能，右侧部分实现了光电信号的处理和图像识别功能。图1b则显示了PPTA的解体结构，每个像素被分成多个亚像素，并通过电路连接进行组合。
图1c和d展示了像素和亚像素的电路连接。图1e描述了整个AVPRM的操作流程，包括图像的感知、预处理和识别。图1f展示了实际设备的扫描电子显微镜图像，揭示了器件的结构。最后，图1g显示了亚像素的高分辨率扫描透射电子显微镜图像，证实了其清晰的异质结构界面。这些研究结果为开发高效的机器视觉系统提供了理论和实践基础，通过整合感知、预处理和识别功能，使得图像处理更加高效、精确，并具有潜在的广泛应用前景。
图2阐明了PPT的工作原理，包括光吸收和局域表面等离子体共振（LSPR）激发，热电子注入和能带倾斜等过程。首先，图2a说明了在Ag纳米光栅中发生的光吸收和LSPR激发，以及热电子注入的过程。研究者发现纳米光栅增强效应在热电子的生成和传输中起到了关键作用。其次，图2b描述了热电子注入的过程，热电子通过欧姆接触迅速地被发射到MoS2中，从而实现了光电子转换。在图2c中，研究者模拟了光栅周期的归一化透射率映射，观察到了拉比分裂现象，这是强耦合的一个显著特征。
图2e、f展示了热电子注入后的电势平衡过程，通过能带倾斜的过程实现了热电子从左侧传输到右侧。图2g、h说明了在光源开启时通过施加侧门电压来调节通道电流的过程。 研究者通过图2的分析，深入探讨了二维PPT的工作机制。他们发现了纳米光栅增强效应在热电子的生成和传输中的关键作用，并通过模拟观察到了拉比分裂现象，进一步验证了强耦合的存在。此外，研究者还阐述了热电子注入后的电势平衡过程，并描述了通过调节侧门电压来调节通道电流的方法。
为了验证AVPRM的功能实现，研究者展示了图3中的实验结果。他们首先设置了光学实验和电学实验，选择了红光λ=635 nm，并将其功率分成11个级别，以进行光电流测量。 在图3a中，展示了不同光功率下对应的多状态光电流，以灰度级形式呈现。通过这些光电流的测量，可以提取出图像中每个像素的灰度级，如图3b所示。进一步，他们通过测量不同波长的光的光电流，成功区分了红色、绿色和蓝色的图像，如图3c所示。
接着，研究者在图3d中展示了通过测量图像中具有最大灰度级的像素的光电流，成功识别出图像的颜色。他们还进行了关于器件性能的光电特性测量，并成功实现了线性光电响应的调节，以便后续的ANN训练。 通过在图3f中展示的ANN训练过程，研究者成功将权重写入阵列，并在图3g中展示了阵列在每个训练周期后的总输出电流。随着训练周期的进行，电流明显分离并稳定，最大电流对应于投影字母的标签。图3h显示了器件在不同入射光功率下的转移特性曲线，而图3i则展示了通过在每个像素施加不同电压来实现图像预处理的过程，包括噪声减少和对比度增强。因此，这些实验结果验证了AVPRM的功能实现，为其在图像识别领域的应用奠定了基础。
为了测试AVPRM芯片作为分类器的集成感知、预处理和图像识别功能，研究人员使用了它来识别字母“z”、“j”和“u”。在图4a中展示了用于训练/操作网络的光学设置示意图。通过逐点扫描的方法将图像投影到光敏二极管阵列上。图4b展示了添加不同高斯噪声（σ=0.2, 0.4）的输入图像以及经过预处理的图像（σ=0.4）。预处理后的图像明显增强了字母的主要特征。在图4c中，对比了进行图像预处理和未进行图像预处理的识别准确率。预处理后的图像可以更快地达到100%的识别准确率。
图4d显示了分类器的初始和最终响应性/权值，而图4e展示了每个字母对应的测量电流和相应的目标端口代码。每个代码对应一个字母，通过后处理重新构建成字母，如图4f所示。 为了评估整个网络的性能，研究人员进行了时间分辨率的测量。为了说明PPTA的高速能力，研究人员使用了500 ns的脉冲激光源和电脉冲源进行了测量。在训练后，PPTA作为分类器，并投射了两个字母（“z”和“u”），并依次测量了三个通道的时间分辨信号。通过电输出脉冲，不同的输出代码表示不同的图像类型，证明了在约500 ns内的正确模式分类。这样的系统可能为超快速和超低功耗的机器视觉开发提供了巨大潜力。
总结展望
本研究在人类视觉系统的生物启发下，利用二维光电晶体结构构建了一种人工视觉感知和识别模块（AVPRM），为机器视觉技术的发展提供了新的思路和方法。通过在实验中验证器件的性能和功能，本研究为实现具有大动态范围、高速度和低能耗的人工视觉系统奠定了基础。此外，这种基于神经科学和纳米光电子学的交叉研究，为人工智能领域的跨学科合作提供了一个范例，并有望推动相关领域的进一步发展和创新。
文献信息
Zhang, T., Guo, X., Wang, P. et al. High performance artificial visual perception and recognition with a plasmon-enhanced 2D material neural network. Nat Commun 15, 2471 (2024). https://doi.org/10.1038/s41467-024-46867-8
