清华新闻网4月16日电 在机器视觉系统中，图像传感器面临着数据量激增、能效瓶颈和实时处理能力不足等挑战。相比之下，人类视觉系统以极低的功耗完成从光信号感知到信息处理的全过程，成为仿生视觉计算的重要灵感来源。近日，清华大学电子系张沕琳副教授和陈宏伟教授团队在视觉感知计算领域取得重要进展，提出了一种名为NEOSTI（Neuromorphic Electronic-OptoSpatial-Temporal Imager）的神经形态光学-电子混合图像传感器。该传感器集成了光学域感前处理、电学域感内计算与近感计算三大模块，在无需特殊光源的条件下，可在室内外自然光环境中实现高效的图像采集与处理。NEOSTI芯片尺寸仅为1.3cm×1.3cm，具备极低的功耗和端到端的图像语义信息处理能力，为具身智能、无人机、自动驾驶等边缘智能场景提供了全新的视觉解决方案。

图1.NEOSTI（神经形态电子-光空间-时间成像仪）架构

NEOSTI的设计充分借鉴了生物视觉系统的结构与功能。其“感前-感内-近感”三级架构，分别模拟了人眼中晶状体、视锥细胞和视觉皮层的处理机制。在光学域，通过固化在掩模上的二值卷积核，实现对入射场景的光学卷积运算，以零延迟、零功耗完成空间特征提取；在感内层面，采用脉冲宽度调制像素结构，模拟视网膜的非线性光强响应，并支持相邻像素间的并行加减运算；在近感层面，片内集成了低复杂度的二值神经网络，完成高层次的特征提取与分类任务。

实验结果表明，NEOSTI在多个静态与动态视觉任务中表现优异：MNIST手写数字识别准确率达96.4%，Fashion MNIST达91.3%，QuickDraw达91.7%，UnityEyes注视方向估计任务达94.9%，Weizmann视频动作识别任务达90.6%。与光电计算相互分离的方案相比，NEOSTI的平均准确率提升超过11%。在低信噪比条件下，系统仍保持较高的识别稳定性，展现出良好的抗噪能力。

NEOSTI的像素阵列规模为128×128，支持1-32帧/秒的可配置帧率，整体功耗极低，功耗范围为1.58μW至121.74μW。其光学掩模部分为无源结构，未来可通过引入电致变色材料、量子点非线性材料等手段，进一步增加感前光学计算层数，丰富光学域的可重构性与计算性能，拓展其在多通道、彩色图像等任务中的应用能力。

图2.NEOSTI神经形态光学-电子混合图像传感器

研究成果以“NEOSTI：神经形态电子-光时空混合图像传感器”（NEOSTI - a neuromorphic electronic-optospatial-temporal hybrid image sensor）为题，于3月26日发表于《自然·通讯》（Nature Communications）。

清华大学电子系2021级博士生刘天毅、博士后黄铮、2024届博士毕业生王学诚为论文共同第一作者，陈宏伟教授、张沕琳副教授为论文共同通讯作者。研究得到国家自然科学基金和国家重点研发计划的支持。

论文链接：

https://www.nature.com/articles/s41467-026-71091-x

供稿：电子系

编辑：李华山

审核：郭玲