多媒体产业历久弥新。从粗糙像素画面到超高清视觉盛宴，从有限色彩到广色域、高动态范围的精准呈现，从单一影像记录到沉浸式虚拟现实体验……多媒体技术的每一次进步都在重塑我们感知世界的方式。 如今，多媒体产业正处在技术的关键交汇点，传统应用生命力不减，又迎来了5G、AI等创新技术驱动的变革浪潮。在云、边、端全场景覆盖下，多媒体技术深度融入可穿戴设备、手机、平板、汽车、家居、机器视觉、服务器等领域，走向更加智能化、高效化和沉浸式的未来。 在这个快速发展的领域，图像显示处理器（DPU）和视频处理器（VPU）的作用愈加突出，它们不仅是实现高清晰度、高帧率视频的关键，也是推动沉浸式体验和实时互动技术发展的核心驱动力；它们不仅决定了内容的显示效果，还直接影响着用户体验和多媒体应用的发展，对多媒体产业的未来至关重要。针对产业需求，安谋科技日前推出了旗下首款本土自研的图像显示处理器——“玲珑”D8/D6/D2 DPU，以及新一代高效视频处理器——“玲珑”V510/V710 VPU。

“卷”起来的多媒体市场，前景如何？在多媒体应用这个越来越“卷”、甚至有些领域已经厮杀成一片红海的市场，现在推新品是不是一个好时机？例如在安防监控等领域，由于市场相对成熟、玩家众多、利润空间较为有限，“卷”就体现得更为突出。 安谋科技DPU高级产品经理柴卫华认为，这首先和产品形态本身有关，因为图像视频应用通常是直接面对用户的，为了实现更好的用户体验，必须要从整体系统优化的角度来进行设计，这是让从业者觉得“卷”的一个因素。第二，不同场景的需求确实不同，这就非常考验IP的场景化能力。 安谋科技VPU高级产品经理董峰谈到了不同场景的差异化挑战：比如端侧的共性逻辑是尽可能降低成本，同时还要保持甚至提升质量；而云端市场，VPU的设计重点在于提高效率和降低主CPU的工作负载，同时支持虚拟化和软件生态的一体化；再看汽车领域，VPU还需要满足功能安全要求等等……这些多种多样的要求都要求VPU 的IP架构足够灵活，能够适应不同场景的需求。 安谋科技多媒体处理器研发负责人周华分享道，“‘极致性价比’是端侧市场必须要面对的一个挑战，我们和监控领域的客户一起抠画质细节好几年，来来回回两千多封邮件，全都是关于细节的沟通和优化讨论，包括内存空间、DDR空间、带宽等等。但如果能省出来一颗DDR芯片，成本马上会下降很多，这对于应用很关键，客户和我们都非常重视这些过程。” “不过，这并不是多媒体市场的全貌，随着技术的不断进步和应用场景的扩展，整个行业充满了新的机遇和增长点”，他强调。 仅以汽车电子为例，第三方数据显示，2022年国内车载摄像头的搭载量为5046万颗，预计2025年将超过1亿颗，年复合增长率为25.7%。此外，大屏化、多屏化、高清化将带动车载显示市场规模稳固上升，其中HUD和电子后视镜将贡献主要增量市场，预计2025 年车载显示市场规模可达1208.3亿元。 此外，产业正处于向8K升级的关键时期，随着8K内容的逐渐丰富和8K显示设备的普及，对能够处理更大数据量的高性能图像视频处理器的需求也在增加，行业正在开启新一轮发展周期。本土自研首款DPU，单一IP满足多元需求图像显示处理器（Display Processing Unit, DPU）是影像设备和视觉系统的核心组件，随着图像显示技术的应用边界不断拓宽，超高清、大屏、跨屏联动、多视频流/多图形界面显示、数据安全等，给DPU带来了新的技术挑战。 此外，还有广泛应用覆盖下所面临的碎片化问题，给芯片IP开发带来了不小的挑战。因为IP是一个极度强调规模效应的领域，只有需求量足够大的时候，才能体现出经济效应。这也意味着DPU需要“以一当百”，在单一IP中平衡好通用性和差异化。 柴卫华介绍说，“‘玲珑’DPU产品架构是基于标准化、模块化的设计，我们在开发时保持了优良架构的延续性，对微架构进行了细调，以适配更多的场景化因素，保证了高效性和差异化的同时，实现了架构的灵活可配置。” “玲珑”D8/D6/D2 DPU单核性能可达每秒8K60帧，如果客户需要比较复杂的多显示输出，可以通过软件驱动让4个每秒4K60帧的显示处理并行工作，从而达到4个显示同时输出。除了架构本身，安谋科技也充分考虑了各类场景的丰富应用，最多可以支持16层的内容输入，有效促进系统资源的利用和管理。 此外，“玲珑”DPU实现了完整的系统支持，内置Arm AFBC帧压缩和解压缩模块，这使得它在确保整体系统方案的高性能和高画质的前提下，最大限度地节省了带宽及功耗；集成的MMU-600/700中的转换缓冲单元（TBU）模块，可针对不同显示场景进行专门优化，以进一步降低系统访问延时。此外，“玲珑”D8/D6/D2 DPU还支持Arm TrustZone媒体保护（TZMP）架构，实现了软硬一体化设计，能够为显示数据的安全性提供强力保障。 为了确保可扩展性，“玲珑”DPU架构中还预留了一个接口（Coprocessor Interface），用于给客户做接入。

“玲珑”DPU架构图

基于灵活可配置的架构，“玲珑”DPU系列实现了从高性能到低能耗应用的广泛覆盖，同时在性能、面积和功耗等维度上实现了较好的平衡。其中，“玲珑”D8系列主要面向高性能显示的应用场景，可实现每秒8K60帧的实时显示处理，或者单IP核支持4个每秒4K60帧的实时显示输出；D6系列则针对性能能效优化显示的应用场景，可实现每秒8K30帧或者4K120帧的实时显示处理，或者单IP核支持2个每秒4K60帧的实时显示输出；D2系列则用于注重能效比显示的物联网场景，可实现每秒2K60帧的实时显示处理。 “DPU使我们的多媒体产品线拼图更加完整，能够给客户带来更好、更完整的解决方案”，周华表示，“DPU未来的优化方向之一是利用AI来提升画质，比如超分辨率和画质增强等技术。同时，AI技术产生的大量数据对显示设备的实时性和连贯性提出了更高要求，DPU设计需要考虑如何在带宽方面提供对AI的支持。简言之，AI技术的融合将是DPU产品性能提升的关键，智能化将成为图像显示芯片一个重要的发展方向。”

编解码融合，国内首批包含H.266的VPU随着视频应用越来越广泛，更高清的视频分辨率、更高效的视频压缩技术、更先进的视频编解码算法成为了主流趋势。与此同时，视频标准也在不断地迭代升级。最新的国际视频编码标准H.266能够提高4K和8K超高清视频的压缩效率，且在同等画质下，比上一代标准节省约50%的流量，使得高清视频的传输和存储成本得以显著降低。 “玲珑”V510/V710 VPU是国内首批同时包含H.266编码和解码的VPU产品。相较于前代， “玲珑”V510/V710 VPU的编解码性能均实现了翻倍提升，并且在4K/8K应用场景中的编码质量可提高25%以上，新增了屏幕显示菜单OSD前处理功能，能够更好地兼顾主流市场和新兴应用的实时编解码需求。 其中，V510系列主要面向4K及以下视频的应用场景，最多可支持4核配置；V710系列则针对高端的8K视频应用场景，最多可支持8核配置。 据董峰介绍，“‘玲珑’V510/V710 VPU采用了多核多格式编解码融合的可编程处理架构，单核的编码或解码性能可达到每秒4K60帧，能够根据端、边、云等不同场景需求，分别提供1-4核、4-8核等多种配置。” 他强调，传统的编解码分离架构，编、解码过程各自需要内存资源。安谋科技在“玲珑”VPU中采用了融合架构，旨在通过内部复用pipeline来减少资源消耗。在技术层面，通过加速器和数据流层级的优化，并结合MCU控制而非纯硬件控制的方式，可以适应不同的数据流控制需求。 以“玲珑”V710为例，架构中集成有5个MCU，MCU上运行的固件是架构实现灵活性的重要原因。这相当于不同的MCU对应控制不同的硬件加速器，在spec分析阶段，考虑哪些可以固化、哪些可以通过灵活的软件配置实现。正因如此，“玲珑”V510/V710 VPU在大幅节省存储空间及带宽成本的同时，还能按需配置，确保系统性能、功耗和面积的最佳平衡。

“玲珑”V710架构图

在周华看来，芯片一旦流片后，改动的代价非常大。而固件可以在流片后继续进行调整优化，比如码率控制、编码质量的优化等，甚至一些硬件bug都可以通过固件来解决，且调优效率更高。此外，固件负担了和硬件交互的一些工作，也极大地缓解了主CPU的工作量。 不过，MCU固件在带来灵活性的同时，也增加了大量的验证工作，需要投入的资源非常多，这也是该架构的门槛所在。“VPU在某种程度上类似于SoC，专注于业务场景的数据流管理。安谋科技在这方面拥有强大的系统级架构设计能力，尤其在IP层面的系统化设计上具有优势”，董峰强调。 为了实现多核并行和性能的线性提升，“玲珑”V510/V710 VPU还创新性地在数据处理任务中实施条带级划分，从而更细致地分解和考量架构，实现了多核并行处理和性能的线性提升，同时显著提高了面积效率。在实际应用中，“玲珑”V510/V710 VPU可以根据客户需求进行灵活配置，快速响应需求。 为帮助开发者基于各种视频编解码标准进行快速部署，“玲珑”V510/V710 VPU还提供了一整套完备的固件工具及软件支持，凭借软硬件交互的架构设计，开发者后续还可通过软件升级对既有硬件进行灵活扩展和优化。 目前，国内头部的互联网内容商已经开始在H.266标准层面上展开相应的部署，包括H.266数据流、从端侧到云端的转码等，主要是在低码率以及带宽变化比较频繁的场景下，通过H.266技术带给用户更好的实际场景感受。“H.266很可能会成为我们的抓手，明年在客户产品布局上会发挥更大的作用“，周华表示。 据了解，“玲珑”VPU系列面世超过三年，目前已授权30多家国内合作伙伴，并应用于手机终端、PC、智能汽车、智能安防等主流场景。此外，2023年推出的Arm智能视觉参考设计也集成了“玲珑”VPU，支持紧凑的、多格式且高效能的视频编解码处理。

承担多媒体产品的“历史包袱”，赋能本土应用创新回顾从业经历，周华不无感慨地说，“我在十二三年前成为了一名VPU工程师，应该是国内首批VPU工程师，对多媒体产品的‘历史包袱’深有体会。这主要体现在视频格式和视频标准的持续演进，为了实现更小的芯片面积，一个IP往往需要兼容以往的十几、二十几种格式，并且每新增一种格式，编、解码都要重新验一遍，这个工作量非常庞大，对设计能力有较大的挑战。” 理解并应对这些“历史包袱”对于多媒体产品的持续发展至关重要，“玲珑”多媒体产品线就在这样承前启后的布局中不断实现了迭代、升级。 周华表示，“‘玲珑’的成长，其实也是安谋科技自研业务持续进化的一个缩影。通过立足本土市场和客户需求进行针对性布局，全面发挥Arm技术体系的技术基因和生态优势，我们能够从IP上游视角和系统化思维出发进行全局考量和协同创新，这是我们不断成长的关键。要解决历史遗留问题，这决不是任何一个厂商能依靠单一技术实力做到的，我们始终在打造基于技术标准的多样性和历史性的技术生态。如今，多媒体产业迎来新的窗口期，作为IP厂商，我们希望赋能更多场景的客户。” 谈及在中国庞大的多媒体市场中的定位，周华认为安谋科技既是“学徒”，又是“标兵”。从行业特点看，多媒体业务面向的是一个高度碎片化的市场，客户既要求标准化和适用性，便于快速研发和灵活扩展；同时也要求一定的差异性，针对特定的市场进行创新。这就需要与客户密切沟通，可以说客户是“师傅”，安谋科技是“学徒”，将客户的行业实践积累和自身IP技术积累进行叠加，实现优势互补。 另一方面，AI、智驾智舱等新技术，为本土产业链打开了新的增长空间。同时，基于图像和视频的数字多媒体技术也在不断发展和普及，成为终端智能化升级的“加速器”。“巨大的机遇面前，安谋科技希望能够做好‘标兵’，为本土客户提供多元化且符合本土产业需求的产品和解决方案，助力国产芯片厂商在多媒体技术领域实现创新发展”，周华强调。