在接受 Digital Foundry 采访时,Nvidia 应用深度学习研究副总裁 Bryan Catanzaro 表示,他不排除未来引入 AI 帧生成以提高 FPS 的可能性,这已成为 DLSS 技术的一部分,在较旧的 Nvidia GeForce 显卡中。
![](http://image.uc.cn/s/wemedia/s/upload/2024/dc0221845546049a301ebd4c41e64d89.jpg)
图片来源: Digital Foundry / Nvidia
自 2018 年首次亮相以来,Nvidia 的深度学习扩展 (DLSS) 技术已发展到第四个版本。它的最新版本转向了 transformer 类型的 AI 模型,该模型允许许多新功能,包括多帧生成 (MFG)。后者允许您为每个传统渲染的帧创建最多三个附加帧,以提高 FPS。
![](http://image.uc.cn/s/wemedia/s/upload/2024/c4d9fef2095976153a275440e95083bb.jpg)
自 20 系列以来,Nvidia 已经能够在所有 GeForce RTX 显卡上实施一些新技术,包括 DLSS 光线重建、超分辨率和深度学习抗锯齿 (DLAA)。但是,第一代 Frame Generation 最初是作为 GeForce RTX 40 系列显卡的专有功能引入的,但 GeForce RTX 30 系列和 RTX 20 系列型号不支持。新的多帧生成器最初仅针对最新的 GeForce RTX 5000 发布。
在与记者的对话中,Brian Catanzaro 指出,他不排除在旧型号的 Nvidia 显卡中出现帧生成功能。
“我认为这里的关键是设计和优化问题,以及最终用户体验。我们正在推出这款帧生成器,这是最好的帧生成器,采用 50 系列显卡的多帧生成技术。将来,我们将看看我们是否可以为老一代设备挤出一些东西,“Nvidia 发言人评论道。
![](http://image.uc.cn/s/wemedia/s/upload/2024/ec7201ca5e27a39c0bb9f7c7179494e6.jpg)
在 Catanzaro 声明的背景下,可以假设帧生成器的第一个版本将来可能会出现在 GeForce RTX 30 系列显卡上。但是,它不太可能出现在 GeForce RTX 20 系列型号上。同时,多帧帧生成器很可能仍然是 RTX 50 系列显卡独有的,因为它需要更多的 AI 锐化计算能力,而这些卡中的新 Tensor Core 提供了这种能力。
英伟达的一位领先开发人员也分享了DLSS开发的一些信息。
“当我们创建 Nvidia DLSS 3 帧生成时,我们绝对需要硬件加速来进行光流计算。但是我们没有足够的 Tensor Core,也没有足够好的 Optical Flow 算法。我们没有构建光流算法来在 Tensor Core 上实时运行,而 Tensor Core 可以适应我们的处理能力空间。我们有 Optical Flow 硬件加速器,这是 Nvidia 多年来一直在构建的,作为我们视频编码技术的演变。它也是我们加速自动驾驶汽车计算机视觉的技术的一部分。似乎我们也将其用于 Nvidia DLSS 3 帧生成是有意义的。但是,像 Optical Flow 这样的算法的任何硬件实现的难点在于,它真的很难改进。它就是这样,以及由于这种硬件 Optical Flow 而出现的故障,我们无法用更智能的神经网络来解决,直到我们决定简单地替换它并转向完全基于 AI 的解决方案。这正是我们在 DLSS 4 中为帧生成所做的。