在过去的数十年中,VR 体验可以被视作为人机交互技术的风向标,从科幻电影进入研究实验室,再走向家庭和办公室,人机交互技术伴随VR一同进步。但是,即便是今天的最佳 VR 体验也尚未实现完全的沉浸感。
NVIDIA 最新推出的基于 图灵(Turing)架构的 GPU 蓄势待发,有望使 VR 体验朝着这一目标迈进一大步。而且还在SIGGRAPH 和科隆游戏展 (Gamescom) 上宣布,Turing 将结合实时光线追踪、AI 和全新渲染技术,推动 VR 技术在沉浸感和逼真度方面再次飞跃。
实时光线追踪
通过引入光线追踪核心 (RT Core),Turing 可达到逼真的视觉保真度。这些处理器专门用于加速光线与环境中物体相交位置的计算,首次在游戏和应用程序中实现了实时光线追踪。
这些光学计算可复制光线的行为方式,从而创造出惊艳无比的逼真画质,让 VR 开发者能够更好地模拟现实世界的环境。
Turing 的 RT Core 还可以利用 VRWorks Audio SDK 进行音频模拟。迄今的 VR 体验可以提供方位精准的音频体验。但它们仍无法满足计算需求,不能充分地反映出环境的空间大小、形状和材质属性,在动态环境中尤甚。
与上一代技术相比,借助 RTX 平台,VRWorks Audio 的运行速度可提高 6 倍。其光线追踪的音频技术能够实时创建虚拟环境的物理逼真声学图像。
在 SIGGRAPH 上,NV 演示了 VRWorks Audio 与 NVIDIA Holodeck 的集成,并展示了在开发复杂虚拟环境时,该技术如何创建更为逼真的音效并加速音频工作流程。
人工智能打造更为逼真的 VR 环境
作为一种 GPU 加速 AI 的方法,深度学习有望能够解决 VR 的最大视觉和感知挑战。图像可以得到进一步增强,位置和眼动追踪可以得到改善,角色动画也可以变得更加生动逼真。
Turing 架构搭载的 Tensor Core 每秒可进行高达 500 万亿张量运算,从而加速推理过程并将 AI 应用于高级渲染技术,使虚拟环境更加逼真。
高级 VR 渲染技术
Turing 还搭载一系列全新渲染功能,可提升 VR 的性能和视觉质量。
可变速率着色 (VRS, Variable Rate Shading) 能够优化渲染。主要方法是在场景的详细区域中应用更多着色性能,并在拥有较少可感知细节的场景中限制计算。这可以降低场景外围区域的着色率(用户不太可能留意的区域,尤其是当与眼动追踪相结合时),从而用于注视点渲染。
多视图渲染 (Multi-View Rendering)能够支持提供超宽视场和斜面显示屏的下一代头显设备,这样用户就能看到一个无边框的虚拟世界。多视图渲染是单通道立体视觉 (Single Pass Stereo) 的新一代版本,可以将单个渲染通道的投影视图数量增加两倍,达到四张。这四张投影视图现在都独立于位置,并且能够沿任何轴移动。通过渲染四张投影视图,系统可以加速搭载极宽视场的斜面(非共面)头显设备。
Turing 的多视图渲染技术可以加速四张视图的几何处理让VR设备连接更为便捷
Turing 是 NVIDIA 首款拥有 USB Type-C 和 VirtualLink* 硬件支持的 GPU,其中 VirtualLink 是通过单一的轻量级 USB-C 数据线来驱动新一代 VR 头显设备的全新开放式行业标准。
现在的 VR 头盔在设置上十分复杂,需连接多条笨重的数据线。VirtualLink 通过一根数据线来提供电源、显示和数据,同时可传输大量带宽以满足未来头显设备的需求,从而简化了 VR 的设置过程。单条连接器同时还可以用于将 VR 连接至小型设备,如轻薄型笔记本电脑,后者只提供一个小巧的 USB-C 连接器。
9月,VRWorks SDK更新版中已经可以获取 VRWorks Variable Rate Shading、Multi-View Rendering 和 Audio SDK。
Turing架构革新了计算机图形学,全面推进了人机交互技术,同时也将为VR技术带来全新体验。
NV 基于 Turing 架构的 Quadro RTX 和 GeForce RTX GPU 已经开始发售。作为领先级高端电脑制造商和大陆主要VR硬件供应商,攀升(IPASON)已开发出基于 GeForce RTX GPU 平台的终端设备,让众多高端游戏玩家和VR爱好者,体验到人机交互技术突破性进展所带来的全新视界。