手部跟踪功能作为Varjo Base 4.10软件新发布的一个全新功能现在可支持Varjo XR-4系列全部头显。这一强大的新功能是免费提供的，可通过Varjo基本设置自动启用。

请注意：手部跟踪作为一种测试功能。虽然它已经实现了一些全新的可能性，但也有一些已知的限制，包括手势可靠性和延迟。用户的使用反馈将帮助Varjo在未来的更新中完善体验。

与OpenXR应用程序无缝集成

集成的手部跟踪功能适用于定焦和自动对焦的XR-4头显。用户现在可以通过OpenXR APIs在任何支持手部跟踪的应用中享受身临其境的交互。具体来说，Varjo现在可实现包括对XR _ EXT _ hand _跟踪和XR _ EXT _ hand _交互的OpenXR扩展。

XR _ EXT _ hand _跟踪支持完全连接26个手形标志，提供详细的骨骼跟踪。

XR _ EXT _ hand _交互支持四种直观的手势：瞄准、捏、抓、戳。为了获得最佳用户体验，建议使用利用此扩展的应用程序。

对于正在使用Ultraleap Leapotion Controller 2，或者更愿意继续使用它的用户来说，其仍然完全兼容。在自动的模式下，如果Ultraleap设备已连接，系统将优先考虑该设备。

基于摄像头的跟踪–不需要额外的硬件

这一新功能是通过利用XR-4的视频透视(VST)摄像机流实现的。这意味着不需要额外的硬件—您的手直接在头显的可视区域内被跟踪。

在90赫兹和75赫兹VST模式下都支持手部跟踪，但跟踪帧速率在最初的版本中略有降低。(对于使用XR-4 FE的用户，请注意75 Hz模式提供了更大一点的垂直视野。)

针对真实环境进行了优化

该系统针对典型的办公室照明条件(200-500勒克斯)进行了优化。为了实现最佳性能，请确保您的环境光线充足，让VST相机捕捉高质量的帧。

无论是使用Varjo自带的内向外跟踪(IoT)或者Steam VR跟踪，手部跟踪都独立于头显的位置跟踪方法进行工作。

由机器学习驱动

该功能的核心是一个在Varjo内部训练的机器学习模型。该系统使用以下组合来检测和解释3D中的真实人类手部：

立体视觉通过头显的VST摄像头捕获

深度数据通过内置飞行时间传感器测量

通过对来自广泛领域的个人数据进行模型训练，确保了头显可稳定识别不同年龄、肤色、大小和性别的手部。

该推断是在CPU上执行的，因此具有高性能处理器的计算机将提供更加稳定的手部跟踪。GPU不用于手部跟踪，使用时请区分用户应用程序的优先级。