文/VR陀螺
今年7月,「ASTATION山海空间」户外大空间项目落地北京,很快便引发了业内人士的关注。一方面这是首个虚拟场景+户外实景融合的项目,另一方面其也是第一款设备采用Vision Pro的大空间项目。
或许不少人都有疑惑,Vision Pro真的适合完全开放的户外吗?技术研发成本会不会更高?为了能够更加深度的解答这些问题,10月29日,「ASTATION山海空间」研发团队意景技术在北京举办了MR户外大空间技术分享会,从技术开发、材质特效、动画贴图、美术场景到空间计算的未来应用等进行了全面探讨。
与此同时,「ASTATION山海空间」总制作人 钱清泉还宣布了「A计划」正式启动,诚邀行业开发者伙伴共同投入到基于Vision Pro平台的户外大空间项目开发与制作中来。
Vision Pro户外大空间?在VR大空间爆火的当下,一提到大空间,所有人想到的都是在一个被各种图形符号贴纸包裹住的室内空间中,一群人戴着PICO或HTC或Quest头显在其中游走,体验沉浸的故事剧情。如今上百个VR大空间几乎都是这种模式。
而总有这样一群人,他们大胆且疯狂,「ASTATION山海空间」就是这个打破常规的存在。
试想一下,一群年轻人戴着Vison Pro的头显,在798的街头Citywalk。这样的科幻场景,似乎只会出现在想象中,而ASTATION虚拟现实传送站把它变成了现实,就连苹果自身都没想到AVP竟还能以这样的形式落地应用。
去年,苹果正式发布Vision Pro犹如惊涛骇浪席卷了整个产业,一时间圈内外的从业者、资本、用户欢欣雀跃。而兴奋之余,很多人也开始试图在这个平台上找寻机会。意景便是其中一位,当钱清泉注意到Vision Pro时,就产生了在Vision Pro上做项目的想法,但不同于大部分人选择在平台上发布线上应用,他选择了与线下娱乐结合,「ASTATION山海空间」也就是在那时开始立项。
ASTATION充分利用了Vision Pro发布会后的半年时间,在设备发售之前提前使用苹果提供的Vision Pro开发者内容包进行功能与美术上的尝试,ASTATION使用M2芯片的IPAD Pro进行打包测试,并持续的优化项目,通过这种测试,大致了解了Vision Pro开发可以达到的效果。
ASTATION美术总监于辰表示,“去年10月份,苹果上海总部陆续对开发者开放体验活动。我们当时就开发了一些游戏DEMO以及一些数字资产,包括恐龙、雕塑、鱼群等带到上海,然后再用Vision Pro去体验我们开发的内容。体验完之后,大家就确定了立项。”
只是,最初项目的雏形并没有计划在户外,ASTATION先是考虑将体验设置在各大艺术展区内,联合艺术展区的场地布置虚拟场景。大空间从业者应该都了解,国内适合做200平米上大空间,且中间无立柱的场地几乎凤毛麟角,同时场地的匹配度与地址位置人流往往还相悖。ASTATION选择另辟蹊径,产生了与户外结合的全新想法。
但从一个项目立项到落地,前期的准备仅仅是一个开端,对于想把Vision Pro落地户外大空间这种大胆的想法,还要考量很多其它的问题。选址也是其中一个。
ASTATION执行制作人 孙予璠表示,“对于户外大空间来说,选址上要费心很多。首先,要考虑场地的安全性,户外一定要保证用户能够安全体验。其次,就是实地场景的美观度,场地本身也要具有一定的吸引力与自然人流。同时,场地拥有的文化与艺术属性也会激发创作者的想象力,内容上也能够产出更加独特与定制化的内容。最后,则是考量测试成本。像「ASTATION山海空间」选择落地798,不仅仅是因为满足了前两个因素,还距离公司很近。随时都可以下楼开始进行测试,在开发过程中节约了很多时间和成本。我们通过这种方式练级,高效的进行制作积累经验,项目拥有更高的完成度之后,再选择更远的场地进行开发。”
ASTATION执行制作人 孙予璠
确定了落地场景与内容之后,ASTATION就踏上了技术研发。
「ASTATION山海空间」研发技术分享:如何完美打造户外MR大空间在本次技术分享会上,ASTATION程序总监 李志鹏、美术总监 于辰、技术美术 十二与ASTATION美术负责人 刘文从技术开发、材质特效、动画贴图、美术场景等各个角度分享了「ASTATION山海空间」项目的开发细节,各位也从开发者的角度分享了开发项目的经验与个人经历。
首先,李志鹏通过三个维度分享了户外MR大空间的研发经验,从开发环境(Apple原生开发/Unreal/Unity)、Vision OS的APP类型(Windowed/Metal-Based/RealityKit)、调试APP以及不同调试工具(Unity Profiler/Unity FrameDebugger/Xcode Instruments)做了深度讲解。
ASTATION程序总监 李志鹏
在Vision Pro的开发环境中,李志鹏表示,“虽然苹果推出了原生开发工具RealityKit+ARKit,但其实在游戏画面表现以及一些游戏内容的叙述逻辑上,Unreal与Unity要比原生开发工具更容易被接受。在Unreal与Unity之间,Unity对Vision Pro的支持度又要比Unreal大很多,所以我们团队目前主要使用的开发工具是Unity。”
确定使用哪一种开发工具之后,就是了解Vision OS的APP类型。目前Vision OS的APP类型主要分为三种:Windowed「窗口模式」、Metal-Based「VR模式」、RealityKit「MR模式」。在MR模式中,又可以细分为两类,有限空间XR APP「Bounded Volumes」与无限空间XR APP「Unbounded Volumes」,「ASTATION山海空间」属于后者。
对于调试APP的工具来说,李志鹏详细解释了调试模拟器、Play To Device、Unity Profiler、Unity FrameDebugger、Xcode Instruments等不同的工具。他表示:
“在没有拿到实机之前,使用调试模拟器去开发是非常方便的,但模拟器有一个很大的问题就是针对Vision Pro的一些独特性功能,包括手势、图像与环境监测等,调试模拟器的支持效果并不好。”
“Play To Device是专门用来调试的APP,配合Unity的开发者套件使用,这个工具很大优势是可以直接看到开发效果,对于开发者来说很方便,但如果需要调很细节的东西,就需要反复打包,很浪费时间与精力。另外一点是,这个调试工具对于大场景也不太友好。当内存达到3-4个g时,延迟会比较明显。”
“Unity 的两个调试APP:Profiler与FrameDebugger。Profiler在Windows系统上也可以使用,调试非常方便,网络上有很多详细的介绍,开发者的朋友应该都有了解。FrameDebugger主要是用来优化美术上的一些细节,可以逐帧地去查看渲染数据。这里还有一个内置优化工具Xcode Instruments,主要提供更偏向于系统层面的分析,除了提供一些常见的优化建议外,还会提供来自苹果的优化建议,例如当运行过程中增速过低时,他就会自动标准一个信号,你再根据苹果的反馈进行分析。结合这三种,就可以开始对项目进行优化了。”
最后,李志鹏还分享了具体的技术点与开发过程遇到的问题。在开发「ASTATION山海空间」过程中,李志鹏表示,“出现最多的三个问题是:图像与手势识别无法工作、位置与旋转的偏移、开启APP等待时间过长”。
“第一个问题相对较简单,因为新把APP装入Vision Pro上时,会有一个权限设置,打开权限即可;位置与旋转的偏移对于户外场景来说,现实环境定位误差肯定难以避免。这里我们的解决方法是进行重定位,通过图形识别功能进行位置校准,这样即便定位丢失也不用担心;第三问题可以细分为两个场景,一是开启APP等待时间过长,二是根本进不去APP,这里对于开发者来说要时刻留意APP内存的极限值,如果是超过4GB的独占APP,随时都有可能崩溃。”
ASTATION美术总监 于辰
于辰表示,“稳固的「三角构图」,「更大」不一定更好,分享了如何依托Vision Pro在户外MR大空间中实现「视觉奇观」的效果。”他表示,“虽然通过PBR流程就可以在Vision Pro上实现很好的显示效果,但视觉感如何恰到好处才是关键点。”
他还称,“「视觉奇观」并不是纯粹的追求「大」,因为超脱于现实比例的物体,像一些大空间场景中的巨物,如果追求一味地大反而会看不清原貌,让用户一直仰视去看也会造成颈部的不适感。反过来将巨物放远,近大远小的透视效果也会让巨物感官变小。”
为了能够更好地依托Vision Pro在户外MR大空间中实现「视觉奇观」的效果,A STATION团队测量了现实世界的真实比例,通过「三角构图」、远近变化的透视关系以及「遮挡的仪式感」效果,配合timeline动画解决方案呈现出了「视觉奇观」效果的最优解。
于辰还进一步解释了「三角构图」的优势,“一是,三角画面带来的纵深引导,会将人们的视线引向三角形的顶端。「ASTATION山海空间」的场景布置便是将798主街道建成一个矩形三角形,已达到玩家的视线从脚下一直引到尽头。整体景观也不会凌乱,并保持稳定的结构;二是,对于单个场景的构造,人们的视线也会从底部慢慢被引导至顶端,达到自然空间向上的效果。”
ASTATION 技术美术 十二
紧接着,十二在本次技术分享会上就《基于顶点动画贴图的高性能动物动画》这一主题分享了「ASTATION山海空间」的动画解决方案。体验过「ASTATION山海空间」项目的用户大概都了解,在这个大空间项目中,每个场景中都会有很多动物,但大量的动画计算会给CPU带来不小的性能压力导致画面卡顿。
为了能够解决这个问题,十二称,“「ASTATION山海空间」的timeline动画解决方案融合了骨骼动画、循环动画、VAT动画、路径动画和粒子动画效果,通过基于VAT的高性能动画解决方案,释放CPU压力,利用GPU强大的顶点动画运算能力,保证了有大量动画角色的场景帧数稳定。”
ASTATION美术负责人 刘文
最后,刘文称,“由于「ASTATION山海空间」的体验设置在户外,户外的环境会比较复杂,这也对材质提出了一定的要求。”
“现阶段Unity对苹果Vision Pro支持还不是很完善,对此,团队利用Unity提供的shader graph材质编译器通过特效、材质、动画的设计与优化弥补Unity对VP视觉效果支持的不足,从而达到现阶段「ASTATION山海空间」的视觉效果,未来伴随Unity的更新相信对Vision Pro的支持会越来越好。”
从2023年7月开始研发,到2024年7月正式发布,意景经历了无数次测试调优,天气、光线、环境、遮挡物、街道调整、穿行的人流……每一项都是不可控的因素,但是团队通过不断努力,解决各项问题让项目如期上线运营。除了开发人员测试之外,意景还找了上千位圈内外的用户测试,认真聆听每一位测试用户的反馈,不断迭代改进。如今「ASTATION山海空间」在定位稳定性、精准度、防眩晕,以及内容丰富度上相比最初有了质的提升,也初具口碑。
抢跑新赛道,ASTATION启动「A计划」今年,VR线下大空间在不断涌入新鲜的项目,「ASTATION山海空间」在其中独具一格,是一次冒险的同时,或许也将开辟一个新赛道。
在技术分享会最后环节,钱清泉宣布ASTATION正式启动「A计划」,将通过资金或技术方式扶持已开发完成的LBE项目移植为户外大空间项目,共同搭建MR户外大空间的全新生态。身处大空间浪潮中,在坚定自己方向的同时,钱清泉也希望能够协同更多优秀开发者团队,持续打造更多别具一格的内容佳作。
「ASTATION山海空间」总制作人 钱清泉
作为MR户外大空间的先驱力量,「A计划」的到来是ASTATION尝试的一小步,也是推动创作者们共建MR户外大空间生态的重要一步。