云视图研一直在研究立体全息成像在教学和通信领域的应用,同时也对三维图形自动生成和计算保持研究与关注。目前已经形成了完整的全息立体教学系统和平台,可支持师生的3D模型创作、自主编辑、线上发布、多人协作、课堂调用和实时交互渲染等全链条功能,此外为了让全息教学走入实际教学,云视图研的教学平台中已囊括了数万组高精度三维教学模型,实现了师生可以便捷的创作和使用全息教学系统。
但对于需求庞大且个性化需求众多的教学市场,单个企业的创作和供给能力远远无法满足全国范围内和各体系教学机构的海量需求,因此从2022年开始云视图研将破解这一难题的希望瞄向了GPT大模型。虽然GPT3.5号称可以实现文生三维,不过从流传出来的试用DEMO看,AI生成的模型瑕疵还相当明显,甚至有些恐怖谷效应让人难以接受。
据了解,目前还没有一个单一的大型模型能够高质量地从文本描述直接生成3D模型,但有一些较新的研究探索使用大型多模态模型与传统的3D建模技术相结合,来尝试从文本生成3D模型,譬如OpenAI的DALL-E结合传统3D建模技术,还有Meta(Facebook)的DreamFusion模型。二者大致的技术思路无外乎是先使用大型语言模型从文本生成2D图像,而后将2D图像输入到3D网络中生成初始的3D形状,再使用3D重建算法优化最终的3D模型。这个过程需要处理大量数据,并精心设计算法和长期的训练优化,从可见的DEMO看着仍然是一个极具挑战的问题,主要技术难点在于算法无法准确模拟人脑理解复杂的3D形状和空间关系,其次是保持文本、2D图像和3D模型之间的一致性,前道工序理解的准确性也将直接关系到最终模型的精度和画面丰富感。
基于GPT的文本生成3D确实值得期待,结合云视图研的全息立体教学,今后的课堂将不再是黑板和课本,而是脑洞大开的全息科幻课堂,孩子们所想即所见,老师们可根据教学大纲大胆发挥想象,去构建三维课间来全维度的解析自己的课程要点,对于这样充满互动感和未来感的教学场景,我们无论怎样去想象它对教学带来的革新和颠覆都不为过。3D模型直观展现了所学概念的空间结构和外观细节,学生可以从多角度观察和操作模型,加深理解和记忆。从教师角度而言,根据教师或学生提供的文本描述,自动生成相应的3D模型教学资源,满足个性化学习需求,教师无需花费大量时间制作3D模型,节省教学准备时间,大大提高了工作效率。3D模型能帮助学生培养空间想象和建模能力,对于一些几何概念等抽象内容很有帮助。而且可以通过网络分享3D模型教学资源,为远程教育和普惠教育提供资源支持。
云视图研的全息教学系统已经部署到全国数所知名高校,从学校师生的使用体验反馈看,裸眼宽视场的显示效果带来了超越以往的虚拟现实教学体验。若三维资源的创建环节打通,全息教学有望迎来爆发式增长。对这一前景云视图团队研保持十分乐观的态度,不过同时也认为,AI生成整个过程涉及自然语言处理、计算机视觉、3D建模等多个领域的技术,需要大量训练数据、先验知识和算力支持,实现大众想象中的技术突破可能并非朝夕之间。接下来几年随着算法和硬件的发展,以及更多训练数据的积累,这一领域能够取得突破性进展。