向全球开发者开源阶跃星辰与吉利联合宣布两款多模态大模型

太平洋汽车 2025-02-18 16:11:42

【太平洋汽车 行业频道】2月18日,阶跃星辰和吉利汽车集团联合宣布,将双方合作研发的两款阶跃 Step 系列多模态大模型向全球开发者开源,包括开源视频生成模型阶跃Step-Video-T2V,以及开源语音交互大模型阶跃Step-Audio。

据悉,阶跃星辰是吉利汽车集团的科技生态战略合作伙伴,拥有国际顶尖的算法团队。2023年开始,吉利便与阶跃星辰在预训练大模型、垂直领域大模型、应用场景设计、工程开发等方面展开了深度合作。其中,吉利牵头了场景设计、模型测评、工程开发等业务,阶跃星辰主导了模型预训练等业务,双方优势互补,显著增强了两款阶跃Step系列多模态大模型的性能表现。

具体来看,阶跃Step-Video-T2V大模型参数量达到300亿,可以直接生成204帧、540P 分辨率的高质量视频,是当前全球范围内参数量最大、性能最好的开源视频生成大模型。阶跃Step-Audio大模型能够根据不同的场景需求,生成情绪、方言、语种、歌声和个性化风格的表达,能和用户自然地高质量对话,是行业内首个产品级的开源语音交互模型。

早在2021年,吉利就围绕芯片、软件操作系统、数据和卫星网搭建了端到端的自研体系和生态联盟,构建了完善的“智能吉利科技生态网”,驱动用户在智能驾驶、智能座舱上的体验不断进化;2022年,吉利建成了全球车企首个“云、数、智”一体化的星睿智算中心;2023年,吉利发布了全球首个汽车行业全栈自研全场景AI大模型——星睿AI大模型,并获得了中国通信院“4+级”行业最高评级;2025年,吉利发布了行业首个“智能汽车全域AI”技术体系。

吉利星睿AI大模型中的AI Drive大模型,具备强大场景生成与规划能力,能够根据雨雪等不同天气光照条件、道路结构、拥堵路况、立体车库和不常见的交通目标,构建出真实驾驶中难得一遇的极端驾驶场景。基于真实的驾驶视频数据去优化阶跃Step-Video-T2V,可以将它变成一个自动驾驶数据合成器。星睿AI大模型正在探索将这些丰富的合成场景转换成“以假乱真”的训练数据,相当于自动驾驶系统打造了一个丰富的"虚拟驾考考场",从而显著提升车辆在智驾行驶时面对各种路况的应变能力,保障行车安全。

而在阶跃Step-Audio大模型超强交互功能赋能下,吉利星睿AI大模型可以大幅提升语音指令响应速度,以及交互过程的情感理解与表达能力。当用户说“导航,快迟到了”的时候,系统不仅会自动规划更快路线,还会主动询问是否需要播放轻音乐缓解情绪。同时,系统不仅可识别粤语、四川话等丰富的方言,还支持个性化声音定制,用户既可以选择系统提供的人声音色,也能录制孩子的笑声制作专属提示音,甚至让车载AI模仿山涧流水声营造车内冥想空间。

除此之外,吉利也是首家与DeepSeek完成深度融合的车企。通过携手DeepSeek-R1模型,吉利将对星睿车控FunctionCall大模型、汽车主动交互端侧大模型等进行蒸馏训练。届时,吉利智能汽车AI不仅能对用户的模糊意图实现精准理解,进而准确调用约2000个车载接口,还能基于车内外场景主动分析用户潜在需求,并为用户主动提供车辆控制、主动对话、售后等服务,智能交互体验将大幅提升,加速AI在智能汽车领域普及。

据介绍,目前基于“智能汽车全域AI”技术体系打造的AI银河精灵、Flyme Auto 智能座舱、无界空间、AI云动力、AI绘本、AI哨兵等一系列AI应用,已在银河E8、银河E5(询底价|查参配)、银河星舰7EM-i等车型上搭载。今年3月初,吉利还将对外发布重磅AI智能化战略,加速推动AI数字底盘、高阶智能驾驶等最新AI技术的逐步上车,为用户带来更多智能化体验。(文:太平洋汽车 李喆)

0 阅读:1