DeepSeek携手高通,如何在终端设备上实现AI推理的突破?

星辰智 2025-03-06 14:19:11

你是否想过,未来你的手机也能像ChatGPT一样智能,即使没有网络也能进行复杂的AI处理?

曾经,我们依赖搜索引擎获取信息,如今,大模型能够直接提供整合后的答案。

但如果无法联网,搜索引擎就失效了,而支持终端侧部署的大模型却能继续工作。

这就是终端侧AI的魅力所在,也是DeepSeek与高通正在努力的方向。

终端侧AI,顾名思义,就是将AI的推理能力部署在终端设备上,例如手机、电脑等。

相比云端AI,它拥有诸多优势:无需联网即可使用,响应速度更快,还能更好地保护用户隐私。

试想一下,在没有网络信号的飞机上,你依然可以使用手机上的AI助手进行翻译、创作,甚至生成图像,这将是多么便捷的体验!

终端侧AI的发展也面临着挑战,有限的算力和存储空间限制了模型的规模和性能。

如何在终端设备上运行大型复杂AI模型,一直是业界难题。

DeepSeek的出现,为解决这个难题带来了新的希望。

不同于其他专注于构建庞大模型的企业,DeepSeek另辟蹊径,通过创新技术,例如模型蒸馏,在有限的资源下实现了模型性能的突破。

他们的DeepSeek-V3模型,训练成本仅557.6万美元,却能与性能强大的ChatGPT-4o相媲美。

这就好比一位精通多种武艺的武林高手,以小巧的身形却能爆发出惊人的力量。

高通也对这种“以小博大”的策略表示认可。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉(Durga Malladi)认为,小模型通过蒸馏技术可以实现更多功能,性能也更加出色,这将有助于开发更多高质量模型,意味着能够实现AI商业应用的规模化扩展。

他指出,未来参数规模将不再是衡量模型质量的重要指标。

DeepSeek的创新技术与高通的战略布局不谋而合。

早在2007年,高通就启动了首个AI研究项目,并在骁龙平台上推出了首款Hexagon DSP。

2015年,骁龙820移动平台首次集成了高通AI引擎。

过去十年,高通与众多合作伙伴一起,在影像、游戏、通话、连接等领域推动终端侧AI的创新和应用。

进入大模型时代后,高通率先在终端侧支持本地部署,并推出了高通AI Hub,为开发者提供全面优化的AI模型库,支持跨不同业务的骁龙和高通平台部署。

高通为AI推理时代做好了充分准备,就像一位经验丰富的舵手,为航行提供了稳定的方向。

高通定制的CPU、GPU、NPU,以及传感器中枢、内存共同组成了异构计算架构,在保证高性能的同时也兼顾了高能效。

这就好比一个高效的引擎,既能提供强劲动力,又能节省燃料。

高通AI软件栈和AI Hub则为开发者提供了便捷的工具,帮助他们更快速地开发和部署AI应用,就像一位经验丰富的导师,为学生提供了学习和实践的平台。

高通还积极构建开放生态,与设备厂商、模型厂商、开发者、用户紧密合作,共同推动终端侧AI的发展。

高通AI白皮书中提到了AI推理时代的四大关键趋势:模型参数规模正在快速缩小、最先进的AI小模型已具有卓越性能、开发者能够在边缘侧打造更丰富的应用、AI正在成为新的UI。

高通如何将这些趋势转化为实际价值?

高通与DeepSeek的合作,将如何普惠千行百业及终端用户?

高通提供了“稳定剂”、“催化剂”和“加速剂”:平台级算力是“稳定剂”,高通AI Hub是“催化剂”,广泛的开放生态是“加速剂”。

终端侧AI的未来并非一片坦途。

它需要爆款应用来证明自身的价值,需要成功案例的规模化复制,还需要克服区域发展不均衡带来的挑战。

高通白皮书中提到的“AI正在成为新的UI”,预示着未来AI将与用户进行更自然、更智能的交互。

但不同终端AI智能体水平的良莠不齐,也可能影响用户体验。

如何解决这些问题,将是终端侧AI推理创新进程中,整个行业需要共同面对的挑战。

从搜索引擎到大型语言模型,再到终端侧AI,我们见证了AI技术不断演进的历程。

未来,终端侧AI将如何改变我们的生活?

DeepSeek与高通的合作,又将为我们带来哪些惊喜?

这值得我们拭目以待,也期待更多人参与到这场变革中来。

0 阅读:3

星辰智

简介:星辰智