联发科端侧AI新突破:天玑全面优化微软小语言模型Phi-3.5

快科技 2024-12-27 18:27:25

联发科官方宣布,联发科天玑系列移动平台现已针对微软最新推出的Phi-3.5小语言模型(SLM)进行了专门适配与优化。

该优化目前已经落地天玑9400、天玑9300两款旗舰芯片,以及天玑8300次旗舰芯片,而包括天玑8400在内的未来的生成式AI技术芯片也都会支持。

开发人员可以通过微软Azure AI模型目录,以及联发科的NeuroPilot SDK开发工具包,使用微软Phi-3.5进行相关开发,尤其是在内置NPU AI引擎的联发科平台上进行和优化生成式AI推理。

所谓小语言模型,就是相对于大语言模型(LLM)而言,最大区别就是参数量更少,从数千亿甚至数万亿参数,通常会减少到几百万至几十亿,从而大幅降低了模型体积与复杂度,运行效率更高,获取更容易,还可以优化定制。

因此,小语言模型非常适合智能手机这样处理器、内存等硬件资源相对有限的设备。

随着生成式AI尤其是端侧AI的快速发展和广泛应用,AI正在全面革新现代人的生活、娱乐、工作方式。

事实上,在生成式AI浪潮来临之前,联发科就已经深耕端侧AI生态的推进,天玑移动平台每一代都在演进NPU AI硬件引擎,始终保持旗舰级性能,苏黎世AI Benchmark测试中几乎一直都是AI性能冠军。

强大的端侧AI性能,叠加联发科在生态开发方面的持续投入,为天玑平台智能手机的AI智能化体验打下了强大软硬件基础。

为了加速端侧AI应用落地、普及,联发科还打造了全新的“天玑AI智能体化引擎”,通过强大的端侧AI性能,将传统应用转化为更加智能化的AI应用,已经与多款知名应用达成深度合作,让年轻人的各方面生活都更智慧、更好玩。

未来,联发科也会持续推动端侧AI的深入发展,带来更加丰富的端侧AI应用。

1 阅读:20

快科技

简介:一起关注每日科技热点,分享前沿科技资讯!