把「大模型」塞进手机里,究竟有多难?

镁客网 2023-12-25 11:10:26

苹果找了一条新思路。

能装进口袋的AppleGPT,它可能比你想象得更早成为现实。

据科技媒体MacRumors报道,苹果公司的AI研究人员在近期发布的一篇研究论文里,提到一种创新的闪存技术,该技术可能是为了探索“在有限的内存中运行大语言模型”(论文地址:2312.11514.pdf (arxiv.org))。

把AI大模型装进手机里,并不是什么稀奇的事情。自今年下半年起,国内手机厂商们纷纷透露自家大模型的消息,并表示未来的旗舰机型都会接入大模型。

不仅是手机,汽车、PC、平板甚至是学习机,都尝试将大模型嵌入其中。而这些大模型的规模也,从十亿级到百亿级,甚至千亿级。

不过发布会的演示虽多,实际测试下来真正惊艳的其实并不多。

例如一些所谓的手机大模型产品,无论是回答问题、生成一段文本或是图画,体验感都远远不及网页侧的GPT产品。

手机AI大模型,难在硬件

早在ChatGPT诞生前,智能手机上的语音助手们,其实就已经拥有人机交互、实时语音交流等能力。例如Siri、小爱、小艺等产品,它们在用户与进行对话后,即可完成一些简单操作指令。

可只要问题稍微复杂一点,这些语音助手就会变成“人工智障”,无法理解用户的真实意图。

此外,这些语音助手的功能很单一,无论是专注做语音功能,还是打造成一款全能性的应用,使用反馈都很一般。

随着大模型产品的成熟,AI的效率得到进化,原本“不聪明”的语音助手们终于有望像ChatGPT回答复杂的问题,大大提高智能手机的可玩性——这本是手机厂商们急于落地AI大模型技术的初衷。

而从实际体验来看,手机大模型应用的体验感并没有想象中惊艳,各种功能都不及网页侧。

我们以小米大模型为例,在演讲中,雷军表示,小米的突破方向是轻量化和本地部署,也就是所谓“端侧大模型”。

而想要运行起来,还少不了本地处理器。

在小米发布自研大模型之前,高通推出了新一代移动平台骁龙8 Gen 3。该处理器除了提升各方面性能以外,最重要的是引入了全新的Hexagon NPU处理器,将AI总算力推到了73TOPS,支持终端侧AI及生成式AI性能。

按高通表示,新处理器在终端设备上首次实现了运行100亿参数的模型,并且针对70亿参数LLM每秒能够生成20个token——这意味着目前的各种主流LLM都可以在手机端正常运行。

但实际情况是,小米AI大模型MiLM推出了6B(64亿)参数,1.3B(13亿)参数两个版本,只有更小巧的1.3B参数版本被塞进手机。

在采访国内大模型初创公司智子引擎时,他们提出过一个思路——针对芯片硬件侧,不管是大模型的训练和推理,除了要考虑算力的问题外,还要关注数据处理的存储量的问题。

像 ChatGPT 和Claude 这样基于LLM的聊天机器人,其实非常耗费数据和内存,通常需要大量内存才能运行,这对于 iPhone 等内存容量有限的设备来说是一个挑战。

而在AI 模型不断膨胀的同时,内存厂商的增长却当前的需求,造成了“内存墙”问题。

因此在苹果AI研究人员的论文里,作者别出心裁地提出针对闪存进行改进,从而绕过限制,从而移动设备支持运行超出自身内存规模的模型。

至于解决方法,一个是Windowing (窗口化),通过重用先前激活的神经元来战略性地减少数据传输,

第二个是Row-Column Bundling(行列捆绑),根据闪存的顺序数据访问强度量身定制,增加了从闪存读取的数据块的大小。

由于这项技术还停留在论文层面,我们只能从轮数据上得到反馈。

数据显示,测试LLM的推理速度在Apple M1 Max CPU上提高了4-5倍,在GPU上提高了20-25倍,效果还是非常明显。

最后,论文作者总结到:“这一突破对于在资源有限的环境中部署先进的LLM尤为重要,扩大了它们的适用性和可访问性。

对于消费者来说,在解决了内存问题后,就花费更少体验更强的AI应用,手机厂商们也不用为模型参数犯愁。

当然,手机AI大模型面临的难题不仅是内存,还有老生常谈的“功耗问题”,这一点也是未来手机处理器厂商需要重点考虑的问题。

改做小模型,可行吗?

在解决硬件问题之前,还有一些手机厂商采用云端大模型接入的方式。

虽然这种云端协同的方式可以让手机接入更大参数的大模型,但用户每一次使用应用时都会产生费用,而当国内所有用户使用大模型应用的话,一年下来也是一笔不少的开支。

因此在这两种路径外,一些AI公司开始探索起小模型(SLM)的潜力。

例如微软,目前在生成式AI战略上出现了180度大转变,推出多款小模型。

就在本月,微软发布了27亿参数规模的小语言模型Phi-2,经研究人员测试,该模型在参数规模小于130亿的模型中,展示了最先进性能。

以高质量的“小数据”挑战“大模型”,这是小模型的特点之一。除此以外,因为参数规模足够小,Phi-2可以在笔记本电脑、手机等移动设备上运行。

随着越来越多的厂商开始探索在手机等移动设备上部署大模型,微软的小模型产品可以用凭借更加出色的性能抢先占领移动市场。

除了微软以外,一些初创AI公司也选择从小模型入局。

例如号称欧洲版OpenAI的Mistral AI,他们推出的开源模型Mistral 7B,就是一款非常有特点的小模型,仅仅用7B模型就达到了大部分大模型的水平。

而他们其实更看到B端企业客户的需求,在保护企业的私有数据不被泄露和利用提前下,让小模型成为更实用的企业版方案,这也非常符合欧洲当地企业的特点。

不过总的来说,小模型与大模型算是两种不同类型的产品,都有各自的价值,不存在取代关系。

或许在未来的移动设备上,大模型和小模型都能有所作为。但就目前来看,“手机AI大模型”还要很多难题亟待解决。

0 阅读:10

镁客网

简介:硬科技第一产业媒体,提供最有价值的行业观察。