编辑 | 伊风
出品 | 51CTO技术栈(微信号:blog51cto)
GPU是大模型牌桌上唯一的砝码吗?
——或许全世界都或多或少想摆脱英伟达这个过于强势的硬件供应商。然而,对于被“卡脖子”的我们来说,这个问题则更加的现实和严峻。
美方对我国AI发展的限制是可谓是全方位的。用中国科学院计算技术研究所研究员张云泉的话说,这包括“禁止销售高端GPU,终止大模型源代码分享以及中断生态合作。”
这使得硅谷“暴力美学”式的Scale Law我们很难跟进。
在近日召开的2024中国算力发展专家研讨会上,专家们指出了一条新的路:超算。
“当大模型需要1万至10万个GPU时,通过开发专用超级计算机克服高能耗、可靠性问题和并行处理限制是至关重要的”张云泉说。
1.超智融合:英伟达验证过的算力路很多专家看好超级计算和智能计算的整合。这将有希望同时满足多种不同算力的应用需求。
英伟达新推出的最强芯片GB200就是这个思路,该芯片由两个B200 Blackwell GPU和一个基于Arm的Grace CPU组成。通过NVIDIA先进的 NVLink-C2C互连技术,CPU和GPU之间可以紧密协同,以减少数据在两者之间的传输时间,提高处理速度。
图片
不过,这还不是一个完美的解法。中国科学院院士陈润生说:这种架构并没有从根本上解决效率问题。“超算与智算的结合是必然的,将会有机融合,而不是简单地把它们凑在一起”。
2.堆芯片或将过时:思路由硅基向碳基转变院士钱德沛不主张“跟着美国走”。堆芯片在短期上难以实现,从长远来看,也未必能解决真问题。
“一味地增加芯片,依靠增加系统的复杂度来解决大模型的存储问题是不完全可取的”。
从美国目前的实践来看,即使卡不是问题,也已经面临了有算力没电力的尴尬。此前,马斯克的合作方甲骨文公司,就曾因提出 xAI 选建算力中心的地方供电不足,最终导致潜在的百亿合作破裂。
在最近2024比特币大会上,特朗普承诺若胜选则将通过兴建核电的方式,解决AI发展的后顾之忧。
然而,模型始终在扩展,从文字到多模态,AI吞下的能耗越来越大。这种解决方式可能无疑于抱薪救火。
专家陈润生说,未来智能计算还是应该参考“人类智能”,也就是模拟人脑的运行机制。人脑的体积非常小,能耗只有几十瓦,但它所产生的智能,超过了现在最先进的、能耗相当于一整座城市的AI。
值得一提的是,我们在这个路线上已经取得了一些进展。例如天津大学医学院神经工程团队所研究的片上脑-机接口这一技术。
作为尚处于起步阶段的新型混合智能体构建技术,片上脑涉及智能基础、智能通讯、智能迁移、智能融合等多个关键环节。其中智能基础作为智能体的中央处理器 CPU,是实现片上脑智能的核心,旨在能高效地模拟大脑、解析大脑。
图片
3.“主权级大模型”:咬紧全球领先,不掉队7月25日,奥特曼在《华盛顿邮报》发布了一篇长文《谁将控制AI的未来》。
图片
他在长文中无不煽动地说,谁掌控AI创新和持续发展,谁就能统治未来。
这篇长文的目的显而易见——鼓励社会各方,尤其是美国政府继续加大对AI的投资力度。
这在全世界都是具备参考性的。当AI成为我们这个时代的基础能力,国家级超级大模型必须要获得政策的支持和倾斜才能做成。
张云泉提出了“主权级大模型”的概念。他建议道,超算是“国之重器”,需要用来攻克最大、最难的挑战。主权级大模型是一个能支撑国家发展的根模型,不是一般的大模型。
更具体的来说,创新联合体将依托国家超算、中科院和全国重点院校的知名教授团队、智能芯片企业、大模型解决方案企业等共同打造类似OpenAI的开放组织,由非营利性部门组织“主权级大模型”研发,由营利性部门组织“主权级大模型”落地。
参考链接:1.https://baijiahao.baidu.com/s?id=1805865069350871952&wfr=spider&for=pc
2.https://www.ithome.com/0/779/903.htm
来源: 51CTO技术栈