GoogleCloud推出第六代TPU正式上线,为AI发展注入强大动力

逢纪说科技 2024-12-20 01:36:47

随着大型多模态AI模型(如文本与图像处理)需求日益增长,AI训练与推论的硬件需求也随之提高。Google Cloud今日宣布,其第六代张量处理器 (TPU) Trillium正式全面上线。这款性能卓越的AI芯片专为满足生成式AI时代的需求而设计,在性能和可持续发展性方面均达到优化。Trillium的性能比前一代提升4倍,能源效率更提高67%。

大型语言模型 (LLM) 的兴起,例如Google最新的Gemini 2.0,需要强大的运算能力和专用硬件来有效处理训练、微调和推论。Google早在十多年前就开始研发定制化的AI加速器TPU,以满足AI工作负载日益增长的需求,为多模态AI发展铺平道路。

Trillium TPU是Google Cloud AI超级计算机的关键组成部分,这款超级计算机采用性能优化的硬件、开放软件、领先的机器学习框架和灵活的消费模式组成的集成系统。除了Trillium TPU正式上线外,Google Cloud也同步强化AI超级计算机的开放软件层,包括优化XLA编译器和JAX、PyTorch、TensorFlow等热门框架,以在AI训练、调整和服务方面实现规模化的领先性价比。此外,利用大量主机DRAM进行主机卸载等功能,可提供更高端的效率。AI超级计算机让用户能够充分利用每个Jupiter网络结构中超过100,000个Trillium芯片的空前部署规模,其双向带宽高达13 PB/秒,能够将单一分布式训练作业拓展到数十万个加速器。

Trillium TPU的主要提升:

Trillium TPU的应用:

AI21 Labs等客户已采用Trillium,并更快地为其客户提供有意义的AI解决方案。AI21 Labs首席技术官Barak Lenz表示:“在AI21,我们不断努力提升Mamba和Jamba语言模型的性能和效率。作为TPU v4以来的长期用户,我们对Google Cloud Trillium的能力印象深刻。规模、速度和成本效益方面的进步非常显著。我们相信Trillium将在加速我们下一代复杂语言模型的开发方面发挥至关重要的作用,使我们能够为客户提供更强大、更易于使用的AI解决方案。”

Trillium是Google Cloud AI基础架构的重大飞跃,为各种AI工作负载提供卓越的性能、可拓展性和效率。凭借其使用世界一流的协同设计软件拓展到数十万个芯片的能力,Trillium使您能够更快地实现突破并提供卓越的AI解决方案。此外,Trillium卓越的性价比使其成为寻求最大化AI投资价值的组织的经济高效选择。随着AI领域的持续发展,Trillium证明了Google Cloud致力于提供尖端基础架构,使企业能够释放AI的全部潜力。

0 阅读:0

逢纪说科技

简介:感谢大家的关注