8月28日，Cerebras Systems宣布推出Cerebras Inference，一款被誉为全球最快的AI推理解决方案，其性能和定价策略有望彻底改变AI应用开发的格局。该解决方案在Llama 3.1 8B模型上实现了每秒1800个token的处理速度，在Llama 3.1 70B模型上则达到每秒450个token，性能超越微软Azure等超大规模云服务中基于英伟达GPU的AI推理解决方案20倍，同时提供远低于主流GPU云服务的定价，起价仅为每百万个token 10美分，性价比提升高达100倍。
Cerebras Inference的推出将允许AI应用程序开发者在不牺牲速度或成本的前提下，构建下一代AI应用程序。这一突破性解决方案利用Cerebras CS-3系统和Wafer Scale Engine 3（WSE-3）AI处理器，其中CS-3的内存带宽比Nvidia H100高出7000倍，解决了生成式AI的内存带宽瓶颈，为AI推理提供了前所未有的速度与效率。
Cerebras Inference提供三个服务层级，满足不同用户的需求：
免费层：为任何登录用户提供免费的API访问和慷慨的使用限制。
开发者层：专为灵活的无服务器部署设计，提供成本仅为市场替代方案一小部分的API端点，Llama 3.1 8B和70B模型的定价分别为每百万token 10美分和60美分。
企业层：提供微调模型、定制服务级别协议和专门支持，可通过Cerebras管理的私有云或客户场所访问，适合持续工作负载。
Cerebras团队强调，Cerebras Inference以创纪录的性能、行业领先的定价和开放的API访问，为开放的LLM（大型语言模型）开发和部署设定了新标准。作为唯一同时提供高速训练和推理的解决方案，Cerebras为AI领域开辟了全新的可能性。
AI领域正在经历快速变革，尽管英伟达目前在AI市场占据主导地位，但Cerebras和Groq等新兴公司的崛起预示着行业动态可能发生变化。随着对更快、更具成本效益的AI推理解决方案需求的增加，这些挑战者正逐渐威胁英伟达的霸主地位，尤其是在推理领域，推动AI行业向着更多元、更竞争的格局发展。
