AI圈又有新的重磅消息了。

2月19日，美国硅谷AI初创企业Groq开放了自家产品的免费试用。众多用户进行试用后纷纷表示震惊。

大家最为震惊的点在于，Groq的响应速度实在是太快了。据网友测试，Groq每秒生成速度接近500 tokens。

从视频我们可以更加直观感受到这种响应速度有多么惊人，直接碾压ChatGPT那种逐字生成答案的聊天机器人！

这样快的响应速度得益于Groq背后的团队为大语言模型（LLM）开发了自己的定制专用集成电路（ASIC）芯片。相比之下，该模型的公开版本ChatGPT-3.5每秒可以生成大约40个tokens。

一般来说，人工智能工作负载分为两个不同的类别：训练和推理。虽然训练需要大量的计算和内存容量，但访问速度并非重点关注对象，推理却不同。通过推理，人工智能模型必须运行得非常快，以便为最终用户提供尽可能多的tokens，从而更快地为用户提供回答。

从这个角度来看，Groq是一个“推理引擎”，而不是像ChatGPT、Gemini或马斯克旗下的Grok那样的聊天机器人。Groq可以帮助这些聊天机器人运行得非常快，但不会完全取代它们。在Groq的网站上，用户可以测试不同的聊天机器人，并查看和比较它们使用Groq的运行速度。

根据Artificial Analysis上周发布的第三方测试，Groq每秒可生成247个tokens，而微软每秒生成18个tokens。这意味着如果ChatGPT在Groq的芯片上运行，其运行速度可以提高13倍以上。

而ChatGPT、Gemini和Grok等人工智能聊天机器人如果速度更快，对AI发展也会更有益处。当前人工智能聊天机器人的有一个痛点就是存在延迟。谷歌最近展示了一段与Gemini有关的视频，视频中的Gemini可以进行实时、多模式的对话，尽管官方表示这段视频经过编辑、加速。但随着Grok速度的提高，该视频所呈现的效果后续可能成为现实。

此外值得注意的是，开发Groq的公司Groq Inc.还表示，其已经创建了第一个运行模型的语言处理单元（LPU）。据官方介绍 ，LPU推理引擎是一种新型的端到端处理单元系统，可为具有顺序组件的计算密集型应用程序提供最快的推理，例如LLM。

在加入Groq之前，创始人兼首席执行官乔纳森·罗斯（Jonathon Ross）是谷歌人工智能芯片部门的联合创始人，该部门生产用于训练人工智能模型的尖端芯片。Ross表示，通过LPU，Groq绕过了GPU和CPU遇到的两个LLM瓶颈：计算密度和内存带宽。

就LLM而言，LPU比GPU和CPU具有更强大的计算能力。这减少了每个单词的计算时间，从而可以更快地生成文本序列。此外，消除外部内存瓶颈使LPU推理引擎能够在LLM上提供更高的性能，与GPU相比可以高出几个数量级。

Groq LPU具有80 TB/s带宽的海量并发性，具有230 MB本地SRAM容量。所有这些共同为Groq提供了出色的性能。根据LLMPerf排行榜，Groq LPU在7到700亿个参数的配置中推理LLM Llama方面击败了基于GPU的云提供商。在tokens吞吐量（输出）和第一个tokens的时间（延迟）方面，Groq处于领先地位，实现了最高的吞吐量和第二低的延迟。

一旦像Groq的LPU这样的快速推理芯片变得越来越普遍，慢速聊天机器人将会被逐渐淘汰掉。

近一年来，英伟达的GPU被视为运行AI模型的行业标杆，在AI热潮下英伟达的GPU日益变得稀缺且昂贵。现在早期结果表明，在AI模型训练方面，LPU可能会击败GPU，并成为英伟达A100和H100芯片的替代品。

虽然LPU是否会被业界大量采用仍是一个问题，但其所展示出来的超高推理性能已经或多或少挑战到英伟达、AMD和英特尔等GPU提供商的地位了。

如今，AI芯片越来越受到行业关注，不仅传统芯片制造商在关注，其他科技企业也对AI芯片展现出颇高的兴趣。包括OpenAI在内的主要人工智能企业正在寻求开发内部芯片，以降低对英伟达等芯片制造商的依赖。