Redis 近日宣布推出两款新产品：用于缓存LLM响应的 LangCache 和向量集，这是 Redis 中用于存储和查询嵌入的新数据类型。 Redis 是同名内存中键值数据库背后的公司，最近几个月因其许可证变更而成为新闻 ，这导致了 Valkey 项目的启动。现在，Redis 希望在 5 月 1 日推出 Redis 8 之前推出两款以 AI 为中心的新产品，从而稍微改变这种情况。第一个是新的缓存工具 LangCache， 它允许开发人员为其应用程序引入大型语言模型 （LLM） 响应缓存。第二个是推出一种新的数据类型向量集，用于存储和查询向量嵌入。 “Redis 可以成为代理堆栈的短期记忆层，”Redis 首席执行官 Rowan Trollope 在之前接受采访时告诉我。“这是公司的新战略，也是我们正在努力做的事情。” 缓存是 Redis 的一个明显角度，它已经是许多开发人员流行的缓存解决方案。缓存LLM响应的原因与其他应用程序没有太大区别（降低成本和延迟），但考虑到这些模型的概率性质，这里的过程与缓存 SQL 查询等过程完全不同。 Trollope 说，LangCache “在幕后”使用 Redis，但他强调它不是 Redis 数据库。它使用微调的嵌入模型来获取查询的上下文，然后创建一个嵌入来反映这一点。 Trollope 预计 LangCache 的主要用例将是 AI 代理，而不是太多的人与聊天机器人对话，后者往往更加随心所欲，因此更难缓存。 “我们存在的独特原因实际上是关于性能和为开发人员提供非常简单的 API，”Trollope 说。“如果你想在数据库中存储一万亿个向量，而你不在乎它的速度是多少，那么我们不是最好的答案。但是，如果你处于实时环境中，并且想要快速移动，并且延迟很重要，那么我认为在这个代理世界中，这将有越来越多的情况变得很重要。 向量集是 Redis 方程式的另一部分。去年年底，当 Redis 开源项目的创始人 Salvatore “antirez” Sanfilippo 回到公司时，他谈到了他对向量集的兴趣，以及为什么他认为需要一种不同的方法来考虑存储向量数据。 “Sanfilippo 查看了向量数据库浪潮的情况，他说，‘这太愚蠢了。这里每个人都走错了方向，所以 Pinecone、Milvus、Weaviate、yada、yada、yada——它们都在做同样的事情，那就是它们正在构建一个向量数据库。’”总是直言不讳的 Trollope 说：“这些通常看起来是，你添加数据，然后它会有一个向量嵌入引擎连接，它会将数据向量拼接在一起，然后创建一个索引，你可以针对它进行搜索。” 与当前技术水平相比，使用向量集（然后以更压缩和优化的格式存储原始向量）以及 Sanfilippo 开发的新相似性搜索算法应该可以显著加快速度。由于数据库存储在内存中，这也意味着对昂贵内存的需求更少，或者开发人员可以在其现有服务器上存储更多这些向量集。 Trollope 说，Sanfilippo 认为，Redis 之所以成功，是因为它没有试图为开发人员做太多事情，公司应该采取相同的方法，将向量集作为新的构建块提供给开发人员，让他们决定如何使用它们。 在商业方面，Trollope 指出，Redis 仍然希望在某个时候进行 IPO。他说，该公司几乎实现了收支平衡，并且可能在财务上为 IPO 过程做好了准备。不过，他想做的是大力投资，成为 AI 应用程序事实上的短期记忆（而 LLM AI 更类似于长期记忆）。 “我一直在与银行家交谈，他们都希望我们进行 IPO。他们说，‘IPO，开始，IPO。’实际上，我现在对此并不那么感兴趣。我的意思是，我认为我们最终会到达那里。我认为有了 AI 的机会，我正在加大对业务的投资。我本可以制定公司的 IPO 营收和底线，但我没有这样做，因为 AI 的机会太大了。对于上一波云移动应用程序，Redis 实际上是一个标准，就像任何构建云移动应用程序的开发人员在 95% 的情况下都会引入 Redis，然后我们将从其中的一小部分货币化。现在你有一个新时代，每个人都将重写所有应用程序代理风格，而这一切仍然悬而未决。” Trollope 相信，当开发人员创建这些新的用例和应用程序时，他们将使用他们熟悉的工具。他认为，代理架构本质上是使用微服务，LLMs 而不是以硬编码规则和业务逻辑为核心。为此，您需要一个编排层和一个会话存储，因为这些微服务/代理必须是无状态的。他认为，Redis 非常适合希望保存这些代理状态的开发人员，因为它快速且持久。