AI时代程序员和产品要了解的Chain,RAG,Agent

研发玩点艰辛事 2024-11-08 04:16:23
1.)为什么LLM需要RAG?

幻觉问题:LLM 文本生成的底层原理是基于统计概率的 token by token 的形式,所以会不可避免地产生“一本正经的胡说八道”的情况。RAG基于知识源的事实内容,可减少胡话。

时效问题:LLM 的规模大,训练成本高,周期长。对具有时效性的数据也就无法及时训练,RAG可以轻松扩展有时效性的知识(例如结合搜索引擎等)减少模型大小和训练成本。

信息安全问题:通用的 LLM 没有企业内部私有数据和用户数据,那么企业想要使用LLM兼顾数据安全,最好的办法就是把数据放在本地,企业数据的业务处理在本地完成。而在线的大模型仅仅完成一个理解和归纳功能。

可扩展性:RAG 可以针对多种任务进行微调和定制,包括QA、文本摘要、对话系统等。

可解释性 (Interpretability):检索到的项目作为模型预测中来源的参考,有信源就更加权威可靠

2.) RAG是如何帮助LLM解决上述问题的?

RAG 是如何扩展LLM的?

3.)Agent是什么?

LLM虽然厉害,但局限于学习,分析,理解并给出答案。可实它缺乏一些固定工具软件的一些能力.....因此LangChain 框架推出了Agent作为语言模型的外部模块,可提供计算、逻辑、检索等功能的支持,使语言模型获得异常强大的推理和获取信息的超能力

什么是Agent

一个Agent利用了计算器和维基百科

4)什么是Chain?

4.1)站在业务和任务的角度理解

chain可以理解为任务。一个 Chain 就是一个任务,当然也可以像链条一样,一个一个的执行多个链

4.2)站在技术方案角度上的理解

Chain是指调用的序列 - 无论是调用 LLM、工具还是数据预处理步骤, 它可以是从最简单的“prompt + LLM”链 到 最复杂的链

5)什么是LangChain?

LangChain 是一个开发框架,用于开发由 LLM 驱动的应用程序。可以近似认为是 LLM 领域的 Spring框架,以及开源版的 ChatGPT 插件集成系统。

值得说明的是LangChain 本身不提供 LLM,它提供通用的接口访问 LLM,可以很方便的更换底层的 LLM 以及自定义自己的 LLM.

其核心的 2 个功能为:

1)可以将 LLM 模型与外部数据源进行连接。

2)允许与 LLM 模型与环境进行交互,通过 Agent 使用工具。

6)Langchain具备什么能力?

LangChain提供的功能和集成能力

注:涉及LLM的一些相关非结构化数据最终经过格式化,分割,向量化到向量数据库中,具体参考下图:

Embedding

0 阅读:0

研发玩点艰辛事

简介:感谢大家的关注