《2023 LLM 技术报告》现已与《2023 中国开源开发者报告》共同发布，此报告整体围绕 LLM Tech Map 梳理逻辑来展开。从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。

毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。

这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横空出世，标志着对话式 LLM 开始进入公众视野，为人们提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新的台阶，为 LLM 的广泛应用奠定了基础。再之后的 11 月份，OpenAI 再发力，GPTs 的到来，“用户自定义 ChatGPT”的能力，更是让世人领略了 OpenAI 作为 LLM 一哥的宏大叙事能力与强劲技术实力。

New Bing（Bing AI）代表了微软在 LLM 领域的野心和决心，它首次把当时世人能想到最有价值又可行的 LLM 应用场景——“智能对话+联网搜索”——无缝整合了起来，大有干掉搜索行业和问答社区的趋势，而后事实证明，全球最强 IT 问答社区 Stack OverFlow 深受其害。Google 紧随其后推出 Bard，作为其首次亮相的对话 LLM 产品，无疑具有其里程碑意义，尽管它的首秀并不尽如人意，车翻了又翻。

Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM 在语言理解和多模态处理能力方面的探索，甚至 Claude 2 还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的 Llama 2 更成为了 LLM 领域开源势力的典型代表，它的出现，犹如一颗投入平静湖面的石子，激荡起层层水波，“Llama 2 一开源，全球范围内进入了百模混战阶段”，这个说法一点也不为过。年底的“虚假宣传” Gemini 与“磁力链开源” Mistral 8x7B 两大神作，也凭借不输 GPT-4 的实力，将 LLM 狂潮卷到天际。

Stable Diffusion 和 Midjourney 这两大图像生成系统的出现，极大地拓展和加速了 LLM 在计算机视觉领域的应用，它们突破了传统图像生成方式的局限，仅需要用户提供文字描述，就可以生成高质量的数字艺术作品。它们的图像生成质量、样式多样性和用户便捷性都是极大的突破。这为广大的个人用户和创意行业提供了强有力的工具，彻底改变了数字艺术内容的创作方式。同时，它们也引发了人工智能在创作领域的伦理和法律讨论。LLM 杀进多媒体领域。往后 DALL-E 3 模型升级、Adobe 产品整合 LLM 能力、语音模型 whisper-3 更新、AI 虚拟主播创造等，都是在这条路上的进一步发展。

AI 编程方面，Copilot 可以根据开发者的代码提示自动补全代码，大大提高了开发效率。这也引发了代码原创性的讨论，但它已经实实在在将 LLM 拉进了编程应用领域。

LangChain 的出现，实现了 LLM 之间的链式交互，使多个 LLM 模型串联工作，发挥各自的优势，并且可以将 LLM 模型与外部数据源进行连接，产生更强大的语言理解和生成效果。这开启了 LLM 集成应用的新方向，并诞生了一个新的细分领域**“LLMOps”**。

“提示词工程”，这是 LLM 直接催生出来的新“学科”，它的核心在于研究人类如何与 LLM 更好地进行“沟通”，找到让 LLM 能够准确理解人类意图的方法。提示词工程探索如何以 LLM 可以解析的方式来表达需要它完成的任务，寻找 LLM 的“最佳输入形式”。通过注入提示词，提示词工程建立了一套“人机交互语法”，来更精准地向 LLM 传达想要它生成何种输出的指令。这为人们与 LLM 之间建立高效、准确的“沟通桥梁”提供了可能性。什么“链式思考（CoT）”、“自动推理并使用工具（ART）”、“思维树（ToT）”……甚至运用心理学对 LLM 进行“情绪提示（EmotionPrompt）”，提示词工程俨然在将 LLM 一点一点解剖，试图让人类成为可以将其掌控的“咒术师”。

AutoGPT 的出现，带着 LLM Agent 的概念进入 LLM 发展的新阶段。LLM Agent 是一种基于 LLM 的智能代理，它能够自主学习和执行任务，具有一定的“认知能力和决策能力”。LLM Agent 的出现，标志着 LLM 从传统的模型训练和应用模式，转向以 Agent 为中心的智能化模式。LLM Agent 打破了传统 LLM 的被动性，使 LLM 能够主动学习和执行任务，从而提高了 LLM 的应用范围和价值；它为 LLM 的智能化发展提供了新的方向，使 LLM 能够更加接近于人类智能。

AI 原生，目前还没有明确的定义，大致是说，不同于当前各种应用在原本的基础上增加 AI 能力，使其智能化，但它的智能只充当了“辅助”角色；在 AI 原生的语境下，LLM 从一开始就是应用的中枢，应用本身的架构、功能、交互层是围绕 LLM 中枢来构建的。也许 ChatGPT 是最经典的“AI 原生”应用。此概念目前还处在萌芽期，明确的概念、应用场景、架构、技术栈细节等尚未完成自洽。换一种视角来看，这个概念的提出其实都没技术什么事，有人称之为“造商业概念”，这里按下不表。

镜头给到国内。相比国际上当前逢 AI 必 GenAI，国内更多地还是在 LLM 这一层面，Robin Li 的“卷大模型没意义，卷应用机会更大”，其实很深刻地指出了内中区别。本报告以开发者视角为主，从 LLM 切入，但实际上或多或少与 GenAI 脱不开关系。

2023 年国内 LLM 发展活跃，从最初的百度文心一言“硬刚”ChatGPT，到后来各式各样的大模型与产品出现，覆盖了不同的领域和场景，构建了多元化的大模型生态。

大模型方面，百花齐放：百度的文心一言、抖音的云雀大模型、智谱 AI 的 GLM 大模型、中科院的紫东太初大模型、百川智能的百川大模型、商汤的日日新大模型、MiniMax 的 ABAB 大模型、上海人工智能实验室的书生通用大模型、腾讯的混元大模型、蚂蚁的百灵大模型等。

另一方面，除了大模型本身，中国在 LLM 相关技术领域也快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。

值得一提的还有华为的盘古大模型，其中盘古气象大模型是首个精度超过传统数值预报方法的 AI 模型，速度相比传统数值预报提速 10000 倍以上，能够提供全球气象秒级预报。盘古大模型的研究成果在国际顶级学术期刊《自然》正刊发表，获得国际学术界的认可。

年底，零一万物推出的 Yi 模型，200K 上下文窗口，可处理约 40 万字的文本，成为当时全球大模型中最长的上下文窗口。其中 Yi-34B 在 Hugging Face 英文测试榜单中位列第一，在 C-Eval 中文能力排行榜中超越所有开源模型。

此报告一方面从行业视角，将 LLM 技术栈较为丰满地呈现，同时对于其中部分内容进行了较为细致的分析，力图为从事相关工作或是想了解 LLM 的技术人提供一个快速感知：

欢迎查阅、分享：https://talk.gitee.com/report/china-open-source-2023-llm-report.pdf