大模型白盒子构建指南

地址：github.com/datawhalechina/tiny-universe

本项目是一个从原理出发、以“白盒”为导向、围绕大模型全链路的“手搓”大模型指南，旨在帮助有传统深度学习基础的读者从底层原理出发，“纯手搓”搭建一个清晰、可用的大模型系统，包括大模型本身、RAG 框架、Agent 系统及大模型评估体系。最近新增了从零开始pretrain Llama3部分。

目前的内容：

深入剖析大模型原理——Qwen Blog

如何评估你的大模型——Tiny Eval

纯手工搭建 RAG 框架——Tiny RAG

手搓一个最小的 Agent 系统——Tiny Agent

深入理解大模型基础——Tiny Transformer

从零开始pretrain Llama3—— Tiny Llama