Sebastian Raschka（《从头开始构建大型语言模型》一书作者）写的一个教程：从头开始实现字节对编码 (BPE) 分词器

sebastianraschka.com/blog/2025/bpe-from-scratch.html

该文章介绍了如何从零实现字节对编码（BPE）分词器。BPE是一种用于大语言模型的分词算法，能够将文本转换为整数表示的标记ID，广泛应用于 GPT-2 到 GPT-4、Llama 3 等模型中。

BPE 算法作者是 Philip Gage。包括 Llama 3 在内的大多数项目现在都使用 OpenAI 的开源 tiktoken 库。该文实现的分词器实现比 tiktoken 慢，但比 Hugging Face 的分词器快 。