huggingface官方的一个 对齐 (align) 小型语言模型的课程

github.com/huggingface/smol-course

教你如何调教小模型，涵盖了从初始训练到生产部署的各个环节，让学员掌握微调小型语言模型的实用技能。具体包括以下几个模块：

⭐指令微调 (Instruction Tuning): 学习监督式微调、聊天模板和基本的指令跟随。

⭐偏好对齐 (Preference Alignment): 探索 DPO 和 ORPO 技术，使模型与人类偏好对齐。

⭐参数高效微调 (Parameter-efficient Fine-tuning): 学习 LoRA、提示调整和其他高效的适配方法。

⭐评估 (Evaluation): 使用自动基准测试并创建自定义领域评估。

⭐视觉-语言模型 (Vision-language Models): 调整多模态模型以适应视觉-语言任务。

⭐合成数据集 (Synthetic Datasets): 创建和验证用于训练的合成数据集。

⭐推理 (Inference): 高效地进行模型推理。

⭐顶点项目 (Capstone Project): 刷榜~~