【[286星]Pico Train：轻量级语言模型训练框架，助力从百万到十亿参数模型的深度学习动态研究。亮点：1. 支持1M到1B参数模型训练，专注学习动态研究；2. 自动保存模型状态、激活和梯度快照，便于详细分析；3. 提供预标记数据，确保训练一致性】

'Pico Train: A lightweight framework for training language models—from tiny-scale (~1M parameters) to mid-scale (~1B parameters)—with built-in rich checkpointing that captures activations, gradients, and model states, enabling detailed learning dynamics research.'

GitHub: github.com/pico-lm/pico-train

语言模型 深度学习 模型训练 人工智能 ai兴趣创作计划