中国完成首个全国产化万卡万参大模型训练,并开源TeleChat2-115B

智能真的很好说 2024-09-29 15:25:23

  9 月 28 日,一则震撼科技界的消息如惊雷般炸响!“中国电信人工智能研究院” 官方公众号隆重宣布,中国电信人工智能研究院(TeleAI)以雷霆之势成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型,并且豪气地正式对外开源首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型 —— 星辰语义大模型 TeleChat2-115B。

  这一惊人成就,犹如一颗璀璨的超新星在科技的浩瀚苍穹中闪耀,标志着国产大模型训练从此真正踏入全国产化替代的崭新阶段,正式开启全国产自主创新、安全可控的宏伟新纪元。

  TeleChat2-115B 可不是一般的存在,它是在中国电信自研的天翼云 “息壤一体化智算服务平台” 和人工智能公司 “星海 AI 平台” 的强力加持下训练完成的。其表现堪称惊艳,在保证训练精度的前提下,巧妙运用多种优化手段,大幅提升模型训练效率和稳定性,实现了 GPU 同等算力计算效率超 93%,模型有效训练时长占比超 98%。这是什么概念?简直就是在大模型训练的赛道上一路狂飙,将效率与稳定推向极致。

  在面对超大参数模型训练这个艰巨挑战时,TeleAI 展现出了超凡的智慧和勇气。他们采用大量小模型进行 Scaling,如同排兵布阵一般,巧妙地验证不同模型结构的有效性。同时,在数据配比方面,更是基于小模型实验结果的反馈,运用回归预测模型,精准地得到较优数据配比,就像是找到了打开宝藏的神秘钥匙。

  而在后训练阶段,TeleAI 更是火力全开。首先,针对数学、代码和逻辑推理等关键内容,合成了大量问答数据,用于 SFT(监督式微调)第一阶段模型训练,为模型注入强大的知识力量。接着,采用迭代式更新策略,让模型对提示词数据进行指令复杂性提升与多样性扩充,通过模型合成和人工标注双重手段提升答案质量。并且,利用拒绝采样获取优质 SFT 数据及 RM(奖励模型)代表性数据,用于 SFT 训练和 DPO(偏好对齐)训练,以及实现模型效果的不断迭代。这一系列操作,如同一场精彩绝伦的科技魔法秀,让 TeleChat2-115B 不断进化,成为大模型领域的超级巨星。

  中国电信的这一壮举,无疑为中国科技的崛起注入了强大动力,让世界看到了中国在人工智能领域的无限潜力和坚定决心。未来,让我们共同期待 TeleChat2-115B 以及更多全国产化大模型在科技的舞台上绽放更加耀眼的光芒!

0 阅读:2

智能真的很好说

简介:感谢大家的关注