首个「全栈国产化」开源模型,星火开源-13B正式在Gitee开源

开源其实不简单 2024-03-05 21:27:29

1月30日,讯飞正式发布了星火开源-13B(iFlytekSpark-13B),这是首个基于全国产化算力平台「飞星一号」的开源大模型。

模型介绍

讯飞星火开源-13B(iFlytekSpark-13B)拥有 130 亿参数。不仅具备通用任务处理能力如聊天、问答、文本提取和分类等,还具备数据分析和代码生成等生产力功能。讯飞团队特别在学习辅助、数学、推理等领域进行了深度优化,大幅提升了模型的实用性和易用性。

星火开源-13B Gitee 仓库地址:https://gitee.com/iflytekopensource/iFlytekSpark-13B

本次开源,既包含基础模型 iFlytekSpark-13B-base、精调模型 iFlytekSpark-13B-chat,也开源了微调工具 iFlytekSpark-13B-Lora、人设定制工具 iFlytekSpark-13B-Charater,让企业和学术研究可以基于这些全栈自主创新的星火优化套件方便地训练自己的专用大模型。

据了解,本次开源拥有130亿稠密参数(13B),包含基础模型iFlytekSpark-13B-base、精调模型iFlytekSpark-13B-chat,开源了微调工具iFlytekSpark-13B-Lora、人设定制工具iFlytekSpark-13B-Charater。学术企业研究可以基于全栈自主可控的星火优化套件,更便利地训练自己的专用大模型。

效果评测

讯飞团队在八个具有挑战性的中英文测试集上对模型进行性能评估。其中 chat 模型采用 0-shot 进行测试,base 模型在 C-EVAL,MMLU,CMMLU,FinanceIQ 测试集上采用 5-shot 进行测试,其余测试集采用 0-shot 进行测试。

数据集介绍C-EVAL:C-Eval 是一个全面的中文基础模型评估套件,涵盖了52个不同的学科和四个难度级别,验证集包括1346个选择题,测试集包含12342个选择题。本项目采用C-Eval验证集进行测试。MMLU:MMLU 是一个庞大的多任务数据集,由各种学科的多项选择题组成。其中包括57个任务,涵盖了人文学科、社会科学、自然科学和其他对某些人学习很重要的领域。CMMLU:CMMLU 是一个综合性的中文评估基准,涵盖了从基础学科到高级专业水平的67个主题。涵盖了自然科学、人文科学和社会科学等领域。AGIEVAL:AGIEval 是一个专门为评估基础模型在以人类为中心的标准化考试(如大学入学考试、法学院入学考试、数学竞赛和律师资格考试)的语境中而设计的基准测试。ARC:包含了ARC-E和ARC-C,它们分别是ARC数据集中的简单集和挑战集,分别有5197 和2590 个问题。这些问题是仅文本的英语语言考试问题,跨越了多个年级水平。GaoKao:GaoKao收集了从 2010 年到 2022 年的高考试题,包括 1781 道客观题和 1030 道主观题。本项目报告结果为GaoKao中客观题结果。FinanceIQ:FinanceIQ 是一个专注于金融领域的中文评估数据集,涵盖了10个金融大类及36个金融小类,总计7173个单项选择题。测评结果

了解更多

目前,星火开源-13B 模型已在 Gitee 开源,讯飞团队也已在仓库中更新了使用教程,如果你对星火开源-13B 感兴趣的话,就点击链接去仓库看看吧:https://gitee.com/iflytekopensource/iFlytekSpark-13B

0 阅读:0

开源其实不简单

简介:感谢大家的关注