李开复旗下AI公司“零一万物”开源的Yi大模型照搬Llama架构

学学看科技 2023-11-15 07:31:01

“” 是创新工场董事长兼 CEO 李开复于今年创办的 AI 大模型创业公司。上周该公司推出 Yi-34B 和 Yi-6B 两个开源大模型。

在公开的报道中,该公司称 Yi 系列大模型拥有全球大模型中最长的上下文窗口。其中 Yi-34B 在 Hugging Face 英文测试榜单中位列第一,在 C-Eval 中文能力排行榜中超越所有开源模型。

不过在 Yi-34B 的 Hugging Face 主页上,有人指出 Yi 完全使用了 Llama 的架构 —— 前者只是对后者的两个张量 (Tensor) 名称进行了修改,具体为 input_layernorm 和 post_attention_layernorm。

Llama 全称为 "Large Language Model Meta AI",是 Meta 创建的大语言模型。今年 7 月,,宣布完全开源,并可免费商用。

来源:

AI 领域知名专家贾扬清昨晚也在个人朋友圈点评了此事 —— 不过并没有指名道姓:

贾扬清是开源深度学习框架 Caffe 创始人、TensorFlow 作者之一、也是 PyTorch 1.0 的共同创始人。

今年 3 月,贾扬清从阿里离职后联合创立了一家新的 AI 公司 Lepton AI,旨在建立高效的 AI 应用平台。

Lepton AI 总部位于美国加利福尼亚州帕洛阿托,官网宣称可通过 Lepton AI 在几分钟内高效、大规模地运行 AI 应用。相比大模型,贾扬清团队更偏重 AI 能力的开发。

0 阅读:0

学学看科技

简介:感谢大家的关注