中国的huggingface,魔搭上线了阿里开源的通义千问7B

机智客 2023-08-04 12:21:19

手机收到一个短信,是阿里一个AI新模型的邀请。后来,阿里开源了7B的通义千问大模型,就在咱们国产的ModelScope魔搭社区,这是一个被认为是国产huggingface的AI社区。可能很多朋友都刷到了这个新闻。

国产GPT类AI语言大模型,又开源了一个新的玩家。这次开源的通义千问包含两个,一个是通义千问7B-预训练,另一个就是我们个人玩家经常接触的chat版,通义千问-7B-chat。此次开源的通义千问大模型,免费自由,又可用于商业化。诚意满满。

和其他开源AI大语言模型一样,你可以在本机部署,终端安装依赖,并快速运行推理。所用到的pytorch版本不能低于1.12,需要安装modelscope,另外,机智客看到,平台推荐安装flash-attention库,以便实现更高的效率和更低的显存占用。依赖主要是这个,其他的,然后就可以git clone了。

安装步骤很简单,快速使用也简单。都提供了一个快速使用的demo代码。我们把大模型文件夹必要的文件下载后放一个文件夹作为model_id。然后pipline调用就能快速推理。看官方README介绍,中文评测方面,在C-Eval验证集上,官方评价了Qwen-7B-Chat模型的zero-shot准确率,通义千问7B的54.2超过了LLaMA2-13B-Chat的40.6。就问你厉害不?

不管是玩大模型还是关注人工智能圈的兄弟姐妹,大概没有不知道huggingface的,这是一个国外的AI社区。很多开源的火爆全球的AI都在huggingface发布并在线体验。而ModelScope则是一个更专注于国产AI模型的平台社区。避免了全部的英文页面、界面和介绍,更利于我们国人,更本土化。

0 阅读:64

机智客

简介:始于计算机;陷于AI机器人等现代科技;终于,学傻了吧