GiteeAI命令行工具发布:从此告别模型上传失败

开源其实不简单 2024-09-18 18:58:34

自 Gitee AI 开放内测以来,它已为众多开发者提供了世界领先的大模型和数据集,助力其实现快速且高效的应用与部署。越来越多的 Gitee AI 用户也基于现有的大模型进行了微调,并将这些定制化的模型上传和部署到平台上。

但当开发者们摩拳擦掌准备展示模型时,由于模型文件过于庞大,动辄就是一个数十 GB 的大文件,上传十次都很难成功一次,这种痛苦的体验相信每个 AI 开发者都经历过。

为了改变模型上传的痛苦体验,Gitee AI 命令行工具(gai)现已正式发布!gai是一款专为开发者设计的高效工具,帮助用户轻松地将模型和数据集上传到 Gitee AI 平台。

如何安装和使用gaiWindows 用户

对于 Windows 平台的用户,强烈建议使用 Git Bash 来执行本文档中的命令。原因如下:

兼容性:Git Bash 提供了类 Unix 的命令行环境,使得 Unix/Linux 风格的命令可以在 Windows 上顺利运行。一致性:使用 Git Bash 可以确保命令行体验与其他平台(如 macOS 或 Linux)保持一致。功能完整性:Git Bash 包含了许多常用的 Unix 工具和命令,这些在标准的 Windows 命令提示符中可能不可用。安装 Git Bash

如果您还没有安装 Git Bash,可以按照以下步骤进行安装:

访问 Git 官方网站:https://git-scm.com/downloads下载适用于 Windows 的 Git 安装程序

运行安装程序,确保在安装选项中选择安装 Git Bash(可同时选择安装 Git LFS)

其他平台用户

对于 macOS 和 Linux 用户,可以直接使用系统自带的终端应用程序执行本文档中的命令。

除非特别说明,后续所有命令均默认在 Git Bash(Windows)或标准终端(macOS/Linux)中执行。

安装和配置安装 Git LFS

Git LFS(Large File Storage)是一种专为 Git 设计的扩展,用于管理和存储超大文件,非常适合管理体积较大的模型文件。

前往 https://git-lfs.com 下载 git-lfs(Windows 用户可在安装 Git 时勾选 Git LFS),安装后运行下面的命令:

git lfs install

如返回Git LFS initialized.,则代表已安装成功。

安装 gai

非 Windows 系统首先需要安装 MD5 校验工具 md5sum:

brew install coreutils

随后运行下面的命令,下载并安装gai:

sudo /bin/bash -c "$(curl -fsSL https://gitee.com/gitee-ai/cli/raw/master/install.sh)"

安装完成后执行下列命令检查版本,如返回 gai version v0.0.2-alpha.1,则代表已安装成功。

gai version

配置 gai

安装完成后需要前往 Gitee 及 Gitee AI 完成私人令牌及访问令牌的配置。

配置 Gitee 私人令牌

访问 gitee.com ,点击 Gitee 右上角头像选择设置-私人令牌,点击右上角生成新令牌即可创建。

创建令牌时需勾选 projects 权限。

点击提交后即可创建成功,请将生成的令牌复制并妥善保存。

配置 Gitee AI 访问令牌

访问 ai.gitee.com,点击右上角头像选择设置-私人令牌,点击右上角新建访问令牌即可创建。

创建时资源授权请选择全部资源。

与 Gitee 私人令牌相同,请将生成的令牌复制并妥善保存。

在 gai 中配置令牌

成功生成Gitee 私人令牌和Gitee AI 访问令牌后,返回命令行为gai配置令牌:

# 全局配置 Gitee AI 和 Gitee 访问令牌gai config gitee-token <Gitee 私人令牌>gai config gitee-ai-token <Gitee AI 访问令牌>

如果希望为不同仓库设置不同令牌,可参考如下命令进行配置:

cd <仓库地址># 配置 Gitee 私人令牌gai config --local gitee-token <Gitee 私人令牌># 配置 Gitee AI 访问令牌gai config --local gitee-ai-token <Gitee AI 访问令牌>开始使用创建仓库

配置完成后,即可进行大模型文件的推送操作了。点击页面右上角头像,选择新建模型即可在 Gitee AI 创建新的模型仓库。

创建完成后,将仓库克隆到本地:

git clone https://ai.gitee.com/<namespace>/<model>cd <model>初始化仓库配置

运行下方命令进行初始化仓库配置,(使用 gai 作为 Git LFS 的自定义传输代理),每个仓库只需设置一次即可,相关配置将存储在仓库的 .git/config 文件中。

# 为本地仓库初始化 Gitee AI Cli 配置gai config init提交并推送文件到仓库

完成配置后,你就可以将模型文件复制到仓库目录(命令行或 GUI 均可)并提交了,提交流程与使用 Git 管理代码的操作一致,也就是大家熟悉的add+commit+push三件套。

# 拷贝大文件到当前目录(使用 GUI 复制可忽略该命令)cp ~/<checkpoint_directory>/model.safetensors .# 提交更新git add .git commit -m 'Add model.safetensors file' # 将更新推送到 Gitee AI 模型、数据集仓库git push origin master

推送完成后,你微调后的模型就可以在 Gitee AI 中访问了,你可以在仓库设置中更改其可见性,选择将其开源或私有。

以上就是 Gitee AI 命令行工具(gai)的安装配置及使用方法,gai为 Gitee AI 用户提供了便捷、高效的方式来管理和上传微调的大模型。

未来我们也会进一步为gai增添更多功能,不断提升用户体验,帮助开发者在模型训练、微调、部署和共享的过程中更加高效便捷地工作。如果你在使用过程中遇到任何问题或有任何建议,欢迎随时联系我们。

0 阅读:11

开源其实不简单

简介:感谢大家的关注