Windows系统安装Ollama并使用开源语言大模型

AI神秘探险家 2024-11-03 09:04:56

随着AI的发展,开源的语言大模型基本遍地开花,比如国内的Qwen,ChatGLM等,国外的Llama,Gemma等。既然是开源的那肯定是可以部署在本地电脑,今天我们就来体验下用Ollama来使用开源语言大模型吧!

安装Ollama

我们打开Ollama官网,点击Download即可在线下载,当然下载速度也是根据自己的网速哦~

下载成功后双击安装包,选择Install后会自动安装成功。

启用Ollama

Windows系统下的Ollama安装成功后会自启动,我们需要把自启动关闭,不然启用Ollama会报错。

我们可以用ollama -h指令来检测Ollama是否成功启用,显示以下则成功启用。

下载开源模型

开源模型可以直接在Ollama Models下载,只需要一个指令即可,非常方便。

我们下载开源模型之前需要先设置下模型的存放地址,因为安装Ollama默认是存放在C盘,这样肯定是不稳妥的,所以需要修改下存放地址。

我们使用指令set OLLAMA_MODELS=D:\ollama\models,=后面是模型存放地址。

设置成功后用指令echo %OLLAMA_MODELS%验证是否修改成功。

到这一步我们可以用指令ollama pull +模型名称,比如ollama pull qwen2:7b

开源模型大小基本都是以G为单位,所以下载时间完全是根据网速来断定。

模型下载成功后可以用指令ollama list来查看。

使用开源模型

最后我们可以用指令ollama run + 模型名称,比如ollama run qwen2:7b(如果模型未下载用此指令会自动下载哦~)

现在我们可以开始对话咯~

0 阅读:4

AI神秘探险家

简介:研究一切可行性。