媲美DeepSeekR1的AI模型Gemma3本地部署教程,2070S显卡也能流畅运行!

科技乐小天 2025-03-19 15:03:18

这是谷歌目前最强的开源视觉大模型之一Gemma3,它能够分析文本,图片以及视频的内容,并给予你所需要的答案,而且它完全免费开源。

所需要的本地部署工具我已经打包好了,有需要的朋友可以在这里获取。

从这张目前主流的AI大模型评分图上可以看到,Gemma3的27B大模型几乎可以媲美deepseek的R1大模型了,这就意味着我们能在一台性能不错的家用电脑上来本地部署媲美deepseekR1大模型。

Gemma3开源了1B、4B、12B和27B的大模型,其中4B、12B、27B为多模态,支持140种以上的语言。在普通主流的家用电脑上使用4B或12B的大模型都可以流畅运行。

在这里我就以多年前的一张2070S 8G显存的显卡来本地部署可以媲美deepseekR1大模型的Gemma3 12B,看能不能流畅运行。

首先安装工具包中的ollama。

安装完成后在windows系统中win+R召唤出运行框,并输入CMD回车。

在弹出的命令框中输入:ollama run gemma3:12B,如果你电脑配置足够好,也可以把12B修改成27B,来配置更聪明的Gemma3模型。

等待下载模型结束后,在命令提示框中输入问题,它在我的2070S显卡上的回复速度还是相当快的。

现在就有个问题,我们如果每次需要它的时候,都要在命令提示框中运行,显然很不方便,这时,我们就需要在浏览器上安装一款插件,来可视化运行它,需要它的时候,打开浏览器就可以直接使用。

这里我以谷歌浏览器为例,如果你上网环境支持,可以在谷歌商店中去搜索Page Assist插件并直接安装。

如果你的上网环境不支持打开谷歌商店,可以在我打包好的工具包中来安装Page Assist插件。

在谷歌浏览器的右上角点三个点,选择扩展程序,管理扩展程序。

然后将Page Assist插件拖到扩展程序中,点击应用扩展即可。

点击浏览器右上角的Page Assist图标就可以直接进入到AI可视化界面。

点击设置,修改为简体中文。

如果你要使用到网络搜索功能,这里设置成国内的搜索引擎,否则在网络环境不支持的情况下无法正常回答。

在这里选择Gemma3:12B大模型。

开始对它提问,这个回答速度相当的快。

让它来分析一下图片,分析的结果还是很准确的。

给它一张图片,让它根据图片来写一篇文章。

让它来做一道数学的逻辑题,答案也是正确的。

这里也仅仅演示了一些普通问题,它还能为你分析本文,图片和视频来给予你相应的答案,还有很多更专业的玩法你可以慢慢去尝试,如果你想电脑上能部署可以媲美deepseek R1模型的AI,它完全可以满足你!

0 阅读:1

科技乐小天

简介:为大家提供优质软件资源。利用高效工具可节省时间。