震撼发布-本地运行最强开源大模型Llama3整合包,创作无限可能!

懂科技的老葛 2024-04-22 01:50:16

4月19日,全球科技、社交巨头Meta在官网,正式发布了开源大模型——Llama-3。为了让大家能更好地享受开源大模型带来的便利,今天Glen特地给大家制作并分享一个Llama-3-8B大模型整合包。

Llama 3简介

Meta本次开源了8B和70B两款不同规模的模型。与Llama-2相比,Llama-3使用了15T tokens的训练数据,在推理、数学、代码生成、指令跟踪等能力获得大幅度提升。

Llama-3-8B:与之前一个版本的Llama 2 70B一样强大,在参数量小了接近10倍的情况下,性能竟然基本一致,而且可以在消费级显卡上愉快地玩耍。Llama-3-70B: 媲美Gemini 1.5 Pro,全面超越Claude大杯。

还不止是以上,Meta还将在未来几个月,陆续推出一系列具备多模态、多语言对话、更长上下文窗口等能力的新模型。据官方公布,超400B的重量级选手更是有望与超越目前闭源的两个大模型GPT-4和Claude 3超大杯!

离线懒人包来了

该懒人包基于之前介绍过的Text generation web UI制作,老规矩,还是无套路直接分享给大家。大家下载到本地解压即用,请注意不要放置在含中文的文件路径中。

①双击“一键启动”。

②双击一键启动程序后,会打开一个命令提示窗口,项目会自动运行。加载成功后,请自行复制以下网址在浏览器打开“ http://127.0.0.1:7860/”,记得点点关注不迷路哦,后续还有更多酷炫的AI项目分享~

③打开页面后,首选选择“Model”选项卡,在Model中,选择“Meta-Llama-3-8B-Instruct.Q8_0.gguf”模型文件,继续点击“Load”,等待模型加载。

加载完模型后,就可以在本地快速使用啦~使用很简单:

输入提示词:跟使用ChatGPT一样,输入提示词即可。点击提交:可以跟Llama-3-8B大模型在本地无限免费聊天了。

我亲测了一下,可以使用中文跟Llama-3-8B进行聊天哦~

注意事项:

①该项目建议使用英伟达显卡运行,建议8G显存以上

②请确保安装路径不包含中文,不然可能会引起奇怪的适配问题

③系统要求:支持Windows 10和Windows 11

今天就聊到这了,我是Glen,感谢你看我的文章,欢迎大家继续支持我,请点赞、收藏、分享三连走一波吧~

关注并私信回复【Llama-3-8B】,免费获得本文资源~

0 阅读:0

懂科技的老葛

简介:感谢大家的关注