基于DeepSeeKR1+Ollama+AnythingLLM在MACM1构建本地知识库问答

金源小鱼 2025-02-07 08:02:52

最近DeepSeek 比较火爆,这两天查阅资料,动手在自己的 MAC M1 上部署了一个本地知识库系统。

硬件环境: Mac M1 内存 16G

使用软件环境:ollama + DeepSeek R1-8b + AnythingLLM

下载 ollama 地址 https://ollama.com/

下载完后是一个zip文件,双击解压(如果没有解压软件,需要先安装解压软件),解压完后,如下,双击Ollama

以下就是按照提示操作即可

安装完后

命令行输入ollama list,出现 NAME ID 下面什么也没有就可以了,表示已经安装成功,因为没有模型,所以下面什么也没有

2、本地化部署 deepseek-r1

命令行

ollama run deepseek-r1:8b

【deepseek-r1:8b 是我电脑部署的版本,也可以根据电脑的配置选择其他的版本】

运行完后,看到【success】字样。

你可以和它交流一下,比如我,输入了【hello】,得到了一个回复

安装完 DeepSeek 模型后,再从命令行输入 ollama list 就可以看到刚才的模型了

3、安装 Anything LLM

Anything LLM 是一款集成度非常高、且功能非常稳定的大模型前端产品,虽无法进行二次开发,但是功能实现便捷,适合小白使用。

下载地址

https://anythingllm.com

下载完后,按照提示安装即可

安装完后后进入设置页面,具体操作可以参考下图

点击右侧箭头

对话模型:负责完成对话任务,由ollama调度 DeepSeek 完成对话

Embedding 模型:负责进行词向量化的模型

词向量数据库:用于存储词向量化后的对象,默认为LancelotDB

对于任何本地知识库问答的过程,都需要经历文本切割、词向量化、词向量存储、词向量检索与问答几个基本环节。

关于基于私有知识库的问答,可以上传文档后进行提问,传入的是本次对话当中。

如果想,将本地文档持久化到问答中,可以从工作区进行上传,以后每次提问都会优先根据本地上传的文档进行回答

选择选择文档,【Move to Workspace】按钮就会出现,然后点击【Move to Workspace】按钮,文档就会出现在右边的工作区中,然后【Save and Embed】完成关联,你可以传很多个文档进来。这就完成了长文档的切分,知识库持久化的存储。

会有一个等待时间

之后出现,点击文档右边的图钉按钮,将这个文档关联到当前会话中,这个是有选择的。

然后就可以返回对话页面进行聊天了。

至此,简单的在Mac M1 上部署本地知识库系统完毕

0 阅读:805