「亲测有效」Ollama+MaxKB,搭建基于本地大模型的知识库问答系统

龅牙兔谈科技 2024-06-01 08:37:02

背景介绍知识库问答系统是什么?

知识库问答系统是一种通过人工智能和自然语言处理技术,帮助用户从庞大的知识库中获取信息的系统。这些系统能够理解用户的自然语言问题,并从知识库中检索相关的答案。知识库问答系统在企业内部知识管理、客户服务、技术支持等领域具有广泛应用。

知识库问答系统的用途提高信息检索效率:通过智能问答系统,用户可以快速找到所需的信息,而不需要手动查找文档或数据库。减少人工成本:自动化的问答系统能够回答大量常见问题,减少对人工客服和技术支持的依赖。提升用户体验:用户可以通过自然语言直接提出问题,并得到简洁准确的答案,提高用户满意度。支持决策:知识库问答系统能够提供实时、准确的信息,支持企业管理者做出更好的决策。准备工作部署Docker环境(以Centos环境为例)yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin  //安装systemctl start --now docker.service   //启动Docker服务systemctl enable --now docker.service  //开机自启动systemctl status docker.service  //查看Docker服务状态部署Ollamacurl -fsSL https://ollama.com/install.sh | sh>>> Downloading ollama...###################### 31.9%###################################################################### 98.5%######################################################################## 100.0%>>> Installing ollama to /usr/local/bin...>>> Adding ollama user to video group...>>> Adding current user to ollama group...>>> Creating ollama systemd service...>>> Enabling and starting ollama service...>>> The Ollama API is now available at 127.0.0.1:11434.>>> Install complete. Run "ollama" from the command line.WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.[root@localhost ollama]#//PS:笔者由于在服务器部署,没有GPU环境,所以只能是纯CPU模式。部署本地大模型ollama run llama3  //笔者受环境限制,部署的是Llama3 8B模型>>> Send a message (/? for help)

注意:

Ollama是一个开源框架,专门设计用于在本地运行大型语言模型,由于其易用性,很适合新人上手;Ollama支持多个大语言模型,详细信息请参考https://github.com/ollama/ollama;调试Ollamavim /etc/systemd/system/ollama.service,添加:Environment="OLLAMA_HOST=0.0.0.0"  //这一步很关键!!systemctl daemon-reload //重启systemdsystemctl restart ollama.service //重启Ollama服务netstat -ano | grep 11434 //查看11434端口是否开启并支持外部访问部署MaxKB

MaxKB 是一个开源的知识库管理和问答系统,旨在帮助企业和个人高效地管理和查询知识。

MaxKB 的设计目标是帮助用户更高效地获取知识,提升知识管理的自动化程度,特别适用于需要频繁查询和更新知识的企业环境。

GitHub开源地址:https://github.com/1Panel-dev/MaxKB

MaxKB 的主要特点包括:知识库管理:MaxKB 提供了强大的知识库管理功能,支持多种格式的文档存储和索引,方便用户进行知识的组织和维护。智能问答:通过集成大语言模型,MaxKB 能够理解用户的自然语言问题,并从知识库中检索和生成准确的答案。扩展性:MaxKB 支持插件和 API 扩展,用户可以根据需求定制和扩展系统功能。用户界面:MaxKB 提供了友好的用户界面,用户可以通过网页或 API 进行交互,方便易用。docker run -d --name=maxkb -p 18080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb  //以Docker方式部署MaxKBdocker exec -it maxkb bash  //进入MaxKB容器curl http://Ollama所在服务器的ip地址:11434  //验证MaxKB是否能够成功访问Ollama服务端口Ollama is running //看到这个提示,证明没有问题配置MaxKB浏览器访问:http://MaxKB所在服务器的ip地址:18080,默认账户名/密码:admin/MaxKB@123..

登陆界面

首页

进入【系统设置】->【模型设置】,选择Ollama

选择【添加模型】

“模型名称”:自定义;“API域名”:http://Ollama所在服务器的ip地址:11434,笔者这里为http://192.168.1.21:11434;“API Key”:自定义;点击【添加】后,你将能看到如下页面

知识库创建知识库

知识库用来补充知识体系,你可以上传文档资料,让你的大模型对于某些领域的回答更加完善和准确。

开始演示

至此,MaxKB与Ollama对接完成!!

本地搭建知识库问答系统的必要性

1. 数据隐私和安全

在本地部署知识库问答系统可以确保数据的隐私和安全,避免将敏感信息上传到云端,降低数据泄露的风险。这对那些处理敏感业务数据的企业尤为重要。

2. 性能和响应时间

本地部署可以提供更快的响应时间,因为数据和计算资源都在本地,无需通过互联网进行数据传输。对于需要快速响应的业务场景,例如技术支持和客户服务,这是一个显著的优势。

3. 自主性和可控性

在本地部署的系统可以完全由企业自主控制,方便进行个性化定制和优化,满足特定业务需求。此外,企业可以自主选择硬件和软件环境,灵活调整资源配置,提高系统的可靠性和可维护性。

4. 成本效益

尽管初期部署本地系统可能需要较高的硬件投资,但长期来看,避免了云服务的持续租用费用。对于需要大规模处理数据和频繁访问知识库的企业,本地部署可能更加经济高效。

5. 合规性

在某些行业和地区,数据处理和存储需要遵循严格的法律和合规要求(如 GDPR)。本地部署可以更好地满足这些合规性需求,确保数据处理符合相关法规。

!!!【点赞】、【关注】不走丢^_^

!!!【点赞】、【关注】不走丢^_^



0 阅读:0

龅牙兔谈科技

简介:感谢大家的关注