在树莓派上安装Ollama的网页端,OpenWebUI

查理谈科技 2024-05-07 15:25:53

上一篇文章中介绍了如何在树莓派5中运行Ollama, 还成功运行了Qwen大模型,但是和Bot的交互, 还是在命令行里面进行的, 因此这里我们继续折腾树莓派, 在树莓派5的Ubuntu中, 安装网页端。

安装Open WebUI

Ollama的网页端, 以前叫做Ollama WebUI, 现在叫做Open WebUI, 名字的改变, 预示着这个Web UI已经不仅仅支持本地运行大模型的Ollama ,还能为OpanAI 兼容的API 提供页面服务。

Open WebUI 确实有很多的功能, 直观的界面、响应性设计什么的,这些我们就不必去说了, 现在Open WebUI 还支持 Docker 或者Kubernetes 中安装,代码语法能够突出显示, 通过语法突出显示功能,能够方便我们在和大模型交互过程中直观地查看代码。 此外, Open WebUI 还支持Markdown 和LaTeX 语法; 支持本地RAG 集成。 这些功能我们随后逐一体会。

Open WebUI 的安装, 既可以通过下载代码在本地安装和运行, 也可以通过Docker 来运行, 这里通过Docker 来运行, 优点是比较简单, 因为第一种方法需要通过npm,有一定的复杂度。

首先在Ubuntu 上安装Docker。

安装Docker

先卸载Docker 相关组件:

for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done

然后, 通过apt 来安装Docker repo:

# Add Docker's official GPG key:sudo apt-get updatesudo apt-get install ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.asc# Add the repository to Apt sources:echo \"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \sudo tee /etc/apt/sources.list.d/docker.list > /dev/nullsudo apt-get update

安装Docker:

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker 安装完成:

docker -v

Docker version 25.0.4, build 1a576c5

Docker 安装完成之后,还需要配置一下Docker , 因为默认的Docker 命令是需要root 权限的, 我们要让非root 账号也可以运行, 否则每次运行Docker 还得前面加一个sudo ,这样比较麻烦

例如刚刚安装完docker, 运行docker run hello-world,就需要使用:

sudo docker run hello-world

在Linux中,想要以非root身份运行docker,执行一下命令:

sudo groupadd dockersudo usermod -aG docker $USERnewgrp docker

运行下面的代码,就可以愉快的运行docker , 不需要再使用sudo:

运行Open WebUI

下面开始运行Open WebUI,因为我们的Ollama是安装在树莓派上的,为了简单起见,也在树莓派上安装:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

执行结果:

Ok,访问下3000端口,看看效果:

首次登陆,需要注册一下账号, 这里就是在本地的账号, 注册一下就好(不过以后还用得到,用户名和密码要记住):

成功进入Open WebUI 页面:

刚开始的Open WebUI ,上面是没有模型在运行的,所以还不能对话。

至于在Open WebUI上操作, 就等我们下一次更新吧。

0 阅读:0

查理谈科技

简介:感谢大家的关注