最近手里面刚好有一台服务器带英伟达双卡RTX 3090，查询硬件参数，其总显存48GB（理论值，但需模型并行才能叠加使用），计算能力：FP16混合精度下约284 TFLOPS。尝试部署下本地化的Deepseek，顺带记录下部署的过程和效果图。

1.服务器安装系统版本：Ubuntu 22.04.2 LTS，这个过程就不多说，直接下载版本根据流程系统装机，网上也很多类似的教程和文章。2.安装Ollama网址：https://ollama.com/download/linux选择linux版本

curl -fsSL https://ollama.com/install.sh | sh3.安装DeepSeek网址：https://ollama.com/library/deepseek-r1:32b这里选择是R1版本

安装提供的命令，执行脚本如下：

ollama run deepseek-r1:32b

4.运行deepseek

5.既然提到本地化部署，则需要进行局域网的配置

sudo vim /etc/systemd/system/ollama.service

Environment="OLLAMA_HOST=0.0.0.0:11434"

6.速度优化安装网上搜索的教程，做了如下的配置优化

OLLAMA_GPU_LAYERS=cuda指定 Ollama 使用 CUDA 进行 GPU 加速。OLLAMA_NUM_GPU=2指定使用两张 GPU 进行推理。OLLAMA_GPU_MEMORY=0.95设置 GPU 显存利用率上限为 95%，以充分利用显存。CUDA_VISIBLE_DEVICES=0,1指定使用编号为 0 和 1 的两张显卡。确保显卡编号与你的系统配置一致。OLLAMA_SCHED_SPREAD=1启用调度器的负载均衡功能，将推理任务均匀分配到两张显卡上。OLLAMA_KEEP_ALIVE=-1设置模型加载后保持活动状态的时间（单位为秒）。-1 表示永久保持活动状态，避免频繁加载和卸载模型。7.GPU的并行调度优化网址：https://developer.nvidia.com/cuda-12-0-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_network

这个过程大家按照页面指导完成即可。8.docker的安装 - 后面的OpenWebUI需要docker来运行

1.更新系统包

sudo apt update

sudo apt upgrade -y

2.安装依赖工具

sudo apt install -y curl apt-transport-https ca-certificates software-properties-common

3.添加Docker官方GPG密钥

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

4.添加Docker软件源

echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

5.更新APT包索引

sudo apt update

6.安装Docker CE（社区版）

sudo apt install -y docker-ce docker-ce-cli containerd.io

7.启动Docker服务并设置为开机自启

sudo systemctl start docker

sudo systemctl enable docker

8.验证Docker安装

sudo docker –version

9.安装OpenWebUI

安装OpenWebUI cuda版本

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

查看OpenWebUI安装包

docker images

查看OpenWebUI运行状况

登录OpenWebUI

关闭OpenAI API

允许新用户注册

这样，一个简单的deepseek本地模型基本就部署完成了。