绿联NAS部署DeepSeek量化版本
昨天试了一下在本地部署DeepSeek量化版本，发现效果不错，还能用。刚好收到绿联推送了一篇文章，在绿联NAS上本地化部署DeepSeek-R1大语言模型教程来啦！，今天试了一下在绿联NAS上部署一个1.5B的量化版本试试效果。
编写Docker Compose配置文件
version: '3.8'
services:
open-webui:
container_name: open-webui # 容器名称
image: ghcr.io/open-webui/open-webui:ollama #镜像名称
# docker 镜像仓库的加速器配置，建议添加https://docker.nju.edu.cn/
restart: always # 重启策略，容器总是重新启动
ports:
- 3000:8080 # 将容器的8080端口映射到主机的3000端口
volumes:
- ./ollama:/root/.ollama # 将ollama文件夹挂载到容器的/root/.ollama目录,存储ollama相关数据
- ./open-webui:/app/backend/data # 将open-webui文件夹挂载到容器的/app/backend/data目录,存储WebUI的后台数据这里直接使用的ghcr.io/open-webui/open-webui:ollama镜像，在本机我是先安装的Ollama在命令行测试了之后，再接入的open-webui。这里就按照文章中的教程来。
创建Docker项目
根据文章中的提示，我们先添加https://docker.nju.edu.cn到 docker 镜像仓库的加速器配置中。
输入名称，选择路径后，直接导入上面的配置。如下：
等待下载完成，挺大的，下了很久。
过了很久，出现下面这个样子，不显示进度了，不知道是不是bug。等了一会儿，看没有什么下载流量了，就关闭了这个窗口。
下载完成后容器就启动了。
我使用的是在浏览器中访问NAS，然后使用Firefox访问的Docker中的OpenWebUI服务。
首页如下： 
点击之后需要先创建管理员 
创建了之后，就登录了。这里要注意的是，需要多等一会儿，开始白屏了一段时间，后面才进入，可能是在加载。
首次进入对话页面如下： 
可以看到，现在我们还没有下载模型，所以这里没有模型可以选择。
使用Ollama下载ModelScope的量化模型 
下载完成后，就可以选择模型运行了。
我下载的是最小的DeepSeek-R1-Distill-Qwen-1.5B量化模型，在DXP4800P跑的速度在5-8token/s，CPU 17%左右，RAM 3.1GB。没有太多实用价值。
MacBookPro M1 16GB上跑DeepSeek-R1-Distill-Qwen-1.5B速度在20-30token/s，DeepSeek-R1-Distill-Qwen-7B在8token/s左右。