搭建属于自己的 DeepSeek,本地部署

————————————————

2025年1月,DeepSeek 正式发布 DeepSeek-R1 推理大模型。DeepSeek-R1 成本价格低廉,性能卓越,在 AI 行业引起了广泛关注。

DeepSeek 提供了多种使用方式,满足不同用户的需求和场景。本地部署在数据安全、性能、定制化、成本、离线可用性和技术自主性方面具有显著优势。

本文详细讲解基于 Ollama+Docker+OpenWebUI 的本地化部署流程,并通过实例代码演示。

1.软硬件需求
1.1 硬件需求
DeepSeek R1 本地部署的硬件需求如下:

基本推荐配置:CPU: 8核或以上,内存: 32GB或以上,存储: 100GB SSD或以上,GPU: NVIDIA GTX 1080或同等性能

DeepSeek-7B 推荐配置:RTX3060 以上显卡 + 16G以上 内存 + 50G SSD 存储空间

DeepSeek-70B 推荐配置:RTX4060 以上显卡 + 32G以上 内存 + 200G SSD 存储空间

本教程使用的硬件配置为:CPU: Intel i5-12490/3.00GHz,内存: 32GB,存储: 500GB SSD,GPU: NVIDIA GTX 3060。

1.2 软件依赖
DeepSeek R1 本地部署的软件依赖包括操作系统、容器化工具、编程语言、深度学习框架、数据库、消息队列、Web 服务器、GPU 加速工具、版本控制、包管理工具、监控与日志工具以及安全工具。

本教程采用 macOS 操作版本、Python 3.11 版本、PyTorch 1.7 版本、Ollama。

2.Ollama 下载与安装
2.1 Ollama 的下载
Ollama 是一个开源的本地模型运行工具,可以方便地下载和运行各种开源模型,如 Llama、Qwen、DeepSeek 等。Ollama 提供高效、灵活的大模型部署和管理解决方案,可以简化模型的部署流程。支持macOS、Linux、Windows 操作系统。

官网地址:https://ollama.com/

下载地址:https://ollama.com/download

2.2 Ollama 的安装
下载完成后直接点击Download进行安装(window/linux 雷同)。

安装完成后,cmd 打开命令行窗口,输入 “ollama -v” 测试,显示 ollama 的版本为 “0.5.7”,表明安装成功。

2.3 Ollama 的运行
Ollama 没有用户界面,在后台运行。

打开浏览器,输入 “http://localhost:11434/”,显示 “Ollama is running”。

3.deepseek-r1 模型安装
3.1 Ollma 安装 deepseek-r1 模型
从 ollama 官网 查找 deepseek-r1 模型。


    2. 点击进入 deepseek-r1 模型,可以选择不同版本的模型(1.5b/7b/14b/32b/70b/671b)。

deepseek-r1 提供多个版本,参数量越大,模型的性能越强大,但也需要更多的存储和计算资源。1.5b 模型参数为15亿/1.1GB,7b 模型参数约为 70亿/4.7GB,14b 模型参数约为 140亿/9GB。

deepseek-r1 不同版本模型的执行命令不同:

1.5b 的命令为:“ollama run deepseek-r1:1.5b” 7b 的命令为:“ollama run deepseek-r1:7b” 14b 的命令为:“ollama run deepseek-r1:14b”


    3.本教程选择选择 7b 模型,在命令行窗口运行安装命令 “ollama run deepseek-r1”(默认 7b),程序会自动下载和安装运行。


    4. 安装完成后显示 “success”,表明安装成功。

3.2 使用 deepseek-r1 模型
输入 “/?”,可以获得帮助。


    2.在命令行窗口运行命令 “ollama run deepseek-r1”,就可以在提示行输入,与 deepseek-r1 进行聊天。

通过本地命令行窗口可以使用 deepseek-r1,但这让人回到了 DOS 年代,交互体验很差。接下来我们按照 Docker 和 Open WebUI 用户界面,可以更便捷地使用 deepseek-r1。

4.安装 Open WebUI
Open WebUI是一个可扩展、功能丰富、用户友好的自托管 WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括 Ollama 和 OpenAI 兼容的 API。Open WebUI 适配了 Ollama 接口,提供了 web 的方式来访问 Ollama API.

4.1 安装和启动 open-webui (python 环境)
打开 open-webui 项目的 Github 仓库 https://github.com/open-webui/open-webui:


    2.从 README 的安装指南找到用于 Ollama 的安装命令(本地有 Python3.11 的环境)

Install Open WebUI: Open your terminal and run the following command to install Open WebUI:

pip install open-webui

Running Open WebUI: After installation, you can start Open WebUI by executing:

open-webui serve

This will start the Open WebUI server, which you can access at http://localhost:8080


3.执行完运行脚本,可以直接通过 http://localhost:8080 访问界面,按照引导注册账号,就可以使用了。


    4. 如果下载好了 ollama 的模型,在上面可以选择到对应的模型进行对话:


    5. 下拉可以选择安装过的所有大模型。


    6. 可以添加多个大模型进行比较。

Open WebUI 也支持 docker 安装,如果喜欢容器化的方式,可以按照 README 的说明尝试。

4.2 安装OpenWebUI以提供Web界面(Docker 方式)
1.安装Docker

Windows/MacOS/Linux:从Docker官网下载并安装Docker Desktop。


    2.配置Docker(可选)

配置Docker镜像加速,以提高下载速度。具体配置方法可参考Docker官方文档。


    3.下载并运行OpenWebUI

使用Docker拉取OpenWebUI镜像:

docker pull ghcr.io/open-webui/open-webui:main

运行OpenWebUI容器:
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
访问http://localhost:3000以查看OpenWebUI的Web界面。

启动后使用方法同 4.1。

Comments

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注