Deepseek本地部署步骤(基于Linux内核的Ubuntu22.04.5操作系统)
与导师有合作关系的一位副教授正和甲方合作一个项目,其第一个步骤是“实现在deepseek平台基础上,搭建甲方特有的数据库(比如规划方案是否可行。用户和项目需求是否冲突、用户需求信息等)。进而需要内嵌和Deepseek无缝对接,实现简单相关内容的人机对话界面。”故导师要求我在周末,在自己的工作机上部署Deepseek。我在bilibili、CSDN上没有找到几个完整的教程,自己部署时也踩了不少坑,故
文章目录
3.1 允许外部设备或服务通过 TCP 协议访问运行在本地 11434 端口上的服务
参考资料均放在了文章末尾,如若侵权,请立刻联系我删除相关内容。
背景:与导师有合作关系的一位副教授正和甲方合作一个项目,其第一个步骤是“实现在deepseek平台基础上,搭建甲方特有的数据库(比如规划方案是否可行。用户和项目需求是否冲突、用户需求信息等)。进而需要内嵌和Deepseek无缝对接,实现简单相关内容的人机对话界面。”故导师要求我在周末,在自己的工作机上部署Deepseek。我在bilibili、CSDN上没有找到几个完整的教程,自己部署时也踩了不少坑,故想通过分享部署经验,以节省时间。
文章完成内容:在Ubuntu22.04.5(虚拟机)上本地部署Deekseek(deepseek-r1:1.5b)。视频演示如下:
1. 下载并安装Ubuntu22.04.5操作系统
详细步骤请参考下述链接:
Ubuntu 超详细保姆级安装教程(每步都有截图)-CSDN博客
2. 安装依赖项
2.1 Docker
详细步骤请参考下述链接:
Ubuntu 22.04下Docker安装(最全指引)_docker ubuntu2204-CSDN博客
2.2 curl
ubuntu 22.04 安装 curl 的方法_command 'curl' not found, but can be installed wit-CSDN博客
2.3 Yarn
2.4 Node
Ubuntu 20.04 上安装 Node.js 和 npm 的三种方法_ubuntu 安装npm-CSDN博客
3. 安装并配置Ollama
3.1 允许外部设备或服务通过 TCP 协议访问运行在本地 11434 端口上的服务
打开终端,输入下述代码,如下图所示:
sudo ufw allow 11434/tcp
3.2 下载并安装Ollama
在浏览器(下图以Edge为例)中输入下述网址,进入Ollama官网。如下图所示:
点击Download,选择Linux,复制红框中的代码,在终端中输入,等待下载完成。如下图所示:
下载过程如下图所示:
下载完成后在浏览器(以Edge为例)中输入下述网址,若出现下图所示“ollamais running”,则说明安装成功。
3.3 配置Ollama的网络监听
打开终端,输入下述代码。如下图所示:
sudo systemctl edit ollama.service
在 ### Anything between here and the comment below will become the new contents of> 和 ### Lines below this comment will be discarded 之间插入下述代码。如下图所示:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
4. 下载Deepseek-r1
在当前网页上方搜索框中搜索deepseek,找到deepseek-r1。如下图所示:
选择参数(以deepseek-r1:1.5b为例)。如下图所示:
打开终端,输入下述代码,如下图所示:
ollama pull deepseek-r1:1.5b
下载过程如下图所示:
下载完成后在终端内输入下述代码,运行deepseek-r1。如下图所示:
5. 下载并配置AnythingLLM
5.1 下载AnythingLLM
打开终端,输入下述代码,下载anythingllm。
docker pull mintplexlabs/anythingllm
在终端中依次输入下述代码,将存储挂载到本地,并在 Docker 中运行 AnythingLLM。
export STORAGE_LOCATION=$HOME/anythingllm
mkdir -p $STORAGE_LOCATION
touch "$STORAGE_LOCATION/.env"
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm
在浏览器中输入下述网址,进入AnythingLLM。如下图所示:
5.2 配置AnvthingLLM
选择Ollama,AnythingLLM会自动检测本地部署的模型(以deepseek-r1:1.5b为例),所以前提确保Ollama本地部署的模型正常运行。如下图所示:
选择使用对象(分为个人和小组,以小组为例),设置用户名和密码,跳过调查问卷。如下图所示:
创建工作区,填写名称(以Workspacel_Test为例)。如下图所示:
在左侧展示栏上侧选择“设置”。如下图所示:
在 “聊天设置”中选择“工作区LLM提供者”为Ollama;“工作区聊天模型”为deepseek-rl:1.5b。如下图所示:
在左侧展示栏下侧选择“设置”。如下图所示:
在 “LLM首选项”中选择“LLM提供商”为Ollama;“Ollama Model”为deepseek-rl:1.5b。如下图所示:
在 “Embedder首选项”中选择“嵌入引擎提供商”为Ollama;“OllamaEmbedding Model”为deepseek-rl:1.5b。如下图所示:
6. 搭建本地数据集
在左侧展示栏上侧选择“上传”。如下图所示:
上传数据集(以“书名及价格.txt”为例,内容如下图所示)
将数据集(以“书名及价格.txt”为例)发送至对应的工作空间(以Workspacel_Test为例)。如下图所示:
保存(使其成为工作空间(以Workspacel_Test为例)的上下文)。如下图所示:
至此Deepseek本地部署结束,可根据上传数据集(以“书名及价格.txt”为例)在工作空间(以Workspacel_Test为例)提问。如下图所示。
7. 参考资料
更多推荐
所有评论(0)