文章目录

1. 下载并安装Ubuntu22.04.5操作系统

2. 安装依赖项

2.1 Docker

2.2 curl

2.3 Yarn

2.4 Node

3. 安装并配置Ollama

3.1 允许外部设备或服务通过 TCP 协议访问运行在本地 11434 端口上的服务

3.2 下载并安装Ollama

3.3 配置Ollama的网络监听

4. 下载Deepseek-r1

5. 下载并配置AnythingLLM

5.1 下载AnythingLLM

5.2 配置AnvthingLLM

6. 搭建本地数据集

7. 参考资料


参考资料均放在了文章末尾,如若侵权,请立刻联系我删除相关内容。

背景:与导师有合作关系的一位副教授正和甲方合作一个项目,其第一个步骤是“实现在deepseek平台基础上,搭建甲方特有的数据库(比如规划方案是否可行。用户和项目需求是否冲突、用户需求信息等)。进而需要内嵌和Deepseek无缝对接,实现简单相关内容的人机对话界面。”故导师要求我在周末,在自己的工作机上部署Deepseek。我在bilibili、CSDN上没有找到几个完整的教程,自己部署时也踩了不少坑,故想通过分享部署经验,以节省时间。

文章完成内容:在Ubuntu22.04.5(虚拟机)上本地部署Deekseek(deepseek-r1:1.5b)。视频演示如下:

1. 下载并安装Ubuntu22.04.5操作系统

详细步骤请参考下述链接:
Ubuntu 超详细保姆级安装教程(每步都有截图)-CSDN博客

2. 安装依赖项

2.1 Docker

详细步骤请参考下述链接:

Ubuntu 22.04下Docker安装(最全指引)_docker ubuntu2204-CSDN博客

2.2 curl

ubuntu 22.04 安装 curl 的方法_command 'curl' not found, but can be installed wit-CSDN博客

2.3 Yarn

如何在 Ubuntu 22.04 LTS 上安装 Yarn

2.4 Node

Ubuntu 20.04 上安装 Node.js 和 npm 的三种方法_ubuntu 安装npm-CSDN博客

3. 安装并配置Ollama

3.1 允许外部设备或服务通过 TCP 协议访问运行在本地 11434 端口上的服务

打开终端,输入下述代码,如下图所示:

sudo ufw allow 11434/tcp

3.2 下载并安装Ollama

在浏览器(下图以Edge为例)中输入下述网址,进入Ollama官网。如下图所示:

Ollama

点击Download,选择Linux,复制红框中的代码,在终端中输入,等待下载完成。如下图所示:

下载过程如下图所示:

下载完成后在浏览器(以Edge为例)中输入下述网址,若出现下图所示“ollamais running”,则说明安装成功。

3.3 配置Ollama的网络监听

打开终端,输入下述代码。如下图所示:

sudo systemctl edit ollama.service

### Anything between here and the comment below will become the new contents of>### Lines below this comment will be discarded 之间插入下述代码。如下图所示:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

4. 下载Deepseek-r1

在当前网页上方搜索框中搜索deepseek,找到deepseek-r1。如下图所示:

选择参数(以deepseek-r1:1.5b为例)。如下图所示:

打开终端,输入下述代码,如下图所示:

ollama pull deepseek-r1:1.5b

下载过程如下图所示:

下载完成后在终端内输入下述代码,运行deepseek-r1。如下图所示:

5. 下载并配置AnythingLLM

5.1 下载AnythingLLM

打开终端,输入下述代码,下载anythingllm。

docker pull mintplexlabs/anythingllm

在终端中依次输入下述代码,将存储挂载到本地,并在 Docker 中运行 AnythingLLM。

export STORAGE_LOCATION=$HOME/anythingllm
mkdir -p $STORAGE_LOCATION
touch "$STORAGE_LOCATION/.env"
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

在浏览器中输入下述网址,进入AnythingLLM。如下图所示:

http://localhost:3001

5.2 配置AnvthingLLM

选择Ollama,AnythingLLM会自动检测本地部署的模型(以deepseek-r1:1.5b为例),所以前提确保Ollama本地部署的模型正常运行。如下图所示:

选择使用对象(分为个人和小组,以小组为例),设置用户名和密码,跳过调查问卷。如下图所示:

创建工作区,填写名称(以Workspacel_Test为例)。如下图所示:

在左侧展示栏上侧选择“设置”。如下图所示:

在 “聊天设置”中选择“工作区LLM提供者”为Ollama;“工作区聊天模型”为deepseek-rl:1.5b。如下图所示:

在左侧展示栏下侧选择“设置”。如下图所示:

在 “LLM首选项”中选择“LLM提供商”为Ollama;“Ollama Model”为deepseek-rl:1.5b。如下图所示:

在 “Embedder首选项”中选择“嵌入引擎提供商”为Ollama;“OllamaEmbedding Model”为deepseek-rl:1.5b。如下图所示:

6. 搭建本地数据集

在左侧展示栏上侧选择“上传”。如下图所示:

上传数据集(以“书名及价格.txt”为例,内容如下图所示)

将数据集(以“书名及价格.txt”为例)发送至对应的工作空间(以Workspacel_Test为例)。如下图所示:

保存(使其成为工作空间(以Workspacel_Test为例)的上下文)。如下图所示:

至此Deepseek本地部署结束,可根据上传数据集(以“书名及价格.txt”为例)在工作空间(以Workspacel_Test为例)提问。如下图所示。

7. 参考资料

  1. 在Linux Ubuntu上本地安装并运行DeepSeek-R1 AI模型_哔哩哔哩_bilibili
  2. DeepSeek + anythingLLM + ubuntu 24.4 安装,配置,测试, 体验, 与ChatGPT的粗略对比_哔哩哔哩_bilibili
  3. 10分钟搞定!DeepSeek+Ollama+AnythingLLM 本地部署完全指南,打造专属知识库 - 知乎
  4. anything-llm/docker/HOW_TO_USE_DOCKER.md at master · Mintplex-Labs/anything-llm · GitHub

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐