
快速搭建dify和deepseek,让普通人也能轻松训练AI
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。到此,我们完成了Dify和DeepS
01.背景
AI已然成为当今的热门话题。过去,由于私有化部署成本极高,大多数使用者仅停留在简单的问答阶段,极少有人尝试训练大模型。然而,随着DeepSeek R1的问世,其部署成本仅为chatGPT的十分之一,这让许多企业和个人看到了参与的希望。未来,必将有越来越多的垂直领域AI大模型或应用出现,这或许是一个巨大的机遇。那么,普通人要如何参与呢?要如何训练自己的AI呢?本文将介绍一种简单且无需编写代码的方法,帮助您轻松训练AI应用。
02.Ollama的安装
Ollama 是一个用go语言开发的开源框架,可用于本地运行和管理大语言模型(LLM,Large Language Model)。我们将使用 Ollama 来运行和管理 DeepSeek 大模型。Ollama 支持在 CPU 或 GPU 环境下运行,具体安装步骤如下。
-
基于CPU运行
DeepSeek R1:7b大模型在cpu环境也能跑,但不是很流畅,个人或者实验用的话倒也无所谓,运行Ollama指令如下:
docker run -d -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama registry.cn-hangzhou.aliyuncs.com/yilingyi/ollama
-
基于GPU运行
经测试,DeepSeek R1:7b大模型在10G以上显存的环境可以很流畅,使用GPU需要先配置依赖环境。
2.1. apt方式安装
- 配置仓库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \` `| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg``curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \` `| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \` `| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list``sudo apt-get update
- 安装NVIDIA Container Toolkit
sudo apt-get install -y nvidia-container-toolkit
2.2. yum or dnf方式安装
- 配置仓库
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \` `| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
- 安装NVIDIA Container Toolkit
sudo yum install -y nvidia-container-toolkit
- 配置docker,让其支持NVIDIA驱动
sudo nvidia-ctk runtime configure --runtime=docker``sudo systemctl restart docker
-
运行ollama
在完成上述依赖环境配置后,运行如下指令,比CPU的方式多了一个参数–gpus,通过它来指定使用宿主机的GPU。
docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama registry.cn-hangzhou.aliyuncs.com/yilingyi/ollama
03.运行DeepSeek大模型
通过如下指令进行下载和运行DeepSeek R1:7b大模型:
docker exec -it ollama ollama run deepseek-r1:7b
下载可能需要花点时间,不过没关系,我们可以边下载,边继续部署Dify,搭建一个可视化的管理平台。
04.Dify的安装
Dify 是一款开源的大语言模型(LLM)应用开发平台。它结合了后端即服务(Backend as a Service)和 LLMOps 的理念,使开发者能够快速构建生产级的生成式 AI 应用。即使是非技术人员,也可以参与到 AI 应用的定义和数据运营中。通过 Dify,不仅可以实现知识库应用,还能开发更多功能。
-
使用Docker-Compose安装
这里使用Docker-Compose V2进行安装,用V1的时候遇到异常。
mkdir -p ~/.docker/cli-plugins/``curl -SL https://github.com/docker/compose/releases/download/v2.20.2/docker-compose-linux-x86_64 -o ~/.docker/cli-plugins/docker-compose
- 克隆Dify仓库
git clone https://github.com/langgenius/dify.git
- 运行Dify
- 进入 Dify 源代码的 Docker 目录
cd dify/docker
- 复制环境配置文件
cp .env.example .env
- 启动 Docker 容器
docker compose up -d
-
Dify初始化
替换成你的服务器IP,访问后设置你的账号和密码。
http://your_server_ip/install
到此,我们完成了Dify和DeepSeek大模型的部署,接下来需要在Dify进行大模型配置和创建我们的AI应用。
05.Dify添加大模型
在完成上述安装后,我们需要在Dify控制台上添加我们部署的DeepSeek R1:7b大模型,操作如下:
- 登录控制台后,点击右上角–>设置
- 在弹窗左侧栏目选择“模型供应商”,然后添加Ollama配置
06.创建AI应用
好的,终于到了这个环节,我们可以借助Dify快速创建我们的AI应用,并赋予它处理的逻辑。
- 创建一个空白应用,选择Chatflow
- 创建后,在LLM节点选择deepseek-r1:7b大模型,然后设置上下文为用户查询变量sys.query,接着在SYSTEM处设置提示词(Prompt)赋予它处理逻辑。
- 在预览没问题后,发布应用即可
结 语
通过上述内容,我们了解了 DeepSeek 大模型的部署和 AI 应用的搭建,并尝试了 Chatflow 和 Prompt 的使用。由于一些条件限制,许多人无法进行基础模型的开发或微调,但 Chatflow 和 Prompt 为我们展示了另一种训练的方向。本期内容到此为止,下一期我们将深入探讨 Chatflow 和 Prompt 的高级应用。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
更多推荐
所有评论(0)