1、 Ollama 本地化部署Deepseek R1

Ollama 是一个用于本地运行大语言模型(LLMs)的开源工具,提供简单的界面和优化的推理引擎,使用户能够在个人设备上高效地加载、管理和运行 AI 模型,而无需依赖云端。

1.1 下载Ollama

官网地址:https://ollama.com/

目前Ollama支持macOS、Linux、Windows,选择相应的系统。

macOS和Windows直接下载。

Linux系统需要执行下面命令:

curl -fsSL https://ollama.com/install.sh | sh

img

这次选择Windows本地下载,直接安装即可。

1.2 选择Deepseek R1模型

点击Models,第一条就是deepseek-r1模型。或者搜索框输入模型名称进行搜索。

img

点击进去后,查看各个模型,不同模型执行的命令不同,最后部分看你选择的参数模型。

7b命令:ollama run deepseek-r1:7b

1.5b命令:ollama run deepseek-r1:1.5b

DeepSeek R1提供多个版本,参数量越大,模型通常越强大,但也需要更多的计算资源。

比如1.5B代表有15亿个参数。

具体选择哪一个看你硬件设备了。

img

1.3 运行命令

用的电脑配置不高,选了1.5b。如果你配置高,可以选择更大的,毕竟越大效果越好。

img

1.4 效果测试

当界面出现success显示安装成功。

输入你是谁,看到deepseek的回答。

img

2、 安装docker

Docker 是一个开源的容器化平台,用于开发、交付和运行应用,使应用及其依赖能够以轻量级、可移植的方式打包并运行在任何环境中。

官方地址:https://www.docker.com/

点击下载,选择自己的操作系统进行下载。荣姐还是用windows系统来测试。

安装过程非常简单,不懂docker的小伙伴不用担心,一路傻瓜式操作即可。

img

下载完成后一路默认安装。安装完成后需要登录。

img

登录后进入桌面docker界面。看到这个界面代表安装成功。

img

3 、安装dify

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。

由于 Dify 内置了构建 LLM 应用所需的关键技术栈,包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排,并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间,使其可以专注在创新和业务需求上。

官方手册:https://docs.dify.ai/zh-hans

3.1 下载安装dify

dify的项目github地址:https://github.com/langgenius/dify

1、荣姐用的windows,直接下载zip文件了。

img

2、下载后解压打开,找到docker目录。

img

3、把 .env.example 文件 重命名为 .env

img

4、在当前目录打开终端,执行命令:docker compose up -d

img

5、检查容器是否正常运行:

三个业务服务: api、worker、web,

六个基础组件: weaviate、db、redis、nginx 、ssrf_proxy、sandbox

img

6、在桌面docker中看到多了一个容器,说明dify环境已就绪。

img

3.2 配置Dify

1、初次安装,设置邮箱、用户名及密码

打开浏览器,访问 http://localhost:80,设置管理员账号并登录 Dify 主界面。

我这次都是本机搭建的,所以IP地址用Localhost就行。

填写邮箱名、用户名、密码。

img

使用刚才设置的邮箱和密码登录dify。

img

2、修改 .env 文件关联我们本地化部署的大模型。

在 .env 文件后面添加自定义模型为true,并指定Ollama的API地址(本机IP地址,我部署在同一台机器上)。


# 启用自定义模型
CUSTOM_MODEL_ENABLED=true

# 指定Ollama的API地址
OLLAMA_API_BASE_URL=http://192.168.0.104:11434

img

3.3 在dify中接入Deepseek R1模型

1、在界面右上角点击设置,添加Deepseek R1模型

img

2、模型供应商选择Ollama,dify是支持很多模型提供商的,以后小伙伴们要是用其他的模型也可以接入的。

img

3、添加模型名称,就是本地部署的模型名称,我这里是:deepseek-r1:1.5b

img

保存后界面如下:

img

4、选择系统推理模型,还是本地化部署的 deepseek-r1:1.5b ,点击保存,配置完成。

img

3.4 创建应用

1、创建空白应用

img

2、本次先选择个最简单的聊天助手,大家真正落地应用的时候可以选择Agent、工作流等更复杂的场景

聊天助手起个名字就可以了。

img

3、创建好后在聊天区输入你是谁进行测试。可以看到已经成功应用了Deepseek R1模型。

img

3.5 创建本地知识库

在设置页面,继续添加模型

img

添加embedding模型。

Embedding模型是一种可以把文字、图片或其他数据转换成数字的模型,让计算机更容易理解它们的含义。

简单理解

想象一下,我们要把所有的单词放进一个大地图里,意思相近的单词会放得很近,比如:

“苹果” 和 “香蕉” 会放在一起,因为它们都是水果。

“猫” 和 “狗” 也会很近,因为它们都是宠物。

但是 “苹果” 和 “飞机” 会离得很远,因为它们完全不同。

Embedding模型的作用就是把这些单词变成数学上的“坐标”,这样计算机就能“看到”哪些词语是相似的,哪些是不同的。

Embedding模型有什么用?

1、智能搜索:你搜索“好看的电影”,即使你没打“科幻”,它也可能推荐《星际穿越》,因为Embedding模型知道“好看”和“科幻电影”是有关的。

2、推荐系统:你喜欢听周杰伦的歌,Embedding模型会推荐林俊杰的歌,因为它们风格相似。

3、AI聊天:你问“怎么做番茄炒蛋?”,即使你说“番茄鸡蛋怎么炒?”AI也能理解你的意思。

总结

Embedding模型就像是给单词、句子或图片贴上“数字标签”,让计算机能理解它们的意义,并找到相似的东西。这使得AI可以更聪明地进行搜索、推荐、翻译等任务!

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐