Ollama+Deepseek+AnythingLLM私有化大模型解析

这是一种深度学习搜索引擎技术方案，旨在从大量非结构化信息源中提取有价值的知识点并建立索引。对于建设企业内部或个人专属的知识管理体系非常有用。我用大白话解释一下，DeepSeek其实就是我们所说的一种大模型，其中DeepSeek-V3 在推理速度上相较历史模型有了大幅提升，在当前开源模型中位列榜首。是一款专注于文本生成优化的技术工具集，在提高生成质量的同时减少计算资源消耗。它可以对经过预处理的数据进

杨小卷~

1560人浏览 · 2025-02-07 15:52:35

杨小卷~ · 2025-02-07 15:52:35 发布

1、背景介绍

近期，我国掀起了DeepSeek的热潮，DeepSeek-R1也作为当前最先进的大语言模型深受国际关注。伴随着DeepSeek热度，紧接着陆续出现各式各样的私有化组合模型，在此作者希望通过对Ollama+Deepseek+AnythingLLM大模型浅显的解析来剖析不同私有化模型的运行模式和底层逻辑。

2、组件介绍

2.1 DeepSeek

在这里插入图片描述

2.1.1 简介

  这是一种深度学习搜索引擎技术方案，旨在从大量非结构化信息源中提取有价值的知识点并建立索引。对于建设企业内部或个人专属的知识管理体系非常有用。我用大白话解释一下，DeepSeek其实就是我们所说的一种大模型，其中DeepSeek-V3 在推理速度上相较历史模型有了大幅提升，在当前开源模型中位列榜首。

2.1.2 官方地址

深度求索

2.1.3 优缺点

1、优点：
1）性能卓越：DeepSeek-V3在多个基准测试中表现出色，能够与世界顶尖的AI模型竞争。在文本理解、编码、数学和学科知识方面，DeepSeek-V3优于Meta的Llama 3.1-405B和阿里巴巴的Qwen 2.5-72B等开源模型，并在性能上与OpenAI的GPT-4和Anthropic的Claude 3.5 Sonnet不相上下。
2）成本控制：DeepSeek的训练成本仅为557万美元，远低于行业平均水平，成为开源模型中的“性价比之王”。其推理阶段的运营成本也显著降低，使得更多人能够享受到AI服务。‌
3）技术创新：DeepSeek采用了多项前沿技术，如极大规模混合专家模型（MoE）、多头潜在注意力（MLA）、无辅助损失的负载均衡策略和多token预测（MTP）训练目标等，这些技术增强了模型处理复杂任务的能力，并提升了推理效率。‌
4）多模态能力‌：DeepSeek支持处理文本、图像和其他数据类型，适用于教育、内容创作和技术支持等多个领域。‌
2、缺点：
1）当前知识库沉淀有限：在某些复杂问题的深度理解和处理上，可能不如其他在特定领域有深厚积累的软件。例如，在一些文化内涵丰富、逻辑推理复杂的内容创作方面，可能需要进一步提升。‌
2）硬件要求高：对硬件要求较高，部署需要较高的计算资源。‌
3）上下文限制：上下文长度较短，限制了其在某些应用场景中的使用效果。（这里就不多说了，没有对同类型大模型做深层次比较）

2.2 Ollama

在这里插入图片描述

2.2.1 简介

是一款专注于文本生成优化的技术工具集，在提高生成质量的同时减少计算资源消耗。它可以对经过预处理的数据进行微调，使得最终得到的语言模型更高效准确地响应查询请求。
Ollama是一个模型管理工具，通过Ollama，我们可以轻松下载它所支持的模型，包括llama，qwen以及最近很火的deepseek-r1，并把它作为一个本地的模型提供商以便被其他程序所调用。

2.2.2 官网

ollama
下载地址

2.2.3 功能使用

1、简化部署‌：Ollama的目标是简化在Docker容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。
2、轻量级与可扩展‌：作为轻量级框架，Ollama保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
3、API支持‌：提供了一个简洁的API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。
4、预构建模型库‌：包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序。
5、模型导入与定制‌：支持从特定平台（如GGUF）导入已有的大型语言模型，并兼容PyTorch或Safetensors深度学习框架，允许用户将基于这些框架训练的模型集成到Ollama中。
6、‌跨平台支持‌：提供针对macOS、Windows、Linux以及Docker的安装指南，确保用户能在多种操作系统环境下顺利部署和使用Ollama。

2.2.4 优势

1、开源免费：Ollama 以及其支持的模型完全开源免费，任何人都可以自由使用、修改和分发。
2、简单易用：无需复杂的配置和安装过程，只需几条命令即可启动和运行Ollama。
3、模型丰富：Ollama支持Llama 3、Mistral、Qwen2等多种热门开源LLM，并提供一键下载和切换功能。
4、资源占用低：相比于商业LLM，Ollama对硬件要求更低，即使在普通笔记本电脑上也能流畅运行。
5、社区活跃：Ollama拥有庞大且活跃的社区，用户可以轻松获取帮助、分享经验和参与模型开发。

2.3 AnythingLLM

在这里插入图片描述

2.3.1 简介

AnythingLLM是一个用于创建和管理大规模语言模型（Large Language Model, LLM）的应用框架。通过这个平台可以训练特定领域内的专用大模型，并使其具备更强的专业性和适应能力。
AnythingLLM是一个训练AI的工具，其支持的模型数量很多，并且有方便的图形化界面来上传训练AI所需要的文档。在AnythingLLM中，可以指定各种LLM，向量数据库以及Embedder。此外，它还提供了丰富的RESTful风格的API以供其他程序调用，使得外部程序可以轻松调用AnythingLLM训练出的AI。

2.3.2 官网

anythingllm
下载链接

2.3.3 特性

1、开箱即用‌：AnythingLLM是一款一体化AI应用，无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统‌。
2、多模型支持‌：兼容OpenAI、Anthropic、LocalAI等主流大模型，支持RAG（检索增强生成）功能‌。
3、‌多向量数据库支持‌：支持Pinecone、Weaviate等向量数据库，方便管理和查询文档‌。
4、多文件格式处理‌：支持PDF、TXT、DOCX等多种文件格式的上传和处理‌。
5、实时网络搜索‌：结合LLM响应缓存与对话标记功能，提供高效的文档管理和智能问答能力‌。
6、多用户协作‌：支持团队协作，适用于企业知识管理和客户支持‌。
7、高度可定制‌：用户可以根据需求进行定制优化，支持自定义代理、数据连接器等功能‌。
8、隐私保护‌：默认存储和运行在本地，保护用户数据隐私‌。

2.3.4 全解析及操作指南

看到一篇写的不错的文章，大家喜欢深度研究的话可以去看看，原文链接：https://blog.csdn.net/m0_59164304/article/details/140504883

3、组合逻辑

在这里插入图片描述
整体组合逻辑为：
1、首先通过Ollama下载DeepSeek模型；
2、然后基于DeepSeek来创建自己的AI模型（指定系统提示词之类的微调）；
3、然后将其导入到AnythingLLM中；
4、最后通过第三方来调用AnythingLLM提供的API实现和AI进行交互。

4、环境搭建

4.1 下载安装Ollama（以Windows为例）

1、进入Ollama下载地址：下载地址
在这里插入图片描述 2、程序安装：傻瓜式安装即可
3、安装完退出程序，修改环境变量

1）安装完会默认启动程序，我们需要退出程序
2) 设置环境变量
OLLAMA_MODELS：模型存储路径

OLLAMA_HOST：监听地址

OLLAMA_ORIGINS：跨域源列表
在这里插入图片描述
4、运行程序，命令窗打开程序
输入ollama help检查安装是否成功，没有报错就是成功安装

基础命令有：

  serve      启动ollama服务
  create     听过模型文件创建模型
  show       查看模型详情
  run        运行模型
  pull       拉取模型镜像
  push       上传模型镜像
  list       模型列表
  cp         复制模型
  rm         删除模型
  help       帮助手册

4.2 通过Ollama下载部署deepseek模型

1、进入ollama官网搜索deepseek模型
在这里插入图片描述
2、选择部署配置：每个配置后面都有对应的内存要求，大家按照自己的电脑配置进行选择，复制对应的运行命令

注意：CPU和内存需求
1）1.5B和7B模型：可以在消费级GPU上运行，例如 NVIDIA GTX 1660、RTX 3060（8-12 GB 显存）。
2）8B和14B模型：需要高端GPU，例如 NVIDIA RTX 3090、A100（16-24 GB 显存）。
3）32B和70B模型：：需要专业级 GPU，例如 NVIDIA A100、H100（32 GB+ 显存）。
4）671B模型：：需要多 GPU 并行计算，例如多张 A100 或 H100。
在这里插入图片描述
3、在ollama下载运行模型

4、模型使用（每次使用前我们都需要打开ollama后输入模型运行命令后再命令提示符窗口使用模型）

4.3 部署AnythingLLM

基于以上的内容我们已经可以在本地使用deepseek模型，但是使用方式非常麻烦且用户界面非常简陋，我们通过AnythingLLM来优化用户使用交互和可视化界面。
1、根据个人需求下载对应的类型
下载链接
在这里插入图片描述
2、安装，依旧是傻瓜式安装即可

3、打开AnythingLLM，选择Ollama，AnythingLLM会自动检测本地部署的模型，所以前提确保Ollama本地部署的模型正常运行。

4、跳过调查问卷

5、创建工作区

6、进行对话
在这里插入图片描述
至此，基于Ollama运行的Deepseek模型就可以通过AnythingLLM可视化工具进行操作了。
如果不行，需要进行以下设置
1）设置
2）首选项。LLM提供商选择Ollama，模型选择deepseek，保存

3）聊天设置

4）更新工作区
在这里插入图片描述
7、搭建本地知识库：上传本地文档即可完成本地知识库构建

8、AnythingLLM支持直接调用DeepSeek官方提供的API接口

选择deepseek，输入API的Key即可

更新工作区