前言

集成DeepSeek到本地私有化环境，可以为企业或个人带来多方面的优势，尤其是在数据安全、定制化需求以及性能优化等方面。以下是几个关键点：

数据隐私与安全性

• 完全控制数据：通过本地部署，用户能够完全掌控自己的数据，确保敏感信息不会泄露给第三方服务提供商
• 合规性：对于需要遵守特定行业标准和法律法规（如GDPR、HIPAA等）的企业来说，本地部署可以更容易满足这些要求。

性能与效率

• 减少延迟：在本地运行AI模型可以显著减少网络传输带来的延迟，这对于实时应用至关重要
• 资源优化：根据实际需求灵活调整硬件资源，实现最佳性能表现。

定制化与灵活性

• 高度定制：可以根据企业的具体业务场景进行深度定制，开发出最适合自身需求的应用程序
• 快速迭代：本地部署使得开发团队能够更快地测试新功能和算法改进，加速产品迭代周期。

例如，在金融领域，银行可能会利用本地部署的DeepSeek模型来处理客户数据，进行风险评估或是欺诈检测，这样既能保证数据的安全性又能高效处理复杂的计算任务。又比如医疗行业，医院可以通过本地部署来分析患者的医疗记录，同时保护患者隐私，这在处理涉及个人健康信息的数据时尤为重要。

综上所述，将DeepSeek这样的先进技术集成到本地私有化环境中，不仅能提供强大的数据分析能力和智能决策支持，还能有效保障数据安全，满足个性化需求，并带来可观的成本效益。然而，在做出决定之前，应充分考虑自身的实际情况和技术储备，以确保顺利实施

1.安装ollama

首先我们需要安装 Ollama（Ollama），它可以在本地运行和管理大模型

2.下载Deepseek

接下来点击 Ollama 官网左上方的 “Models” 按钮，会列出支持的各种模型，目前最火的 DeepSeek-R1 排在显眼位置，点击进入主题页面

点击进去后，查看各个模型，不同模型执行的命令不同，最后部分看你选择的参数模型。

7b命令：ollama run deepseek-r1:7b
1.5b命令：ollama run deepseek-r1:1.5b

DeepSeek R1 提供多个版本，参数量越大，模型通常越强大，但也需要更多的计算资源，比如 1.5B 代表有 15 亿个参数。
具体选择哪一个看你硬件设备了。

在 Windows 搜索栏输入 “cmd” 回车，唤出命令行窗口：

黏贴运行刚才复制的命令，开始下载请保持网络畅通：

网络可能比较慢，可能会出现下载失败的现象，可以切换国内镜像源

# 设置镜像地址
export OLLAMA_MIRROR="https://mirror.example.com"

# 清理旧缓存
ollama rm deepseek-r1:7b

# 重新下载
ollama run deepseek-r1:7b

当界面出现 success 显示安装成功。输入 “你是谁”，看到 deepseek 的回答。

3.AnythingLLM、Open-WebUI 简介

AnythingLLM

• 定位：将本地文档或数据源整合进一个可检索、可对话的知识库，让 AI 助手 “懂你” 的资料。

主要功能：

• 文档管理：将 PDF、Markdown、Word 等多格式文件索引进系统。
• 智能检索：可基于向量数据库搜索相关文档片段，并在聊天时自动引用。
• 界面 +API：既提供用户友好的前端管理界面，也能通过 API 与其他系统集成。

对接 Ollama 思路：

• 在配置文件或启动脚本中，将 “语言模型推理” 后端地址指定为 Ollama 的本地服务。
• 当用户发起提问时，AnythingLLM 会先做知识检索，再将检索到的上下文发送给 Ollama 做语言生成。

适用场景：

• 企业内部文档问答、个人知识管理、高度依赖文本内容的问答场景。

Open-WebUI

• 定位：社区驱动的网页版用户界面，针对多种本地模型提供可视化使用入口，类似一个 “本地 ChatGPT 面板”。

主要功能：

• 浏览器聊天界面：在局域网或本机通过网页即可与模型交互。
• 支持多后端：LLaMA、GPT-NeoX 等，以及 CPU/GPU 等不同推理环境。
• 插件/扩展机制：在社区里可找到各式各样的扩展功能（如多语言 UI、模型切换、对话模板等）。

对接 Ollama 思路：

• 通常可在 Open-WebUI 的后台配置或启动脚本中，指定 Ollama 作为推理后端；
• 或使用适配 Ollama 协议的插件，让 Open-WebUI 调用 Ollama 进行对话。

适用场景：

• 需要 “纯聊天 + 模型管理” 界面的普通用户或开发者；想要单纯体验各种本地模型的人群。

接入Ollama的异同

4.下载AnythingLLM

• AnythingLLM 是由 Mintplex Labs Inc.开发的一个全栈应用程序，是一款高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。
• AnythingLLM 支持几乎所有的主流大模型和多种文档类型，可定制化，而且安装和设置简单。目前适用于 MacOS、Linux 和 Windows 操作系统，也可以使用 Docker 安装。官方已经做好了各个版本的应用，直接下载对应版本，像正常软件一样安装启动即可。

AnythingLLM下载地址：https://anythingllm.com/desktop

下载时可能会跳转页面报错403，此时可以找我发安装包，评论或私信都可

下载完成开始安装

1.下载完成后浏览器可能会报警，点击保留，再点击将此应用报告为安全即可

2.傻瓜式安装即可

3.等待安装完成（可能需要一会儿时间，耐心等待即可）

4.下载完成

5.AnythingLLM配置

这里一定要选，不然在上传文件的时候会报错

一定要点击保存，否则不会生效

简单向模型提供数据

1.点击工作区上的上传按钮（如果没有工作区，点击新建工作区）

2.点击上传文件

3.选择文件上传

4.保存

如果只是简单的部署私人本地模型，这里就足够了，但是如果想要在公司部署一个公司级的知识库模型，需要AnytingLLM的docker版本（要收费）

详情可以到官网查看：Security and Access ~ AnythingLLM

6.集成到open-webui

1.安装 Open-WebUI

前置条件：由于open-webui中包含.at函数，所以浏览器版本不能太低

安装命令：pip install open-webui(需提前安装配置python环境）

如果下载报错或者下载较慢可以切换镜像源

切换镜像源：

国内常用源的地址如下：

清华大学源 镜像地址：Simple Index

阿里云源 镜像地址：Simple Index

豆瓣源 镜像地址：https://pypi.douban.com/simple

中国科学技术大学源 镜像地址：Verifying - USTC Mirrors

腾讯云源 镜像地址：Simple Index

切换镜像源命令：

临时换源：pip install package_name -i https://pypi.tuna.tsinghua.edu.cn/simple

永久换源：pip config set global.index-url Simple Index

重置镜像源：

查看当前设置的镜像源：pip config list

删除全局设置的镜像源：pip config unset global.index-url

删除用户级别设置的镜像源：pip config unset global.index-url

更新pip

如果它提示你更新pip，你需要将pip更新到最新的版本

更新pip到最新版本：python.exe -m pip install --upgrade pip

2.下载时可能会出现的报错：

1.python版本错误

ERROR: Ignored the following versions that require a different python version: 
0.1.124 Requires-Python <3.12.0a1,>=3.11;
0.1.125 Requires-Python <3.12.0a1,>=3.11;

解决方法：

选择合适的版本，这些库需要Python 3.11.x版本，但不能是3.12.0 alpha版或之后的版本。如果你当前使用的Python版本不符合这个范围，那么就会出现忽略这些库版本的情况

卸载原有python环境，重新下载3.11.x的版本

2.Meson构建系统无法找到vswhere.exe

 Preparing metadata (pyproject.toml) ... error
  error: subprocess-exited-with-error

  × Preparing metadata (pyproject.toml) did not run successfully.
  │ exit code: 1
  ╰─> [12 lines of output]
      + meson setup C:\Users\27029\AppData\Local\Temp\pip-install-qcqja3vm\pandas_ada254b223674b188fc1bb6abc157966 
      C:\Users\27029\AppData\Local\Temp\pip-install-qcqja3vm\pandas_ada254b223674b188fc1bb6abc157966\.mesonpy-t25o7r54\build -Dbuildtype=release -Db_ndebug=if-release -Db_vscrt=md --vsenv 
      --native-file=C:\Users\27029\AppData\Local\Temp\pip-install-qcqja3vm\pandas_ada254b223674b188fc1bb6abc157966\.mesonpy-t25o7r54\build\meson-python-native-file.ini

解决方案：

安装Visual Studio构建工具：确保你已经安装了Visual Studio的构建工具，尤其是C++构建工具。你可以通过以下步骤来安装：

• • 下载并运行Visual Studio Build Tools。
  • 在安装过程中，确保选择“C++ build tools”工作负载。

安装完成之后，我们就有了vswhere.exe（只有这个有用， build tools和Visual Studio都可以删掉）

将vswhere.exe添加到系统的PATH环境变量中：

对于Windows系统

方法1：通过图形界面添加

1. 找到vswhere.exe的位置：

• • 通常情况下，vswhere.exe位于C:\Program Files (x86)\Microsoft Visual Studio\Installer\目录下。请确认该文件确实存在于这个位置。

1. 打开环境变量设置窗口：

• • 右键点击“此电脑”或“计算机”图标，选择“属性”。
  • 在左侧菜单中点击“高级系统设置”。
  • 在弹出的“系统属性”窗口中，点击“环境变量”按钮。

1. 编辑PATH变量：

• • 在“环境变量”窗口中，找到并选择“系统变量”部分下的“Path”，然后点击“编辑”按钮。
  • 在“编辑环境变量”窗口中，点击“新建”，然后输入vswhere.exe所在的完整路径（例如：C:\Program Files (x86)\Microsoft Visual Studio\Installer\）。
  • 点击“确定”关闭所有窗口以保存更改。

1. 验证修改是否成功：

• • 打开一个新的命令提示符窗口，输入vswhere，如果配置正确，应该会显示有关已安装的Visual Studio实例的信息。

方法2：通过命令行添加

如果你更喜欢使用命令行来完成这项任务，可以按照以下步骤操作：

1. 打开命令提示符（管理员权限）：

• • 按 Win + X 键，选择“Windows PowerShell（管理员）”或者“命令提示符（管理员）”。

1. 使用setx命令添加路径：

setx PATH "%PATH%;C:\Program Files (x86)\Microsoft Visual Studio\Installer\"

注意替换上述路径为实际的vswhere.exe所在目录路径。

1. 重启命令提示符：

• • 关闭当前的命令提示符窗口，并重新打开一个新的命令提示符窗口以使更改生效。

1. 验证：

• • 输入vswhere，检查是否能够正常运行。

通过以上步骤，你应该能够成功地将vswhere.exe添加到你的PATH环境变量中，这样就可以在任何地方直接调用它了。如果遇到问题，请确保路径正确无误，并且你具有足够的权限进行这些更改。

3.启动open-webui

启动命令：open-webui serve

启动完成后，会看到如下界面：

再打开http://localhost:8080/（注意端口不要被其他占用了），看到下面的 UI 界面，注册用户信息

输入你的用户名称，邮箱，和密码，然后点击创建管理员账户

进入空间就可看到我们下好的模型了

启动后可能出现的问题

当你的ollama端口号不是默认的11434时，他会找不到你的模型

解决办法：

1.修改ollama的端口号为11434

2.修改open-webui的配置文件，让它去找咱们自定义的端口号

我是使用第二种方法：

1.找到open-webui的配置文件位置

当我们使用pip install <包名>来下载包时，该包会被下载并安装到运行此命令的Python环境对应的

site-packages目录下。具体位置取决于你的操作系统、Python版本以及你是否在使用虚拟环境（virtual environment），我的安装在这里

打开之后，有一个config.py文件

使用任意代码编辑器打开（比较好看一点，尽量不要使用文本文档打开）我使用的是PyCharm

将这两个地方改掉，就好啦