想要在本地搭建知识库，需要提供一个本地运行大模型的环境，选择合适的推理大模型和Embedding模型，其次需要配置向量数据库用于知识的存储和检索，最后安装可视化交互工具方便使用。当然很多可视化交互工具本身也提供了默认的向量数据库配置，如anythingLLM。为了简化本地部署，这里就通过anythingLLM来完成模型和向量数据库的配置。集成步骤如下：安装Ollama→下载DeepSeek和Embedding模型→安装anythingLLM→配置DeepSeek和Embedding模型。

一、环境准备

1. 硬件要求

• GPU支持：建议配备NVIDIA显卡（显存≥8GB），若使用量化模型可降低至6GB显存。

• 存储空间：至少预留20GB磁盘空间用于模型和向量数据库存储。

2. 安装Ollama

• 下载安装包：从Ollama官网（https://ollama.com）选择对应系统版本（Windows/Linux/macOS）。

• 验证安装：

  ollama --version  # 查看版本信息
  

  配置环境变量（可选）：

• export OLLAMA_HOST=0.0.0.0:11434  #设置服务地``export OLLAMA_MODELS=/path/to/models  #自定义模型存储路径
  

  二、模型部署

  1. 下载DeepSeek模型

  ollama pull deepseek-r1:32b  # 支持32B参数版本
  

  **量化版模型**（显存不足时）：
  

• 基础模型：

• ollama run deepseek-r1:1.5b  # 低资源适配
  

  2. 选择Embedding模型

  Embedding模型可以使用bge-m3或nomic-embed-text（二选一即可），这里我们选择bge-m3：

  ollama pull bge-m3        # 支持多语言的高性能向量化模型
  

  3. 配置模型参数

  在本地创建Modelfile配置文件，调整生成参数（如随机性、上下文长度）：

FROM deepseek-ai/deepseek-R1:latest``PARAMETER temperature 0.7    # 控制回答随机性（0-1）``PARAMETER num_ctx 4096       # 支持4K上下文``QUANTIZATION q4_0            # 4bit量化降低显存占用

三、安装AnythingLLM

anythingllm有两个不同的版本，desktop是创建 all-in-one AI application的桌面版本，顾名思义，是个人桌面型工具，只能给你个人提供AI应用的帮助。另外一个可以docker部署的服务器版本，是可以支持团队应用的，部署后支持用户管理、权限管理，可以作为服务端为多个用户提供服务。直接到官网下载（https://anythingllm.com/），下载完成后，配置也非常简单。

1. 配置DeepSeek模型

首先点击左下角这个扳手进行配置：

• 

如果要用本地安装的deepseek模型，在LLM提供商处选择ollama，modal选择你安装的模型，下面的127.0.0.1:11434，就是本地ollama的服务端口，其他参数保持默认即可。LLM模型配置之后就可以开始对话了，当然，anythingLLM在对话之前需要创建workplace，很简单，给个名字就完成了创建。需要注意，对话之前本地的模型需要先启动起来。

• 

2. 配置Embedding模型

接下来我们配置下embeding模型，尝试下用anythingLLM创建本地RAG知识库，embeder首选项配置，选择bge-m3:

3. 向量数据库和知识库搭建

向量数据库选择默认的本地存储。embedding模型配置好后，就可以上传文档了。点击工作区右侧的上传文档小图标打开文档上传窗口，上传文档完成后，拖入到下方的工作区中，系统需要embeding你上传的文档，根据你个人机器的配置情况以及文档大小，embeding可能需要点时间：

通过以上步骤，可快速搭建一个支持本地部署、安全可控的DeepSeek知识库系统。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓