低成本+高性能+超灵活！Deepseek 671B + Milvus 重新定义知识库搭建！

DeepSeek 实在太火爆了。“老板指示，我们要整合 Deepseek，还得建立自己的知识库……”这样的声音，哪个开发者近期没耳闻？Deepseek 的火爆，智能推理的加速，以及算力成本的显著降低，使得众多原本对大型模型望而却步的企业，一夜之间纷纷投向 AI 的怀抱，追求降本增效。在这个过程中，对于那些拥有优质私有数据和敏感数据的企业来说，若想避免数据泄露，部署本地知识库无疑是走向大模型的关键一

小涂Ss

1034人浏览 · 2025-03-31 21:33:07

小涂Ss · 2025-03-31 21:33:07 发布

前言

DeepSeek 实在太火爆了。

“老板指示，我们要整合 Deepseek，还得建立自己的知识库……”

这样的声音，哪个开发者近期没耳闻？

Deepseek 的火爆，智能推理的加速，以及算力成本的显著降低，使得众多原本对大型模型望而却步的企业，一夜之间纷纷投向 AI 的怀抱，追求降本增效。在这个过程中，对于那些拥有优质私有数据和敏感数据的企业来说，若想避免数据泄露，部署本地知识库无疑是走向大模型的关键一步。

然而，当你深入调研时，会发现这件事情远非想象中那么简单：

尝试使用开源的蒸馏版模型？效果不尽人意，连基础的问答准确性都无法保障。

举个例子，我们最近推出了基于 Deepseek 7b+Milvus的本地部署教程，许多开发者反馈，即便是7B版本搭配了向量数据库，效果仍然难以令人满意。

若要部署完整版的大型模型？以满血的 R1 为例，其参数高达 671B，即便是FP16 精度，所需的显存也高达 1342GB，换成 80G 的 A100 显卡，也需要 17张。而对于个人电脑，即便是配备顶级的 24GB 4090 显卡，数量也需达到56张（MoE+量化可以降低实际显存需求）……

显然，无论是个人还是中小企业，都难以承担如此高昂的显卡成本。

那选择开源方案自行搭建呢？光是环境配置就让人头疼：向量库的选择、模型部署、前端界面……每一步都是对你耐心的考验。

难道真的没有简单易行的解决方案吗？

经过一个月的加班加点部署，我坚信，DeepSeek + Milvus + AnythingLLM，绝对是搭建本地知识库的最佳选择！

这个方案不仅解决了性能问题，更重要的是，它实现了真正的“零门槛”。仅需30分钟，就能构建一个具备企业级性能的私有知识库。整个过程如同拼装积木般简单，即便是新手也能迅速掌握。
在这里插入图片描述

1、选型思路

首先，让我们探讨一下为什么选择 DeepSeek + Milvus + AnythingLLM这个组合来进行本次项目选型，它主要针对当前 RAG 实施过程中的三个主要难题：

1.1 模型性能挑战

体验过 Ollama 提供的精简版 DeepSeek 的用户可能会发现，尽管它仍然是 DeepSeek，但其表现并不尽如人意。简而言之，7B 版本的表现不尽人意，而671B 版本的成本又过高。

因此，我们建议利用硅基流动以及某些云服务提供商的 API 服务，通过 API 调用，我们可以以极低的成本获取完整版 DeepSeek 的计算能力。更值得一提的是，近期新注册用户还能享受免费额度体验。

1.2 部署复杂性

市场上的开源 RAG 解决方案众多，但它们要么需要繁琐的环境配置，要么需要大量的运维工作。而 AnythingLLM 则提供了一个完整的 UI 界面，无缝支持向量数据库 Milvus 以及多种大型模型接口，大大降低了初学者的使用门槛。

Milvus 在检索效率和数据规模支持方面，无疑是行业内的佼佼者。同时，Milvu s也是目前在 GitHub 上向量数据库类别中，星标数量最多的开源项目，成为了大多数 AI 开发者的入门必修课。

1.3 系统扩展性

这个组合的最大优势在于其灵活性。它允许用户轻松切换不同的大型语言模型，Milvus 能够支持亿级别数据的高效检索，而 AnythingLLM 的插件机制使得功能扩展变得轻而易举。

综合来看，这个组合方案不仅确保了效果，降低了使用难度，还具备了出色的扩展性。对于希望迅速构建私有知识库的个人用户来说，这无疑是一个极佳的选择。

2、实战：搭建本地 RAG

环境配置要求说明如下：

本文环境均以 MacOS 为例，Linux 和 Windows 用户可以参考对应平台的部署文档。

Docker 和 Ollama 安装不在本文中展开。

本地部署配置：最低 CPU 4核、内存 8G，建议 CPU 8核、内存 16G

第一、Milvus 部署，官网下载地址：https://milvus.io

1.1 下载 Milvus 部署文件

bash-3.2$ wget https://github.com/milvus-io/milvus/releases/download/v2.5.4/milvus-standalone-docker-compose.yml -O docker-compose.yml

1.2 修改配置文件

说明：anythingllm 对接 Milvus 时需要提供 Milvus 账号密码，因此需要修改docker-compose.yml 文件中的 username 和 password 字段。

version: '3.5'
services:
  etcd:
    container_name: milvus-etcd
    image: registry.cn-hangzhou.aliyuncs.com/xy-zy/etcd:v3.5.5
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
    command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
    healthcheck:
      test: ["CMD", "etcdctl", "endpoint", "health"]
      interval: 30s
      timeout: 20s
      retries: 3
  minio:
    container_name: milvus-minio
    image: registry.cn-hangzhou.aliyuncs.com/xy-zy/minio:RELEASE.2023-03-20T20-16-18Z
    environment:
      MINIO_ACCESS_KEY: minioadmin
      MINIO_SECRET_KEY: minioadmin
    ports:
      - "9001:9001"
      - "9000:9000"
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
    command: minio server /minio_data --console-address ":9001"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
  standalone:
    container_name: milvus-standalone
    image: registry.cn-hangzhou.aliyuncs.com/xy-zy/milvus:v2.5.4
    command: ["milvus", "run", "standalone"]
    security_opt:
    - seccomp:unconfined
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
      COMMON_USER: milvus
      COMMON_PASSWORD: milvus
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
      interval: 30s
      start_period: 90s
      timeout: 20s
      retries: 3
    ports:
      - "19530:19530"
      - "9091:9091"
    depends_on:
      - "etcd"
      - "minio"
networks:
  default:
    name: milvus