前言:最近deepseek大火,本文实战介绍一下deepseek搭建本地智能体知识库的步骤:

第一篇 硬件篇

主机硬件:cpu AMD 8核 内存 16G、升级AI显卡:[英伟达 NVIDIA GeForce RTX 3060 参数 CUDA 核心:3584 个  显存容量:12GB  最大功耗:170W] ,升级了 主机电源:600W

操作系统是win10的,右击任务栏--任务管理器--可以看到显卡以及GPU利用率情况

第二篇 环境部署

2.0安装显卡驱动的game-ready驱动 //这步很重要,不然下面的cuda会提示更新失败

2.1 安装 cuda

查看当前你的电脑显卡支持的最高CUDA版本,后面下载的驱动不能超过它,我选12.4版本

CUDA下载官网:CUDA Toolkit Archive | NVIDIA Developer

下载 cuda_12.4.0_551.61_windows

点击安装,选择自定义安装,然后默认即可

2.2下载 解压cuDNN

cuDNN下载地址cuDNN Archive | NVIDIA Developer

下载cuDNN,要注册一个英伟达的账号,才能下载照提示流程注册、登录即可。  

 cudnn-windows-x86_64-8.9.7.29_cuda12-archive.exe 解压

复制到cuda目录:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4

第三篇  python环境(开发环境!!)

非常强大的python环境管理软件,与PyCharm等编程环境搭配可以实现多个AI场景的安装环境的切换,比单独电脑安装python环境好用多了!!!!

进入Anaconda的官网进行下载:https://www.anaconda.com/download

修改默认安装路径为D:\soft\anaconda3\

配置环境变量

右键点击【我的电脑】(此电脑)--【属性】--点击【高级系统设置】--【高级】--【环境变量】-找到系统变量下的【Path】--右侧点击【新建】,按照我标红框的进行添加即可。(注意anaconda3的安装路径

3.1 创建大模型安装环境

dos命令行进入

1、conda create -n damoxing python=3.9

2、查看环境名称 conda info --envs

3、激活默认环境 activate damoxing   !!!这步很重要,今后的python环境都在这里

4、在ananada中安装pytorch 环境依赖

Previous PyTorch Versions | PyTorch

conda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.4 -c pytorch -c nvidia

备注:修改镜像源加快下载速度

# 清华镜像源
channels:
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/

 5、验证是否安装成功,在自己创建的虚拟环境中,依次执行以下代码进行验证:python

import torch

torch.cuda.is_available() 

 第四篇  ollama安装 

1. 本文安装环境为:Windows10专业版

下载: Ollama下载地址:https://ollama.com/download

现在Ollama已经安装完了,我们需要在终端中输入下方命令运deepseek大语言模型进行测试,这里我们用最近流行的deepseek7b,大家也可以使用其他的模型。

ollama run deepseek-r1:7b

设置开机自动启动脚本

C盘根目录下建一个.bat记事本,输入以下命令保存后,添加到注册表开机自动执行

第五篇  Docker Desktop 安装

打开控制面板,在程序与功能页面选择启用或Windows功能

访问Docker官网进行下载 Windows | Docker Docs

  

   

备注:wsl 2 出错无法升级的,可以关掉wsl引擎  

第五篇  安装Dify

官网下载源码https://github.com/langgenius/dify,例如下载到D:\dify-main

  

注意!!! windown要修改 docker-compose.yaml里面postgress数据库的读写权限,否则无法9个进程只有8个运行,一个postgres的一直重启中

    volumes: 

-./volumes/db/data:/var/lib/postgresql/data

增加 && sudo chmod 0750 /var/lib/postgresql/data

DOS命令行下启动

docker compose up -d

Docker中查看是否部署成功,启动即可

    

  

.

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐