零基础本地部署deepseek及知识库(ollama+docker+ragflow)

零基础本地化部署deepseek及知识库(win11+ollama+docker+ragflow)

一、本地部署deepseek蒸馏模型

(一)ollama安装

官网:https://ollama.com/download

选择Download for Windows

下载完成后,安装即可。

(二)Windows环境调整

1.此电脑右键,选择“属性”,选择“高级系统设置”,在弹出窗口中选择“环境变量”。

2.新增2个环境变量分别是

(1)定义ollama端口号

变量名:OLLAMA_HOST

变量值:0.0.0.0:11434

这里注意,如果就自己用建议改成127.0.0.1:11434

同时要做好防火墙策略,避免当成肉鸡

(2)定义模型存储位置,默认在C盘,可以自行定义其他位置

变量名:OLLAMA_MODELS

变量值:F:\study\ollama(自己设置)

(三)安装deepseek模型

1.选择模型。可以根据自己电脑配置,选择对应模型,我这里配置是cpu:12th Gen Intel(R) Core(TM) i5-12500 3.00 GHz;显卡GPU NVIDIA GeForce RTX 3060 12.0 GB,选择了deepseek-r1:7b的模型。

2.下载模型。

在ollama官网上可以选择对应的模型,选择模型的网址https://ollama.com/library/deepseek-r1:7b

3.打开cmd输入:ollama run deepseek-r1:7b

如其他的可以按照上图,选择对应模型,复制代码。

7b模型大概是4.8g左右,拉完后就可以在对话框进行对话。

二、安装知识库

(一)安装docker

可以参考:在Windows 平台上安装 Docker 的详细教程https://blog.csdn.net/HYP_Coder/article/details/141753300

1.下载docker

https://desktop.docker.com/win/main/amd64/Docker%20Desktop%20Installer.exe

下载完成后根据提示安装即可

2.汉化

https://github.com/asxez/DockerDesktop-CN

(1)关闭Docker Desktop

(2)在Docker安装目录(Windows下默认为C:\Program Files\Docker\Docker\frontend\resources,Macos下默认为/Applications/Docker.app/Contents/MacOS/Docker Desktop.app/Contents/Resources)找到app.asar文件并将其备份,防止出现意外。

(3)将从仓库下载的asar文件改名为app.asar后替换原文件

3.选择国内docker pull站点

在docker设置内找到docker引擎,增加以下内容

"registry-mirrors": [

"https://docker.1ms.run"

]

(二)安装ragflow

1.进入github下载

https://github.com/infiniflow/ragflow

2.修改参数

下载完成后,解压,进入docker文件夹,找到.env用记事本打开

在RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim前增加“#”将该段注释掉

在# RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0

将前面的#删除

3.拉取

在F:\RGAflow\ragflow-main\ragflow-main(解压存放的地方,进入到ragflow-main文件夹)地址栏内直接输入cmd

进入命令界面,输入

docker compose -f docker/docker-compose.yml up -d

就开始自动拉取相关镜像

4.进入知识库

拉取完成后,浏览器输入:http://localhost/login

进入RAGflow

选择sign up注册一个账号,登录后,在右上角可以设置简体中文

5.配置模型

选择模型提供商,找到ollama填写

(1)模型类型,选择chat

(2)模型名称,我是7b,填写deepseek-r1:7b,具体根据你拉取的模型名称填写。

(3)基础url,填入172.0.0.1:11434

如果系统80端口被占 确保端口配置一致性:

  1. docker-compose.yml 端口映射
    定位 ragflow-server 服务的 ports 配置块:

    services:
      ragflow:
        ports:
          - ${SVR_HTTP_PORT}:9380
          - 9090:80  # 修改前:80:80
          # - 443:443  # 可选:若需保留HTTPS可改为9443:443
Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐