一.为什么选择FastGPT

1.开源且功能强大,支持新建简易应用、工作流、插件、知识库等功能,无需编程就可以灵活自定义工作流。内置了比较丰富的模版和插件,支持联网搜索、飞书、钉钉、企业微信等插件,可以无缝衔接到工作软件中。
2对特定领域知识的理解和检索能力,FastGPT更侧重于构建知识库问答系统,强调对特定领域知识的理解和检索能力。它的目标用户主要是希望利用自有数据构建智能客服、知识助手等应用的开发者和企业。
3.FastGPT vs Dify对比表
在这里插入图片描述

二、ollama+deepseek的本地部署(FastGPT部署前的准备)

1、Ollama本地化部署
Ollama 是一个用于本地运行大语言模型(LLMs)的开源工具,提供简单的界面和优化的推理引擎,使用户能够在个人设备上高效地加载、管理和运行 AI 模型,而无需依赖云端。
官网地址:https://ollama.com/
下载地址:https://ollama.com/download
在这里插入图片描述
2、部署DeepSeek R1
进入官网——》models ——》选择deepseek模型 ——》复制命令()黑窗口执行(ollama run deepseek-r1:1.5b)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3、部署Embedding
进入官网——》models ——》Embedding——》选择版本,复制命令,黑窗口执行(ollama pull nomic-embed-text)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3、检查部署是否成功
输入 ollama list 检查是否部署成功
在这里插入图片描述
4、安装docker
Docker 是一个开源的容器化平台,用于开发、交付和运行应用,使应用及其依赖能够以轻量级、可移植的方式打包并运行在任何环境中。
官方地址:https://www.docker.com/
在这里插入图片描述
下载完成后一路默认安装。安装完成后需要登录。
在这里插入图片描述
登录后进入桌面docker界面。看到这个界面代表安装成功。
在这里插入图片描述

三、 windows环境下安装FastGPT

官方建议将源代码和其他数据绑定到 Linux 容器中时,将其存储在 Linux 文件系统中,而不是 Windows 文件系统中。如不考虑使用ubuntu,可不安装
可选(安装Ubuntu)
在Microsoft Store找到Ubuntu,下载并安装。
下载后打开进入安装界面,设置账号密码。我这里添加了账号为test。在这里插入图片描述

1.新建目录fastgpt(mkdir fastgpt)
2.移动到新建的目录中(cd fastgpt)
3.下载指定的两个文件config.json和docker-compose.yml(注意,docker-compose.yml变更成3个版本分别是:pgvector 版本、milvus 版本、zilliz 版本)

(使用ubuntu的)windows目录在此:\wsl.localhost\Ubuntu-22.04\home\rongjie\fastgpt
在这里插入图片描述

下载配置文件命令

curl -o https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
curl -o curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-pgvector.yml

在这里插入图片描述
4.修改配置文件docker-compose.yml
修改 FE_DOMAIN 和 OPENAI_BASE_URL 两个配置项如下:

前端访问地址: http://localhost:3000
FE_DOMAIN=http://localhost:3000
AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
OPENAI_BASE_URL=http://host.docker.internal:3001/v1
在这里插入图片描述
5.启动容器
docker-compose pull # 拉取镜像
docker-compose up -d # 启动容器
等待10s,OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
重启一次oneapi(由于OneAPI的默认Key有点问题,不重启的话会提示找不到渠道,临时手动重启一次解决,等待作者修复)
docker restart oneapi
在这里插入图片描述
如果启动容器遇到Docker: Error response from daemon: Ports are not available 端口没被占用,却显示被占用的错误,可参考https://blog.csdn.net/qq_51240732/article/details/146023815?spm=1001.2014.3001.5501

容器启动成功后会在 Docker 中看到fastgpt。
在这里插入图片描述
6.配置OneAPI
打开OneAPI地址:http://localhost:3001/
默认账号密码:root/123456
在这里插入图片描述
(1)添加渠道
在这里插入图片描述
1、添加deepseek渠道。渠道类型选择Ollama,名称随便填,我这里就选择ollama:deepseek-r1:1.5b。

模型那里先清除所有模型,然后输入自定义模型deepseek-r1:1.5b,点击填入。
密钥随便填就行。
代理填写:http://host.docker.internal:11434
在这里插入图片描述
渠道添加完成需要测试,看到右上角测试成功即可。
在这里插入图片描述
(2)添加嵌入模型渠道:
类型选择Ollama,名称随意,我这里就填ollama:nomic-embed-text:latest。
模型那里还是先清除所有模型,然后输入nomic-embed-text:latest。
密钥随意,
代理填写:http://host.docker.internal:11434
在这里插入图片描述
(3)添加令牌
点击令牌菜单->添加新的令牌。
在这里插入图片描述
填写令牌名称,随意填写就行,模型要把之前的两个都选上,过期时间我就选选择永不过期,额度选择无限额度。
在这里插入图片描述
令牌添加好后,点击复制保存起来
在这里插入图片描述
修改docker-compose.yml配置文件,把刚才的令牌添加的 CHAT_API_KEY 配置中。
在这里插入图片描述
7.配置FastGPT
在 docker 中点击 fastgpt ,打开fastgptgpt页面,默认页面是localhost:3000
在这里插入图片描述
默认账号密码为:root/1234
在这里插入图片描述
登录后界面如下:
在这里插入图片描述
配置模型
点击账号,选择模型提供商,点击模型配置,点击右上角新增模型。
在这里插入图片描述
(1)新增语言模型deepseek
在这里插入图片描述
(2)填写模型ID,模型提供商,别名。
模型 ID 与 OneAPI 那里要一致。
在这里插入图片描述
(3)新增索引模型
在这里插入图片描述
填写模型ID,选择模型提供商为Ollama,填写别名。
在这里插入图片描述
模型添加好后,点击测试按钮进行测试。
在这里插入图片描述
显示成功就证明可以了。
在这里插入图片描述
8.创建应用
1、在fastGPT工作台中创建简易应用。
在这里插入图片描述
2、输入应用名称,我这里随便起了test。创建空白应用。
在这里插入图片描述
3、AI模型选择Ollama->deepseep
在这里插入图片描述
4、在右侧聊天区域进行测试,输入你是谁测试一下,可以看到已经返回答案了。
在这里插入图片描述
9.添加本地知识库
(1)新建知识库
选择左侧菜单栏中知识库,点击右上角新建,荣姐今天拿本地文档测试,选择通用知识库。
在这里插入图片描述
(2)填写知识库名称,选择索引模型和文本理解模型,都是选择Ollama下面的,索引和文本就是我们之前配置的。
在这里插入图片描述
(3)新建一个文本数据集
在这里插入图片描述
(4)来源就选本地文件了。点击确定。
在这里插入图片描述
(5)上传本地文件,点击下一步
在这里插入图片描述
(6)数据处理,可以默认分段,也可以选择自定义分隔符。点击下一步。
在这里插入图片描述
(7)点击开始上传。
在这里插入图片描述
(8)看到已就绪,证明已搭建好知识库了。
在这里插入图片描述
(9)查看知识库
可以点击进去查看,就是做好分段的一个个问答对了。
在这里插入图片描述10.测试知识库

知识库搭建好后,我们在应用中引用这个知识库。
在工作台中打开之前创建好的那个test应用。
在关联知识库那里点击选择。
在这里插入图片描述
选择之前创建的医疗问答知识库。点击完成。
在这里插入图片描述
点击参数进行配置,可以设置搜索模式、搜索过滤和问题优化,AI模型还是选择deepseek r1。
在这里插入图片描述
测试一下。我输入了个问题:空腹抽血可以到几点?

可以看到给出了思考过程,并且显示了引用的知识库文档,处理时间及详情信息。
在这里插入图片描述
至此,完结。
本文借鉴与https://zhuanlan.zhihu.com/p/22819951868

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐