
Windows系统本地部署FastGPT,通过oneapi接入deepseek模型,实现本地知识库问答系统
下载AMD64版本安装完以后需要重启一下电脑,启动DockerDesktop,无需登录(登录需要翻墙),直接进去。
1.下载Docker
官网地址:Docker: Accelerated Container Application Development
下载AMD64版本
安装完以后需要重启一下电脑,启动Docker Desktop,无需登录(登录需要翻墙),直接进去
2.安装WSL2
WSL全称Windows Subsystem for Linux,是一个在Windows 上能够运行原生Linux二进制可执行文件(ELF格式)的兼容层。WSL为用户提供了一个基本完整的GNU/Linux环境,用户无需安装虚拟机或者双系统即可使用GNU/Linux中的软件,能提高文件系统 性能,以及添加完全的系统调用兼容性。
打开cmd窗口输入以下命令
wsl --update
会自动安装最新版本并检查更新
进入启用或关闭Windows功能,确保标红部分已勾选
打开docker desktop WSL2
3.配置docker代理地址
//配置代理地址的模板,自己去找可以用的代理
{
"debug": true,
"experimental": false,
"insecure-registries": [],
"registry-mirrors": [
"https://registry.docker-cn.com",
"https://docker.unsee.tech"
]
}
配置完点击Apply&restart,再重启docker desktop
确保这边是running状态
如果提示Docker Engine Stopped
方法一:去任务管理器服务中找到docker desktop确认是启动状态
方法二:确认Hyper-V是勾选状态
方法三:终端管理员
输入已下命令:
bcdedit
如果最后一行不是Auto,则输入命令,然后重启电脑
bcdedit /set hypervisorlaunchtype auto
方法四:确认WSL已更新
方法五:确认代理地址配置正确
4.本地部署FastGPT
新建一个空的文件夹FastGPT,存放下面两种配置文件,要么下载完放进去,要么自己新建改后缀名,记得要去掉注释
①config.json
②docker-compose.yml
这两个配置文件在https://github.site/labring/FastGPT,可以搜索文件名找到对应文件
在FastGPT文件夹中打卡cmd,输入以下命令,如果一直报错或者没动就说明代理地址不行,再重新找可用的地址
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
下载完还是在FastGPT文件夹中打卡cmd分别输入以下命令
docker-compose pull //这个需要挺久时间
docker-compose up -d
最后出现这个界面表示成功
再去回到docker desktop页面,Running就是运行成功,fastgpt端口是3000,oneapi端口是3001,可以直接点击port打开网页,也可以通过浏览器输入http://localhost:3000
fastgpt页面如下,账号:root 密码:1234
要改密码就在配置文件docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW,修改完重启即可
oneapi页面如下,账号root 密码:123456,第一次进去需要修改密码
5.通过oneapi调用模型
第一步进入deepseek官网获取免费的500万tokens,DeepSeek
创建API keys,记得复制sk
第二步进入oneapi渠道-创建新的渠道
类型有很多种,如果是百度,阿里或者其他公司的模型,都可以使用,但是确保密钥是对的
这里选的了deepseek-chat模型,密钥就是上方获取的sk,代理地址:http://api.deepseek.com,然后提交
测试一下连接,如果有响应时间就是成功
第三步去令牌中,添加新的令牌
这边最最重要的就是确认好模型范围,这和后面修改配置文件config.json要能对应的上,一个令牌可以对应多个渠道的模型,然后提交
点击复制你所需要的令牌,会生成sk,一定要保存
第四步打开docker-compose.yml文件,找到以下两个配置,修改完保存
//最后一定要带上v1,如果在同一个网络内,可改成内网地址
OPENAI_BASE_URL=http://xxx:xxx/v1
//key 是由 One API 提供的令牌,之前保存的sk
CHAT_API_KEY
第五步打开config.json文件,因为deepseek是语言模型,所以在llmModels中加入加入所需要的语言模型,如果是其他模型,例如向量模型需要去vectorModels中配置。provider是模型供应商,medel是模型,和渠道中的模型一定要对应上,配置完保存。
第六步,在FastGPT文件路径下打开cmd,分别输入以下两个命令重启服务
docker-compose down
docker-compose up -d
第七步,进入fastgpt中找到刚刚部署的deepseek-chat模型
第八步,在工作台创建一个新应用,AI模型换成deepseek-chat,看右边会话即可使用。
6.创建本地知识库问答系统
我们现在已经拥有了语言模型进行文本理解,但还需要向量模型将自然语言转成向量
以智谱的embedding-2模型为例,去智谱官方获取对应的密钥,然后提交完测试是否可用
在之前的令牌中,模型范围选上embedding-2模型,只要渠道中添加后在这边就会自动显示出来
I
再去config.json文件中添加在向量模型那块
记得每次修改好配置文件都得重启一次
docker-compose down
docker-compose up -d
重启完去fastgpt中创建知识库,两个模型分别选择刚刚部署的,只有所有的配置都正确才会显示
在知识库中随便导入自己需要的文件,再去工作台创建应用,选择知识库+对话引导
关联知识库,修改参数中问题优化改成deepseek-chat模型
保存即完成了本地知识库问答系统。
更多推荐
所有评论(0)