FastGPT本地化部署搭建知识库调用通义千问API
通过FastGPT可以在本地搭建知识库,调用大模型API实现自动化查询,这样我们就可以将平时收集的文档、链接等放在知识库里面,需要的话在里面查询了。
FastGPT部署
FastGPT可以通过docker部署,方法很简单,通过官方文档里面的命令就行了。
我这里是在个人电脑上通过虚拟机搭建Ubuntu,在Ubuntu里面搭建的。
部署docker
使用FastGPT官方文档里面的命令先部署docker:https://doc.tryfastgpt.ai/docs/development/docker/
# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
部署FastGPT
在Ubuntu里面选择一个目录,在里面下载config.json、docker-compose.yml,然后运行。
mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
# pgvector 版本(测试推荐,简单快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
# milvus 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml
我这里选择的是 pgvector 版本
启动容器
# 启动容器
docker-compose up -d
# 等待10s,OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题,不重启的话会提示找不到渠道,临时手动重启一次解决,等待作者修复)
docker restart oneapi
访问FastGPT和oneAPI
可以通过ip:3001访问OneAPI,默认账号为root密码为123456。
可以通过 ip:3000访问FastGPT,默认账号为 root,默认密码为 1234
FastGPT配置
配置oneAPI
打开oneAPI,选择“渠道”->“添加新的渠道”
类型选择“阿里通义千问”,如果使用其他大模型API,选择其他的即可,模型需要写上和通义千问中的名字是一样的,然后填写在通义千问中申请的密钥。
在阿里百炼中,找到模型名称和密钥,https://bailian.console.aliyun.com/
配置完毕后,点击测试,测试成功后,会显示耗时时间,oneAPI配置完成。
配置FastGPT模型
修改config.json文件,在llmModels,vectorModels中,都需要添加模型,才能调用,可以把里面的模型拷贝下来进行修改,相关的参数在备注中有说明。

然后重启FastGPT
docker-compose down
docker-compose up -d
打开FastGPT,在知识库里面添加知识库,然后导入相关的文档资料等,选择刚刚添加的模型。
配置FastGPT工作流
在工作台中,选择“工作流”,选择“新建”、“工作流”
添加工作流,分别为:“流程开始”->“知识库搜索”->“AI对话”,选择对应的知识库,和AI模型。

调试测试没问题后,将工作流发布出去。

点击“发布渠道”,选择“免登录窗口”,“创建新链接”,写上链接名称,将链接发布出去。
点击对应的链接,即可使用

更多推荐



所有评论(0)