1.下载Docker

官网地址:Docker: Accelerated Container Application Development

下载AMD64版本

安装完以后需要重启一下电脑,启动Docker  Desktop,无需登录(登录需要翻墙),直接进去

2.安装WSL2

WSL全称Windows Subsystem for Linux,是一个在Windows 上能够运行原生Linux二进制可执行文件(ELF格式)的兼容层。WSL为用户提供了一个基本完整的GNU/Linux环境,用户无需安装虚拟机或者双系统即可使用GNU/Linux中的软件,能提高文件系统 性能,以及添加完全的系统调用兼容性

打开cmd窗口输入以下命令

wsl --update

会自动安装最新版本并检查更新 

进入启用或关闭Windows功能,确保标红部分已勾选

打开docker desktop WSL2

3.配置docker代理地址

//配置代理地址的模板,自己去找可以用的代理
{
  "debug": true,
  "experimental": false,
  "insecure-registries": [],
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "https://docker.unsee.tech"
  ]
}

配置完点击Apply&restart,再重启docker desktop

确保这边是running状态

如果提示Docker Engine Stopped

方法一:去任务管理器服务中找到docker desktop确认是启动状态

方法二:确认Hyper-V是勾选状态

方法三:终端管理员

输入已下命令:

bcdedit

如果最后一行不是Auto,则输入命令,然后重启电脑

bcdedit /set hypervisorlaunchtype auto

方法四:确认WSL已更新

方法五:确认代理地址配置正确

4.本地部署FastGPT

新建一个空的文件夹FastGPT,存放下面两种配置文件,要么下载完放进去,要么自己新建改后缀名,记得要去掉注释

①config.json

②docker-compose.yml

这两个配置文件在https://github.site/labring/FastGPT,可以搜索文件名找到对应文件

在FastGPT文件夹中打卡cmd,输入以下命令,如果一直报错或者没动就说明代理地址不行,再重新找可用的地址

curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

下载完还是在FastGPT文件夹中打卡cmd分别输入以下命令

docker-compose pull  //这个需要挺久时间
docker-compose up -d

最后出现这个界面表示成功

再去回到docker desktop页面,Running就是运行成功,fastgpt端口是3000,oneapi端口是3001,可以直接点击port打开网页,也可以通过浏览器输入http://localhost:3000

fastgpt页面如下,账号:root  密码:1234

要改密码就在配置文件docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW,修改完重启即可

oneapi页面如下,账号root  密码:123456,第一次进去需要修改密码

5.通过oneapi调用模型

第一步进入deepseek官网获取免费的500万tokens,DeepSeek

创建API keys,记得复制sk

第二步进入oneapi渠道-创建新的渠道

类型有很多种,如果是百度,阿里或者其他公司的模型,都可以使用,但是确保密钥是对的

这里选的了deepseek-chat模型,密钥就是上方获取的sk,代理地址:http://api.deepseek.com,然后提交

测试一下连接,如果有响应时间就是成功

第三步去令牌中,添加新的令牌

这边最最重要的就是确认好模型范围,这和后面修改配置文件config.json要能对应的上,一个令牌可以对应多个渠道的模型,然后提交

点击复制你所需要的令牌,会生成sk,一定要保存

第四步打开docker-compose.yml文件,找到以下两个配置,修改完保存

//最后一定要带上v1,如果在同一个网络内,可改成内网地址
OPENAI_BASE_URL=http://xxx:xxx/v1
//key 是由 One API 提供的令牌,之前保存的sk
CHAT_API_KEY

第五步打开config.json文件,因为deepseek是语言模型,所以在llmModels中加入加入所需要的语言模型,如果是其他模型,例如向量模型需要去vectorModels中配置。provider是模型供应商,medel是模型,和渠道中的模型一定要对应上,配置完保存。

第六步,在FastGPT文件路径下打开cmd,分别输入以下两个命令重启服务

docker-compose down

docker-compose up -d

第七步,进入fastgpt中找到刚刚部署的deepseek-chat模型

第八步,在工作台创建一个新应用,AI模型换成deepseek-chat,看右边会话即可使用。

6.创建本地知识库问答系统

我们现在已经拥有了语言模型进行文本理解,但还需要向量模型将自然语言转成向量

以智谱的embedding-2模型为例,去智谱官方获取对应的密钥,然后提交完测试是否可用

在之前的令牌中,模型范围选上embedding-2模型,只要渠道中添加后在这边就会自动显示出来

I

再去config.json文件中添加在向量模型那块

记得每次修改好配置文件都得重启一次

docker-compose down

docker-compose up -d

 重启完去fastgpt中创建知识库,两个模型分别选择刚刚部署的,只有所有的配置都正确才会显示

在知识库中随便导入自己需要的文件,再去工作台创建应用,选择知识库+对话引导

关联知识库,修改参数中问题优化改成deepseek-chat模型

保存即完成了本地知识库问答系统。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐