最近在研究DeepSeek的本地化部署,之前写的一篇文章《Deepseek本地化部署及训练》,相当于是在本地化已经部署了DeepSeek,感兴趣的小伙伴可以移步去看。但是Ollama没有图形化界面,我找了一个开源项目MaxKB,是一款基于大语言模型和 RAG 的开源知识库问答系统。今天主要是记录下如何Windows系统下本地化安装部署MaxKB并配置知识库。

一、开启系统虚拟化支持

Win10/11更新到最近的版本,并且开启系统虚拟化支持,这块网上教程很多,如果没有开启,请移步搜索引擎查找相关教程。我这边就简单介绍下方法:按Ctrl+Shift+ESC打开任务管理器,切换到性能tab,然后点击CPU,可以查看到虚拟化的启用情况,如下图。

如果没有启动,需要以管理员权限打开CMD命令提示符窗口,然后输入:

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /al1

执行完后需要重启电脑。

二、安装Docker

MaxKB在Windows下,官方只给出了docker的部署方式,所以我们需要安装Docker。

下载网址https://desktop.docker.com/win/stable/Docker%20Desktop%20Installer.exe

下载完成后双击点开安装程序,打开的页面有两个选项都是默认勾选,

直接点OK按钮就进入安装了。安装好以后,点击桌面的快捷方式,弹出协议界面,点击Accept按钮即可。

弹出的界面直接跳过,稍等一会儿即运行成功。

三、部署MaxKB

以管理员身份运行CMD命令提示符界面,然后在MaxKB在线文档页面中找到如下命令

docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb

下载安装完成后,切回到Docker界面,点击左侧菜单Images,可以看到maxkb的镜像包,在左侧菜单Containers中,可以看到已经部署好的maxkb。

点击【Port(s)】下的链接即可访问系统。默认登录信息 用户名:admin 默认密码:MaxKB@123…

登录后主界面如下,一般流程是创建知识库,再配置本地大模型,最后创建应用,就完成本地知识库的搭建了。

现在需要注意的是,还不能急于创建知识库,不然电脑重启,搭建的知识库就丢失了。解决办法是需要删除Docker中自动部署的maxkb容器,重新创建。操作如下:

PGDATA后面的值就是数据保存路径。

弹出的选项框填写如下:

然后就等重新创建的容器启动成功即可访问maxkb页面了。

四、搭建知识库

基于上面的步骤,我们就成功部署了MaxKB,下面我们就要开始创建本地知识库,这部分相对就比较简单了,可以参考MaxKB官网文档(https://maxkb.cn/docs/quick_start/)进行查看。

点击页面上的知识库tab,点击创建知识库,会有弹窗填写创建信息。

这里可以选择通用型和web站点两种知识库类型,我们选择通用型测试,然后点击创建即可。再跳转的页面中,点击上传文档,就可以上传我们准备好的知识库文档了。

上传完文档后,点击下一步就完成了文档的上传,后续就等执行完毕即可,这些是系统后台运行,不影响我们其他操作。

目前支持的文档类型如下:

创建好知识库后,我们要配置大语言模型,具体步骤如下图所示。

配置好大语言模型后,我们就可以创建应用了,根据提示填写信息即可。

最终的效果就是,提问会根据知识库的内容进行回答

希望我的这篇文章,能够帮助小伙伴们搭建本地化的知识库,MaxKB是一个开源工具,也可以用别的替代它的功能,现在市面上的几个开源的都差不多,选择一个自己喜欢的就好。

后面我也会写一个dify的安装部署教程,希望喜欢的小伙伴们能够帮我点点赞,关注一下!

大模型岗位需求

大模型时代,企业对人才的需求变了,AIGC相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37336元,大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性

• 成为一名全栈大模型工程师,包括Prompt,LangChain,LoRA等技术开发、运营、产品等方向全栈工程;

• 能够拥有模型二次训练和微调能力,带领大家完成智能对话、文生图等热门应用;

• 薪资上浮10%-20%,覆盖更多高薪岗位,这是一个高需求、高待遇的热门方向和领域;

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好,希望能够真正帮助到大家。

读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用

零基础入门AI大模型

今天贴心为大家准备好了一系列AI大模型资源,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

有需要的小伙伴,可以点击下方链接免费领取【保证100%免费

点击领取 《AI大模型&人工智能&入门进阶学习资源包》*

1.学习路线图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如果大家想领取完整的学习路线及大模型学习资料包,可以扫下方二维码获取
在这里插入图片描述
👉2.大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。(篇幅有限,仅展示部分)

img

大模型教程

👉3.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(篇幅有限,仅展示部分,公众号内领取)

img

电子书

👉4.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(篇幅有限,仅展示部分,公众号内领取)

img

大模型面试

**因篇幅有限,仅展示部分资料,**有需要的小伙伴,可以点击下方链接免费领取【保证100%免费

点击领取 《AI大模型&人工智能&入门进阶学习资源包》

**或扫描下方二维码领取 **

在这里插入图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐