简介:这里采用了open webui作为交互界面。

ollama:运行大语言模型的工具

open-webui:调用Ollama的图形界面

Docker:运行open-webui的工具

1、安装python3.11.8版本(python官网:Welcome to Python.org

选择适合自己电脑的版本下载、配置。

2、安装open-webui库:

打开命令行(CMD)输入:

pip install open-webui

可以参考open-webui的github:

GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

3、安装docker(官网:Docker: Accelerated Container Application Development

选择适合自己电脑的版本下载、安装。

4、配置环境:

a\控制面板(调整成小图标)-程序和功能-启用或关闭Windows功能(左栏)

弹出如下窗口,将“windows虚拟机监控程序平台”勾选上(说明:如果是win11专业版,还要勾选“hyper-v”)

b\(如果Ollama在您的计算机上,请使用此命令:)

在终端中输入:(结果如下图所示,会加载一些东西)

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

5、快速启动:

打开docker

直接在将“localhost:3000”以网页形式打开(会加载一段时间)/或者:点击docker中的“3000:8000”即可直接进入

calhost:3000”以网页形式打开(会加载一段时间)

完成创建管理员账户/登录操作之后,进入如下界面:

6、个人知识库

点击左栏“工作空间”,右侧在知识库菜单下可以添加文件集,在不同文件集中可以分别上传不同内容类型的文件。

在对话框,输入#,可以调用不同的文件集/文件用于对话问答:

以下是有无添加文件集的问答情况:

未添加:

添加:

7、其余简单介绍:

在对话栏左上方,可以换模型(会自动识别本地的模型):

在左栏下方,点击头像,再点击管理员面板,可以进入设置(直接点击的设置是另一个设置):

直接点击设置(如下图):

点击右上角设置按钮(对话高级设置),可以进行参数的微调和输入系统提示词:

------------------------------------------------------------------------------------------------

下面是部署过程中一次失败的例子,该例子中不能上传文件,只能进行基础对话:

安装后,使用以下方式启动服务器

打开命令行(CMD)输入:open-webui serve

另打开一个命令行(CMD)输入:ipconfig,找到ipv4地址。把“ipv4地址:8080”或者“localhost:8080”以网页形式打开。

当终端显示如下时,即连接成功:(此时网页可能白屏一会,请耐心等待;如果浏览器中显示‘网页出错了’可以刷新一下,看是否终端如下图)

但此时可能出现”文件无法上传“的情况(如下图所示):

------------------------------------------------------------------------------------------------

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐