模型本地知识库搭建

AnythingLLM官方网站: Download AnythingLLM for Desktop

Ollama官方网站: Ollama

1.1、ollama下载安装
  1. 、进入Ollama 官网点击 Download 进行安装。
  2. 下载完后,双击OllamaSetup,自动安装成功,默认安装在C盘,

  1. 、安装完成后按 win + r 键输入cmd打开命令面板 输入命令 ollama --version 最后出现“ollama version is 0.6.1”说明 ollama 安装成功了(如下图所示)。


(4)、 安装完成ollama后我们可以再ollama官网主页的搜索框搜索直接需要下载的模型。


(5)、 这里使用deepseek-r1 为例 再命令面板输入ollama run deepseek-r1 下载模型, 当下载模型完成后,输入 ollama list 会出现有deepseek-r1的明显名称,

可以直接复制 列出来的模型名称来运行模型 列入:ollama run deepseek-r1:7b

(6)、 这样就可以访问刚才下载完毕的模型了。

1.2、AnythingLLM下载安装

(1)、进入AnythingLLM官网点击Download for Windows (x64)进行下载AnythingLLM桌面版, 下载完成后AnythingLLMDesktop.exe安装程序,直接点击进行安装。

  1. 、启动初始化

安装完成后,打开 AnythingLLM 应用程序 点击左下角的设置按钮,配置本地安装好的ollama模型。

  1. 、向量数据库选择:LanceDB

  1. 、嵌入器选择前面安装的模型 deepseek-r1:7b, Ollama Base URL是自己本机的ip地址11434是ollama默认使用的端口号。

  1. 、都配置完成后返回主页,点击新建工作区,输入工作区名称,点击save。

上传需要的文件进知识库,最后就可以和模型对话查看效果了。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐