一、本地大模型部署

1、下载ollama安装文件

连接https://ollama.com/,下载和系统匹配的ollama版本
在这里插入图片描述

下载好文件名称为:OllamaSetup.exe

2、安装Ollama

双击OllamaSetup.exe的文件直接安装到你想要安装的位置
在这里插入图片描述
ollama安装好以后界面自动不见了,任务栏会有一个ollama的服务已启动
在这里插入图片描述

3、安装ollama-deepseek-r1:7b大模型

https://ollama.com页面点击Models,查看提供的大模型种类,选择一个你想安装的大模型
在这里插入图片描述
选一个大模型,如我选择了deepseek-r1
在这里插入图片描述
deepseek-r1的不同版本大小不同,为了快速实验,尝试下7b版本吧(其他操作相同,可安装多个大模型,使用时进行选择)

在这里插入图片描述
在这里插入图片描述
拷贝下上图中的命令行,在cmd窗口中输入
ollama run deepseek-r1:7b(文件有点大,速度还可以)
在这里插入图片描述
最终全部安装好了,如下图的提示这样:在这里插入图片描述
这时在下面的提示符处就可以问你想要问的问题了

二、启动并使用

1、启动ollama server

默认配置ollama是开机自动的,如果没有启动或被无意退出,需要手动去启动,建议使用管理员身份启动cmd窗口,输入以下命令:

ollama serve

在这里插入图片描述
启动成功后可以在任务栏找到ollama服务
在这里插入图片描述

2、启动大模型后开始使用

在cmd窗口输入“ollama run deepseek-r1:7b”命令出现提示框就可以开始使用了

ollama run deepseek-r1:7b

在这里插入图片描述

三、注意

如果本地机器性能不是很好,ollama启动很慢,网页打开127.0.0.1:11434能显示成下面这样,说明服务已经就绪。
在这里插入图片描述
ollama启动和使用都很消耗资源,我的小笔记本基本吃不消(有时任务栏看不到那个可爱的小图标,不过也能用)
在这里插入图片描述

四、界面化使用

(新学的方法,接在文档的后面吧)

AnythingLLM下载

https://anythingllm.com/desktop
下载需要的软件版本
在这里插入图片描述
下载后的文件
在这里插入图片描述

AnythingLLM安装、设置

双击AnythingLLMDesktop.exe安装,和其他windows安装程序并无大不同,然后就安装好了

在这里插入图片描述

在桌面上设置快捷方式

在这里插入图片描述

在这里插入图片描述

设置

首次打开软件选择ollama后进入下面的界面
在这里插入图片描述

点击上图中设置按钮对软件进行设置
如设置大型摸、语言…在这里插入图片描述
在这里插入图片描述

使用

在这里插入图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐