前言

关于Ollama

Ollama是一款开源、轻量级且易于使用的人工智能模型运行工具,它让普通用户也能在本地设备上轻松运行和管理各种大语言模型。通过简洁的命令行界面或直观的Web界面,用户可以快速启动、切换不同的模型,无需复杂的配置和部署流程。

Ollama支持多种主流的大语言模型,涵盖了从基础文本生成到复杂任务处理的各类应用场景,无论是日常对话、文本创作、代码编写,还是知识问答,都能轻松应对。它能够在本地运行模型,确保用户数据的隐私和安全,无需担心数据上传到云端的风险。同时,Ollama的资源占用较低,在笔记本电脑、服务器等设备上都能流畅运行,极大地降低了使用大语言模型的门槛,让更多人能够体验到人工智能的强大功能。

关于DeepSeek模型

DeepSeek模型由专注AGI研发的深度求索公司(DeepSeek)推出的新一代人工智能模型。该模型通过创新的稀疏混合专家架构(MoE)实现参数规模与计算效率的平衡,在语言理解、逻辑推理和多轮对话等场景展现出卓越性能。R1模型严格遵循合规要求,采用前沿的强化学习框架进行对齐优化,确保输出内容安全可靠。

作为通用型AI基座,R1支持灵活的功能扩展与行业适配,目前已成功应用于智能客服、数据分析、知识管理等领域。模型通过动态路由机制实现精准的任务分配,响应速度较传统架构提升40%以上,同时保持行业领先的准确率标准。

关于Chatbox AI

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,基于OpenAI技术打造的跨平台桌面应用,为用户提供专业级AI对话服务。

演示环境

操作系统:Windows11 24H2
DeepSeek模型:DeepSeek-R1:1.5b
Chatbox AI:网页版

开始部署工作

安装Ollama

首先进入Ollama官网

0cc11738680539.png

点击Download,在随后的页面里选择适用于自己的系统版本进行下载并安装。

93f01738680716.png

(默认安装在C盘,且不支持更改安装路径)安装完成后能够在托盘中看到一只羊驼即安装成功。

安装DeepSeek模型

在Ollama页面中的搜索框中搜索DeepSeek,这里使用DeepSeek-R1模型实例,点击进入

2df21738681211.png

可能会看到不同大小的模型,以下表格有助于你选择相对应的适用于你的模型。
以下是DeepSeek模型在Ollama部署的版本推荐表(内容基于典型设备配置,由DeepSeek-R1模型生成,仅供参考,请以DeepSeek公布数据为准):

模型版本 适用操作系统 最低运行内存 推荐显存 存储空间 适用场景说明
1.5B Windows 10+/macOS 12+ 4GB RAM 无需独显 1.1GB 入门级设备/轻量文本处理
7B Windows 10+/macOS 12+ 8GB RAM 4GB VRAM 4.7GB 普通笔记本/基础对话场景
8B Windows 11/macOS 13+ 12GB RAM 6GB VRAM 4.9GB 主流办公设备/多任务处理
14B Windows 11/macOS 13+ 16GB RAM 8GB VRAM 9.0GB 工作站级PC/复杂逻辑推理
32B Windows 11/macOS 14+ 32GB RAM 12GB VRAM 20GB 高性能主机/专业领域应用
70B Windows 11/macOS 14+ 64GB RAM 24GB VRAM 43GB 服务器级设备/企业级解决方案
671B 专用计算平台 256GB+ RAM 80GB+显存 404GB 超算集群/科研级AGI开发

在选择对应版本后点击复制安装命令

e0621738682389.png

然后Win键+R键快捷呼出运行窗口,输入powershell,并将在Ollama中获取到的安装命令粘贴到窗口中并回车运行,等待安装……

c0c01738682702.png

显示以下内容即安装成功↓↓↓↓↓↓

ca381738687339.png

配置Chatbox AI

请先右键Ollama的在托盘的小羊驼图标,选择Quit Ollama(备用),关闭Windows Powershell窗口

6d891738687903.png

进入Chatbox AI官网,这里下载使用软件版或者使用网页版基本没有什么区别,这里使用网页版作为示例,点击启动网页版……

85f91738688200.png

然后点击Chatbox AI Cloud按钮,在弹出的窗口中,点击DISPLAY,在Language中修改为中文并点击SAVE(如果错过了也可以点击左下方的Settings按钮)
54ef1738688791.png

79211738688791.png

然后在自己的电脑系统中进入【设置——系统——系统信息——高级系统设置——环境变量】,在新建变量中新建如下变量:

变量名 变量值
OLLAMA_HOST 0.0.0.0
OLLAMA_ORIGINS *

然后点击确定保存后,重新启动Ollama,在powershell中输入Start Ollama即可。
然后返回到Chatbox页面,重新刷新后点击设置——模型——模型提供方(修改为OLLAMA API)——模型(选择您自己安装的模型然后点击保存)

d5911738689915.png

然后点击左侧新对话,然后使用即可。

如何删除模型

关闭

关闭Chatbox,powershell窗口

删除环境变量

在自己的电脑系统中进入【设置——系统——系统信息——高级系统设置——环境变量】,删除创建的变量即可。

删除DeepSeek模型

在Powershell中,输入Ollama list列出已安装模型,然后输入Ollama rm 模型名(例如:Ollama rm deepseek-r1:1.5b):

d1601738690410.png

删除Ollama

在删除模型后右键小羊驼点击Quit Ollama推出之后,删除Ollama即可。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐