Ollama搭配DeepSeek,本地部署全攻略
在人工智能领域,大型语言模型(LLMs)正变得越来越普及,而将这些模型部署到本地设备上,不仅可以提高数据隐私性,还能降低对网络的依赖。Ollama 是一个开源工具,能够帮助用户轻松地在本地运行各种大型语言模型,包括 DeepSeek。本文将详细介绍如何通过 Ollama 在本地安装和使用 DeepSeek 模型。一、Ollama 简介Ollama 是一个开源的本地大模型部署工具,旨在让用户能够在个
在人工智能领域,大型语言模型(LLMs)正变得越来越普及,而将这些模型部署到本地设备上,不仅可以提高数据隐私性,还能降低对网络的依赖。Ollama 是一个开源工具,能够帮助用户轻松地在本地运行各种大型语言模型,包括 DeepSeek。本文将详细介绍如何通过 Ollama 在本地安装和使用 DeepSeek 模型。
一、Ollama 简介
Ollama 是一个开源的本地大模型部署工具,旨在让用户能够在个人电脑上运行各种开源大型语言模型(如 Llama、DeepSeek 等)。它支持跨平台操作(Windows/macOS/Linux),提供一键式安装和模型管理,优化了内存和计算资源的使用,即使是普通配置的设备也能流畅运行。通过 Ollama,开发者、研究者和爱好者可以快速部署私有化 AI 应用,无需依赖云端服务,同时享受高效、安全的本地 AI 体验。
二、安装 Ollama
Windows 系统安装
访问 Ollama 官网:https://ollama.com,下载 Windows 版本的安装程序(ollama-windows.msi)。
双击安装程序,按照提示完成安装。
检查安装是否成功:打开命令提示符(cmd)或 PowerShell,输入以下命令:ollama --version
如果正确显示版本号,则安装成功。
三、下载并运行 DeepSeek 模型
(一)下载 DeepSeek 模型
在终端或命令提示符中,运行以下命令来下载 DeepSeek 模型:ollama pull deepseek-r1 ,默认情况下,这将下载 DeepSeek 的 7B 模型。如果需要其他大小的模型,可以指定版本。
这个下载过程可能会有点慢,有梯子的话会快一点。
(二)运行 DeepSeek 模型
下载完成后,运行以下命令启动 DeepSeek 模型:ollama run deepseek-r1
此时,您可以通过命令行与 DeepSeek 模型进行交互。如果您想退出对话模式,只需输入“/bye”。
可用的命令参数如下:
四、在其他工具中与 DeepSeek 交互
虽然通过命令行可以使用 DeepSeek 模型,但使用一个图形界面会更加方便。
通过 Ollama 在本地使用 DeepSeek 模型,不仅可以提供更高的隐私性和灵活性,还能让用户在没有互联网连接的情况下使用 AI 大模型。
(一) ChatBox接入本地DeepSeek
结合 ChatBox 和其他工具,您可以进一步扩展和优化您的 AI 应用
配置 ChatBox 连接 Ollama
打开 ChatBox,进入 设置(Settings)。
在 API 选项 中,选择 Ollama,并将 API 地址设置为:http://localhost:11434
选择模型,例如 deepseek-r1:7b。
测试聊天:在 ChatBox 输入框内输入问题,例如“你好,介绍一下 Ollama”,确保 ChatBox 正确响应。
(二)通过Ollama REST API调用
Ollama 提供 HTTP API,可以用于开发。例如,可以通过以下命令向 DeepSeek 模型发送请求:
curl --location 'http://localhost:11434/api/generate' \--header 'Content-Type: application/json' \--data '{ "model": "deepseek-r1", "prompt": "你好,DeepSeek!"}'
(三)在 Pycharm 使用 Ollama
安装 CodeGPT 插件,安装之后点击左侧入口:
登录之后配置 API 地址为 http://localhost:11434就可以开始提问了:
五、怎么将Ollama和模型的镜像文件下载到其他系统盘
从上图的安装中可以看出,Ollama安装的时候,默认是会直接往C盘里面进行安装的。这里可以新建一个文件夹:D:\Ollama ,然后打开cmd窗口用命令进行安装:
OllamaSetup.exe /DIR=D:\Ollama
注意在OllamaSetup.exe所在的文件目录下打开cmd窗口进行执行即可
安装后目录如下:
因此,如果之前安装在了C盘,不想重新安装的话 ,可以把安装目录下的内容拷贝到其他目录,然后再修改环境变量试试。默认安装目录在C盘:
C:\Users\XX\AppData\Local\Programs\Ollama ,可以在windows的文件管理其中输入%LOCALAPPDATA%\Programs\Ollama快速进入目录
下载的模型镜像文件默认存放位置:
C:\Users\XX\AppData\.ollama\models
可以在系统变量中新建一个名为OLLAMA_MODELS的变量,设置其值为模型文件的新位置,例如D:\Ollama\models
-
注意:OLLAMA_MODELS一定要在系统环境变量下面创建,不能在用户环境变量下创建。
在这个信息爆炸的时代,我们每天都在被海量的信息包围。然而,真正有价值的知识却往往隐藏在这些杂乱无章的信息海洋中,等待着我们去挖掘。你是否也曾为找不到靠谱的学习资源而烦恼?是否渴望拓宽自己的眼界,却又不知从何下手?如果你也有这些困惑,那么 DeepSeek 知识星球绝对是你不容错过的选择!
扫码加入上面的星球,你就能踏上一场高效、省时且极具价值的知识探索之旅。这不仅仅是一次简单的付费,更是一次对自己时间的投资,一次对自我成长的赋能。 DeepSeek 知识星球汇聚了众多专业领域的专家和资深从业者,他们将自己多年积累的知识和经验进行精心梳理,以通俗易懂、条理清晰的方式呈现给你。在这里,你无需再花费大量时间去筛选和甄别网络上的碎片化信息,无需在海量资料中迷失方向。无论是前沿的科技动态、实用的职场技巧,还是深度的行业分析,都能在这里找到系统且精准的内容。它就像是一位贴心的私人知识管家,为你整理好了知识的脉络,让你的学习更加高效,节省下更多宝贵的时间去实践和应用所学知识。
加入 DeepSeek 知识星球,你还将成为专属社群的一员。在这里,你可以结识来自不同背景、不同领域的志同道合者。大家共同探讨学习心得,分享实践经验,互相解答疑问,互相激励支持。这种交流互助的氛围,不仅能让你在学习过程中不再孤单,还能让你从他人的智慧中汲取灵感,拓宽思路。社群就像是一座知识的桥梁,连接着每一个渴望成长的个体,让你在学习的道路上走得更远、更稳。
更多推荐
所有评论(0)