
DeepSeek R1模型的本地部署教程(非常详细)DeepSeek本地部署教程,收藏这一篇就够了!
2025年新春,科技界迎来了一则重磅消息:DeepSeek开源发布了R1版本。尽管这是一个经过蒸馏的“小模型”(相较于大模型的参数量和训练算力需求),但其表现却能与OpenAI-O1-min相媲美。大模型的功能强大,但是高昂的部署和应用门槛依旧让普通人望而却步,如今的DeepSeek R1模型的各种蒸馏版本可以说真正让大模型“飞入寻常百姓家”了。那么,为什么要尝试本地部署开源大模型,比如DeepS
2025年新春,科技界迎来了一则重磅消息:DeepSeek开源发布了R1版本。尽管这是一个经过蒸馏的“小模型”(相较于大模型的参数量和训练算力需求),但其表现却能与OpenAI-O1-min相媲美。
大模型的功能强大,但是高昂的部署和应用门槛依旧让普通人望而却步,如今的DeepSeek R1模型的各种蒸馏版本可以说真正让大模型“飞入寻常百姓家”了。
那么,为什么要尝试本地部署开源大模型,比如DeepSeek呢?因为使用本地模型具有诸多优势:
-
所有数据处理都在本地运行,无需上传至云端,保障隐私数据安全。
-
本地部署后,不再依赖第三方服务,节省了长期使用API的成本。
-
不受网络波动影响,确保服务的稳定性和响应速度。
-
可根据需求灵活调整模型和定制模型参数,便于后续业务扩展和个性化应用。
本地部署DeepSeek,需要使用两个工具:Ollama(作为本地模型运行工具)和ChatBox(作为本地模型运行工具)。
安装Ollama大模型平台
Ollama是一个开源的本地模型运行工具,支持多种开源模型(如 Llama、Qwen、DeepSeek 等),并且兼容 Windows、MacOS 和 Linux 系统。
「安装步骤」:
-
访问 Ollama 官网:https://ollama.com/。
-
根据您的操作系统(Windows、MacOS 或 Linux)下载对应的安装包(例如 Windows 系统下载 OllamaSetup.exe)。
- 运行安装程序,点击 INSTALL,等待安装完成。
- 安装完成后,在 Windows 的“开始”菜单中会看到一个“羊驼”图标,表示 Ollama 已成功安装。
本地部署并运行DeepSeek大模型
启动Ollama
-
点击 Windows“开始”菜单中的“羊驼”图标,启动 Ollama。
-
打开任务管理器或查看 Windows 系统右侧任务栏图标,确认 Ollama 正在运行。
打开命令行界面
Ollama 需要通过命令行来安装和运行模型。您可以打开以下任意一种命令行工具:
-
CMD:Windows 自带的命令提示符。
-
PowerShell(推荐):功能更强大,命令风格更贴近 Linux。
获取DeepSeek-R1模型安装命令
在Ollama首页选择“Models”页面,再从中选择DeepSeek。
点击进入到DeepSeek-R1模型界面,可以通过下拉框选择适合自己的R1蒸馏版本(类似于以R1模型为老师学习得到的不同年级的学生模型),其中“7b”代表模型参数量为70亿,越大的参数规模意味着安装运行更大的算力资源,从而对笔记本或服务器的性能要求越高。
选择适合的模型版本
DeepSeek-R1 提供了多个蒸馏版本,参数规模不同,对硬件的要求也不同。如何选择适合自己笔记本或个人电脑的DeepSeek-R1?可以参考下述性能需要表。根据表中需求,此次我们选择了较小的R1-7b模型。
安装并运行 DeepSeek-R1-7b
接下来在命令行中输入以下命令,下载并运行 DeepSeek-R1-7b 模型:
- 如果是第一次运行,Ollama 会自动下载模型文件,请耐心等待。
测试 DeepSeek-R1-7b
模型运行后,可以直接在命令行中与 DeepSeek 交互。例如,尝试以下命令:“请用虎扑的语言风格评价下2025年春节。” DeepSeek 会生成一段幽默风格的文字,模仿虎扑UP主的语气和风格。
安装ChatBox,接入Ollama API
为了提升与DeepSeek模型的交互体验,我们可以安装ChatBox,并通过其图形用户界面(GUI)调用Ollama的API。以下是详细步骤:
下载并安装 ChatBox
ChatBox是一款AI客户端应用和智能助手,支持众多先进的AI模型和API调用,同样可在Windows、MacOS、Linux等桌面系统上使用,难能可贵地是,ChatBox还提供IOS与Android等移动端和网页端使用。
下载步骤:
-
访问 ChatBox 的官方网站:https://chatboxai.app/zh#download。
-
根据您的操作系统(Windows、MacOS、Linux)选择对应的安装包下载。
-
运行安装程序,按照提示完成安装。
启动ChatBox并配置Ollama API
安装完成后,打开ChatBox,在Setting中选择Ollama-API,并在相应的模型中选择DeepSeek。如果没有可用的模型,需要根据自己的操作系统进行相应的本地配置。配置完成后保存即可在新对话中与DeepSeek进行对话啦!
其中,
「MacOS配置」
- 打开命令行终端,输入以下命令:
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"
- 重启Ollama应用,使配置生效。
「Windows配置」
在Windows上,Ollama会继承用户和系统环境变量。
-
通过任务栏退出Ollama应用。
-
打开系统设置或控制面板,搜索“环境变量”
-
编辑用户环境的环境变量,创建新变量OLLAMA_HOST和OLLAMA_ORIGINS,值分别为0.0.0.0和*
-
点击**「确定/应用」**以保存设置。
-
从Windows开始菜单启动Ollama应用。
如何学习AI大模型 ?
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】
读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
👉1.大模型入门学习思维导图👈
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)
👉4.大模型落地应用案例PPT👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习
CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】
读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈
更多推荐
所有评论(0)