
Windows下最详尽的Ollama+Deepseek-r1 本地部署手册
Deepseek和Ollama的本地部署的最详尽的手册来了!相信感兴趣的朋友已经看到了很多类似的部署手册了,部署很简单,可能够让自己舒心却不容易。现在,让我们从零开始,先安装ollama,配置ollama相关路径,再到把Deepseek跑起来,最详尽的步骤就在这里。Ollama的安装包可以直接从 ollama.com下载,安装包大小大概750M**
Deepseek和Ollama的本地部署的最详尽的手册来了!
相信感兴趣的朋友已经看到了很多类似的部署手册了,部署很简单,可能够让自己舒心却不容易。
现在,让我们从零开始,先安装ollama,配置ollama相关路径,再到把Deepseek跑起来,最详尽的步骤就在这里。
1. 安装Ollama:
Ollama的安装包可以直接从 ollama.com下载,安装包大小大概750M**
下载后点击安装就可以了,但是Ollama的安装程序并没有提供设置安装路径的选项,默认安装路径在C:\Users\<用户名>\AppData\Local\Programs\Ollama, Ollama的程序大概会占4.5G的空间。
2. 指定Ollama程序的安装位置:
如果需要指定Ollama安装到其它的位置,参考下面的步骤:
- 在Windows的logo旁的“搜索”框里,键入cmd并回车,会打开"命令提示符"窗口,默认是在C:\Users\<用户名>下,这时,更换目录到OllamaSetup.exe所在的目录下。
#假设下载到了系统默认的“下载”文件夹``cd C:\Users\<用户名>\Downloads #假设下载到了系统默认的“下载”文件夹``#假如下载到了D盘的Downloads下,则先进入D盘``D:``#再切换到对应文件夹,比如D盘的downloads``cd d:\Downloads``#确认OllamaSetup.exe在这个位置``dir O*` `781,566,136 OllamaSetup.exe``#将Ollama安装到指定名录,比如 D盘的LLM文件夹下的Ollama文件夹``OllamaSetup.exe /DIR="d:\LLM\Ollama"
- 此时会弹出Ollama安装程序的窗口,点击“Install”,进行安装即可将Ollama安装到上面指定的位置,并自动启动。
-
指定Ollama的大模型文件存储的位置
Ollama的默认数据存储位置在C:\Users\<用户名>\.ollama\models,而每个大模型的文件都是以G为单位的,比如我们后面会用到的Deepseek-r1:7b的模型就是4.5G左右
如果需要改变大模型文件位置,参考如下操作:
1. 退出Ollama,在Windows的右下角的Ollama图标上点击右键,选择"Quit Ollama"
-
打开windows的“设置”(Win11)或者“控制面板”(Win10)
-
输入“环境变量”,选择“编辑系统环境变量”
-
弹出的页面选择“环境变量”
-
在打开的窗口里选择“新建”
-
“变量名”输入“OLLAMA_MODELS”(注意要大写),“变量值”输入“<要保存大模型文件的位置>”(提前创建好相应目录),点击“确定”
-
如需要验证是否成功,可以在“命令提示符”里执行“set”,应该可以在下面的变量列表里找到刚才的设置
-
如果之前已经下载了其它的模型,那就打开C:\Users\<用户名>\.ollama\models,如果里面有之前下载的模型文件,直接将其剪切复制到上面设置的目录下即可
-
这时,再重新启动Ollma就可以了。之前已经下载的模型可以用,后面新下载的模型会自动保存到这个指定的路径下面了。
-
关闭Ollama的自动启动:
Ollama安装后默认会开机自启动,如果要关闭的话,用浏览器打开C:\Users\<用户名>\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup目录,从中删除 Ollama即可。
-
下载Deepseek-r1模型:
我的Windows是8G的显卡,所以我下载的是7b的模型。选择模型的大小简单来说就是不超过你的显卡显存就行,模型越大,效果越好。因为Ollama在运行模型时,如果5分钟内没有对模型的请求,就会释放资源,所以我这几天用下来,做一些文本工作的话,不会有什么影响。
在终端中通过下面命令来拉取和运行Deepseek-r1模型到本地
`ollama run deepseek-r1`
默认会拉取Deepseek-r1:7b的模型,如需拉取其它大小的模型,可以参考 https://ollama.com/library/deepseek-r1
比如要拉取1.5b的模型,就是
ollama run deepseek-r1:1.5b
输入命令后Ollama就会去拉取模型,然后本地激活,你就可以使用了
Ollama会保持在这个对话框里,你可以在这里问你的问题,享用本地大模型了。如果想退出对话怎么办?很简单,输入 “/bye"就可以了。
在对话模式下有一些简单的命令,通过"/?"或者“/help"就可以看到了
Ollama的命令也很简单,感兴趣的可以运行 “ollama help" 了解,后面的文章里也会详细介绍用到的命令
ollama help``Large language model runner`` ``Usage:` `ollama [flags]` `ollama [command]`` ``Available Commands:` `serve Start ollama` `create Create a model from a Modelfile` `show Show information for a model` `run Run a model` `stop Stop a running model` `pull Pull a model from a registry` `push Push a model to a registry` `list List models` `ps List running models` `cp Copy a model` `rm Remove a model` `help Help about any command`` ``Flags:` `-h, --help help for ollama` `-v, --version Show version information`` ``Use "ollama [command] --help" for more information about a command.
看到这里,Deepseek-r1:7b的模型已经在你的机器上跑起来了,不过你一定会说,这也太不方便了,没法用啊,不能天天在个命令行里跟它对话啊。
别急,关注我们,后续的部署手册马上就来,让你的AI好用,让你用好AI。
如何系统的去学习大模型LLM ?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业
?”“谁的饭碗又将不保了?
”等问题热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为
等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?
与其焦虑……
不如成为「掌握AI工具的技术人
」,毕竟AI时代,谁先尝试,谁就能占得先机!
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。
基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近70次后,终于把整个AI大模型的学习门槛,降到了最低!
在这个版本当中:
第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言
您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料
分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)
五、AI产品经理大模型教程
LLM大模型学习路线 ↓
阶段1:AI大模型时代的基础理解
-
目标:了解AI大模型的基本概念、发展历程和核心原理。
-
内容:
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
-
目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
-
内容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3:AI大模型应用架构实践
-
目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
-
内容:
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
-
目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
-
内容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料
包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
更多推荐
所有评论(0)