Deepseek和Ollama的本地部署的最详尽的手册来了!

相信感兴趣的朋友已经看到了很多类似的部署手册了,部署很简单,可能够让自己舒心却不容易。

现在,让我们从零开始,先安装ollama,配置ollama相关路径,再到把Deepseek跑起来,最详尽的步骤就在这里。

1. 安装Ollama:

Ollama的安装包可以直接从 ollama.com下载,安装包大小大概750M,或者后台回复:Ollama安装包,获取网盘下载链接。

下载后点击安装就可以了,但是Ollama的安装程序并没有提供设置安装路径的选项,默认安装路径在C:\Users\<用户名>\AppData\Local\Programs\Ollama, Ollama的程序大概会占4.5G的空间。

2. 指定Ollama程序的安装位置:

如果需要指定Ollama安装到其它的位置,参考下面的步骤:

- 在Windows的logo旁的“搜索”框里,键入cmd并回车,会打开"命令提示符"窗口,默认是在C:\Users\<用户名>下,这时,更换目录到OllamaSetup.exe所在的目录下。

#假设下载到了系统默认的“下载”文件夹``cd C:\Users\<用户名>\Downloads #假设下载到了系统默认的“下载”文件夹``#假如下载到了D盘的Downloads下,则先进入D盘``D:``#再切换到对应文件夹,比如D盘的downloads``cd d:\Downloads``#确认OllamaSetup.exe在这个位置``dir O*`     `781,566,136 OllamaSetup.exe``#将Ollama安装到指定名录,比如 D盘的LLM文件夹下的Ollama文件夹``OllamaSetup.exe /DIR="d:\LLM\Ollama"

- 此时会弹出Ollama安装程序的窗口,点击“Install”,进行安装即可将Ollama安装到上面指定的位置,并自动启动。

  1. 指定Ollama的大模型文件存储的位置

    Ollama的默认数据存储位置在C:\Users\<用户名>\.ollama\models,而每个大模型的文件都是以G为单位的,比如我们后面会用到的Deepseek-r1:7b的模型就是4.5G左右

如果需要改变大模型文件位置,参考如下操作:

1. 退出Ollama,在Windows的右下角的Ollama图标上点击右键,选择"Quit Ollama"

  1. 打开windows的“设置”(Win11)或者“控制面板”(Win10)

  2. 输入“环境变量”,选择“编辑系统环境变量”

  3. 弹出的页面选择“环境变量”

  4. 在打开的窗口里选择“新建”

  5. “变量名”输入“OLLAMA_MODELS”(注意要大写),“变量值”输入“<要保存大模型文件的位置>”(提前创建好相应目录),点击“确定”

  6. 如需要验证是否成功,可以在“命令提示符”里执行“set”,应该可以在下面的变量列表里找到刚才的设置

  7. 如果之前已经下载了其它的模型,那就打开C:\Users\<用户名>\.ollama\models,如果里面有之前下载的模型文件,直接将其剪切复制到上面设置的目录下即可

  8. 这时,再重新启动Ollma就可以了。之前已经下载的模型可以用,后面新下载的模型会自动保存到这个指定的路径下面了。

  9. 关闭Ollama的自动启动:

Ollama安装后默认会开机自启动,如果要关闭的话,用浏览器打开C:\\Users\\<用户名>\\AppData\\Roaming\\Microsoft\\Windows\\Start Menu\\Programs\\Startup目录,从中删除 Ollama即可。
(鉴于很多朋友无法下载ollama,这里给大家整理好了ollama的安装包,扫描领取即可↓↓↓↓

在这里插入图片描述

  1. 下载Deepseek-r1模型:

    我的Windows是8G的显卡,所以我下载的是7b的模型。选择模型的大小简单来说就是不超过你的显卡显存就行,模型越大,效果越好。因为Ollama在运行模型时,如果5分钟内没有对模型的请求,就会释放资源,所以我这几天用下来,做一些文本工作的话,不会有什么影响。

在终端中通过下面命令来拉取和运行Deepseek-r1模型到本地



`ollama run deepseek-r1`



默认会拉取Deepseek-r1:7b的模型,如需拉取其它大小的模型,可以参考 https://ollama.com/library/deepseek-r1

比如要拉取1.5b的模型,就是

ollama run deepseek-r1:1.5b

输入命令后Ollama就会去拉取模型,然后本地激活,你就可以使用了

Ollama会保持在这个对话框里,你可以在这里问你的问题,享用本地大模型了。如果想退出对话怎么办?很简单,输入 “/bye"就可以了。

在对话模式下有一些简单的命令,通过"/?"或者“/help"就可以看到了

Ollama的命令也很简单,感兴趣的可以运行 “ollama help" 了解,后面的文章里也会详细介绍用到的命令  

ollama help``Large language model runner``   ``Usage:`  `ollama [flags]`  `ollama [command]``   ``Available Commands:`  `serve       Start ollama`  `create      Create a model from a Modelfile`  `show        Show information for a model`  `run         Run a model`  `stop        Stop a running model`  `pull        Pull a model from a registry`  `push        Push a model to a registry`  `list        List models`  `ps          List running models`  `cp          Copy a model`  `rm          Remove a model`  `help        Help about any command``   ``Flags:`  `-h, --help      help for ollama`  `-v, --version   Show version information``   ``Use "ollama [command] --help" for more information about a command.

看到这里,Deepseek-r1:7b的模型已经在你的机器上跑起来了,不过你一定会说,这也太不方便了,没法用啊,不能天天在个命令行里跟它对话啊。

别急,关注我们,后续的部署手册马上就来,让你的AI好用,让你用好AI。

如何系统的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

在这里插入图片描述

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐