要想了解AI大模型，再怎么也得本地搭建个DeepSeek吧。毕竟人也是先学会说话，再学会写字，阅历多了，然后才能写段子。

第一步 下载用于运行大模型的框架（先尝尝 ollama）

官网下载页面：https://ollama.com/download
官网下载速度不尽人意时，把下载连接扔给迅雷，让它去找资源吧！

• 概念
  Ollama是用来运行大语言模型的。因为我也是第一次接触，这里我粗浅的认为它就是个适配器。它能用一套标准的操作指令来运行和使用不同的大语言模型.。

• 类比
  就类似于Spring boot帮你适配了各种类型的缓存中间件，你在yml文件里配置好你所使用的缓存中间件类型和参数，不管你实际使用的是redis还是Memcached，代码里用的时候只需要用@Cacheable、@CachePut、@CacheEvict来使用即可。

• 类似框架
  LM Studio 、llama.cpp 等，这里就不列举了，我先聚焦一个进行了解。

• 安装注意事项
  如果直接打开安装包进行安装，你将没有选择自主选择安装目录的机会，它会直接给你安装到C盘，而且安装完成以后，占用空间还不小，有4.2G左右。嗯嗯……我就是知道。
  因此，需要上点手段，在安装包路径下，采用命令行制定安装目录安装，命令如下：

 .\OllamaSetup.exe /DIR=E:\ollama

第二步 在Ollama的模型库找到并安装DeepSeek模型

• 在ollama官方网站的模型库搜索deepseek关键字
  从搜索结果来看，有很多deepseek的模型，我们比较熟悉的就是v3和r1模型。v3模型是671b的，有404G大小，我小小笔记本带不动。我的笔记本是32GB的内存，所以选个r1的14b试试。
  

• 在本地命令窗口运行对应的命令即可自动下载模型
  看上去有点像docker
  

• 安装完成以后就可以在此窗口进行对话了。

第三步 性能调优，不要浪费显卡

跟大模型对话的时候，发现CPU吃满，GPU没太有什么负载，有的这些负载也可能是浏览器内容吃掉的性能。所以我希望让GPU也参与运算。（此时，我打字已经有点卡了）

• 检查显卡
  我笔记本的显卡是支持CUDA的，接下来就是看看Ollama在启动大模型的时候如何做一些设置。
  
• 下载和安装CUDA Toolkit
  研究了一会儿，好像得下载一个NVIDIA的官方工具才能利用CUDA这项技术。
  CUDA Toolkit

安装的时候一定要选择自定义安装，否则它又给你整到C盘去了。安装的内容CUDA全选，其他的根据自己情况来。我安装过程中发现正好给我升级图形驱动程序了，所以我就一块升级了。还有一些版本一模一样的，我就把勾去掉了。
安装的过程中，你可能还需要被要求下载Visual Studio，我这里的版本是这样的

Visual Studio Community 2022 工作负载：C++桌面开发
CUDA Toolkit 12.8

保留NVIDIA的安装界面，先把VS安装好，然后点击后退后再点击NEXT，检测到安装VS后，程序就会继续安装了。安装过程会遇到闪屏，毕竟跟显卡相关么。

• 重启ollama
  右下隐藏图标中的ollama，右键退出。(这图标总让我想起一个微信小游戏)
  
  然后再从cmd命令窗口启动。

ollama run deepseek-r1:14b

• 把干扰GPU的东西给关掉，再给大模型出个问题

给你出个脑筋急转弯：老三跟老四说，“老五看见老六的老二老大了”。请问六兄弟中谁没有出现在段子中。

其实，我测试了文心一言、deepseek官方、以及本地运行的r1 14b，他们的结论都是老大没出现。显然各大厂商没有告诉他们老二到底有多少层含义。（补充一点：后续我使用了1.5b，量级最小的r1模型也对此问题进行回答，它非常坚定老大和老二没有出现，虽然追问它的时候，它也就是不出来老六的老二是什么，但是它坚定老二在原文中没有出现。所以，我想表达一下自己的观点：大模型的参数量级多少，就跟人心眼子多不多一样，心眼子多和心眼子少并不是评判一个人解题能力的唯一标准。）

言归正传，可以看到，GPU确实参与了计算。而且生成速度也比纯CPU快，不过依然不是特别明显。我原本想象的是GPU给干到100%。这个还是以后再研究吧。

第四步 这个命令行太丑了，需要来个UI界面（Anything LLM）

传送门：Anyting LLM
这个安装包不大，但是有点慢，直接复制链接用迅雷吧。

这个提示安装完以后需要重启。中间崩了个错，看上去好像是下载一个什么库连接不上服务器，我赶紧打开了vpn，但是点掉后它直接到安装完成页面了。也没重启，倒是也能用了。中间让你注册什么的，不用注册，可直接用

总结

至此，简单的对话是可以了，后面还有三大项内容需要研究：

1. 如何用自己的知识库来训练模型；
2. 如何将大模型的落地到应用；
3. 深入学习内部原理；