DeepSeek作为国产AI大模型黑马,瞬间引爆了全球互联网,使用之后感觉他的深度思考能力已经超越很多普通人,像一个博士教授一样,非常好用,我坚信人工智能AGI已经不远,作为互联网码农,虽然AI发展必然会取代大部分程序员的工作,但是AI作为先进生产力的发展方向,必须拥抱未来,跟上时代的步伐。

一、安装Ollama大模型工具

1、官网:https://ollama.com/,选择你电脑的系统下载就可以了

2、选择你的电脑平台,然后点击下载安装即可

3、配置环境变量

3.1 找ollama的安装路径,配置到系统环境变量上。安装到哪里就配置到哪里的路径

3.2 配置开源AI大模型的存储路径

由于AI开源大模型文件一般比较庞大,需要给ollama配置开源AI大模型的存储路径,避免占用C盘。如图所示,新建一个变量名为 OLLAMA_MODELS,变量值自己决定,就是AI大模型的存储路径,比如 D:\ollama-models

3.3、验证ollama安装成功

终端输入命令 ollama -v,显示版本信息即为安装成功

二、下载AI大模型deepSeek并运行

1、选择适合自己电脑显卡的deepSeek大模型参数版本

目前开放出来的1.5B、7B、8B之类的是Qwen/llama那些借助R1推理强化调出来的“蒸馏”版本,不是真正的R1。671B全量版才是真R1,真正的R1模型一般人是部署不起来的,需要非常强大的GPU配置。

根据自己的独立显卡容量选择,参考如下。

deepSeek大模型配置要求:

  • deepseek-r1:1.5b——1-2G显存
  • deepseek-r1:7b——6-8G显存
  • deepseek-r1:8b——8G显存
  • deepseek-r1:14b——10-12G显存
  • deepseek-r1:32b——24G-48显存
  • deepseek-r1:70b——96G-128显存
  • deepseek-r1:671b——需要496GB显存以上

ollama下载安装deepseek命令,来自官网教程:deepseek-r1 

DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b

我电脑显卡内存容易只有6G,所以只能选择7B版本,下载安装命令为

ollama run deepseek-r1:7b

ollama会把大模型自动安装部署到OLLAMA_MODELS对应的变量路径里

2、下载安装成功,在终端里命令行使用。

ollama list 命令列出所安装的AI大模型,我这里只安装了deepsekk-r1:7b

windows终端推荐使用powershell,也可以用cmd(比较难用,复制困难)

复制这个NAME,运行大模型,命令为   ollama run deepseek-r1:7b

运行起来后,输入你的问题,回车键deepseek就可以非常流畅地回答你的问题了

三、把本地模型配置开源chatbox生成式对话软件上

1、下载安装chatbox开源AI对话软件,点击去下载安装到电脑上,选择你对应的电脑版本即可  https://chatboxai.app/zh#download

下载完成,打开安装即可。

2、打开chatbox,配置本地大模型。

使用cmd命令行先启动本地大模型deepseek,这个是配置前提,否则chatbox无法勾选大模型。

命令为   ollama run deepseek-r1:7b,注意不要关闭终端。

打开chatbox软件进行配置使用本地大模型。

  • 模型提供方选择OLLAMA API
  • 域名是 http://127.0.0.1:11434 , 这个是Ollama本地大模型的本机地址
  • 模型需要点击勾选一下,我这里是 deepseek-r1:7b,如果不选,对话会报错,model requre!
  • 最后点击保存,就可以快乐地使用带有对话框界面的本地大模型deepseek了。

使用效果如图

说明一下,生成式回答后,chatbox会自动计算出消耗的token,以及大模型的提供方

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐