
打造个人知识库,wsl+ollama部署本地DeepSeek与vscode集成
Ollama 是一个基于Go 语言开发的简单易用的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。Ollama 是**Omni-Layer Learning Language Acquisition Model(全方位学习语言接受模型)**的简写。Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型,支持在本地完成各种大模型的智能助手任务。
目前大模型应用如火如荼,各大LLM如Deepseek
也都提供了在线的助手服务,结合mcp-server
还可以进一步拓展到本地的工具能力。
但对于一些和本地业务和数据强相关的资料,在线的大模型训练数据集一般并不能涵盖,特别还有一些敏感或对安全要求很高的数据,使用在线大模型并不现实。所以我们个人应用和实际工作中,本地部署大模型并加入本地知识库也是一个刚性需求。
本文就记录下在WSL中通过Ollama和CherryStudio搭建本地大模型,并将本地模型集成到VsCode的AI助手的过程分享。
Ollama简介
Ollama 是一个基于Go 语言开发的简单易用的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。Ollama 是**Omni-Layer Learning Language Acquisition Model(全方位学习语言接受模型)**的简写。
Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型,支持在本地完成各种大模型的智能助手任务。它的特点在于它不仅仅提供了现成的模型和工具集,还提供了方便的界面和 API,使得从文本生成、对话系统到语义分析等任务都能快速实现。
Deepseek本地模型及运行配置
Deepseek目前根据本地部署包含的参数集大小,又包含1.5B到671B等多个版本,参数集越大则AI越智能,但相应地对硬件要求则越高。
一般对应不同deepseek模型版本,推荐的硬件配置如下:
模型型号 | CPU | 内存 | 硬盘 | 显存 | 适用场景 |
---|---|---|---|---|---|
DeepSeek-R1-1.5B | 4 核 | 8 GB+ | 3 GB+ | 非必需(若需 CPU 加速可选 GTX 1650) | 个人使用,如笔记本电脑、台式电脑等 |
DeepSeek-R1-7B | 8 核 | 16 GB+ | 8 GB+ | 8 GB+显存(如 RTX 3070/4060) | 中小型企业本地开发 |
DeepSeek-R1-8B | 8 核 | 16 GB+ | 8 GB+ | 8 GB+显存 | 中小型企业本地开发(提升精度的轻量级任务) |
DeepSeek-R1-14B | 12 核 | 32 GB+ | 15 GB+ | 16 GB+显存(如RTX 4090 或 A5000) | 中小型企业本地开发(中量级任务) |
DeepSeek-R1-32B | 16 核 | 64 GB+ | 30 GB+ | 24 GB+显存(如 A100 40 GB 或 RTX 3090) | 专业领域任务,如医疗、科研、法律 |
DeepSeek-R1-70B | 32 核 | 128 GB+ | 70 GB+ | 多卡并行(如 2x A100 80GB 或 4x RTX 4090) | 大型企业或科研机构,专业领域任务处理 |
DeepSeek-R1-671B(满血版) | 64 核 | 512 GB+ | 300 GB+ | 多卡并行(如 8x A100/H100) | 国家级科研任务处理 |
对我们个人用户来说,根据自己的电脑配置情况,通常选择1.5B到14B。 当然如果不是高频使用本地模型,个人建议可以将配置和推荐模型降一档匹配。
利用Ollama在WSL中部署本地Deepseek
因为笔者当前主要是希望将一些本地数据接入Deepseek,也没有高频使用本地LLM的需求。所有这里我选择部署DeepSeek-R1-14B, 另外为了避免每次启动电脑都因为LLM运行占用大量资源,所以这里我希望在Windows电脑的WSL下运行LLM
WSL配置
如果当前系统还没有启用WSL,可以先启用(过程不再详述, Win11中运行WSL install [对应Linux发行版] 即可安装)
通过命令行查看WSL状态:
C:\qiucao>wsl --status
默认分发: Ubuntu-24.04
默认版本: 2
WSL默认的网络模式是NAT,这里可以通过WSL Setting
程序,修改下当前配置,改为Mirrored
镜像模式,共用宿主机网络。
安装Ollama
进入Ollama官网(https://ollama.com/)下载界面, 因为我们是在WSL中部署,所以选择Linux安装。
执行如下命令,等待下载并自动安装完成。
curl -fsSL https://ollama.com/install.sh | sh
# 安装完成查看版本
~$ ollama --version
ollama version is 0.6.5
部署deepseek
完成ollama安装后,就可以根据Ollama提供的大模型清单,选择对应大模型进行安装。目前支持的大模型清单,可以从官网如下地址查询:https://ollama.com/library
执行如下命令下载并运行deepseek
ollama run deepseek-r1:14b
安装成功后可以提问测试一下deepseek是否已正常提供服务
添加知识库分析模型
至此,Deepseek其实已在本地部署。但如果要通过Deepseek使用本地数据和文档,我们还需要部署一个语义向量模型(Embedding Model),用来将本地数据转化为大模型可分析的知识库数据。这里我们选择bge-m3模型,这是一个通用向量模型,可以支持多语言、长文本和多种检索方式。
执行:
ollama pull bge-m3
用Cherry Studio管理知识库并提供本地交互界面
安装完Deepseek后,虽然我们可以在命令界面下和deepseek进行交互,但还是不够友好,包括对本地知识库的管理也不够方便。所以这里我们还可以安装一个开源的本地AI助手和知识库客户端Cherry Studio。从官网(https://cherry-ai.com)下载windows版本安装即可。
打开Cherry Studio,按如下步骤添加我们刚刚通过ollama部署的Deepseek
会看到已经安装好的模型,添加进来
然后就可以利用Cherry Studio的知识库管理,将我们需要加入的本地文档纳入大模型的数据集中。这里包括直接添加文件、直接指定目录、从网站采集等多种方式,非常方便。
集成本地Deepseek到vscode
而有了本地的LLM后,如果我们希望在vscode中使用,可以利用vscode 的AI Toolkit
插件,按如下方式添加本地LLM
vscode中测试下本地AI的能力
以上就是我们部署本地Deepseek的实践分享, 欢迎继续关注后续更多技术干货~~
我的DeepSeek部署资料已打包好(自取↓)
https://pan.quark.cn/s/7e0fa45596e4
但如果你想知道这个工具为什么能“听懂人话”、写出代码 甚至预测市场趋势——答案就藏在大模型技术里!
❗️为什么你必须了解大模型?
1️⃣ 薪资爆炸:应届大模型工程师年薪40万起步,懂“Prompt调教”的带货主播收入翻3倍
2️⃣ 行业重构:金融、医疗、教育正在被AI重塑,不用大模型的公司3年内必淘汰
3️⃣ 零门槛上车:90%的进阶技巧不需写代码!会说话就能指挥AI
(附深度求索BOSS招聘信息)
⚠️警惕:当同事用DeepSeek 3小时干完你3天的工作时,淘汰倒计时就开始了。
那么,如何系统的去学习大模型LLM?
作为一名从业五年的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?老师啊,我自学没有方向怎么办?老师,这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!当然这些问题啊,也不是三言两语啊就能讲明白的。
所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。
篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
👉大模型学习指南+路线汇总👈
我们这套资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
👉①.基础篇👈
基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
👉②.进阶篇👈
接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
👉③.实战篇👈
实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
👉④.福利篇👈
最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!
更多推荐
所有评论(0)