本地搭建Qwen和DeepSeek AI助手，打造专属智能体验

因此，本地部署AI助手不仅是一种技术尝试，更是一种对隐私和效率的双重保障。在本地部署AI模型之前，我们需要评估自己的电脑硬件是否能够支持目标模型的运行。如果你的设备满足上述要求，就可以尝试部署Qwen2.5:7B和DeepSeek-R1-7B等中等规模的AI模型了！这两款模型不仅功能强大，而且开源友好，社区支持广泛，非常适合初学者和进阶用户使用。Ollama是一款轻量级的工具，可以帮助我们快速部署

少喝冰美式

1182人浏览 · 2025-02-21 13:48:24

少喝冰美式 · 2025-02-21 13:48:24 发布

为什么搭建本地AI？

随着AI技术的普及，云服务成为主流选择，但云端部署也存在一些问题：

隐私风险：敏感数据上传到云端可能会被滥用或泄露。
网络依赖：需要稳定的网络连接，离线场景无法使用。
成本问题：长期使用云服务可能带来较高的费用。

相比之下，本地部署AI模型有以下优势：

数据安全：所有数据处理都在本地完成，无需担心隐私泄露。
离线可用：无需网络连接即可运行，适合无网环境。
灵活定制：可以根据需求调整模型配置，满足个性化需求。

因此，本地部署AI助手不仅是一种技术尝试，更是一种对隐私和效率的双重保障。

如何判断个人电脑配置适合哪一款AI助手？

在本地部署AI模型之前，我们需要评估自己的电脑硬件是否能够支持目标模型的运行。以下是一些关键指标：

显卡（GPU）： GPU是运行AI模型的核心硬件。建议至少配备4GB显存的NVIDIA显卡，推荐RTX 3060及以上型号。对于7B参数量的模型（如Qwen2.5:7B和DeepSeek-R1-7B），8GB显存是一个较为理想的起点。
内存（RAM）：至少需要16GB内存，推荐32GB以获得更流畅的体验。
存储空间：模型文件通常较大，建议预留至少20GB的硬盘空间。
处理器（CPU）：如果没有独立显卡，可以使用CPU运行模型，但性能会显著下降，推荐使用多核高性能CPU。

如果你的设备满足上述要求，就可以尝试部署Qwen2.5:7B和DeepSeek-R1-7B等中等规模的AI模型了！

这里也提供一个网站进行辅助检测：https://tools.thinkinai.xyz/

为什么选择Qwen2.5:7B和DeepSeek-R1-7B？

在众多AI模型中，我们选择了Qwen-2.5:7B和DeepSeek-R1-7B，原因如下：

DeepSeek-R1-7B： DeepSeek现在很火，自然不必多说。DeepSeek是一款专注于推理和对话优化的开源模型，擅长逻辑推理和复杂问题解答。其7B版本同样兼顾了性能和效率，是本地部署的理想选择。
Qwen-2.5:7B： Qwen是由阿里云推出的大语言模型，具备强大的对话理解能力、多语言支持以及代码生成能力。7B版本在性能和资源占用之间取得了良好的平衡，非常适合本地部署。Qwen其实性能与DeepSeek是旗鼓相当的，甚至在某些方面是更胜一筹。

这两款模型不仅功能强大，而且开源友好，社区支持广泛，非常适合初学者和进阶用户使用。

使用Ollama搭建Qwen和DeepSeek

Ollama是一款轻量级的工具，可以帮助我们快速部署和管理本地AI模型。以下是两种常见的搭建方式：

方式一：直接拉取模型

安装Ollama：访问Ollama官网下载并安装适合你操作系统的版本。
打开终端，选择一款模型输入以下命令拉取模型：

ollama pull qwen2.5:7b
或
ollama pull deepseek-r1:7b

这里需要说明一下，拉取的模型默认是保存在C:\Users\[用户]\.ollama\models路径下，文件比较大，所以请确保C盘容量足够。

\3. 启动模型：

ollama run qwen2.5:7b
或
ollama run deepseek-r1:7b

方式二：本地导入创建

下载模型文件：从官方渠道获取Qwen2.5:7B或DeepSeek-R1-7B的模型权重文件，这里提供一个下载渠道：https://huggingface.co/。
将模型文件放置在Ollama的工作目录中，即C:\Users\[用户]\.ollama\models\[模型名称]路径。
在模型文件同级目录下创建一个文件，命名为 Modelfile，使用编辑器打开Modelfile文件添加FROM ./[模型文件]

``
在终端使用以下命令导入模型：

ollama create qwen2.5:7b -f ./Modelfile
或
ollama create deepseek-r1:7b -f ./Modelfile

使用ollama list命令可以查看模型列表

安装Open-WebUI

为了提升使用体验，我们可以安装Open-WebUI，为本地AI模型提供一个友好的图形化界面。

安装：pip install open-webui

启动：open-webui serve

这种方式默认访问方式为：127.0.0.1:8080，如果8080端口被其他程序占用，可指定端口启动，host参数表示监听主机，设置为0.0.0.0，则同一个局域网下外部可访问。如果是部署在公网服务器，则公网可访问：

open-webui serve --host 0.0.0.0 --port 8090

安全问题

默认情况下，Ollama服务仅限本地访问。问题就在于Ollama 服务的端口（默认为11434），用户如果在公网部署ollama，并且不加以限制，那么攻击者就可以在网络空间测绘上轻而易举地发现众多暴露在互联网上的 Ollama 11434 端口。

这种ollama直接暴露在公网，我们其实是可以直接调用的，这就导致其他人可以白嫖你的资源。

自查指南

检查是否只监听本地命令：netstat -an | grep 11434, 应该只看到127.0.0.1:11434的监听，而不是0.0.0.0:11434。

防护措施

将 Ollama 只监听本地地址export OLLAMA_HOST=127.0.0.1；
做好防火墙策略;
使用反向代理等。

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模型中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次打破界限的机会，一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行，对于想要转行创业，提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

read-normal-img

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

read-normal-img

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

read-normal-img