手把手教你使用Ollama+DeepSeek+AnythingLLM构建自己的大模型（附完整教程、ollama+anythingLLM文件下载）

菜鸟Java码农

1678人浏览 · 2025-02-15 10:29:42

菜鸟Java码农 · 2025-02-15 10:29:42 发布

0 引言

春节前，DeepSeek的风潮，影响着各行各业。我在公众号上转发了一篇关于在个人电脑中基于DeepSeek构建自己大模型的文章，引起了不少人的关注。有人也布置的作业，让我也实现一下。趁着春节长假，在磕磕碰碰中也算基本实现了。

主要内容简介：

（1）为什么要自己建大模型？可以给大模型学习你自己的资料，使得大模型更加的懂你。

（2）为什么选择DeepSeek？选择DeepSeek不仅因为他的强大，更因为他开源。

（3）Ollama，DeepSeek，AnythingLLM之间什么关系？ollama是大模型的管理工具，DeepSeek是大模型，AnythingLLM是编辑和操作大模型的工具。

（4）构建大模型的难点在哪里？网速！因为Ollama托管在github上，访问不方便。包括在拉取DeepSeek模型时，也出现下载到70%中断的情况。因此，不会科学上网的我，找资料花了最多的时间。为了让大家能最快的体验构建自己的大模型，我把资料共享在网盘上，关注gongzonghao“放牛娃的杂货铺”后台回复“DeepSeek”即可获取相应的资料。

1 为什么要构建自己的大模型？（必要性分析）

很多小伙伴很纳闷，DeepSeek可以直接使用，不收费也没有墙，为什么要自己构建？除了理工男获得些许动手的快感外，我想有以下的用处：

（1）了解模型推理的过程，可以尽可能避免大模型胡说八道。自己构建模型，在回答的时候，可以给出一个推理的链条，你可以跟踪关键的链条，一定程度可以避免模型推理上的错误。

（2）个性化定制和数据安全。大模型的训练过程，无法了解用户的一些私有的数据。但是你将数据上传到网络，可能导致数据的泄露，因此，自己建一个私有的模型，可以在保证数据安全的基础上进行个性化的定制。

（3）为了某些不联网的应用场合。在某些工业和内部网络，并不是适合和互联网相连，构建自己的大模型，也可以解决不联网的用户的大模型使用的问题。

2 如何一步一步构建自己的大模型？（基本方法）

（1）服务器的准备

DeepSeek对机器的要求还是比较高的，虽然很多人在自己的电脑上也实现了7B甚至更高的模型的运行，但是我自己的笔记本实在没有办法完成。因此，我选择租用网络服务器。

星海智算-GPU算力云平台：https://gpu.spacehpc.com/dashboard。需要的小伙伴可以输入邀请码：49071423

我租用的机器配置是：

租用的机器配置

另外，星海也提供已经配置好的各类大模型镜像，可以开箱即用。

租用的Windows服务器使用较为简单，通过远程桌面连接后，操作方式与本地电脑相同。

Tips：在使用前，可以把要用的资料先上传到星海的网盘，这样可以省不少的时间，毕竟时间就是金钱。

（2） ollama的安装与配置

ollama的安装在网上很多的教程，下载地址为：Download Ollama on macOS：https://ollama.com/download

但是因为特别的原因，我没有办法下载。我使用已经下载好的文件，安装过程无需配置，连地址也是在C盘。

（鉴于很多朋友无法下载ollama以及AnythingLLM，这里给大家整理好了安装包，扫描领取即可↓↓↓↓）

安装界面

安装完成后，直接运行，右下角将出现可爱的小驼羊图标。

安装完成

这时你可以验证是否安装成功，在CMD中运行“ollama -v”，如果出现下图。

验证安装情况

Ollama 服务器默认只允许来自127.0.0.1的跨域请求，如果计划在其他前端面板中调用Ollama API，例如Chatbox或AnythingLLM，则需要放开跨域限制。放开跨域限制要配置下面两个环境变量：

OLLAMA_HOST：0.0.0.0

OLLAMA_ORIGINS：*

在右下角点击Qiut Ollama，然后配置环境变量，便于其他的程序访问Ollama。

具体方法是在环境变量中的用户变量增加两个变量（如何配置环境变量，请问大模型）：

配置环境变量

Ollama默认开机启动，可以在「文件资源管理器」的地址栏中：输入%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup，然后删除其中的Ollama.lnk快捷方式文件，阻止它自动启动。

到此为止，ollama就配置完成。

（3） DeepSeek的模型拉取

登录下面的网页：deepseek-r1：
https://ollama.com/library/deepseek-r1

deepseek-r1网站

根据自己机器的性能，选择不同规模的模型。

DeepSeek不同规模模型需求

本来想试试32b和14b的，但是两次尝试都是中途中断。最后安装的是7b。

安装过程

在CMD运行：ollama run deepseek-r1:7b，当出现success时，就说明成功了。

安装完成

成功后，便可以对话了。以上，DeepSeek就完成安装。

（4） AnythingLLM的安装与配置

上面安装的DeepSeek有两个缺点，一是在CMD里运行不是太美观和方便，另外一个是没有办法加入自己的资料，让模型更懂你。

AnythingLLM便可以解决上述两个问题。AnythingLLM 是一个能在本地设备上运行的智能工具，能够保护你的隐私。它可以处理多种文档格式，比如 PDF、TXT 和 DOCX，并且能够快速总结内容和提取重要信息。你可以通过它自动化一些任务，比如抓取内容或分析文档。它支持 Windows、Mac 和 Linux 系统，而且提供 Docker 安装方式，适应不同平台的需求。内置的向量数据库能帮助高效检索文档中的关键信息。总的来说，它是一个强大且安全的文档管理与 AI 助手工具。

AnythingLLM同样无法访问，我们同样使用已下载的文件进行安装，文件也放在网盘中。但是其使用文档网页可以访问：Ollama LLM ~ AnythingLLM：
https://docs.anythingllm.com/setup/llm-configuration/local/ollama

AnythingLLM的安装与普通程序安装相似，但可能需要较长时间，因为它会尝试下载一些模型，最终如果下载失败，会报错，但不影响我们使用。

安装报错，但不影响使用

安装完成后，运行出现如下界面：

欢迎界面

初次运行，会引导你配置一些内容：选择Ollama,然后在Ollama Model选择你安装的模型。这些内容在软件进去后还可以设置。

初始设置

进入软件后，进一步设置，主要包括：LLM首选项和Enbedder首选项，按照下面的界面设置。

LLM首选项

Enbedder首选项

设置完成后，点击新建工作区，在聊天设置中选择Ollama作为LLM提供者，然后就可以愉快地聊天了。

聊天界面

从聊天框中，可以看出模型的推理过程，这里的聊天内容和通过CMD聊天没有区别，下面我们加入我们自己的知识。

点击工作区旁边带箭头的图标上传自己的资料，出现以下窗口。

上传文件界面

上传文件后，选中文件，点击Move to Workspace 将文件加入到模型中，你在对应的工作区聊天就可以使用自己的知识了。

增加文件到工作区

我通过大模型生成一个虚拟的单位的电话表，内容如下：

模拟数据

提交前，模型无法提供相关信息。提交相关文件后，我询问模型关于大旺公司总经理的电话，模型能正确回答。

根据本地模型回答问题

3 怎么使用好本地大模型？（应用展望）

上面详细的介绍了本地大模型的构建，总体来说并不复杂，而且目前也有很多的介绍的文章，我上面的工作也是参考了很多文章。构建本地大模型关键在如何构建自己的知识库。关于本地大模型的重点应该放在如何构建自己的知识库上，我有如下设想：

（1）学习管理的本地大模型。类似老师的学情分析和学生的错题本。

（2）设备使用的本地大模型。让模型学习复杂设备的使用说明，故障处理，让本地大模型成为工程师的助手。

（3）个人资料库的大模型。将自己的所有的文档资料给大模型，当要找某份资料，或是某个文件、数据时，可以通过模型查找文件，是增强版的Everything本地搜索软件。

……

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望