一.Ollama的介绍

1.1 什么是Ollama

Ollama是一个用于部署和运行各种开源大模型的工具，能够帮助用户快速在本地运行各种大模型，极大地简化了大模型在本地运行的过程。对用户来说，只需要通过执行几条命令就能在本地运行开源大模型，如Llama 2等。

官网地址：Ollama

1.2 Ollama特点与优势

Ollama具备如下特点和优势

（1）功能齐全

Ollama将模型权重、配置和数据捆绑到一个包中，定义成Modelfile。它优化了设置和配置细节，包括GPU使用情况，从而提高了模型运行的效率。

（2）轻量级

Ollama的代码简洁明了，运行时占用资源少。这使得它能够在本地高效地运行，不需要大量的计算资源。此外，它还支持热加载模型文件，无需重新启动即可切换不同的模型，这使得它非常灵活多变。

（3）易用性

Ollama提供了多种安装方式，支持Mac和Linux平台，并提供了Docker镜像。用户只需按照安装指南进行操作即可完成安装，无需具备专业的技术背景。

（4）捆绑模型组件

它将模型权重、配置和数据捆绑到一个包中，称为 Modelfile，这有助于优化设置和配置细节，包括 GPU使用情况。

（5）支持多种模型

Ollama 支持多种大型语言模型，如 Llama 2、Code Llama、Mistral、Gemma 等，并允许用户根据特定需求定制和创建自己的模型。

（6）跨平台支持

支持 macOS 和 Linux 平台，Windows 平台的预览版也已发布。安装过程简单，用户只需访问 Ollama 的官方网站下载相应平台的安装包即可。

二、Ollama本地部署

接下来演示如何在本地的windows系统上安装Ollama，根据你的实际情况，也可以选择Linux系统进行部署

2.1 版本选择

进入网站之后，点击右上角的 Download按钮，根据个人的实际情况，选择不同类型的安装包进行部署，我这里选择的是Windows的版本；

注意，Ollama部署的时候，对服务器或机器是有一定要求的，所以需要根据你的机器配置情况进行选择，在Ollama的官网通过github的链接点进去，可以看到如下的相关参数指导说明，在这里，你部署的大模型参数越多，理论上来说，对机器的配置要求就越高，目前先关注这一点即可。

2.2 下载安装包

这里选择下载的是windows版本

2.3 执行安装

Ollama的安装比较简单，双击执行这个exe文件，等待安装完成即可

安装完成之后，点击开始进入下面的shell窗口

2.4 Ollama常用命令

cmd窗口输入Ollama，即可了解常用的Ollama命令

对于本机部署的Ollama工具的理解，可以参照Docker的使用经验。对于那些曾经操作过Docker的用户而言，通过Docker部署诸如MySQL或Redis等中间件的过程应当是相当熟悉的。

这一过程仅需执行一条简单的Docker命令即可实现，其便捷性不言而喻。同理，Ollama作为一个大型模型部署管理工具，通过执行其特定的命令，用户亦可迅速地在本地环境中部署并使用大型模型。

如果你需要使用Ollama部署大模型，可以在Ollama官网进行搜索，类似于你使用docker search 镜像名一样，并且有很多版本可供选择，像千问模型就有如下这么多版本。

如下，进入到某个大模型中，拷贝命令到shell窗口中执行即可

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

三、使用Ollama部署千问大模型

上面演示了基于本地windows操作系统搭建Ollama过程，下面我们使用Ollama部署一个大模型，这里使用Ollama部署千问大模型。

3.1 千问大模型介绍

“通义千问大模型”是阿里云推出的一个超大规模的语言模型，具有强大的归纳和理解能力，可以处理各种自然语言处理任务，包括但不限于文本分类、文本生成、情感分析等。此模型能够极大地提高了自然语言处理的效率和准确性，给用户提供了一种新的、简便的工具。

3.2 部署过程

在Ollama中搜索关键字qwen，然后选择一个参数相对较少（对本地的空间和资源占用减小）的进行运行

使用下面的命令运行

ollama run qwen:0.5b-chat

然后等待模型下载完成运行起来之后就可以使用了，下面这个进度窗口是不是与docker部署中间件很相像。

随后，用户能够输入文本内容，从而与千问大模型展开对话。继而，基于已部署的模型，可将其应用于实际工作或业务中，实现有效结合。

四、springboot接入Ollama

由于本地搭建了Ollama，并且在Ollama上安装了千问大模型，就可以将千问大模型当GPT一样使用进行交流，参考下面具体的对接步骤。

4.1 引入Ollama依赖

本地提前搭建一个springboot工程，然后引入Ollama核心依赖

4.2 添加配置文件

配置文件中添加Ollama相关的配置信息，注意的是，Ollama本地端口为11434

4.3 使用Ollama聊天api

Ollama聊天API的核心对象为OllamaChatClient，与上述的spring ai中提供的client对象类似，在程序中可以直接调用其api，如下，传入一个msg参数，返回响应的文本内容。

启动服务调用一下接口，可以看到响应的内容，通过这种方式，相当于是利用spring ai接入了本地的大模型进行对话聊天。

spring ai官网中也提供了Ollama的相关文档，地址：Ollama Chat :: Spring AI Reference，在文档中，可以找到很多有关Ollama的详细的配置参数，这些配置参数，都可以在Prompt对象或者配置文件中进行合理的使用，达到最佳的实践效果。

五.结尾

本文详细介绍了基于windows系统部署Ollama的过程，并演示了基于Ollama部署千问大模型的过程，以及如何与springboot对接，更详细和深入的可以参阅官网资料进一步学习。

​读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓