大模型使用分为调用 第三方 API 服务和 自主部署两种方式，自主部署通常依赖高性能显卡但成本较高，而小参数量模型可本地部署；
Ollama 是一款轻量级开源本地大语言模型服务框架，能在 CPU 环境下运行优化量化后的大模型，支持 Llama、Qwen、ChatGLM 等多种主流模型，提供简易命令行工具与 API 接口，帮助个人开发者以低成本、普通硬件快速完成大模型的本地部署、推理与交互使用。

1.安装Ollama

1.1.官方安装包

直接从官网下载对应平台的安装包：https://ollama.com/download
同时，ollama也是开源的，可以到github上找到他：https://github.com/ollama/ollama 。项目的readme中也给出了部署的方式。支持docker一键部署。

1.2.命令行安装（Linux/macOS）

curl -L https://ollama.ai/install.sh | bash

1.3.docker安装

docker pull ollama/ollama

docker run -p 11434:11434 ollama/ollam

安装成功

等安装完成之后，就可以运行了。运行成功后，本地端口11434就打开了，访问即可得到：

2.Ollama常用命令

使用方法：
  ollama [选项]
  ollama [命令]
可用命令：
基础操作
  serve 启动 Ollama 服务
  create 创建模型
  show 显示模型信息
  run 运行模型
  stop 停止运行中的模型
模型管理
  pull 从注册表拉取模型
  push 将模型推送到注册表
  signin 登录 ollama.com
  signout 退出 ollama.com
  ls,list 列出所有模型
  ps 列出正在运行的模型
  cp 复制模型
  rm 删除模型
其他功能
  launch 启动 Ollama 菜单或集成应用
  help 显示关于任何命令的帮助信息
选项：
  -h, --help 显示 ollama 的帮助信息
  --nowordwrap 不自动将单词换行到下一行
  --verbose 显示响应的时间信息
  -v, --version 显示版本信息

3.启动一个模型

可在Ollama官网查询支持的模型列表！

这里选择一个合适的模型做演示，不同参数规模的模型对硬件要求参考：
● 1.5B模型：最低配置，几乎所有现代电脑都能运行
● 7B模型：建议8GB以上内存
● 14B模型：建议16GB以上内存
● 32B模型：建议32GB以上内存

以启动一个 deepseek-r1:7b 示例，首先从注册表拉取模型！

docker exec -it 76345772e636 ollama pull deepseek-r1:7b

模型拉取之后，就可以运行了，使用命令：

docker exec -it 76345772e636 ollama run deepseek-r1:7b

然后就可以在控制台中和模型对话。

同时，在启动ollama之后，会在本地开启11434端口，对外提供ollama的服务，后续如果想通过api接口访问本地模型，那么就可以用 http://localhost:11434

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:7b",
  "prompt":"你是谁?"
}'

我们在使用ollama的时候，有些模型，比如deepseek R1，他是默认会进行think的，就是回答之前他会先思考，输出一堆他的思考内容：

很多时候，think的内容会影响模型输出的效率，我们可以通过使用/set nothink命令来关闭思考模式！

4.Web访问

如果想在web端访问自己搭建的模型，可以通过其他工具进行，比如常见的：

• OpenWebUI：https://github.com/open-webui/open-webui
• PageAssist（Chrome插件）：https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo?pli=1

以OpenWebUI为实例，比如我本地安装了 Ollama，使用以下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成后，您可以通过http://localhost:3000访问 Open WebUI ！