前言

在AI技术快速发展的今天，大语言模型（如GPT、Deepseek等）已成为开发者的重要工具。本地部署大模型有以下优势：

• 数据隐私：敏感代码或数据无需上传云端。

• 离线使用：无网络环境下仍可运行。

• 定制化：支持微调和扩展模型功能。

本文将基于Deepseek模型，演示如何通过Ollama工具实现本地部署，并在VS Code和Chatbox中调用。观复君说一下出这篇博文的目的：国产Deepseek由于外网攻击等因素，服务器经常连接不上，为了深入感受一下Deepseek的魅力就本地部署玩了一下。相信随着时间的流逝，Deepseek的正常访问将不再是问题，届时这篇博文也就失去了部分意义。

部分名词解释

大语言模型（Large Language Model, LLM）是基于海量文本训练的深度学习模型，能够理解并生成类人文本。典型应用包括：

• 代码生成与补全

• 文本翻译与摘要

• 对话系统

• 知识问答

Deepseek 是国内团队开发的开源大模型，专注于代码理解和生成，支持C++、Python等多种语言。

Ollama 是一个开源工具，专为本地运行大模型设计，提供以下功能：

• 一键安装模型：支持Llama、Deepseek等主流模型。

• 资源管理：自动处理GPU/CPU资源分配。

• 服务化部署：支持API调用，方便集成到开发环境。

Ollama安装

下面所有操作都是基于Ubuntu22.04，请知悉！

方法一：脚本安装（推荐网络通畅时使用）

curl -fsSL https://ollama.com/install.sh | sh

方法二：离线安装（解决网络超时问题）

1. 下载离线包：ollama-linux-amd64.tgz
2. 解压下载包：

   sudo tar -C /usr/ -xzf ollama-linux-amd64.tgz

3. 启动Ollama:

   ollama serve

4. 配置Ollama开机启动：
   1. Create a user and group for Ollama:

      sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
      sudo usermod -a -G ollama $(whoami)

   2. Create a service file in /etc/systemd/system/ollama.service:

      [Unit]
      Description=Ollama Service
      After=network-online.target
      
      [Service]
      ExecStart=/usr/bin/ollama serve
      User=ollama
      Group=ollama
      Restart=always
      RestartSec=3
      Environment="PATH=$PATH"
      
      [Install]
      WantedBy=default.target

   3. Then start the service:

      sudo systemctl daemon-reload
      sudo systemctl enable ollama

Ollama本地部署Deepseek

查看GPU配置

使用nvidia-smi指令确认一下自己的显卡配置

安装Deepseek模型

根据显存选择模型版本：

• ≥8GB显存：安装7B版本

  ollama run deepseek-rl:7b

• <8GB显存：安装1.5B版本

  ollama run deepseek-rl:1.5b

VS Code调用Deepseek

vscode安装continue扩展

continue配置调用本地模型

按照如下所示配置后点击connect

ChatBox调用本地Deepseek

1. 下载chatbox app

2. 添加可执行权限: chmod +x Chatbox-1.9.8-x86_64.AppImage

3. 打开Chatbox: ./Chatbox-1.9.8-x86_64.AppImage

4. chatbox配置调用本地模型，如下图，保存生效