一、为什么 LLM 如此重要?

        如果说前几年 AI 还是“炫技”的概念,那么大模型就是将 AI 变成⼀种基础资源,像电⼀样融入各行各业,驱动创新。

        为什么说LLM如今至关重要呢?原因有三点

  • 生产力革命的“加速器”。自动化所有基于语言和知识的工作:撰写、总结、翻译、编码、答疑……它将⼈类从重复性的脑力劳动中解放出来,让我们能更专注于创造、决策和战略思考。

  • 它的核心价值不是替代⼈类,而是增强人类人机交互的“新范式” 。从“人适应机器”到“机器适应人”:我们不再需要学习复杂的软件菜单或编程语言,用最⾃然的“说话”⽅式,就能指挥机器完成任务。技术的使用门槛被极大地降低了。

  • 产业智能化的“核⼼引擎”

    赋能千行百业:

    教育: 提供⼀对⼀、无限耐心的 AI 家教。

    医疗: 辅助医⽣看影像资料、查阅最新文献病历。

    法律: 快速分析海量卷宗,提炼关键信息。

    文创: 提供⽆限的故事灵感、设计草图、配乐⽅案。

    它正在成为和互联网、移动支付⼀样重要的数字化基础设施。

二、大模型的接入方式

常见的接入方式有三种,API接入,SDK接入,开源模型本地部署。

1、API接入

经典流程:

  • 注册账号并获取 API Key:在模型提供商的平台上注册,获得用于⾝份验证的密钥。
  • 查阅 API 文档:了解请求的端点、参数(如模型名称、提示词、温度、最大生成长度等)和返回的数据格式。
  • 构建 HTTP 请求:在你的代码中,使⽤=用 HTTP 客户端库(如 Python 的 requests )构建⼀个包含 API Key(通常在 Header 中)和请求体(JSON 格式,包含你的提示和参数)的请求。
  • 发送请求并处理响应:将请求发送到提供商指定的 API 地址,然后解析返回的 JSON 数据,提取生成的文本。

以deepseek为例

1、注册账号并创建一个API key,用于身份验证

2、查阅 API 文档,查看调用API所需要访问的地址,以及所需要报头,以及参数格式

3、构建 HTTP 请求(利用posman)

4、接收返回的json串

2、本地部署

大模型本地部署,这种方式就是将开源的大型语言模型(如 Llama、ChatGLM、Qwen 等)部署在你自己的硬件环境中。核心概念就是,将下载模型的文件(权重和配置文件),使用专门的推理框架在本地服务器或 GPU 上加载并运行模型,然后通过类似 API 的方式进行交互。
典型流程是:
  • 获取模型:从 Hugging Face(国外)、魔搭社区(国内)等平台下载开源模型的权重。
  • 准备环境:配置具有足够显存(如 NVIDIA GPU)的服务器,安装必要的驱动和推理框架。
  • 选择推理框架:使用专为生产环境设计的框架来部署模型,例如:

        vLLM:特别注重高吞吐量的推理服务,性能极佳。

        TGI:Hugging Face 推出的推理框架,功能全⾯。

        Ollama:非常用户友好,可以⼀键拉取和运行模型,适合快入门和本地开发。

        LM Studio:提供图形化界面,让本地运行模型像使⽤软件⼀样简单。

  • 启动服务并调用:框架会启动⼀个本地 API 服务器),你可以像调用云端 API ⼀样向这个本地地址发送请求。

以 Ollama 为例,下⾯我们来演示下具体过程

1.下载 Ollama

2.验证是否安装成功,成功则可以默认访问http://127.0.0.1:11434

3.修改模型存储路径:

模型默认安装在 C 盘个⼈⽬录下 C:\Users\XXX\.ollama ,可以修改 ollama 的模型存储路径,

使得每次下载的模型都在指定的目录下。有以下两种方式:

. 配置系统环境变量

变量名 : OLLAMA_MODELS
变量值 : ${ ⾃定义路径 }
. 通过 Ollama 界⾯来进⾏设置

设置完成后,重启 Ollama

4.拉取模型

Ollama 可以管理和部署模型,我们使用之前,需要先拉取模型。

查找模型: https://ollama.com/search

DeepSeek-R1 为例, DeepSeek-R1 是⼀系列开放推理模型,其性能接近 O3 和 Gemini 2.5 Pro 等领先模型。 DeepSeek-R1 有不同的版本,我们需要根据自己机器的配置及需求来选择相应的版本。

根据需求及电脑配置,选择合适的模型版本,以 1.5b 为例:
ollama run deepseek-r1:1.5b

下载完成之后,就会出现命令⾏,可以通过命令行和 AI 模型对话。
可以通过接⼝调用:

curl "http://127.0.0.1:11434/api/chat" \

-d '{

        "model": "deepseek-r1:1.5b",

        "messages":[

                {"role": "user", "content": "夸夸我"}

        ],

        "stream": false

}

SDK 接入

这并非⼀种独立的接人方式,二是对第⼀种 API 接入的封装和简化。模型提供商通常会发布官方编程语言 SDK,为我们封装好了底层的 HTTP 请求细节,提供⼀个更符合编程习惯的、语言特定的函数库。

典型流程(以 OpenAI Python SDK 为例):

pip install openai

安装 OpenAI SDK 后,可以创建⼀个名为 example.py 的⽂件并将实例代码复制到其中

from openai import OpenAI

client = OpenAI(api_key="your-api-key")

response = client.responses.create(

        model="gpt-5",

        input="介绍⼀下你⾃⼰。"

)

print(response.output_text)

三、问题与思考

对于以上三种接入方式,我们该如何选择?

  • 看数据敏感性:如果数据极其敏感,必须留在内部,本地部署是唯⼀选择。
  • 看技术实力和资源:如果团队没有强大的 MLops能力,也没有预算购买和维护 GPU 服务器,云端 API 是更实际的选择。
  • 看成本和规模:如果应用规模很大,长期来看,本地部署的固定成本可能低于持续的 API 调用费用。反之,小规模应用 API 更划算。
  • 看定制需求:如果只是使用模型的通用能力,云端 API 足够。如果需要用自己的数据微调模型,则需要选择⽀持微调的 API 或直接本地部署。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐