LLM为什么重要以及大模型的三种接入方式(API、本地部署,SDK接入)
一、为什么 LLM 如此重要?
如果说前几年 AI 还是“炫技”的概念,那么大模型就是将 AI 变成⼀种基础资源,像电⼀样融入各行各业,驱动创新。
为什么说LLM如今至关重要呢?原因有三点
-
生产力革命的“加速器”。自动化所有基于语言和知识的工作:撰写、总结、翻译、编码、答疑……它将⼈类从重复性的脑力劳动中解放出来,让我们能更专注于创造、决策和战略思考。
-
它的核心价值不是替代⼈类,而是增强人类人机交互的“新范式” 。从“人适应机器”到“机器适应人”:我们不再需要学习复杂的软件菜单或编程语言,用最⾃然的“说话”⽅式,就能指挥机器完成任务。技术的使用门槛被极大地降低了。
-
产业智能化的“核⼼引擎”
赋能千行百业:
教育: 提供⼀对⼀、无限耐心的 AI 家教。
医疗: 辅助医⽣看影像资料、查阅最新文献病历。
法律: 快速分析海量卷宗,提炼关键信息。
文创: 提供⽆限的故事灵感、设计草图、配乐⽅案。
它正在成为和互联网、移动支付⼀样重要的数字化基础设施。
二、大模型的接入方式
常见的接入方式有三种,API接入,SDK接入,开源模型本地部署。
1、API接入
经典流程:
- 注册账号并获取 API Key:在模型提供商的平台上注册,获得用于⾝份验证的密钥。
- 查阅 API 文档:了解请求的端点、参数(如模型名称、提示词、温度、最大生成长度等)和返回的数据格式。
- 构建 HTTP 请求:在你的代码中,使⽤=用 HTTP 客户端库(如 Python 的 requests )构建⼀个包含 API Key(通常在 Header 中)和请求体(JSON 格式,包含你的提示和参数)的请求。
- 发送请求并处理响应:将请求发送到提供商指定的 API 地址,然后解析返回的 JSON 数据,提取生成的文本。
以deepseek为例
1、注册账号并创建一个API key,用于身份验证

2、查阅 API 文档,查看调用API所需要访问的地址,以及所需要报头,以及参数格式


3、构建 HTTP 请求(利用posman)


4、接收返回的json串

2、本地部署
- 获取模型:从 Hugging Face(国外)、魔搭社区(国内)等平台下载开源模型的权重。
- 准备环境:配置具有足够显存(如 NVIDIA GPU)的服务器,安装必要的驱动和推理框架。
- 选择推理框架:使用专为生产环境设计的框架来部署模型,例如:
vLLM:特别注重高吞吐量的推理服务,性能极佳。
TGI:Hugging Face 推出的推理框架,功能全⾯。
Ollama:非常用户友好,可以⼀键拉取和运行模型,适合快入门和本地开发。
LM Studio:提供图形化界面,让本地运行模型像使⽤软件⼀样简单。
- 启动服务并调用:框架会启动⼀个本地 API 服务器),你可以像调用云端 API ⼀样向这个本地地址发送请求。
以 Ollama 为例,下⾯我们来演示下具体过程
1.下载 Ollama
2.验证是否安装成功,成功则可以默认访问http://127.0.0.1:11434

3.修改模型存储路径:
模型默认安装在 C 盘个⼈⽬录下 C:\Users\XXX\.ollama ,可以修改 ollama 的模型存储路径,
使得每次下载的模型都在指定的目录下。有以下两种方式:
. 配置系统环境变量
变量名 : OLLAMA_MODELS变量值 : ${ ⾃定义路径 }

4.拉取模型
Ollama 可以管理和部署模型,我们使用之前,需要先拉取模型。
查找模型: https://ollama.com/search
以 DeepSeek-R1 为例, DeepSeek-R1 是⼀系列开放推理模型,其性能接近 O3 和 Gemini 2.5 Pro 等领先模型。 DeepSeek-R1 有不同的版本,我们需要根据自己机器的配置及需求来选择相应的版本。

ollama run deepseek-r1:1.5b

可以通过接⼝调用:
curl "http://127.0.0.1:11434/api/chat" \
-d '{
"model": "deepseek-r1:1.5b",
"messages":[
{"role": "user", "content": "夸夸我"}
],
"stream": false
}
SDK 接入
典型流程(以 OpenAI Python SDK 为例):
pip install openai
from openai import OpenAI
client = OpenAI(api_key="your-api-key")
response = client.responses.create(
model="gpt-5",
input="介绍⼀下你⾃⼰。"
)
print(response.output_text)
三、问题与思考
对于以上三种接入方式,我们该如何选择?
- 看数据敏感性:如果数据极其敏感,必须留在内部,本地部署是唯⼀选择。
- 看技术实力和资源:如果团队没有强大的 MLops能力,也没有预算购买和维护 GPU 服务器,云端 API 是更实际的选择。
- 看成本和规模:如果应用规模很大,长期来看,本地部署的固定成本可能低于持续的 API 调用费用。反之,小规模应用 API 更划算。
- 看定制需求:如果只是使用模型的通用能力,云端 API 足够。如果需要用自己的数据微调模型,则需要选择⽀持微调的 API 或直接本地部署。
更多推荐

所有评论(0)