LM Studio 是一款帮助用户在 本地电脑上运行开源大语言模型（LLMs） 的工具，无需联网即可使用。它的核心功能是让普通人也能轻松体验和测试各类 AI 模型（如 LLaMA、Mistral 等），同时保障数据隐私。以下是它的主要特点和用途：

核心功能

1. 离线运行模型

   • 完全在本地运行，无需联网，所有数据处理在用户设备上完成，保护隐私。

   • 适合处理敏感信息或需要数据安全的场景。

2. 支持多种开源模型

   • 兼容 Hugging Face 平台上的大量开源模型（需下载 GGUF 格式）。

   • 例如：Llama 3、Phi-3、Mistral、Gemma 等。

3. 用户友好界面

   • 提供图形化界面（GUI），无需编程基础即可使用。

   • 支持聊天式交互，类似 ChatGPT 的体验。

4. 硬件适配灵活

   • 自动利用电脑的 GPU/CPU 资源加速推理（依赖硬件性能）。

   • 小型模型可在普通电脑运行，大型模型需要高性能配置（如显存充足）。

部署流程 

1. 下载LM Studio并安装

   • 如果卡在这一步建议直接使用DeepSeek官网。

2. 设置LM Studio语言并给予Hugging Face Proxy 权限

   • 点右下角设置。

     

   • 更换语言并勾选Use LM Studio‘s Hugging Face Proxy选项。

     

3. 选择模型下载并载入模型

   • 点击这个按钮。

     

   • 红框内可查找模型，若模型拥有多个不同大小的模型，可通过绿框更改。

     

   • 根据自身电脑配置下载对应模型，因模型使用时将加载至显存中，建议下载模型的大小不要远高于显卡的显存。

   • 下载完成后点击这里选择模型。(下载过程中服务器时常抽风，建议多瞅两眼是否正常在下载)

     

   • 选择后弹出加载设置界面，其中GPU卸载和CPU Thread Pool Size不建议拉满，建议开启快速注意力，设置完成后点加载模型。(若加载不成功就下调GPU卸载、CPU Thread Pool Size和关闭快速注意力，若始终无法加载建议更换更小的模型)

     

   • 点右上角这个按钮可以打开模型设置界面，进行添加系统提示等功能。(请自行探索)

     

   • 至此就能和已部署的AI模型开始聊天对话了，ai生成完一次回复之后，你把鼠标悬浮至回复上，会显示回复当前的运行情况。

     

4. 卸载已载入的模型

   • 使用完毕后点击这个按钮卸载已载入的模型，否在模型将滞留在显存中。

     

 成功了就点个赞吧！