首先,需要一个能接入所有大模型参数的平台,还要求免费。Ollama就是这样一个平台,可装载各种开源大模型。

要有UI界面,还需要UI界面体验感比较好,也要求免费。首选Chatbox,可调用各种平台的API。

需要手动安装和下载。打开Ollama在dos环境下,运行图中的命令,会自动下载到本地。

然后安装Chatbox,打开设置,先选 Ollama API,然后按图中选择要加载的模型即可。

加载完成后就可以聊天了,不需要联网。

注意:7b可以在 GPU2080的显卡流畅跑起来。32b需要3090以上版本的卡。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐