背景

Ollama安装deepseek的教程可查看文章《最简单的方式本地部署DeepSeek,小白都可以学会》,Ollama可通过官网首页https://ollama.com/下载,如下载不了,则通过“科学上网”。

Ollama的安装过程,与安装其他普通软件并没有什么两样,安装完成之后,有几个常用的系统环境变量参数建议进行设置:

修改环境变量

一 OLLAMA_MODELS

模型文件存放目录,默认目录为当前用户目录

Windows 目录:

C:\Users%username%.ollama\models,

MacOS 目录:

~/.ollama/models,

Linux 目录:

/usr/share/ollama/.ollama/models,

PS:Windows 系统建议修改(如:D:),避免 C 盘空间吃紧

二 OLLAMA_HOST:

Ollama 服务监听的网络地址,默认为127.0.0.1,如果允许其他电脑访问 Ollama(如:局域网中的其他电脑),建议设置成0.0.0.0,从而允许其他网络访问

三 OLLAMA_PORT:

Ollama 服务监听的默认端口,默认为11434,如果端口有冲突,可以修改设置成其他端口(如:8080等)

四 OLLAMA_ORIGINS:

HTTP 客户端请求来源,半角逗号分隔列表,若本地使用无严格要求,可以设置成星号,代表不受限制

五 OLLAMA_KEEP_ALIVE:

大模型加载到内存中后的存活时间,默认为5m即 5 分钟(如:纯数字如 300 代表 300 秒,0 代表处理请求响应后立即卸载模型,任何负数则表示一直存活);我们可设置成24h,即模型在内存中保持 24 小时,提高访问速度

六 OLLAMA_NUM_PARALLEL:

请求处理并发数量,默认为1,即单并发串行处理请求,可根据实际情况进行调整

七 OLLAMA_MAX_QUEUE:

请求队列长度,默认值为512,可以根据情况设置,超过队列长度请求被抛弃

八 OLLAMA_DEBUG:

输出 Debug 日志标识,应用研发阶段可以设置成1,即输出详细日志信息,便于排查问题

九 OLLAMA_MAX_LOADED_MODELS:

最多同时加载到内存中模型的数量,默认为1,即只能有 1 个模型在内存中

不想错过文章内容?读完请点一下“在看图片,加个关注”,您的支持是我创作的动力

期待您的一键三连支持(点赞、在看、分享~)

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐