一、在 Ollama 中设置默认上下文长度

Ollama 默认的上下文长度通常是 2048 tokens,你可以通过以下两种方式全局修改为 4096。

方法 1:设置环境变量(推荐,简单)

在启动 Ollama 服务前设置环境变量 OLLAMA_CONTEXT_LENGTH

Linux/macOS(临时设置):

export OLLAMA_CONTEXT_LENGTH=4096

ollama serve

永久设置(写入 ~/.bashrc 或 ~/.zshrc):

echo 'export OLLAMA_CONTEXT_LENGTH=4096' >> ~/.bashrc

source ~/.bashrc

Windows(PowerShell):

$env:OLLAMA_CONTEXT_LENGTH=4096
ollama serve

设置后,所有通过 Ollama 加载的模型都将默认使用 4096 上下文。

方法 2:为特定模型创建自定义 Modelfile

如果你想只对 deepseek-coder:6.7b 设置 4096,而不影响其他模型:

  1. 创建一个 Modelfile

    text

    FROM deepseek-coder:6.7b
    PARAMETER num_ctx 4096
  2. 创建新模型:

    bash

    ollama create deepseek-coder-ctx4096 -f ./Modelfile
  3. 使用新模型:

    bash

    ollama run deepseek-coder-ctx4096

然后在 Continue 中配置模型名称为 deepseek-coder-ctx4096


二、在 Continue 中设置上下文长度

Continue 也支持在配置文件中直接指定模型的最大上下文窗口,覆盖 Ollama 的默认值。

编辑 ~/.continue/config.yaml,在模型条目下添加 contextLength 字段:

yaml

models:
  - name: DeepSeek Coder 6.7B
    provider: ollama
    model: deepseek-coder:6.7b
    useTools: false
    contextLength: 4096   # 关键:设置为 4096

保存后重启 VS Code 或刷新 Continue 面板,配置即生效。

注意contextLength 的单位是 tokens,并非字符数。对于代码,通常 1 token ≈ 4 个英文字符或 1 个汉字,你可以根据需求微调。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐