1.在autodl上安装ollama

学术加速 source /etc/network_turbo

下载ollama curl -fsSL https://ollama.com/install.sh | sh (linux系统)

可能有对应依赖需要安装,安装后重新下载即可

例如:lshw sudo apt-get update sudo apt-get install lshw

检查是否安装成功 systemctl status ollama.service

若systemctl systemd 没有安装 apt-get install systemd -y apt-get install systemctl -y

重启服务 systemctl start ollama.service

由于AutoDL只能开放6006端口,所以我们要想在本地电脑访问到Ollama接口,必须手动设置

Ollama端口为6006;同时将Ollama的模型保存地址也修改到autodl-tmp文件夹下

编辑 etc/profile文件

vim /etc/profile

按g 然后按o进入编辑模式 在文件底部加上以下内容

export OLLAMA_HOST="0.0.0.0:6006"

export OLLAMA_MODELS=/root/autodl-tmp/models

按esc :wq保存并退出

输入以下命令检查是否生效

source /etc/profile

检查是否生效

echo $OLLAMA_HOST

下载模型 我这里是deepseek-r1:32b ollama run deepseek-r1:32b

成功即可对话

访问autodl6006端口需在autodl容器实例中点击快捷工具的自定义服务下载对应工具 将端口代理到本地端口实现访问

最后在dify添加模型即可

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐