Ollama 是一个开源的大型语言模型(LLM)平台,旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。

这个是之前发过的博文,ollama的基础使用

本地部署deepseek (ollama简单使用方法,含网盘下载链接)-CSDN博客

ollama下载网盘链接(访问密码:7360)

https://url57.ctfile.com/f/45223957-1454403034-07c955?p=7360

deepseek现在是非常火爆,相信大家应该也都尝试本地部署了。部署完之后,想要开源模型有更高的定制化,该怎么办呢?这下可以用到ollmam终端modelfile。

操作方法:

首先可以先执行指令查看模型的modelfile的信息(以deepseek-r1:1.5为例)
ollama show deepseek-r1:1.5b --modelfile
 如图,图片上半部分上面给出了modelfile的模板,下半部分LICENSE是许可证信息。 

我们在D盘根目录下下创建名为Modelfile的空白文件

接下来就是在空白文件内写配置信息 (用记事本就可以)
下面这个是我写的一个示例模板
FROM deepseek-r1:1.5b
TEMPLATE """[INST] <>{
  
  { .System }}<>

{
  
  { .Prompt }} [/INST]
"""
PARAMETER temperature 0.7
PARAMETER top_k 60
PARAMETER top_p 0.5
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<>"
PARAMETER stop "<>"
SYSTEM """
你的名字叫鹤年同学,专精编程领域解决问题。
"""
  • FROM:指定使用 DeepSeek-r1:1.5b 版本。
  • TEMPLAT:定义了生成文本的模板格式。(便于下面定义SYSTEM)
  • [INST] <>{ { .System }}<>:这部分表示在生成的文本开头插入一个 [INST] 标记,然后插入系统指令(.System),最后插入一个 <> 分隔符。
  • { { .Prompt }} [/INST]:这部分表示插入用户提供的提示(.Prompt),并在结尾插入一个 [/INST] 标记。

  • temperature: 含义:控制生成文本的随机性。 值:0.7,表示生成的文本有一定的随机性,但不会过于离谱。

  • top_k: 含义:在生成文本时,只从概率最高的 k 个词中选择下一个词。 值:60,表示从概率最高的 60 个词中选择下一个词。

  • top_p: 含义:在生成文本时,只从累积概率达到 p 的词中选择下一个词。 值:0.5,表示从累积概率达到 50% 的词中选择下一个词。

  • PARAMETER stop :定义了生成文本时的停止标记。

  • [INST][/INST]:这两个标记用于指示指令的开始和结束。

  • <>:这个标记可能用于分隔不同的部分或表示结束。

  • SYSTEM:定义了系统指令,用于设置模型的初始行为和角色.

 写完之后,打开cmd 进入D盘生成我们的模型。(demo换为你要起的名字)
输入下面指令:
D:

ollama create demo -f Modelfile

创建完成之后我们查询一下模型列表验证一下
ollama list
有我们创建的模型就是成功了
运行模型 ollama run demo 进行模型测试,可以看到我们定义初始行为和角色的效果达到了。

接下来就可以进行愉快的对话了!!!

最后如果需要删除模型可以运行rm指令(demo替换为要删除的模型)

ollama rm demo

这次分享就到这里了!如果文章存在什么错误,欢迎各位大佬指正!!

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐