1.安装OLLAMA

进入ollama官网:Download Ollama on Windows,点击Download for Windows按钮即可下载(如果觉得下载慢可以看之前的文章三种快速下载OLLAMA的方法(任何版本都适用)-CSDN博客

下载完之后,点击Install安装

2.下载模型

进入ollama官网下载模型:Ollama模型库,下载 deepseek-r1 模型(演示下载的为7b版本,即下面蓝色字体中的 7b ,根据个人的电脑配置选择,初始可以选择下载1.5b版本的)

3.配置环境变量

增加一个环境变量名为OLLAMA_MODELS,路径选择自己放模型的目录(该环境变量的作用是告诉ollama存放模型文件的地址)

4.运行ollama

一般安装之后任务栏中就会出现ollama软件的图标,如果没有的话就找到ollama点击运行即可

5.配置模型

进入存放模型的目录,将之前下载的模型放在了DeepSeek-R1-7B中

该目录下面只存放两个文件一个是模型的配置文件,一个是下载的模型

重点的是DeepSeek-R1-7B.txt中的配置,该配置除了FROM后面的路径,其余基本通用,想要更适合自己电脑的话也可以自己调整

# 设置模型路径
FROM ./DeepSeek-R1-Distill-Qwen-7B-Q8_0.gguf
# 设置模型配置参数
PARAMETER temperature 0.7                       
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 1024                 
PARAMETER num_thread 4                  
PARAMETER num_gpu 8                     


# 设置对话终止符
PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|User|>"
PARAMETER stop "<|Assistant|>"


SYSTEM """
"""

TEMPLATE """{
  
  {- if .System }}{
  
  { .System }}{
  
  { end }} 
{
  
  {- range $i, $_ := .Messages }} 
{
  
  {- $last := eq (len (slice $.Messages $i)) 1}}
{
  
  {- if eq .Role "user" }}<|User|>{
  
  { .Content }}
{
  
  {- else if eq .Role "assistant" }}<|Assistant|>{
  
  { .Content }}{
  
  {- if not $last }}<|end▁of▁sentence|>{
  
  {- end }}
{
  
  {- end }}
{
  
  {- if and $last (ne .Role "assistant") }}<|Assistant|>{
  
  {- end }} 
{
  
  {- end }}"""

6.启动模型

在环境变量设置的目录进入cmd

使用ollama create {yourModelName} -f {yourModelFile}命令创建模型(ollama create DeepSeek-R1-7B -f ./DeepSeek-R1-7B/DeepSeek-R1-7B.txt),出现success就代表创建成功了

这时使用ollama list命令查看创建的模型,会出现刚刚命令中写的ModelName

接下来使用ollama run {yourModelName}(ollama run DeepSeek-R1-7B-Model01),就会出现一个对话框,接下来就可以开始对话使用了

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐