基于ollama本地部署的deepseek模型,使用langchain搭建python开发环境

一、说明

在调用deepseek模型时,多数推荐到官网申请api-key后才进行开发,这种方式虽然避免了本地部署大模型,但确需要收费,包括openAI也是一样的。所以自己在本地部署模型,使用也方便,唯一的不足是模型的精度问题,当然如果只是用来学习模型的应用完全没有问题。本实验均为在本地实操搭建的环境,主要流程如下:

  1. ollama本地部署的deepseek模型。
  2. 搭建conda环境虚拟环境,需要引入相关包进行调用。
  3. 写代码测试,主要使用

二、ollama本地部署的deepseek模型

请参考我写的一篇文章ollama本地部署的deepseek模型,我是在这个环境的基础上继续搭建的。

三、搭建本地conda环境

  1. 版本介绍
    ollama: 0.6.2
    deepseek: deepseek-r1:7b
    conda: 23.5.2
    python: 3.10

  2. 使用conda创建一个虚拟环境,此种方式可以隔离其他环境对你的干扰。创建的方式参考其他博主文章,非常简单,下面是我创建的环境:
    使用如下命令:

conda create --name chat_to_deepseek python=3.10

在这里插入图片描述
3. 安装相关依赖包:

pip install langchain
pip install langchain_ollama

四、写代码测试

  1. 使用pycharm创建一个新的工程,环境选择刚才创建的chat_to_deepseek虚拟环境。
  2. 测试代码如下:
from langchain_ollama import OllamaLLM
from langchain.prompts import PromptTemplate

# 创建提示模板
prompt = PromptTemplate(
    input_variables=["question"],
    template="请回答这个问题: {question}"
)

# 创建 OllamaLLM 实例
llm = OllamaLLM(model="deepseek-r1:7b", base_url="http://localhost:11434")

# 创建 RunnableSequence 实例
chain = prompt | llm

# 运行链
question = "人工智能的发展趋势如何?"
result = chain.invoke({"question": question})
print(result)
  1. 运行结果展示:
    在这里插入图片描述

福利

这篇文章主要讲了在此基础环境上如何使用prompts进行开发,使用prompts模板来调教大语言模型LLM的输入与输出,打造自己专属的“贾维斯”

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐