
初探开源项目simple-one-api的windows本地部署,以及在沉浸式翻译中增加deepseek-v1的方法
在学习大预言模型的时候,偶然看到了这个项目:simple-one-api由于在学习过程中需要调用很多api,所以希望有一个统一的接口进行调用,偶然中看到了这个项目,但是由于新手的缘故,实在看不太懂md,在探究了很久之后才弄明白了应该怎么做,现在分享出来以供参考。
前言
在学习大预言模型的时候,偶然看到了这个项目:simple-one-apifruitbars/simple-one-api: OpenAI 接口接入适配,支持千帆大模型平台、讯飞星火大模型、腾讯混元以及MiniMax、Deep-Seek,等兼容OpenAI接口,仅单可执行文件,配置超级简单,一键部署,开箱即用. Seamlessly integrate with OpenAI and compatible APIs using a single executable for quick setup and deployment.
由于在学习过程中需要调用很多api,所以希望有一个统一的接口进行调用,偶然中看到了这个项目,但是由于新手的缘故,实在看不太懂md,在探究了很久之后才弄明白了应该怎么做,现在分享出来以供参考。
部署
本文采用的是clone部署(因为不知道Docker 是啥),首先新建一个文件夹,在github上把整个项目clone下来
git clone https://github.com/fruitbars/simple-one-api.git
因为项目是用go语言编译的,所以检查是否有go环境,具体安装方式如下
Download and install - The Go Programming Language
下载号之后点击文件夹内的
出现一个文件
点击他,这样的启动了
运行
这个地方我就卡住了,因为出现了一个黑框完全不知道要干啥。接下来按照以下步骤:
观看官方文档,发现需要更改
config.json
打开config.json文件
看到如上结构。需要知道的是该项目是统一端口来进行调用api的,所以json文件的外层可以理解为整个项目的设置。首先是“api key”这部分是为了统一对外的key(每个模型都有key,这样可以避免输入太多次,“keload_balabcing”是指定哪个模型,用random就是随机一个模型,"server_port"是对外端口,如果没有被占用的话,基本上不会出问题。
接下来就是更改需要的ai结构,如果希望增加deepseek,该怎么做呢?在openai下,可以更改models名称,然后去官网获取自己的api key即可。如果需要其他的模型,也可以增加其他的models,具体方式可以参考官方文档
用法
修改完配置文件,该怎么调用呢?这也是我非常头疼的地方,卡了很久
首先编写一个py文件
from openai import OpenAI
client = OpenAI(base_url="http://localhost:9090/v1", api_key="sk-123456") # 密钥未来可以改变
response = client.chat.completions.create(
model="random",
messages=[{"role": "user", "content": "你好"}],
)
res = response.choices[0].message.content
print(res)
这里的base_url就填写的上面json的端口,密码就是统一的密码
看到输出,说明调用成功。接着就可以用该框架调用任意model了,如果需要指定model,只需要把model改为该模型名称即可
更多推荐
所有评论(0)