两个文档:

火山引擎 文档中心:https://www.volcengine.com/docs/82379/1108216
火山方舟 模型广场:https://console.volcengine.com/ark/region:ark+cn-beijing/model

首先在模型广场把API搞到手:
在这里插入图片描述

然后再模型广场的在线推理,创建推理接入点

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
创建好后,如下图
在这里插入图片描述

在接入点中选择API调用
在这里插入图片描述

这里显示了示例
在这里插入图片描述
示例代码如下:

from volcenginesdkarkruntime import Ark
import os

# Doub的配置需要:
os.environ["ARK_API_KEY"] = "YOUR_API_KEY"

client = Ark(
    base_url="https://ark.cn-beijing.volces.com/api/v3",
)

# Non-streaming:
print("----- standard request -----")
completion = client.chat.completions.create(
    model="ep-20241114133215-75z5q",
    messages = [
        {"role": "system", "content": "你是豆包,是由字节跳动开发的 AI 人工智能助手"},
        {"role": "user", "content": "常见的十字花科植物有哪些?"},
    ],
)
print(completion.choices[0].message.content)

# Streaming:
print("----- streaming request -----")
stream = client.chat.completions.create(
    model="ep-20241114133215-75z5q",
    messages = [
        {"role": "system", "content": "你是豆包,是由字节跳动开发的 AI 人工智能助手"},
        {"role": "user", "content": "常见的十字花科植物有哪些?"},
    ],
    stream=True
)
for chunk in stream:
    if not chunk.choices:
        continue
    print(chunk.choices[0].delta.content, end="")
print()

结果如下:
在这里插入图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐