跳到主要内容
  1. 文档
  2. 接入客户端

OpenAI SDK

用官方 OpenAI SDK(Python / Node.js)调用所有模型,包括流式输出。

本服务兼容 OpenAI 的 Chat Completions、Completions 与 Embeddings 接口。使用官方 SDK 时只需设置 base_url 和 api_key:

import os from openai import OpenAI client = OpenAI(    base_url="https://console.vailgo.cn/v1",    api_key=os.environ["VOLT_API_KEY"],) response = client.chat.completions.create(    model="<模型 ID>",    messages=[{"role": "user", "content": "你好"}],)print(response.choices[0].message.content)

流式输出

设置 stream: true 即可按 SSE 逐段返回。建议同时开启 stream_options.include_usage,在最后一个分片中拿到本次的用量:

python
stream = client.chat.completions.create(    model="<模型 ID>",    messages=[{"role": "user", "content": "写一首关于秋天的短诗"}],    stream=True,    stream_options={"include_usage": True},)for chunk in stream:    if chunk.choices and chunk.choices[0].delta.content:        print(chunk.choices[0].delta.content, end="", flush=True)

其他兼容工具

LangChain、LlamaIndex、Dify、Cherry Studio 等支持「OpenAI 兼容」服务商的工具,按下面的方式填写即可:

配置项 值
API Base / Base URL https://console.vailgo.cn/v1
API Key 控制台创建的 sk-volt-...
模型 模型列表中的 ID