- 文档
- 接入客户端
OpenAI SDK
用官方 OpenAI SDK(Python / Node.js)调用所有模型,包括流式输出。
本服务兼容 OpenAI 的 Chat Completions、Completions 与 Embeddings 接口。使用官方 SDK 时只需设置 base_url 和 api_key:
import os from openai import OpenAI client = OpenAI( base_url="https://console.vailgo.cn/v1", api_key=os.environ["VOLT_API_KEY"],) response = client.chat.completions.create( model="<模型 ID>", messages=[{"role": "user", "content": "你好"}],)print(response.choices[0].message.content)流式输出
设置 stream: true 即可按 SSE 逐段返回。建议同时开启 stream_options.include_usage,在最后一个分片中拿到本次的用量:
python
stream = client.chat.completions.create( model="<模型 ID>", messages=[{"role": "user", "content": "写一首关于秋天的短诗"}], stream=True, stream_options={"include_usage": True},)for chunk in stream: if chunk.choices and chunk.choices[0].delta.content: print(chunk.choices[0].delta.content, end="", flush=True)其他兼容工具
LangChain、LlamaIndex、Dify、Cherry Studio 等支持「OpenAI 兼容」服务商的工具,按下面的方式填写即可:
| 配置项 | 值 |
|---|---|
| API Base / Base URL | https://console.vailgo.cn/v1 |
| API Key | 控制台创建的 sk-volt-... |
| 模型 | 模型列表中的 ID |