聊天补全
聊天补全端点为一段对话生成模型响应。它兼容 OpenAI，因此请求和响应的结构与 OpenAI Chat Completions API 一致。
POST https://api.shisa.ai/openai/v1/chat/completions
| 方法 | POST |
| 认证 | Authorization: Bearer YOUR_API_KEY |
| Content-Type | application/json |
请求体
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
model | string | 必填 | Shisa 模型 ID，例如 shisa-ai/shisa-v2.1-llama3.3-70b。参见模型。 |
messages | array | 必填 | 迄今为止的对话，以消息对象的有序列表表示。 |
stream | boolean | 可选 | 当为 true 时，部分令牌将作为 Server-Sent Events 流式传输。默认为 false。 |
temperature | number | 可选 | 采样温度。值越高越随机，值越低越确定。 |
路由器接受 top_p、max_tokens、stop、presence_penalty 和 frequency_penalty 等标准 OpenAI 兼容字段，并通常将其转发至后端。针对具体模型的防护规则可能会应用输出 token 默认值或上限，并注入抑制重复的采样默认值。已配置的有效默认值和上限会在经过身份验证的 /models 响应中公开。其他可选字段是否受支持以及具体如何生效，取决于所选模型和后端。
消息对象
messages 中的每个条目都有 role 和 content：
| 字段 | 类型 | 说明 |
|---|---|---|
role | string | system、user 或 assistant 之一。 |
content | string | 消息文本。 |
{
"model": "shisa-ai/shisa-v2.1-llama3.3-70b",
"messages": [
{ "role": "system", "content": "You are a helpful assistant fluent in Japanese and English." },
{ "role": "user", "content": "日本の四季について教えてください。" }
],
"temperature": 0.7,
"stream": false
}
响应
当 "stream": false 时，端点返回单个聊天补全对象。生成的回复位于 choices[0].message.content。
{
"id": "chatcmpl-...",
"object": "chat.completion",
"created": 1700000000,
"model": "shisa-ai/shisa-v2.1-llama3.3-70b",
"choices": [
{
"index": 0,
"message": { "role": "assistant", "content": "日本には四つの季節があります……" },
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 32,
"completion_tokens": 128,
"total_tokens": 160
}
}
上述示例值仅供说明 —— ID、时间戳和令牌数量会因每次请求而异。
流式响应
当 "stream": true 时，端点返回 Server-Sent Events。包含文本的数据块会将新增文本放在choices[0].delta.content中。为统计 token，路由器会在发往后端的请求中将stream_options.include_usage设为true。支持此选项的后端可能会在data: [DONE]标记之前发送一个choices数组为空的用量数据块，因此不要假设每个数据块都含有choices[0]。
data: {"id":"chatcmpl-...","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"日本"}}]}
data: {"id":"chatcmpl-...","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"には"}}]}
data: {"id":"chatcmpl-...","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}
data: {"id":"chatcmpl-...","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":32,"completion_tokens":128,"total_tokens":160}}
data: [DONE]
官方 OpenAI SDK 会为您处理这种帧格式 —— Python 和 Node 的流式示例请参阅快速开始。
错误
认证错误和请求错误会以标准的 HTTP 状态码和 JSON 主体返回。共享的错误格式和状态码请参阅错误，请求头要求请参阅认证。