切换外观
数据流与上游服务
模型生成请求会经过 Token Factory,再发送给实际提供推理能力的模型服务商。选择模型时,应同时了解接口行为、请求中包含的数据和上游处理安排。
一次生成请求经过哪些环节
- 调用方提交请求。 使用 Token Factory API Key、公开模型 ID 和对应协议的请求格式;消息、工具参数、图片或文件内容是否可提交,以具体端点为准。
- 平台检查与选路。 平台执行鉴权、权益与必要协议检查,选择供应路线,并在协议约定的位置把公开模型 ID 映射为上游模型 ID。
- 上游完成推理。 请求中用于推理的内容会发送给实际模型服务商;模型参数是否受支持、生成内容和上游限制由相应模型及供应商决定。
- 平台返回结果并记录用量。 平台按公开协议整理响应,并根据取得的实际计量事实执行相应计费流程。具体规则见计费说明。
Token 预估接口在平台本地计算,不调用模型供应商;预估值用于输入预算,不作为账单。其输入范围与限制见API 兼容性说明。
返回内容与错误如何处理
成功响应会检查必要结构、补齐无歧义的缺省字段并保留合法扩展。平台执行的报文检查,不代表生成内容已经满足你的业务要求。
上游非 2xx 响应会归一化为当前 OpenAI 或 Anthropic 协议的错误信封,并仅转发安全响应头。客户端应按当前入口处理错误,不能依赖上游原始错误正文和全部响应头保持不变。
流式响应开始后仍可能失败。已经收到部分内容或调用结果不明确时,应结合错误处理与流式响应和重试判断是否重试,避免无条件重放请求。
发送业务数据前
- 列出请求实际包含的数据:提示词、历史消息、工具参数、图片、文件和可识别用户的标识,并只发送完成任务所需的部分。
- 使用合成或脱敏样本完成初次验证;不要把 API Key、密码或与任务无关的个人信息放入正文。
- 涉及个人信息、商业秘密或行业受限数据时,先确认授权、实际服务商、处理地域、保存与删除安排。
平台的调用记录与上游的数据处理分别核对,不能由平台某张表不保存正文推断上游也不保存或不用于训练。相关范围见数据处理与请求关联和模型与供应商披露;需要书面确认时,请通过支持渠道联系。