AI Engineering · Draft
AI 接口为什么不能当普通接口用
AI 接口有延迟、成本、失败、不可控输出等问题，需要调用日志、重试、超时和成本统计。
普通业务接口通常追求确定性，而 AI 接口天然存在响应波动。后端需要把耗时、失败原因、输入输出长度和模型来源记录下来。
- 调用日志
- 失败重试
- 超时控制
- 成本统计
- 输出格式校验
AI Engineering · Draft
AI 接口有延迟、成本、失败、不可控输出等问题，需要调用日志、重试、超时和成本统计。
普通业务接口通常追求确定性，而 AI 接口天然存在响应波动。后端需要把耗时、失败原因、输入输出长度和模型来源记录下来。