生产使用场景

用于工作流自动化的 LLM API

应付账款工作流读取发票、匹配采购订单,让模型分类差异,再进入审批队列或创建异常工单。工作流状态保存在应用数据库,而不是聊天历史中。

包含重试、检查点和最终状态的多步骤自动化工作流
用于工作流自动化的 LLM API

生产方案

API、主模型与故障切换配置

生产选择推荐配置原因
APIPOST /v1/chat/completions从服务端发送 OpenAI 兼容请求
主模型gpt-5.6-terraTerra 处理有边界的判断节点,同时具备政策和异常分类所需的推理能力。
备用模型gpt-5.4-mini通过验证的窄分类可使用 gpt-5.4-mini。新型异常应升级到 Sol 或人工,而不是扩大模型权限。
升级模型gpt-5.6-sol只有主路由越过已定义的质量或复杂度边界时才使用
输出契约经过验证的 JSON结构化分类、政策规则 ID、解释,以及适用时的审查原因。
01
业务场景

工作流自动化在生产应用中的实际场景

应付账款工作流读取发票、匹配采购订单,让模型分类差异,再进入审批队列或创建异常工单。工作流状态保存在应用数据库,而不是聊天历史中。

模型只处理有歧义的分类。解析、算术、重复检测、写入、重试和截止时间保持确定性;每个外部写操作都带幂等键。

02
应用架构

工作流自动化工作流怎样运行

  • 持久化状态和不可变输入引用。
  • 运行确定性解析与匹配。
  • 只在有歧义的决策节点调用模型。
  • 根据政策和置信规则验证决策。
  • 幂等写入下一状态,或路由到审查。
03
API 请求

通过 LLMFly AI 调用 gpt-5.6-terra

请求应从服务端发送。请将示例内容和占位工具 Schema 替换为应用中的真实数据与工具。

request.example可复制示例
curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.6-terra",
    "messages": [
      {"role": "system", "content": "Classify the invoice discrepancy using the supplied policy. Return MATCH, REVIEW, or REJECT with the exact policy rule. Do not perform any external action."},
      {"role": "user", "content": "Classify this invoice and purchase-order discrepancy."}
    ],
    "response_format": {"type": "json_object"}
  }'
04
模型选择

为什么主模型选择 gpt-5.6-terra

Terra 处理有边界的判断节点,同时具备政策和异常分类所需的推理能力。

通过验证的窄分类可使用 gpt-5.4-mini。新型异常应升级到 Sol 或人工,而不是扩大模型权限。

05
验收

工作流自动化的验收条件

指标通过条件
端到端完成率工作流到达已记录的成功状态,且每个必要步骤都已满足
重复写入比例重放和重试不会生成重复消息、工单、支付或更新
人工介入率只有预先定义的异常路径需要人工恢复
每个工作流的成本与耗时成功运行不超过工作流的时间与成本预算
06
失败处理

上线前必须处理的失败情况

  • 把聊天历史作为状态存储
  • 重试非幂等写操作
  • 授予不必要权限
  • 没有最终失败路径
07
输出

返回结果与运行记录

结构化分类、政策规则 ID、解释,以及适用时的审查原因。

每次生产运行都应记录模型 ID、Request ID、Token 用量、重试、验证结果和最终处理状态。

常见问题

工作流状态应该保存在哪里?

保存在应用数据库或工作流引擎中,只把相关状态传给模型。

哪些操作需要幂等?

所有可能重试的外部写操作,包括消息、工单、支付和更新。

什么时候停止重试?

采用有上限的策略,并把最终失败移入带恢复上下文的审查队列。

使用你的真实输入测试这套方案

让主模型和备用模型使用相同请求、工具和验证规则。

比较模型