生产使用场景

用于函数调用的 LLM API

销售助手可以查询账户、计算报价和创建订单草稿。用户请求必须先调用 lookup_account,再调用 calculate_quote;在人工确认准确草稿前,create_order 不可用。

将 LLM 响应连接到应用操作的已验证函数调用
用于函数调用的 LLM API

生产方案

API、主模型与故障切换配置

生产选择推荐配置原因
APIPOST /v1/chat/completions从服务端发送 OpenAI 兼容请求
主模型gpt-5.6-terraTerra 在工具选择和多步骤参数构造之间提供可靠性,同时避免每次调用都使用旗舰模型。
备用模型gpt-5.4单工具只读请求使用 gpt-5.4;只有涉及多个依赖工具且计划存在歧义时才升级到 Sol。
升级模型gpt-5.6-sol只有主路由越过已定义的质量或复杂度边界时才使用
输出契约经过验证的工具调用经过验证的工具调用和报价草稿;确认前不创建外部订单。
01
业务场景

函数调用在生产应用中的实际场景

销售助手可以查询账户、计算报价和创建订单草稿。用户请求必须先调用 lookup_account,再调用 calculate_quote;在人工确认准确草稿前,create_order 不可用。

模型只提出工具调用,应用在执行前验证 Schema、授权和状态。工具错误以结构化结果返回,相同的无效调用不会原样重试。

02
应用架构

函数调用工作流怎样运行

  • 只暴露当前状态允许的工具。
  • 让模型选择工具并提出参数。
  • 在应用代码中验证每个参数和权限。
  • 可能写入时使用幂等键执行。
  • 返回结构化结果,直到达到有边界的停止条件。
03
API 请求

通过 LLMFly AI 调用 gpt-5.6-terra

请求应从服务端发送。请将示例内容和占位工具 Schema 替换为应用中的真实数据与工具。

request.example可复制示例
curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.6-terra",
    "messages": [
      {"role": "system", "content": "Use the available tools to prepare a quote. Never create an order until the user confirms the exact draft. Do not invent account IDs or prices."},
      {"role": "user", "content": "Prepare a quote for 25 seats for Acme's current plan."}
    ],
    "tools": [{"type": "function", "function": {"name": "YOUR_TOOL", "description": "Replace with the tool contract for this workflow", "parameters": {"type": "object", "properties": {}, "additionalProperties": false}}}]
  }'
04
模型选择

为什么主模型选择 gpt-5.6-terra

Terra 在工具选择和多步骤参数构造之间提供可靠性,同时避免每次调用都使用旗舰模型。

单工具只读请求使用 gpt-5.4;只有涉及多个依赖工具且计划存在歧义时才升级到 Sol。

05
验收

函数调用的验收条件

指标通过条件
正确工具选择率模型会调用必要工具,并在请求无需工具时不调用
有效参数比例参数通过 Schema、范围、标识符和授权验证
工具错误后的恢复率收到可恢复的结构化错误后会修正调用,而不是原样重试
不安全调用比例任何有后果的工具都不会绕过必要权限或确认执行
06
失败处理

上线前必须处理的失败情况

  • 执行未经验证的参数
  • 原样重试无效调用
  • 工具描述互相重叠
  • 允许文本绕过权限
07
输出

返回结果与运行记录

经过验证的工具调用和报价草稿;确认前不创建外部订单。

每次生产运行都应记录模型 ID、Request ID、Token 用量、重试、验证结果和最终处理状态。

常见问题

首先应该跟踪什么指标?

先衡量是否选择正确工具或正确决定不调用,再衡量参数细节。

可以信任工具参数吗?

不可以。应验证类型、必填字段、范围、标识符和授权。

工具错误应该怎样返回?

返回简洁结构化错误,同时避免暴露 Secret 或内部追踪。

使用你的真实输入测试这套方案

让主模型和备用模型使用相同请求、工具和验证规则。

比较模型