OpenAI 在其 API 中引入了结构化输出功能，这意味着模型的输出可以可靠地遵循开发人员提供的 JSON 模式。

对复杂 JSON 模式进行评估时，具有结构化输出的新模型 gpt-4o-2024-08-06 得分为 100%。相比之下，gpt-4-0613 得分不到 40%。

这一功能包括两种形式：

• 函数调用：通过在函数定义中设置 strict: true可以使用工具的结构化输出。此功能适用于支持工具的所有型号大模型，包括所有型号 gpt-4-0613 和 gpt-3.5-turbo-0613 及更高版本。启用结构化输出后，模型输出将与提供的工具定义匹配。
•  response_format参数新选项：开发人员现在可以使用新参数 JSON 模式json_schema。此功能适用于最新的 GPT-4o 模型：gpt-4o-2024-08-06、gpt-4o-mini-2024-07-18。当response_format设定strict: true，模型输出将与提供的模式匹配。

函数调用通过在函数定义中设置结构化输出，使模型输出与提供的工具定义相匹配，适用于所有支持工具的模型。参数 response_format 允许开发人员通过提供 JSON 模式来约束模型的响应格式，适用于最新的 GPT-4o 模型。此外，新的结构化输出功能遵循 OpenAI 的安全政策，允许模型拒绝不安全的请求，并通过新的字符串值 refusal 在 API 响应中允许开发人员以编程方式检测模型的拒绝。

同时 OpenAI 还提供了原生 SDK 支持结构化输出，包括 Python 和 Node SDK，简化了开发过程。结构化输出还支持从非结构化数据中提取结构化数据，如会议记录中的待办事项和截止日期。为了实现这一功能，OpenAI 采用了基于上下文无关语法 (CFG) 的受限解码方法，而不是传统的有限状态机 (FSM) 或正则表达式，以处理更复杂的嵌套或递归数据结构。具体原理可以查看官方博客深入了解：https://openai.com/index/introducing-structured-outputs-in-the-api

结构化输出目前已在 API 中正式推出，支持所有支持函数调用的模型，包括 GPT-4o 和 GPT-4o-mini 系列，以及之后的所有模型。此功能还与视觉输入兼容，并且可以在 chat.completion API、助手 API 和批处理 API 上使用。结构化输出的引入有助于开发人员构建更可靠的 AI 应用程序，并且可以节省输入输出费用。

简单看一下示例：

1、Function Calling:

POST /v1/chat/completions
{
  "model": "gpt-4o-2024-08-06",
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant. The current date is August 6, 2024. You help users query for the data they are looking for by calling the query function."
    },
    {
      "role": "user",
      "content": "look up all my orders in may of last year that were fulfilled but not delivered on time"
    }
  ],
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "query",
        "description": "Execute a query.",
        "strict": true,
        "parameters": {
          "type": "object",
          "properties": {
            "table_name": {
              "type": "string",
              "enum": ["orders"]
            },
            "columns": {
              "type": "array",
              "items": {
                "type": "string",
                "enum": [
                  "id",
                  "status",
                  "expected_delivery_date",
                  "delivered_at",
                  "shipped_at",
                  "ordered_at",
                  "canceled_at"
                ]
              }
            },
            "conditions": {
              "type": "array",
              "items": {
                "type": "object",
                "properties": {
                  "column": {
                    "type": "string"
                  },
                  "operator": {
                    "type": "string",
                    "enum": ["=", ">", "<", ">=", "<=", "!="]
                  },
                  "value": {
                    "anyOf": [
                      {
                        "type": "string"
                      },
                      {
                        "type": "number"
                      },
                      {
                        "type": "object",
                        "properties": {
                          "column_name": {
                            "type": "string"
                          }
                        },
                        "required": ["column_name"],
                        "additionalProperties": false
                      }
                    ]
                  }
                },
                "required": ["column", "operator", "value"],
                "additionalProperties": false
              }
            },
            "order_by": {
              "type": "string",
              "enum": ["asc", "desc"]
            }
          },
          "required": ["table_name", "columns", "conditions", "order_by"],
          "additionalProperties": false
        }
      }
    }
  ]
}

格式化输出：

{
  "table_name": "orders",
  "columns": ["id", "status", "expected_delivery_date", "delivered_at"],
  "conditions": [
    {
      "column": "status",
      "operator": "=",
      "value": "fulfilled"
    },
    {
      "column": "ordered_at",
      "operator": ">=",
      "value": "2023-05-01"
    },
    {
      "column": "ordered_at",
      "operator": "<",
      "value": "2023-06-01"
    },
    {
      "column": "delivered_at",
      "operator": ">",
      "value": {
        "column_name": "expected_delivery_date"
      }
    }
  ],
  "order_by": "asc"
}

2、response_format参数方式：

POST /v1/chat/completions
{
  "model": "gpt-4o-2024-08-06",
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful math tutor."
    },
    {
      "role": "user",
      "content": "solve 8x + 31 = 2"
    }
  ],
  "response_format": {
    "type": "json_schema",
    "json_schema": {
      "name": "math_response",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "steps": {
            "type": "array",
            "items": {
              "type": "object",
              "properties": {
                "explanation": {
                  "type": "string"
                },
                "output": {
                  "type": "string"
                }
              },
              "required": ["explanation", "output"],
              "additionalProperties": false
            }
          },
          "final_answer": {
            "type": "string"
          }
        },
        "required": ["steps", "final_answer"],
        "additionalProperties": false
      }
    }
  }
}

格式化输出：

{
  "steps": [
    {
      "explanation": "Subtract 31 from both sides to isolate the term with x.",
      "output": "8x + 31 - 31 = 2 - 31"
    },
    {
      "explanation": "This simplifies to 8x = -29.",
      "output": "8x = -29"
    },
    {
      "explanation": "Divide both sides by 8 to solve for x.",
      "output": "x = -29 / 8"
    }
  ],
  "final_answer": "x = -29 / 8"
}

最后再来看一下当前世面上的一些格式化输出框架：