Envoy AI Gateway v0.3 版本带来了智能推理路由（通过 Endpoint Picker 集成）、扩展了供应商生态（支持 Google Vertex AI 生产环境和原生 Anthropic API），并提供了企业级的 OpenInference 跟踪观测能力。

Envoy AI Gateway v0.3 不仅是一个功能更新，更是向智能、生产级 AI 基础设施的根本转变。本次发布解决了企业环境中阻碍 AI 应用的三大关键挑战：

1. 从静态到智能路由

传统负载均衡器把 AI 推理端点当作普通 Web 服务器处理，但 AI 工作负载本质不同。通过 Endpoint Picker 集成，Envoy AI Gateway 现在能基于实时 AI 专用指标（如 KV-cache 使用率、队列深度、LoRA 适配器信息）做出智能路由决策。

带来的好处：

2. 扩展的供应商生态

从实验性集成走向生产级支持。支持 Google Vertex AI，提供 Gemini 模型的完整流式功能。Anthropic 在 Vertex AI 上从实验转为生产级，支持多工具和可配置 API 版本。

带来的好处：

3. 企业级 AI 观测能力

v0.3 在四个关键领域提供全面的 AI 监控支持。

带来的好处：

v0.3 亮点功能

Endpoint Picker Provider：AI 负载均衡的未来

v0.3 重点集成 Gateway API 推理扩展，实现智能端点选择，理解 AI 工作负载。

apiVersion: aigateway.envoyproxy.io/v1alpha1
kind:AIGatewayRoute
metadata:
name:intelligent-routing
spec:
rules:
    -matches:
        -headers:
            -name:x-ai-eg-model
              value:meta-llama/Llama-3.1-8B-Instruct
      backendRefs:
        -group:inference.networking.x-k8s.io
          kind:InferencePool
          name:vllm-llama3-pool

这不仅仅是负载均衡，更是能实时适应 AI 负载的智能基础设施。

Google Vertex AI：规模化企业 AI

Google Vertex AI 支持升级为生产级：

• 支持 GCP Vertex AI 的服务账号密钥或工作负载身份联合认证

• Gemini 模型的完整支持，兼容 OpenAI API 的函数调用、多模态、推理和流式

• Anthropic 在 Vertex AI 上的完整支持，兼容函数调用、多模态、扩展思考和流式

• 通过 GCP Vertex AI 原生 Anthropic API 支持如 ClaudeCode 等用例

• 企业级稳定性，保障关键部署

这将 Google AI 平台的强大能力纳入统一 AI 基础设施，通过单一、统一的 API 管理。

全面 AI 观测能力

传统监控工具难以满足 AI 需求，v0.3 提供四大观测增强：

模型名虚拟化：增强灵活性

新增 modelNameOverride 字段支持强大模型抽象：

backendRefs:
  - name: openai-backend
    modelNameOverride: "gpt-4"
  - name: anthropic-backend
    modelNameOverride: "claude-3"

通过抽象模型名，开发者可用统一模型名，网关负责供应商路由，适合 A/B 测试、渐进迁移、防止锁定及多供应商策略。

统一 LLM 与非 LLM API

支持在同一 Gateway 对象上同时绑定标准 HTTPRoute 与 AIGatewayRoute，实现 AI 与非 AI 流量统一路由配置，简化部署和管理。