微软已发布 Azure API Management 专用 AI Gateway 层 的公开预览版。
这是一种网关资源,其控制平面围绕模型、MCP 服务器和工具而非 API 进行组织。
它被构建为一种独立体验,而不是现有网关上的另一层策略,不过经典层和 v2 层仍保留它们已有的 AI 网关功能 。
其核心理念是,如今团队需要接入多个提供商,而非单一提供商,工具也应反映这一点。
该预览版可发布托管在 Foundry 上的模型,包括 OpenAI、Anthropic 和 Mistral,以及 AWS Bedrock、Google Vertex AI 和 OpenAI 直接提供的模型。
所有兼容 OpenAI 的提供商共用一个端点路径,网关根据 model 字段的精确匹配进行路由,因此每个已发布模型都需要一个唯一名称。
Anthropic 则通过自定义提供商处理,透传 Messages API。
策略通过门户中的卡片进行配置,而不是使用 XML 和表达式,涵盖令牌和请求限制、配额、内容安全以及模型故障转移。
网关的预配大约需要一分钟,无需规划缩放单元。
遥测数据以 OpenTelemetry 令牌指标的形式导出到 Application Insights、Datadog、Grafana 以及客户控制的其他目标位置,该资源运行在客户自己的订阅和 Entra 租户中。
对于工具,网关可联合来自三种来源的后端:通过 URL 连接的远程 MCP 服务器、OpenAPI 规范,或涵盖一千多个 SaaS 应用且无需托管服务器的内置连接器。
每个后端的操作都会成为工具,团队可以针对每个后端选择由网关采用以下哪种方式进行身份验证:不进行身份验证、API 密钥、OAuth 2.0 或托管身份。
预期的运作模式将集中控制与团队自助服务分开。
平台团队连接并发布经过批准的模型和工具;应用团队在测试控制台中使用这些资产,并基于它们进行构建,无需让每项变更都经过中央团队,而平台团队则继续负责防护措施和整体使用情况。
架构师和平台工程师对这种整合的反应总体积极,同时也对治理边界位于何处提出了疑问。
🔗 原始来源
如果你要核对细节,可以再看原文: InfoQ AI原文链接
AI热榜