AI热榜 Stripe 推出了一个 基准测试套件 ，用于评估 AI 智能体是否能端到端构建完整的 Stripe 集成方案，包括后端服务、前端应用和浏览器端结账流程。
该基准测试的目标是衡量 AI 系统能在多大程度上突破代码生成的局限，完成软件工程全流程工作 —— 即在真实环境中执行、测试与验证程序。
测试重点聚焦金融系统里贴近生产环境的集成场景，这类场景对正确性要求极高，仅实现部分功能并不能算作达标。
该基准测试围绕 11 个可复现的环境构建，模拟 Stripe 的集成项目，如 Checkout 迁移和 Billing API 建模。
每个环境包含完整的应用代码库、数据库、脚本和测试用 Stripe API 密钥。
智能体的评估任务包括纯后端任务、涉及浏览器端结账流程的全栈式工作流，以及订阅和 Checkout 集成等面向特定产品的实操任务。
智能体统一通过一个基于 Goose 和 Model Context Protocol （MCP）的工具链进行操作，其中包含终端访问、浏览器自动化和文档检索工具。
不仅要求生成代码，还要求运行服务、与 API 交互，并通过自动化测试或模拟用户流程验证端到端行为。
确定性评分器通过 API 调用、UI 自动化和检查 Stripe 对象（如 Checkout Sessions）来验证结果。
Stripe 没有公布总体成功率，不同任务类型的评测结果差异显著，后端集成表现较强，而当任务涉及跨系统校验与状态追踪时，完成效果会明显变差。
分项评测数据显示，Claude Opus 4.5 在四类场景的全栈 API 集成任务中平均分达 92%，而 GPT 5.2 在两类标准化实训类任务中得分 73%。
表现最优的测试样本平均交互轮次可达 63 轮，表明模型长时序任务执行能力有所提升，但在扩展工作流中仍出现正确性下降。
🔗 原始来源
如果你要核对细节，可以再看原文： InfoQ AI原文链接