明知道 Python 撑不住未来的规模,OpenAI 团队仍然选择先把核心在线存储平台 Habitat 做成 Python 服务,并主动接受这笔技术债。
这是 OpenAI 的一个赌注:等真正需要还债的时候,Codex 和 GPT 可能已经足够强,能够大幅降低整个系统重写的成本。
一年后,这个赌注兑现了。
今年第二季度,仅 2 名工程师借助 Codex 和 GPT-5.5,就把整个 Habitat 服务从 Python 重写成了 Rust。
目前,Rust 版本已经承担 95%的生产请求,OpenAI 计划在未来几周彻底下线 Python 版本。
新系统的 CPU 效率达到 Python 版本的 6 倍、内存效率达 15 倍,同时平均延迟和尾延迟也明显下降。
这可能是目前“大模型改变软件工程成本结构”最具体的案例之一:AI 正在改变一个很传统的问题,即什么时候应该偿还技术债。
明知道 Python 迟早要重写,OpenAI 还是决定先欠债 用户登录 ChatGPT、读取 Codex 设置、创建一次新对话,背后需要进行大量数据查询。
任何一次请求变慢都会让产品感觉迟钝,而底层存储失败,产品可能直接不可用。
Habitat 是 OpenAI 几乎所有产品背后的在线存储平台。
目前,Habitat 每秒处理超过 7000 万次请求,为每周超过 10 亿用户提供服务,覆盖接近 40 个地理区域,承载超过 500PB 的数据。
OpenAI 表示,过去 3 年,其业务规模连续每年增长超过 10 倍。
通常 infra 工程师会按照 10 倍容量设计系统,希望撑上几年再准备下一次扩容,但 OpenAI 几乎每年都是这样的增长幅度。
Habitat 最初的设计却没有这么复杂。
Habitat 最早在 2023 年的 DevDay 大会上发布,它只是一个与 ChatGPT 主服务器交互的小型 Python 库,底层的一小部分操作映射到 Azure Cosmos DB。
它的设计目标很简单,就是让产品工程师不为了存取数据而学习一整套数据库运维知识。
Schema 查询、数据路由、权限验证、加密、序列化、请求整形、连接池等工作全部由 Habitat 处理。
调用方甚至不需要关心数据究竟来自 Azure Cosmos DB、缓存还是其他存储系统。
这个 Python 库表现不错。
尽管 OpenAI 并没有集中推动大家放弃自助式 Postgres 和 Azure Cosmos DB,但 Habitat 还是在公司产品工程师群体中迅速普及开来。
🔗 原始来源
如果你要核对细节,可以再看原文: InfoQ AI原文链接
AI热榜