OpenAI存储平台Habitat支撑超10亿用户

IT时代网10月24日消息，OpenAI披露其在线存储平台Habitat的技术细节。该平台需要在毫秒级响应来自40个地理区域的超过10亿用户，目前承载的数据总量已超过500 PB。

Habitat的底层存储组件采用Azure Cosmos DB。技术团队介绍，整个架构经历了一轮循环式演进：最初每个账户只使用一个多租户容器，随后改为按产品单独配置单租户容器，最终又回到默认多租户，并增加了数据迁移能力。

早期设计把逻辑分区键的选择直接开放给调用方，导致user_id、workspace_id等常用键在不同产品场景之间频繁冲突。由于这些场景共享同一逻辑分区键的上限，单个用户的整体吞吐因此受到约束。此外，某个组织或热点键产生的超常负载，也曾导致整个数据库受影响。

在与Azure团队的合作下，OpenAI最终形成了一套“共同管理容器”的多租户方案，在大规模全球读取场景下取得了较好的性能表现，同时通过服务质量控制和无服务器模式改善了多租户环境下的稳定性。

编辑：周艺