Новость

OpenAI раскрыла, как хранит данные для миллиарда пользователей ChatGPT

OpenAI описала платформу Habitat, которая обслуживает ChatGPT, API и Codex: более 70 млн запросов в секунду, свыше 500 ПБ данных и переход ключевого сервиса с Python на Rust.

Редакция Failx.ru 4 мин на чтение
Концептуальная визуализация инфраструктуры хранения данных OpenAI Habitat
В материале
  1. Что именно сообщила OpenAI
  2. Почему библиотеку превратили в отдельный сервис
  3. Как OpenAI боролась с задержками Python
  4. Почему соединения могли усиливать перегрузку
  5. Переход с Python на Rust
  6. Что это значит для пользователей ChatGPT
  7. Что будет дальше

Коротко: 11 сентября 2026 года OpenAI опубликовала инженерный разбор платформы Habitat, которая обеспечивает быстрый доступ к данным для ChatGPT, API, Codex и внутренних сервисов. По данным компании, система обрабатывает более 70 млн запросов в секунду, управляет более чем 500 ПБ данных и поддерживает продукты с аудиторией свыше 1 млрд человек в неделю. Это рассказ об инфраструктуре, а не запуск новой пользовательской функции.

Что именно сообщила OpenAI

Habitat появилась в 2023 году как небольшая Python-библиотека для GPTs, связанная с основной базой данных ChatGPT. По мере роста продуктов она превратилась в отдельный сервисный слой. Он берет на себя маршрутизацию, авторизацию, шифрование, ограничение запросов, размещение данных по регионам, кеширование и доступ к разным хранилищам.

OpenAI заявляет, что Habitat работает почти в 40 географических регионах. В ее контуре используются Azure Cosmos DB, внутреннее хранилище Nanobase, Valkey, объектное хранилище и сервисы передачи изменений. Посмотреть текущую доступность пользовательского продукта можно на странице статуса ChatGPT, а состояние программного интерфейса отдельно отслеживается на странице OpenAI API.

Серверный модуль в высоконагруженной системе хранения данных
Habitat объединяет несколько типов хранилищ и обслуживает миллионы запросов каждую секунду.

Почему библиотеку превратили в отдельный сервис

К середине 2025 года клиентская библиотека стала слишком сложной для согласованных обновлений. Изменение маршрутизации или защитной логики требовало выпускать новые версии сразу для множества внутренних сервисов. Откат одного клиента мог вернуть старую ошибку и увеличить риск инцидента.

Отдельный сервис дал OpenAI одну точку для развертывания, наблюдаемости и применения правил. Компания также называет Habitat центральным местом для контроля доступа, аудита и изоляции данных между продуктами. Это важно для надежности, но само по себе не означает, что пользователям предоставили новое хранилище или изменили лимиты истории.

Центр управления глобальной маршрутизацией распределенного сервиса
Отдельный сервисный слой централизует маршрутизацию, наблюдаемость и правила доступа.

Как OpenAI боролась с задержками Python

Habitat долго работала на Python. При высокой нагрузке главным ограничением стала задержка планировщика asyncio: ответы от базы могли быть готовы, но обработчик ждал своей очереди на CPU. Команда измеряла задержку цикла событий, уменьшала число параллельных запросов на процесс и масштабировала количество рабочих процессов.

Одной из найденных причин периодических задержек оказался синхронный разбор крупной конфигурации feature flags. Настройки обновлялись у всех процессов одновременно. Решением стали более компактная конфигурация, увеличенный интервал обновления и случайное распределение фоновых задач по времени.

Почему соединения могли усиливать перегрузку

OpenAI описала метастабильный сценарий: пул соединений повторно направлял нагрузку на уже замедлившиеся процессы. После всплеска более медленные соединения возвращались в пул последними и выбирались первыми из-за порядка LIFO. Это концентрировало новые запросы там, где задержка уже росла.

Команда проверила гипотезу ограничением срока повторного использования соединений, затем изменила стратегию и усилила балансировку через Istio и Envoy. Для уменьшения числа соединений к зависимым системам применяется мультиплексирование HTTP/2, а ограничения и circuit breakers задаются централизованно.

Переход с Python на Rust

Во втором квартале 2026 года два инженера при помощи Codex и GPT-5.5 переписали сервис на Rust. На момент публикации новая версия обрабатывала 95 процентов производственных запросов. По измерениям OpenAI, реализация на Rust оказалась в 6 раз эффективнее по CPU и в 15 раз эффективнее по памяти, а средние и хвостовые задержки снизились.

Компания не опубликовала универсальную методику миграции и не утверждает, что любой Python-сервис получит те же показатели. Результат относится к конкретной архитектуре Habitat и нагрузке OpenAI. О практическом применении агентной инфраструктуры можно отдельно прочитать в разборе OpenAI Agents API.

Инженеры сравнивают производительность серверного кода при миграции
Переход на Rust улучшил эффективность конкретного сервиса Habitat по измерениям OpenAI.

Что это значит для пользователей ChatGPT

Вывод редакции: разбор объясняет, почему действия вроде входа, открытия настроек или запуска нового диалога зависят от множества быстрых обращений к данным. Улучшение такого слоя может снижать задержки и уменьшать масштаб внутренних отказов, однако OpenAI не обещала конкретного ускорения каждой сессии.

Если ChatGPT не открывается или показывает Network Error, сначала стоит проверить массовый сбой и сеть. Пошаговая диагностика собрана в инструкции что делать при ошибках ChatGPT. Инженерный материал Habitat помогает понять внутренний контекст, но не заменяет проверку текущего статуса.

Что будет дальше

Публикация названа первой частью серии. Во второй OpenAI планирует подробнее рассказать о надежности при совместном использовании инфраструктуры несколькими продуктами, оптимизации чтения и масштабировании Azure Cosmos DB. Дата выхода второй части пока не названа.

До появления продолжения подтверждены только сведения из материала от 11 сентября. Цифры нагрузки и эффективности являются данными самой OpenAI, а не результатом независимого аудита Failx.ru.

Новости и разборы